Dokumenten-KI ohne Blackbox: Wenn das eigene Modell Azure schlägt
Dokumentenklassifikation gilt als Standardfall für KI aus der Cloud. Wer Geschäftsdokumente aber nicht an einen externen Dienst geben darf, braucht ein eigenes Modell. Ein Projekt mit einem internationalen Hersteller zeigt: Das kann sich rechnen, auch in der Trefferquote.
Warum Dokumente der heikelste Datenbestand sind
Personalakten, Verträge, Rechnungen, medizinische Unterlagen: Wer solche Dokumente zur Klassifikation an einen externen KI-Dienst gibt, verlagert Verarbeitung, Protokollierung und Nachweispflicht zu einem Dritten. Unter der DSGVO war das eine Abwägung. Mit dem AI Act kommt die Pflicht hinzu, die Entscheidung des Systems nachvollziehbar zu machen.
Die Gegenfrage: Reicht ein eigenes, schlankes Modell in der eigenen Cloud-Umgebung? In einem Projekt mit einem international tätigen Hersteller von Dokumenten- und Imaging-Lösungen haben wir das gegen einen etablierten Cloud-Dienst gemessen.
Die Architektur
Drei Schritte führen vom Dokument zur Klasse. Tesseract liest den Text per OCR aus. Daraus entstehen Textmerkmale: word2vec (CBOW, 500 Dimensionen, Fenster 5), tf-idf mit den 300 stärksten Termen sowie Bigramme und Trigramme, ebenfalls Top 300. Eine Support Vector Machine mit linearem Kernel trifft die Entscheidung. Betrieben wird das in einer privaten Azure-Umgebung, an das bestehende DMS über eine gesicherte REST-API angebunden. Kein Dokument verlässt die kontrollierte Umgebung.
Modellauswahl statt Bauchgefühl
Random Forest, Gradient Boosting, Naive Bayes, KNN sowie Stacking- und Bagging-Ensembles standen im Vergleich, abgestimmt per Grid Search über mehrere tausend Konfigurationen. Auch Bildmerkmale wurden geprüft: GLCM, LBP, HOG, Canny-Kanten, Seitenverhältnis der Bounding Box. Sie brachten keinen messbaren Zugewinn und wurden verworfen. Gewonnen hat die einfachste Variante, die lineare SVM.
Der Vergleich
Gemessen wurde gegen Azure AI Document Intelligence, auf drei realen Datensätzen des Kunden. Bei Personaldokumenten erreichten beide Systeme 100 Prozent. Auf dem Logistikdatensatz lag das eigene Modell bei 94,73 gegenüber 84,21 Prozent, auf dem Bankendatensatz bei 87,50 gegenüber 85,71 Prozent. Zwei von drei Datensätzen gehen an das spezialisierte Modell, einer endet gleichauf.
Der Grund ist kein Wunder, sondern Zuschnitt. Ein Modell, das ausschließlich auf dem Korpus des Kunden trainiert wird, kennt dessen Formulare, Layouts und Hausbegriffe. Ein generischer Dienst kennt sie nicht.
Was das im Betrieb heißt
Produktiv sind zwei Python-Skripte: eines trainiert und exportiert das Modell als .joblib, das andere lädt es und liefert die Inferenz. Kein GPU-Cluster, kein Token-Budget, keine Ratenbegrenzung eines Anbieters. Das Modell läuft auf CPU, wird auf dem eigenen Korpus nachtrainiert und seine Merkmale sind benennbar. Für die Dokumentation nach AI Act ist genau das entscheidend: Man kann aufschreiben, worauf eine Entscheidung beruht.
Fazit
Nicht jede Dokumentenaufgabe braucht ein großes Sprachmodell. Wo die Klassen klar definiert sind und der Korpus dem Unternehmen gehört, ist ein spezialisiertes Modell oft genauer, im Betrieb deutlich günstiger und vollständig unter eigener Kontrolle. Mehr dazu in unserer KI-Beratung für den Mittelstand.