Training von HTR-Modellen zur Erkennung historischer Handschriften

Was ist ein HTR-Modell?

Handschriftliche Texterkennung (HTR) ist eine Technologie zur automatischen Erkennung von handgeschriebenem Text aus digitalen Dokumentenbildern. Im Gegensatz zur klassischen OCR, die sich in der Vergangenheit hauptsächlich auf gedruckte Dokumente konzentrierte, muss HTR mit einer deutlich größeren Variabilität von Zeichen, Wörtern und ganzen Schreibstilen arbeiten. Derselbe Buchstabe kann in einem Manuskript viele Formen annehmen, und sein Aussehen variiert nicht nur zwischen den einzelnen Schreibern, sondern auch je nach den umgebenden Zeichen, dem verwendeten Schreibgerät, dem Entstehungszeitraum des Dokuments oder dem physischen Zustand des Originals. [1]

Moderne HTR-Systeme erkennen Handschrift daher nicht nur als Ansammlung isolierter Buchstaben. Sie verwenden Modelle des maschinellen Lernens, die anhand von Beispielen den Zusammenhang zwischen der visuellen Form des Textes und der entsprechenden Zeichenfolge lernen. Für historische Quellen ist dieser Ansatz besonders wichtig, da er die Erstellung von Modellen ermöglicht, die an einen bestimmten Dokumenttyp, eine bestimmte Periode, eine bestimmte Sprache oder bestimmte Schreiberhände angepasst sind. [1] [2]

Ground Truth – die Grundlage des Trainings

Die wichtigste Voraussetzung für die Erstellung eines eigenen HTR-Modells sind hochwertige Trainingsdaten, üblicherweise als Ground Truth (GT) bezeichnet. Es ist ein Paar, das aus einem Bild eines handgeschriebenen Textes und seiner exakten menschlichen Transkription besteht. Während des Trainings erhält das Modell ein Bild des Textes zusammen mit Informationen darüber, welche Art von Text sich tatsächlich in dem gegebenen Bild befindet, und lernt nach und nach, die beiden Darstellungen zu kombinieren. [2] [3]

Die Qualität von Ground Truth ist entscheidend. Fehler bei der manuellen Transkription sind nicht nur „Rauschen“ für das Modell: Während des Trainings können sie dem Modell als korrektes Lernergebnis präsentiert werden. Aus diesem Grund sollte die Trainingstranskription nicht nur so genau wie möglich, sondern auch intern konsistent sein. [2]

Konsistenz gilt beispielsweise für:

• Transkription von Groß- und Kleinbuchstaben,
• Interpunktion,
• Leerzeichen,
• historische Rechtschreibung,
• Abkürzungen und ob sie erweitert werden sollen,
• diakritische Zeichen,
• Sonderzeichen,
• unleserliche oder beschädigte Stellen.

Bevor mit einer umfangreicheren Transkription begonnen wird, empfiehlt es sich daher, einheitliche Transkriptionsregeln festzulegen. Aus Sicht des maschinellen Lernens ist ein einfacheres und konsistent angewendetes System tendenziell vorteilhafter als sehr komplizierte Regeln, die nicht konsistent in den Daten verwendet werden. [3]

Wie viele Trainingsdaten werden benötigt?

Auf die Frage, wie viele Seiten manuell transkribiert werden müssen, gibt es keine allgemeingültige Antwort. Das Ergebnis hängt von der Homogenität der Dokumente, der Anzahl der Schreiberhände, der Sprache, der Qualität der Digitalisierung, der Komplexität der Handschrift und davon ab, ob das Modell von Grund auf neu erstellt wird oder auf einem bereits vorhandenen Modell basiert.

Die Plattformdokumentation Transkribus gibt einen ungefähren anfänglichen Umfang von ungefähr 5.000 bis 15.000 Wörtern oder ungefähr 25 bis 75 Seiten Ground Truth an. Für Manuskriptmaterial werden etwa 10.000 Wörter für eine Schreiberhand empfohlen. Groß angelegte Modelle, die auf mehr als 100.000 Wörtern und vielen Händen aus einer ähnlichen Zeit und Region basieren, können möglicherweise mit Manuskripten arbeiten, die nicht direkt Teil der Trainingsdaten waren. [2] Allerdings sind diese Zahlen als praktische Empfehlung zu verstehen, nicht als feste Grenze.

Wichtiger als die schiere Anzahl der Seiten ist ihre Repräsentativität. Wenn das Modell beispielsweise auf eine Archivsammlung mit mehreren Schreibern angewendet werden soll, reicht es nicht aus, eine große Menge Ground Truth aus der Handschrift eines einzelnen Schreibers zu generieren. Das Trainingsmaterial sollte eine sinnvolle Darstellung unterschiedlicher Schriftformen enthalten, die das Modell später erkennen soll. [2]

Gleiches gilt für Dokumente, die über einen längeren Zeitraum erstellt wurden. Wenn sich die Handschrift eines Autors über Jahrzehnte verändert hat, sollten unterschiedliche Stadien seines Schreibens in den Trainingsdaten abgebildet werden.

Dokumentensegmentierung

Die Texterkennung ist nicht die einzige Aufgabe des gesamten Prozesses. Schon zuvor muss das System ermitteln, wo sich der Text auf der Seite befindet. Ein Dokument kann mehrere Textbereiche, Spalten, Randnotizen, Tabellen oder andere Elemente enthalten, die eine automatische Analyse erschweren.

Daher werden beim Training eines Erkennungsmodells den Transkriptionen auch die Bildbereiche oder Zeilen zugeordnet, zu denen der jeweilige Text gehört. Gängige Datenformate wie PAGE XML oder ALTO XML ermöglichen die gemeinsame Speicherung von Transkription und Informationen über die Position des Textes im Bild. [3]

Die Qualität der Segmentierung kann das Endergebnis erheblich beeinflussen. Experimentelle Arbeiten zeigen, dass das Modell mit richtig aufbereiteten Textzeilen deutlich bessere Ergebnisse erzielen kann als mit fehlerhafter automatischer Segmentierung. [4] Falsch definierte Liniengrenzen können daher Fehler verursachen, die auf den ersten Blick als Mangel des HTR-Modells selbst erscheinen.

Trainings- und Validierungsdaten

Während des Trainings wird Ground Truth normalerweise aufgeteilt, sodass nicht alles direkt zum Unterrichten des Modells verwendet wird. Ein Teil des Materials wird als Validierungssatz reserviert.

Der Trainingssatz wird zum Anpassen von Modellparametern verwendet. Validierungsdaten hingegen werden nicht als direkte Beispiele für das Lernen verwendet, sondern ermöglichen es, während des Trainings zu beobachten, wie das Modell mit Material arbeitet, das es derzeit nicht für sein eigenes Lernen verwendet. Standardmäßig arbeitet Transkribus mit dem für die Validierung reservierten Abschnitt Ground Truth und empfiehlt etwa 10 % der verfügbaren Transkripte in seiner Dokumentation. [5]

Auch der Validierungssatz muss repräsentativ sein. Wenn die Trainingsdaten beispielsweise mehrere Schreiber enthalten, der Validierungssatz jedoch fast ausschließlich aus einem einzigen besteht, kann es sein, dass die berechnete Erfolgsquote die tatsächliche Anwendbarkeit des Modells auf den gesamten Dokumentensatz nicht gut charakterisiert. [5]

Für eine gründlichere wissenschaftliche Bewertung kann zusätzlich zum Trainings- und Validierungssatz ein separater Testsatz erstellt werden, der während der Modellentwicklung zurückgehalten und nur für die abschließende unabhängige Bewertung verwendet wird. Eine solche Trennung von Trainings-, Validierungs- und Testdaten wird auch in Forschungsexperimenten mit HTR verwendet. [6]

CER – Zeichenfehlerrate

Einer der grundlegenden Qualitätsindikatoren des HTR-Modells ist Zeichenfehlerrate (CER). Es drückt den Anteil der Fehler auf Zeichenebene aus, wenn automatisch erkannter Text mit der korrekten Ground Truth-Transkription verglichen wird. Das Ergebnis sind fehlende, redundante und falsch erkannte Zeichen. [7]

Vereinfacht lässt sich sagen:

CER = (Ersetzung + Weglassung + Einfügen von Zeichen) / Anzahl der Zeichen des Referenztextes

Je niedriger der Wert CER ist, desto genauer ist die automatische Transkription. Beispielsweise gibt Transkribus an, dass ein CER von 5 % ungefähr einer Situation entspricht, in der von 100 Zeichen 95 richtig und fünf falsch erkannt werden. [7]

Der CER-Wert selbst muss jedoch im Kontext interpretiert werden. Ein Modell mit einem sehr niedrigen CER für Dokumente, die seinen Trainingsdaten ähneln, funktioniert möglicherweise nicht so gut bei anderen Schreibern oder einer anderen Art von Archivmaterial. Beim Vergleich von Modellen ist es daher wichtig zu wissen, auf welchen Daten der CER berechnet wurde und wie diese Daten den Dokumenten ähneln, auf denen das Modell eingesetzt werden soll.

Überanpassung des Modells

Eines der Risiken des Trainings ist Overfitting, also eine übermäßige Anpassung an die Trainingsdaten. Ein Modell kann sich sehr gut an Trainingsbeispiele anpassen, ohne auch die allgemeineren Merkmale der Handschrift zu erlernen. Das Ergebnis kann eine sehr geringe Fehlerquote bei bekannten Daten, aber eine deutlich schlechtere Erkennung neuer Dokumente sein.

Das Beobachten der Ergebnisse des Validierungssatzes hilft dabei, dieses Problem aufzudecken. Moderne Trainingsverfahren können auch Early Stopping nutzen: Das Training wird beendet, wenn weitere Epochen keine Verbesserungen in den Ergebnissen der Validierungsdaten mehr bringen. [5]

Es ist also nicht so, dass das Modell umso besser sein muss, je länger wir es trainieren. Entscheidend ist seine Fähigkeit, erlernte Eigenschaften auf bisher ungesehenes Material zu übertragen.

Verwendung eines bereits vorhandenen Modells

Die Modellerstellung muss nicht immer bei Null beginnen. Wenn es ein Modell gibt, das auf eine ähnliche Sprache, Periode oder einen ähnlichen Schreibstil trainiert wurde, kann es in einigen HTR-Systemen als Basismodell verwendet und weiter an Ihre eigenen Daten angepasst werden. [5]

Dieses Verfahren wird üblicherweise als Feinabstimmung oder kontinuierliches Training bezeichnet. Sein Vorteil besteht darin, dass das Modell bereits einige Kenntnisse über die Zeichenstrukturen enthält und nicht alles ausschließlich vom neu erstellten Ground Truth lernen muss. Dadurch kann die Menge an handtranskribiertem Material reduziert werden, die erforderlich ist, um ein brauchbares Ergebnis zu erzielen. Der Nutzen des Ausgangsmodells ergibt sich jedoch nicht automatisch: Es muss dem Zielmaterial hinreichend ähnlich sein und seine Eignung muss experimentell überprüft werden. [5]

Die Bedeutung der Feinabstimmung wird auch durch experimentelle Studien bestätigt. Bei einigen historischen Korpora führte die Anpassung eines geeigneten vorab trainierten Modells zu besseren Ergebnissen als der Aufbau eines Modells von Grund auf. [4] [8]

Spezialisiertes oder allgemeines Modell?

Bei der Vorbereitung des HTR-Projekts ist es wichtig zu bestimmen, wie viele Dokumente das resultierende Modell verarbeiten soll.

Ein spezialisiertes Modell kann sich beispielsweise auf einen einzelnen Schreiber, ein einzelnes Büro oder eine homogene Reihe von Archivdokumenten konzentrieren. Da es ein begrenzteres Problem löst, kann es auch mit einer relativ begrenzten Menge an Ground Truth sehr gute Ergebnisse auf dem entsprechenden Material erzielen.

Das allgemeine Modell hingegen soll eine größere Anzahl von Schreibern, Perioden oder Dokumententypen erkennen. Es erfordert daher viel vielfältigere Trainingsdaten. Sein Vorteil liegt in der breiteren Anwendbarkeit, während sein Nachteil in der geringeren Genauigkeit bei bestimmten Schreiberhänden im Vergleich zu einem eng spezialisierten Modell liegen kann. [2] [9]

Ein umfangreiches allgemeines Modell kann auch als Grundlage für eine weitere Spezialisierung dienen. Für die Archivpraxis kann eine Kombination aus einem allgemeinen vorab trainierten Modell und einer kleineren Menge hochwertiger Ground Truth, die direkt aus einer bestimmten Archivsammlung erstellt wurden, effektiv sein.

Iterative Erstellung des Modells HTR

In der Praxis wird Ground Truth vor dem ersten Training möglicherweise nicht vollständig von Hand erstellt. Ein Vorgehen in mehreren Zyklen kann wirksam sein:

1. den ersten Satz repräsentativer Seiten manuell transkribieren,
2. Erstellen Sie das erste HTR-Modell.
3. auf andere Dokumente anwenden,
4. die automatischen Transkriptionen manuell korrigieren,
5. Fügen Sie die korrigierten Seiten unter Ground Truth ein.
6. eine neue Version des Modells erstellen,
7. Wiederholen Sie den Vorgang nach Bedarf.

Ein solches Vorgehen ermöglicht es, den Ausbildungskorpus sukzessive zu erweitern. Es ist jedoch wichtig zu betonen, dass allein die Korrektur der automatischen Transkription noch kein bereits bestehendes Modell lehrt. Die korrigierten Daten müssen beim weiteren Training oder der Feinabstimmung des Modells verwendet werden. [10]

Bei der Auswahl neuer Seiten ist es ratsam, sich nicht nur auf leicht lesbare Dokumente zu konzentrieren. Wenn das resultierende Modell die gesamte Archivsammlung abdecken soll, sollte Ground Truth nach und nach durch repräsentative Beispiele schwierigerer Manuskripte, verschiedener Schreiber und anderer typischer Varianten ergänzt werden.

Bedeutung offener Trainingsdaten

Trainingsdaten, die für ein Projekt erstellt wurden, können auch für andere Forschungsarbeiten von Wert sein. Die Initiative HTR-United erstellt daher einen Katalog dokumentierter Datensätze, der für die automatische Transkription und Segmentierung historischer Dokumente vorgesehen ist. Datendateien können beispielsweise in den Formaten PAGE XML, ALTO XML oder als Kombination aus Bildern und Textdateien veröffentlicht werden und enthalten in ihren Metadaten auch Bedingungen für die weitere Nutzung. [11]

Die gemeinsame Nutzung von Qualität Ground Truth ermöglicht nicht nur die Reproduktion von Forschungsergebnissen, sondern auch die Erstellung allgemeinerer Modelle oder die Nutzung bereits vorhandener Daten zum Trainieren von Modellen für verwandtes Material. Auf lange Sicht dürfte das wertvollste Ergebnis des Projekts daher nicht nur das HTR-Modell selbst sein, sondern auch das sorgfältig erstellte und gut dokumentierte Trainingskorpus.

HTR im Rahmen der Arbeit mit Archivdaten

HTR kann nicht als einmaliges „Lesen“ eines Manuskripts durch einen Computer verstanden werden. In der Archivpraxis handelt es sich eher um einen Prozess, bei dem Digitalisierung, Seitenlayoutanalyse, menschliche Transkription, Ground Truth-Vorbereitung, Modelltraining, automatische Erkennung und Ergebnisprüfung miteinander verbunden sind.

Der Hauptvorteil von HTR muss nicht unbedingt die Erstellung einer vollkommen fehlerfreien Ausgabe des Dokuments sein. Auch ein Transkript mit einer gewissen Fehlerzahl kann die Möglichkeiten der Arbeit mit umfangreichen Archivbeständen deutlich erweitern: Es ermöglicht eine Volltextsuche, eine Vororientierung in Dokumenten und schafft eine maschinenlesbare Grundlage für die Weiterverarbeitung historischer Daten. HTR kann so Inhalte digitalisierter Manuskripte verfügbar machen, die sonst nur durch aufwändiges manuelles Lesen einzelner Dokumente verfügbar bleiben würden. [1]

Verwendete Hinweise und Quellen

[1]MUEHLBERGER, Günter et al.; COLUTTO, Sebastian et al. Transforming scholarship in the archives through handwritten text recognition. Journal of Documentation, 2019. DOI: 10.1108/JD-07-2018-0114.
Artikel und bibliografische Daten

[2]READ-COOP. Data Preparation – Training Text Recognition Models. Transkribus-Dokumentation. Empfehlungen für die Erstellung von Ground Truth, die Menge der Trainingsdaten und die Darstellung von Schreiberhänden.
Transkribus Dokumentation – Datenvorbereitung

[3]Kraken OCR. Introduction to Automatic Text Recognition. Kraken Systemdokumentation; Beschreibung der Vorbereitung von Trainingsdaten, Transkriptionsregeln und PAGE XML- und ALTO-Formaten.
Kraken – Einführung in die automatische Texterkennung

[4]BÜTTNER, Jonas et al. From Manuscript to Model: Developing HTR for Medieval Greek. Vorträge des vierten Workshops zu Sprachtechnologien für historische und alte Sprachen (LT4HALA 2026), S. 139–151. Die Studie vergleicht unter anderem Training von Anfang an mit Feinabstimmung und zeigt den Effekt der Segmentierung auf die resultierende Fehlerquote. DOI: 10.63317/47tkobv5mgbu.

[5]READ-COOP. Model Setup and Training. Transkribus-Dokumentation. Beschreibung des Trainings- und Validierungssatzes, der Basismodelle, der Epochen und des frühen Stoppens.