Praxisbeispiel: Ein HTR-Modell für einen Archivband erstellen

Stellen wir uns vor, wir hätten ein digitalisiertes 300-seitiges Grundbuch. Das Buch entstand über mehrere Jahrzehnte und enthält Einträge mehrerer Schreiber. Das Ziel besteht nicht darin, eine diplomatische Ausgabe der gesamten Quelle zu erstellen, sondern eine ausreichend hochwertige automatische Transkription zu erhalten, in der nach Personennamen, Ortsnamen, Hofnummern und anderen Daten gesucht werden kann.

Dieses Beispiel zeigt eine praktische Vorgehensweise zum Erstellen Ihres eigenen HTR-Modells.

1. Beginnen Sie nicht mit der Transkription der ersten fünfzig Seiten

Der erste intuitive Vorgang ist normalerweise einfach: Öffnen Sie das Buch am Anfang und transkribieren Sie die Seiten nach und nach, bis genügend Ground Truth vorhanden sind.

Eine solche Auswahl kann jedoch zu einem nicht repräsentativen Trainingssatz führen. Wenn beispielsweise die ersten 80 Seiten von einem Schreiber und der Rest des Buches von anderen Schreibern geschrieben wurden, lernt das Modell die erste Schreiberhand sehr gut, schneidet beim Rest des Buches jedoch möglicherweise deutlich schlechter ab.

Daher empfiehlt es sich zunächst, das gesamte Dokument ohne ausführliche Transkription durchzugehen und seinen Grundaufbau herauszufinden.

Für jeden Teil des Buches überwachen wir hauptsächlich:

• Handwechsel des Schreibers,
• bedeutende Periodenwechsel,
• Sprach- oder Rechtschreibänderungen,
• verschiedene Arten von Einträgen,
• Änderungen am Seitenlayout,
• Tabellen und Formteile,
• beschädigte oder schlecht gescannte Seiten.

Dies könnte beispielsweise dazu führen, dass die Seiten 1–90 größtenteils von Schreiber A, die Seiten 91–210 von Schreiber B geschrieben wurden und der letzte Abschnitt eine Mischung aus Einträgen der Schreiber B, C und D enthält.

Diese einfache Analyse ist für die weitere Arbeit wichtiger als das mechanische Erreichen einer bestimmten Anzahl transkribierter Seiten.

2. Wählen Sie den ersten Ground Truth-Satz aus

Aus einem 300-seitigen Buch können wir beispielsweise 40 bis 50 Seiten für das erste Experiment auswählen. Dies ist jedoch keine allgemein empfohlene Zahl; Der tatsächliche Bedarf hängt von der Textmenge auf der Seite und der Variabilität der Handschrift ab.

Wir wählen Seiten im gesamten Buch aus.

Eine illustrative Auswahl könnte so aussehen:

Selbst dieses Verhältnis ist möglicherweise nicht unter allen Umständen ideal. Wenn beispielsweise Schreiber D nur wenige kurze Einträge im Buch hat, ist es möglicherweise nicht praktikabel, ihm die gleiche Anzahl an Trainingsseiten zu widmen wie dem Hauptschreiber.

Ziel ist es, eine repräsentative Stichprobe des Materials zu erstellen, das das Modell später tatsächlich lesen wird.

3. Legen Sie die Transkriptionsregeln fest, bevor Sie Ground Truth erstellen

Bevor wir mit der Transkription mehrerer Dutzend Seiten beginnen, empfiehlt es sich, ein kurzes Dokument mit Transkriptionsregeln zu erstellen.

Für das Grundbuch legen wir beispielsweise fest:

• wir behalten die ursprüngliche Schreibweise bei;
• wir modernisieren historische Wortformen nicht;
• wir behalten Groß- und Kleinbuchstaben entsprechend der Vorlage bei, sofern sie zuverlässig zu erkennen sind;
• Wir schreiben Satzzeichen nur dort, wo sie tatsächlich im Dokument stehen.
• Abkürzungen werden nicht in moderne Form umgeschrieben;
• wir geben historische Schriftzeichen einheitlich wieder;
• Wir markieren unleserliche Stellen immer auf die gleiche Weise;
• Wir transkribieren den Text nicht nach dem, was unserer Meinung nach aufgrund des Kontexts „geschrieben werden sollte“, sondern nach dem, was tatsächlich gelesen werden kann.

Spezifische Regeln können von Projekt zu Projekt variieren. Es ist wichtig, dass die Regeln sich während der Erstellung von Ground Truth nicht willkürlich ändern.

Wenn beispielsweise eine Person eine historische Abkürzung wörtlich transkribiert und die andere sie automatisch erweitert, erhält das Modell zwei unterschiedliche Reaktionen auf dasselbe visuelle Phänomen.

4. Führen Sie eine Segmentierung durch und überprüfen Sie die Linien

Auf den ausgewählten 50 Seiten führen wir eine Layoutanalyse durch.

Die automatische Segmentierung beschleunigt die Arbeit normalerweise erheblich, wir werden das Ergebnis jedoch überprüfen. Insbesondere konzentrieren wir uns auf:

• fehlende Zeilen,
• zwei verbundene Leitungen,
• eine Zeile falsch in mehrere Teile geteilt,
• Randnotizen,
• Überschriften,
• Text, der bis in den Einband reicht,
• durchgestrichene und zusätzlich eingefügte Einträge.

Erst dann erstellen oder korrigieren wir die Transkription selbst.

5. Erstellen Sie das erste Ground Truth

Wenn wir über ein geeignetes generisches HTR-Modell für die entsprechende Sprache, Epoche und Handschrift verfügen, können wir es zunächst auf ausgewählten Seiten ausführen und seine Ausgabe manuell korrigieren.

Sollte kein passendes Modell vorhanden sein oder dessen Ergebnisse sehr schlecht ausfallen, erstellen wir manuell eine Transkription.

Das Ergebnis muss ein Paar sein:

Zeilenbild → verifizierte Zeilentranskription

Es sind diese Daten, die die wahre Grundlage des zukünftigen Modells darstellen.

In dieser Phase lohnt es sich nicht, auf Kosten der Qualität Zeit zu sparen. Wenn wir 50 Seiten ungenauen Ground Truth erstellen, erhalten wir kein besseres Schulungsmaterial, als wenn wir einen kleineren, aber sorgfältig überprüften Datensatz erstellen.

6. Reservieren Sie einen Teil der Daten zur Validierung

Aus dem vorbereiteten Ground Truth werden wir einen Teil der Seiten zuweisen, auf denen wir die Qualität des Modells während des Trainings überwachen.

Bei 50 Seiten könnten wir beispielsweise Folgendes verwenden:

45 Seiten für Trainingsset
5 Seiten für Validierungssatz

Die Aufteilung sollte jedoch nicht rein zufällig erfolgen, da dies zu einem nicht repräsentativen Validierungssatz führen würde. Beispielsweise sollten die fünf Validierungsseiten nicht nur von Schreiber A stammen.

Wenn das Ziel eine seriösere Evaluierung ist, empfiehlt es sich, zu Beginn noch ein paar Seiten als Testsatz beiseite zu legen. Wir werden sie weder für unsere eigene Ausbildung noch für die kontinuierliche Entscheidungsfindung während der Modellentwicklung nutzen.

7. Trainieren Sie das erste Modell

Jetzt kann mit dem individuellen Training begonnen werden.

Wenn es ein Qualitätsmodell gibt, das auf ähnlichem historischen Material erstellt wurde, ist es in der Regel ratsam, es zunächst als Basismodell zu verwenden und mit weiterer Schulung eine spezialisierte Variante zu erstellen.

Darüber hinaus kann je nach Möglichkeiten des eingesetzten Systems auch ein Modell ohne geeignete vorab trainierte Basis experimentell erstellt und die Ergebnisse verglichen werden.

Das Ziel der ersten Schulung besteht möglicherweise noch nicht darin, ein endgültiges Modell zu erstellen. Es geht vor allem darum herauszufinden, was das Modell aus den aufbereiteten Daten lernen konnte und wo es Probleme hat.

8. Bewerten Sie das Modell nicht nur anhand eines CER

Nach Abschluss des Trainings erhalten wir den Wert der Zeichenfehlerrate für die Validierungsdaten. Angenommen, das Modell erreicht Folgendes:

CER = 7,2 %

Die Nummer selbst sieht vielversprechend aus, sagt aber nicht aus, ob das Modell für das gesamte Buch geeignet ist.

Daher gilt es herauszufinden, welche Fehler diese 7,2 % ausmachen.

Wenn das Modell hauptsächlich Interpunktion oder einige Varianten von Großbuchstaben durcheinander bringt, ist es möglicherweise bereits für die Volltextsuche sehr gut geeignet.

Wenn es jedoch systematisch verzerrt:

• Nachnamen,
• Ortsnamen,
• Zahlen,
• Datumsangaben,
• Geldbeträge,

es kann selbst bei einem relativ guten Gesamtergebnis problematisch für die beabsichtigte historische Forschung sein CER.

9. Testen Sie einzelne Schreiber

Jetzt nehmen wir ein paar Seiten, die das Modell während des Trainings überhaupt nicht gesehen hat.

Das Ergebnis könnte beispielsweise so aussehen:

Das durchschnittliche Ergebnis des gesamten Modells könnte zufriedenstellend erscheinen. Die Tabelle zeigt jedoch etwas Wesentlicheres: Das Modell kommt mit den Schreibern A und B sehr gut zurecht, mit Schreibern C schlecht und versagt bei Schreiber D deutlich.

Daher ist das Hinzufügen weiterer zufälliger Seiten aus dem gesamten Buch möglicherweise nicht die Lösung.

Es wird viel nützlicher sein, ein weiteres Ground Truth hauptsächlich aus der Handschrift von Schreiber D und möglicherweise C zu erstellen.

10. Verwenden Sie das erste Modell, um zusätzliche Daten zu erstellen

Wir wenden das erste benutzerdefinierte Modell jetzt auf andere repräsentative Seiten an.

Beispielsweise haben wir ursprünglich 20 Minuten damit verbracht, eine Seite manuell zu transkribieren. Das erste Modell kann bereits ein Transkript erstellen, dessen manuelle Korrektur deutlich weniger Zeit in Anspruch nimmt.

Korrigierte Seiten werden zum neuen Ground Truth.

Dadurch entsteht ein Arbeitszyklus:

manuell Ground Truth → Modell 1 → automatische Transkription → Fix → erweitert Ground Truth → Modell 2

Das zweite Modell kann beispielsweise auf den ursprünglichen 45 Trainingsseiten trainiert werden, die durch zusätzliche 20 Seiten ergänzt werden, die sich hauptsächlich auf Schreiber konzentrieren, bei denen das erste Modell versagt hat.

11. Wiederholen Sie den Test mit denselben unabhängigen Daten

Nachdem wir die zweite Version des Modells erstellt haben, wiederholen wir die Auswertung.

Zum Beispiel können wir Folgendes erhalten:

Ein solches Ergebnis würde zeigen, dass die angestrebte Ground Truth-Erweiterung wirklich geholfen hat.

Die angezeigten Zahlen sind nur ein Modellbeispiel, nicht die erwarteten Werte für ein tatsächliches Archivdokument.

12. Wann sollte man mit dem Training aufhören?

Es gibt keine CER-Grenze, bei der das Modell automatisch „fertig“ ist.

Der Zweck entscheidet.

Wenn wir eine kritische Ausgabe einer historischen Quelle erstellen wollen, werden wir wahrscheinlich ohnehin eine menschliche Überprüfung praktisch des gesamten Textes benötigen.

Wenn wir jedoch 300 Seiten für Volltextsuchen und anschließende Recherchearbeiten zur Verfügung stellen müssen, kann der Nutzen einer weiteren Reduzierung von CER von 5 % auf 3 % geringer sein als der Arbeitsaufwand, der für die Erstellung zusätzlicher Ground Truth-Daten erforderlich ist.

Irgendwann stellt sich daher eine praktische Frage:

Lohnt es sich trotzdem, Arbeit in die Weiterbildung zu investieren, oder lohnt es sich, das Modell auf den verbleibenden Dokumenten laufen zu lassen?

Die Antwort hängt vom Verwendungszweck der resultierenden Daten ab.

13. Führen Sie das Modell für das gesamte Buch aus

Sobald das Modell auf repräsentativen Testseiten eine akzeptable Qualität aufweist, können wir es auf den verbleibenden ca. 230–250 Seiten des Buches verwenden.

Damit muss die Arbeit jedoch noch nicht enden.

Die automatische Transkription kann weiter sein:

• manuell korrigiert werden,
• indiziert werden,
• im Volltext durchsucht werden,
• in XML oder ein anderes strukturiertes Format exportiert werden,
• zur Suche nach Personen und Orten verwendet werden,
• mit Datenbankeinträgen verknüpft sein,
• als Grundlage für die weitere automatische Verarbeitung verwendet werden.

Bei einem Archivdatenprojekt ist es wichtig, neben dem resultierenden Text auch die Beziehung zwischen der Transkription und dem Originalbild des Dokuments beizubehalten. Der Forscher kann somit jederzeit zum Original zurückkehren und die automatisch erkannten Daten überprüfen.

Was man aus dem Beispiel mitnehmen kann

Der wichtigste Grundsatz ist nicht, „so viele Seiten wie möglich zu transkribieren“. Ziel ist es, einen möglichst kleinen, aber ausreichend repräsentativen und qualitativ hochwertigen Ground Truth zu schaffen, der der realen Variabilität des verarbeiteten Materials entspricht.

Für das erste Projekt kann das gesamte Verfahren wie folgt vereinfacht werden:

1. Sehen Sie sich das gesamte Dokument an.
2. Identifizieren Sie die wichtigsten Schreiber und Arten von Einträgen.
3. Wählen Sie repräsentative Seiten aus.
4. Legen Sie einheitliche Transkriptionsregeln fest.
5. Segmentierung prüfen.
6. Erstellen Sie Qualität Ground Truth.
7. Separate Trainings-, Validierungs- und möglicherweise Testdaten.
8. Trainieren Sie das erste Modell.
9. Testen Sie es auf bisher ungenutzten Seiten und einzelnen Schreibern.
10. Ergänzen Sie Ground Truth, insbesondere wenn das Modell versagt.
11. Trainieren Sie das Modell neu.
12. Sobald die Qualität dem Zweck des Projekts entspricht, wenden Sie sie auf den Rest des Dokuments an.

Dieser iterative Ansatz hat einen weiteren wichtigen Vorteil. Das Ergebnis des Projekts ist nicht nur ein trainiertes HTR-Modell. Außerdem wird ein verifizierter Ground Truth-Korpus erstellt, der aufbewahrt, veröffentlicht, zum Trainieren zukünftiger Modelle verwendet oder mit anderen Datensätzen kombiniert werden kann. Daher kann ein gut gemachtes Ground Truth auf lange Sicht mehr Wert haben als eine bestimmte Version des HTR-Modells, die später möglicherweise durch eine technisch fortschrittlichere Lösung ersetzt wird.