Trenowanie modeli HTR do rozpoznawania rękopisów historycznych

Co to jest model HTR?

Rozpoznawanie tekstu odręcznego (HTR) to technologia zaprojektowana w celu automatycznego rozpoznawania tekstu pisanego odręcznie z cyfrowych obrazów dokumentów. W przeciwieństwie do klasycznego OCR, który w przeszłości skupiał się głównie na dokumentach drukowanych, HTR musi pracować ze znacznie większą różnorodnością znaków, słów i całych stylów skrybów. Ta sama litera może mieć w rękopisie wiele form, a jej wygląd różni się nie tylko u poszczególnych skrybów, ale także w zależności od otaczających ją znaków, użytego przyrządu do pisania, okresu powstania dokumentu czy stanu fizycznego oryginału. [1]

Dlatego nowoczesne systemy HTR nie rozpoznają pisma ręcznego jedynie jako zbioru izolowanych liter. Wykorzystują modele uczenia maszynowego, które uczą się na przykładach relacji pomiędzy wizualną formą tekstu a odpowiadającą mu sekwencją znaków. W przypadku źródeł historycznych podejście to jest szczególnie istotne, gdyż pozwala na stworzenie modeli dostosowanych do określonego typu dokumentu, okresu, języka czy konkretnych rąk skrybów. [1] [2]

Ground Truth – podstawa szkolenia

Najważniejszym warunkiem stworzenia własnego modelu HTR są wysokiej jakości dane treningowe, zwykle określane jako Ground Truth (GT). Jest to para utworzona przez obraz odręcznego tekstu i jego dokładną ludzką transkrypcję. Model podczas treningu otrzymuje obraz tekstu wraz z informacją, jaki właściwie tekst znajduje się na danym obrazie i stopniowo uczy się łączyć obie reprezentacje. [2] [3]

Jakość Ground Truth jest krytyczna. Błędy w ręcznej transkrypcji nie są jedynie „szumem” dla modelu: podczas uczenia mogą zostać przedstawione jako poprawny wynik, którego model może się nauczyć. Z tego powodu transkrypcja szkolenia powinna być nie tylko tak dokładna, jak to możliwe, ale także wewnętrznie spójna. [2]

Spójność dotyczy na przykład:

• transkrypcja wielkich i małych liter,
• interpunkcja,
• spacje,
• pisownia historyczna,
• skróty i czy je rozwijać,
• znaki diakrytyczne,
• znaki specjalne,
• miejsca nieczytelne lub uszkodzone.

Przed przystąpieniem do szerszej transkrypcji wskazane jest zatem ustalenie jednolitych zasad transkrypcji. Z punktu widzenia uczenia maszynowego prostszy i konsekwentnie stosowany system jest zwykle korzystniejszy niż bardzo skomplikowane reguły, które nie są konsekwentnie stosowane w danych. [3]

Ile danych treningowych jest potrzebnych

Nie ma uniwersalnej odpowiedzi na pytanie, ile stron należy przepisać ręcznie. Wynik zależy od jednorodności dokumentów, liczby rąk skrybów, języka, jakości digitalizacji, złożoności pisma oraz tego, czy model jest tworzony od podstaw, czy opiera się na już istniejącym modelu.

Dokumentacja platformy Transkribus podaje przybliżony początkowy zakres od około 5 000 do 15 000 słów, czyli około 25 do 75 stron Ground Truth. W przypadku materiałów rękopiśmiennych zaleca się, aby na jedną rękę skryby przypadało około 10 000 słów. Modele wielkoskalowe, oparte na ponad 100 000 słów i wielu rękach z podobnego okresu i regionu, mogą być w stanie pracować z manuskryptami, które nie były bezpośrednio częścią danych treningowych. [2] Liczby te należy jednak rozumieć jako praktyczną rekomendację, a nie ustalony limit.

Ważniejsza od samej liczby stron jest ich reprezentatywność. Jeżeli model ma być zastosowany np. do zbioru archiwalnego składającego się z kilku skrybów, nie wystarczy wygenerowanie dużej ilości Ground Truth z pisma jednego skryby. Materiał szkoleniowy powinien zawierać rozsądną reprezentację różnych form pisma, które model ma później rozpoznać. [2]

To samo dotyczy dokumentów tworzonych przez długi okres czasu. Jeżeli charakter pisma autora zmieniał się na przestrzeni dziesięcioleci, w danych treningowych należy uwzględnić różne etapy jego pisania.

Segmentacja dokumentów

Rozpoznawanie tekstu to nie jedyne zadanie całego procesu. Jeszcze wcześniej system musi określić gdzie na stronie znajduje się tekst. Dokument może zawierać kilka obszarów tekstowych, kolumn, notatek na marginesach, tabel lub innych elementów utrudniających automatyczną analizę.

Dlatego podczas uczenia modelu rozpoznawania obszary obrazu lub linie, do których należy dany tekst, są również kojarzone z transkrypcjami. Popularne formaty danych, takie jak PAGE XML lub ALTO XML, umożliwiają wspólne przechowywanie transkrypcji i informacji o położeniu tekstu na obrazie. [3]

Jakość segmentacji może znacząco wpłynąć na wynik końcowy. Prace eksperymentalne wykazały, że model może osiągnąć znacznie lepsze wyniki przy odpowiednio przygotowanych liniach tekstu, niż przy zastosowaniu wadliwej automatycznej segmentacji. [4] Nieprawidłowo zdefiniowane granice linii mogą zatem powodować błędy, które na pierwszy rzut oka wydają się wadą samego modelu HTR.

Dane treningowe i walidacyjne

Podczas szkolenia Ground Truth jest zwykle dzielony tak, że nie całość jest wykorzystywana bezpośrednio do uczenia modelu. Część materiału odkładana jest jako zestaw walidacyjny.

Zbiór uczący służy do dostosowywania parametrów modelu. Dane walidacyjne nie służą natomiast jako bezpośrednie przykłady jego uczenia się, lecz pozwalają podczas szkolenia obserwować, jak model radzi sobie z materiałem, którego aktualnie nie wykorzystuje do własnej nauki. Domyślnie Transkribus współpracuje z sekcją Ground Truth oddzieloną do walidacji i zaleca około 10% dostępnych transkrypcji w swojej dokumentacji. [5]

Zbiór walidacyjny musi być również reprezentatywny. Jeśli dane treningowe zawierają na przykład kilku autorów, ale zestaw walidacyjny jest prawie wyłącznie pojedynczy, obliczony wskaźnik sukcesu może nie charakteryzować dobrze rzeczywistej przydatności modelu w całym zestawie dokumentów. [5]

W celu dokładniejszej oceny naukowej, oprócz zbioru uczącego i walidacyjnego, można utworzyć oddzielny zbiór testowy, który zostanie odłożony na bok podczas opracowywania modelu i wykorzystany jedynie do końcowej niezależnej oceny. Takie rozdzielenie danych uczących, walidacyjnych i testowych stosowane jest także w eksperymentach badawczych z HTR. [6]

CER – współczynnik błędów znaków

Jednym z podstawowych wskaźników jakości modelu HTR jest Współczynnik błędów znaków (CER). Wyraża proporcję błędów na poziomie znaków podczas porównywania automatycznie rozpoznanego tekstu z poprawną transkrypcją Ground Truth. Rezultatem są brakujące, zbędne i nieprawidłowo rozpoznane znaki. [7]

W uproszczeniu można powiedzieć, że:

CER = (podstawienie + pominięcie + wstawienie znaków) / liczba znaków tekstu odniesienia

Im niższy CER, tym dokładniejsza jest automatyczna transkrypcja. Na przykład Transkribus stwierdza, że ​​CER wynoszący 5% mniej więcej odpowiada sytuacji, w której na każde 100 znaków 95 jest rozpoznawanych poprawnie, a pięć błędnie. [7]

Jednakże samą wartość CER należy interpretować w kontekście. Model z bardzo niskim CER w dokumentach podobnych do jego danych treningowych może nie działać równie dobrze w przypadku innych skrybów lub innego rodzaju materiałów archiwalnych. Porównując modele, ważne jest zatem, aby wiedzieć na jakich danych obliczono CER i jak te dane przypominają dokumenty, na których model ma zostać wdrożony.

Nadmierne dopasowanie modelu

Jednym z zagrożeń treningu jest overfitting, czyli nadmierna adaptacja do danych treningowych. Model może bardzo dobrze dostosować się do przykładów szkoleniowych, nie poznając jednocześnie bardziej ogólnych cech pisma ręcznego. Rezultatem może być bardzo niski poziom błędów w przypadku znanych danych, ale znacznie gorsza rozpoznawalność nowych dokumentów.

Obserwowanie wyników w zestawie walidacyjnym pomaga ujawnić ten problem. Nowoczesne procedury szkoleniowe mogą również wykorzystywać wcześniejsze zatrzymanie: szkolenie zostaje zakończone, gdy kolejne epoki nie przynoszą już poprawy wyników danych walidacyjnych. [5]

Nie jest więc tak, że im dłużej trenujemy model, tym musi on być lepszy. Decydująca jest jego zdolność do uogólniania wyuczonych właściwości na wcześniej niewidziany materiał.

Korzystanie z już istniejącego modelu

Tworzenie modelu nie zawsze musi zaczynać się od zera. Jeśli istnieje model wytrenowany w podobnym języku, okresie lub stylu pisarza, można go użyć jako modelu podstawowego w niektórych systemach HTR i dodatkowo dostosować do własnych danych. [5]

Procedura ta jest zwykle określana jako dostrajanie lub szkolenie ustawiczne. Jego zaletą jest to, że model zawiera już pewną wiedzę na temat struktur znaków i nie musi uczyć się wszystkiego wyłącznie z nowo utworzonego Ground Truth. Może to zmniejszyć ilość ręcznie przepisywanego materiału wymaganego do uzyskania użytecznego wyniku. Korzyści z modelu wyjściowego nie są jednak automatyczne: musi on być wystarczająco podobny do materiału docelowego, a jego przydatność musi zostać sprawdzona eksperymentalnie. [5]

Znaczenie dostrajania potwierdzają także badania eksperymentalne. W przypadku niektórych korpusów historycznych dopasowanie odpowiedniego, wstępnie wyszkolonego modelu dało lepsze rezultaty niż zbudowanie modelu od zera. [4] [8]

Model specjalistyczny czy ogólny?

Przygotowując projekt HTR ważne jest określenie jak szeroki zakres dokumentów powinien obsługiwać powstały model.

Model wyspecjalizowany może dotyczyć np. pojedynczego skryby, pojedynczego urzędu lub jednorodnej serii dokumentów archiwalnych. Ponieważ rozwiązuje bardziej ograniczony problem, może osiągnąć bardzo dobre wyniki na odpowiednim materiale nawet przy stosunkowo ograniczonej ilości Ground Truth.

Model ogólny natomiast ma rozpoznawać większą liczbę skrybów, okresów czy typów dokumentów. Wymaga zatem znacznie bardziej zróżnicowanych danych treningowych. Jego zaletą jest szersze zastosowanie, natomiast wadą może być mniejsza celność na konkretnych rękach skrybów w porównaniu do modelu wąsko wyspecjalizowanego. [2] [9]

Rozbudowany model ogólny może również służyć jako podstawa do dalszej specjalizacji. W praktyce archiwalnej skuteczne może być połączenie ogólnego, wstępnie wytrenowanego modelu i mniejszej ilości wysokiej jakości Ground Truth utworzonego bezpośrednio z konkretnego zbioru archiwalnego.

Iteracyjne tworzenie modelu HTR

W praktyce Ground Truth nie da się stworzyć w całości ręcznie przed pierwszym szkoleniem. Skuteczna może być procedura w kilku cyklach:

1. dokonać ręcznej transkrypcji początkowego zestawu reprezentatywnych stron,
2. utwórz pierwszy model HTR,
3. zastosować go do innych dokumentów,
4. ręcznie popraw automatyczne transkrypcje,
5. umieść poprawione strony wśród Ground Truth,
6. utwórz nową wersję modelu,
7. w razie potrzeby powtórzyć procedurę.

Takie postępowanie pozwala na stopniowe poszerzanie korpusu szkoleniowego. Należy jednak podkreślić, że samo naprawienie automatycznej transkrypcji nie uczy istniejącego modelu. Skorygowane dane należy wykorzystać podczas dalszego uczenia lub dostrajania modelu. [10]

Wybierając nowe strony, nie warto skupiać się wyłącznie na dokumentach łatwych do odczytania. Jeżeli powstały model ma obsłużyć cały zbiór archiwalny, Ground Truth należy stopniowo uzupełniać o reprezentatywne przykłady trudniejszych rękopisów, różnych skrybów i inne typowe warianty.

Znaczenie otwartych danych treningowych

Dane treningowe stworzone na potrzeby jednego projektu mogą być również przydatne w innych badaniach. Inicjatywa HTR-United tworzy zatem katalog udokumentowanych zbiorów danych przeznaczonych do automatycznej transkrypcji i segmentacji dokumentów historycznych. Pliki danych mogą być publikowane np. w PAGE XML, ALTO XML lub jako kombinacja obrazów i plików tekstowych, a ich metadane zawierają także warunki dalszego wykorzystania. [11]

Jakość udostępniania Ground Truth pozwala nie tylko odtworzyć wyniki badań, ale także stworzyć bardziej ogólne modele lub wykorzystać istniejące dane do uczenia modeli dla powiązanego materiału. W dłuższej perspektywie najcenniejszym efektem projektu może być zatem nie tylko sam model HTR, ale także starannie stworzony i dobrze udokumentowany korpus szkoleniowy.

HTR w ramach pracy z danymi archiwalnymi

HTR nie można rozumieć jako jednorazowego „odczytania” rękopisu przez komputer. W praktyce archiwalnej jest to raczej proces, w którym łączy się digitalizację, analizę układu strony, transkrypcję ludzką, przygotowanie Ground Truth, uczenie modeli, automatyczne rozpoznawanie i sprawdzanie wyników.

Główną zaletą HTR nie musi być stworzenie idealnie perfekcyjnej edycji dokumentu. Nawet transkrypcja zawierająca pewną liczbę błędów może znacznie rozszerzyć możliwości pracy z obszernymi zbiorami archiwalnymi: umożliwia przeszukiwanie pełnotekstowe, wstępną orientację w dokumentach oraz tworzy czytelną maszynowo podstawę do dalszego przetwarzania danych historycznych. HTR może w ten sposób udostępnić treść zdigitalizowanych rękopisów, która w innym przypadku byłaby dostępna jedynie poprzez czasochłonne, ręczne czytanie poszczególnych dokumentów. [1]

Wykorzystane notatki i źródła

[1]MUEHLBERGER, Günter i in.; COLUTTO, Sebastian i in. Transforming scholarship in the archives through handwritten text recognition. Journal of Documentation, 2019. DOI: 10.1108/JD-07-2018-0114.
Dane artykułu i bibliografii

[2]CZYTAJ-COOP. Data Preparation – Training Text Recognition Models. Dokumentacja Transkribus. Zalecenia dotyczące tworzenia Ground Truth, ilość danych treningowych i reprezentacja rąk skryby.
Dokumentacja Transkribus – Przygotowanie danych

[3]Kraken OCR. Introduction to Automatic Text Recognition. Dokumentacja systemu Kraken; opis przygotowania danych treningowych, zasady transkrypcji oraz formaty PAGE XML i ALTO.
Kraken – Wprowadzenie do automatycznego rozpoznawania tekstu

[4]BÜTTNER, Jonas i in. From Manuscript to Model: Developing HTR for Medieval Greek. Proceedings of the Fourth Workshop on Language Technologies for Historic and Ancient Languages ​​(LT4HALA 2026), s. 139–151. W badaniu między innymi porównano szkolenie od początku z dostrajaniem i pokazano wpływ segmentacji na uzyskany poziom błędów. DOI: 10.63317/47tkobv5mgbu.

[5]CZYTAJ-COOP. Model Setup and Training. Dokumentacja Transkribus. Opis zbioru uczącego i walidacyjnego, modeli bazowych, epok i wczesnego zatrzymywania.