Trénování HTR modelů pro rozpoznávání historických rukopisů

Co je HTR model

Handwritten Text Recognition (HTR) je technologie určená k automatickému rozpoznávání rukopisného textu z digitálních obrazů dokumentů. Na rozdíl od klasického OCR, které bylo historicky zaměřeno především na tištěné předlohy, musí HTR pracovat s výrazně větší variabilitou znaků, slov a celých písařských stylů. Stejné písmeno může mít v rukopisu mnoho podob a jeho vzhled se mění nejen mezi jednotlivými písaři, ale také podle okolních znaků, použitého psacího nástroje, období vzniku dokumentu nebo fyzického stavu předlohy.[1]

Moderní systémy HTR proto nerozpoznávají rukopis pouze jako soubor izolovaných písmen. Využívají modely strojového učení, které se z příkladů učí vztah mezi obrazovou podobou textu a odpovídající posloupností znaků. Pro historické prameny je tento přístup zvlášť významný, protože umožňuje vytvářet modely přizpůsobené určitému typu dokumentů, období, jazyku nebo konkrétním písařským rukám.[1][2]

Ground Truth – základ trénování

Nejdůležitějším předpokladem pro vytvoření vlastního HTR modelu jsou kvalitní trénovací data, zpravidla označovaná jako Ground Truth (GT). Jde o dvojici tvořenou obrazem rukopisného textu a jeho přesným lidským přepisem. Model při trénování dostává obrazovou podobu textu společně s informací, jaký text se na daném obrazu skutečně nachází, a postupně se učí obě reprezentace spojovat.[2][3]

Kvalita Ground Truth má zásadní význam. Chyby v ručním přepisu nejsou pro model pouhým „šumem“: během trénování mohou být prezentovány jako správný výsledek, který se má model naučit. Z toho důvodu by měla být trénovací transkripce nejen co nejpřesnější, ale také vnitřně konzistentní.[2]

Konzistence se týká například:

• přepisu velkých a malých písmen,
• interpunkce,
• mezer,
• historického pravopisu,
• zkratek a jejich případného rozepisování,
• diakritiky,
• speciálních znaků,
• nečitelných nebo poškozených míst.

Před zahájením rozsáhlejší transkripce je proto vhodné stanovit jednotná transkripční pravidla. Z hlediska strojového učení bývá jednodušší a důsledně aplikovaný systém výhodnější než velmi komplikovaná pravidla, která nejsou v datech používána konzistentně.[3]

Kolik trénovacích dat je potřeba

Na otázku, kolik stran je nutné ručně přepsat, neexistuje univerzální odpověď. Výsledek závisí na homogenitě dokumentů, počtu písařských rukou, jazyku, kvalitě digitalizace, složitosti písma i na tom, zda je model vytvářen od začátku, nebo vychází z již existujícího modelu.

Dokumentace platformy Transkribus uvádí jako orientační počáteční rozsah přibližně 5 000 až 15 000 slov, tedy zhruba 25 až 75 stran Ground Truth. Pro rukopisný materiál doporučuje přibližně 10 000 slov pro jednu písařskou ruku. Rozsáhlé modely založené na více než 100 000 slovech a mnoha rukách z obdobného období a regionu mohou být schopné pracovat také s rukopisy, které nebyly přímo součástí trénovacích dat.[2] Tato čísla je však třeba chápat jako praktické doporučení, nikoli jako pevnou hranici.

Důležitější než samotný počet stran je jejich reprezentativnost. Pokud má být model použit například na archivní fond obsahující několik písařů, nestačí vytvořit velké množství Ground Truth z rukopisu jediného z nich. Trénovací materiál by měl v přiměřeném zastoupení obsahovat různé podoby písma, které má model později rozpoznávat.[2]

Totéž platí pro dokumenty vznikající během dlouhého časového období. Jestliže se rukopis jednoho autora během desetiletí měnil, měly by být v trénovacích datech zastoupeny různé etapy jeho psaní.

Segmentace dokumentu

Rozpoznávání textu není jedinou úlohou celého procesu. Ještě před ním musí systém určit, kde se text na stránce nachází. Dokument může obsahovat několik textových oblastí, sloupců, marginální poznámky, tabulky nebo jiné prvky komplikující automatickou analýzu.

Při trénování rozpoznávacího modelu jsou proto s transkripcemi spojeny také obrazové oblasti nebo řádky, ke kterým příslušný text patří. Běžné datové formáty, například PAGE XML nebo ALTO XML, umožňují ukládat společně transkripci a informace o poloze textu v obrazu.[3]

Kvalita segmentace může výrazně ovlivnit konečný výsledek. Experimentální práce ukazují, že model může při správně připravených textových řádcích dosahovat podstatně lepších výsledků než při použití chybné automatické segmentace.[4] Špatně určené hranice řádků proto mohou způsobovat chyby, které na první pohled vypadají jako nedostatek samotného HTR modelu.

Trénovací a validační data

Ground Truth se při trénování obvykle nerozděluje pouze na data, ze kterých se model přímo učí. Část materiálu je vyčleněna jako validační sada.

Trénovací sada slouží k úpravě parametrů modelu. Validační data naproti tomu nejsou používána jako přímé příklady k jeho učení, ale umožňují během trénování sledovat, jak model pracuje s materiálem, který právě nepoužívá k vlastnímu učení. Transkribus standardně pracuje s vyčleněním části Ground Truth pro validaci a ve své dokumentaci doporučuje kolem 10 % dostupných přepisů.[5]

Také validační sada musí být reprezentativní. Jestliže trénovací data obsahují například několik písařů, ale validační sada téměř výhradně jediného, vypočtená úspěšnost nemusí dobře charakterizovat skutečnou použitelnost modelu na celém souboru dokumentů.[5]

Pro důkladnější vědecké hodnocení lze vedle trénovací a validační sady vytvořit ještě samostatnou testovací sadu, která zůstane při vývoji modelu stranou a poslouží až k jeho závěrečnému nezávislému vyhodnocení. Takové oddělení trénovacích, validačních a testovacích dat se používá také v odborných experimentech s HTR.[6]

CER – Character Error Rate

Jedním ze základních ukazatelů kvality HTR modelu je Character Error Rate (CER). Vyjadřuje podíl chyb na úrovni znaků při porovnání automaticky rozpoznaného textu se správnou transkripcí Ground Truth. Do výsledku vstupují chybějící, nadbytečné i chybně rozpoznané znaky.[7]

Zjednodušeně lze říci, že:

CER = (substituce + vynechání + vložení znaků) / počet znaků referenčního textu

Čím nižší CER je, tím přesnější je automatický přepis. Transkribus například uvádí, že CER 5 % přibližně odpovídá situaci, kdy je z každých 100 znaků 95 rozpoznáno správně a pět chybně.[7]

Samotnou hodnotu CER je však nutné interpretovat v kontextu. Model s velmi nízkým CER na dokumentech podobných jeho trénovacím datům nemusí stejně dobře fungovat na jiných písařích nebo jiném typu archivního materiálu. Při porovnávání modelů je proto důležité vědět, na jakých datech byl CER vypočten a jak se tato data podobají dokumentům, na něž má být model nasazen.

Přeučení modelu

Jedním z rizik trénování je overfitting, tedy přeučení. Model se může velmi dobře přizpůsobit trénovacím příkladům, aniž by se stejně dobře naučil obecnější charakteristiky písma. Výsledkem může být velmi nízká chybovost na známých datech, ale podstatně horší rozpoznávání nových dokumentů.

Právě sledování výsledků na validační sadě pomáhá tento problém odhalit. Moderní trénovací postupy mohou využívat také early stopping: trénování se ukončí ve chvíli, kdy další epochy již nepřinášejí zlepšení výsledků na validačních datech.[5]

Neplatí tedy, že čím déle model trénujeme, tím musí být lepší. Rozhodující je jeho schopnost zobecnit naučené vlastnosti na dosud neviděný materiál.

Využití již existujícího modelu

Vytvoření modelu nemusí vždy začínat od nuly. Pokud existuje model natrénovaný na podobném jazyce, období nebo písařském stylu, lze jej v některých HTR systémech použít jako výchozí model (base model) a dále jej přizpůsobit vlastním datům.[5]

Tento postup se obvykle označuje jako fine-tuning nebo pokračující trénování. Jeho výhodou je, že model již obsahuje určitou znalost znakových struktur a není nutné, aby se vše učil výhradně z nově vytvořeného Ground Truth. To může snížit množství ručně přepsaného materiálu potřebného k dosažení použitelného výsledku. Přínos výchozího modelu však není automatický: musí být dostatečně podobný cílovému materiálu a jeho vhodnost je nutné experimentálně ověřit.[5]

Význam fine-tuningu potvrzují také experimentální studie. U některých historických korpusů poskytlo přizpůsobení vhodného předtrénovaného modelu lepší výsledky než vytvoření modelu od začátku.[4][8]

Specializovaný, nebo obecný model?

Při přípravě HTR projektu je důležité určit, jak široké spektrum dokumentů má výsledný model zvládnout.

Specializovaný model může být zaměřen například na jediného písaře, jednu kancelář nebo homogenní sérii archivních dokumentů. Protože řeší omezenější problém, může na odpovídajícím materiálu dosáhnout velmi dobrých výsledků i s relativně omezeným množstvím Ground Truth.

Obecný model má naopak rozpoznávat větší množství písařů, období nebo typů dokumentů. Vyžaduje proto mnohem pestřejší trénovací data. Jeho výhodou je širší použitelnost, zatímco nevýhodou může být nižší přesnost na konkrétní písařské ruce ve srovnání s úzce specializovaným modelem.[2][9]

Rozsáhlý obecný model může zároveň posloužit jako základ pro další specializaci. Pro archivní praxi tak může být efektivní kombinace obecného předtrénovaného modelu a menšího množství kvalitního Ground Truth vytvořeného přímo z konkrétního fondu.

Iterativní vytváření HTR modelu

V praxi nemusí být Ground Truth vytvořen celý ručně ještě před prvním trénováním. Efektivní může být postup v několika cyklech:

1. ručně přepsat počáteční soubor reprezentativních stran,
2. vytvořit první HTR model,
3. použít jej na další dokumenty,
4. automatické přepisy ručně opravit,
5. opravené stránky zařadit mezi Ground Truth,
6. vytvořit novou verzi modelu,
7. postup opakovat podle potřeby.

Takový postup umožňuje postupně rozšiřovat trénovací korpus. Je však důležité zdůraznit, že pouhá oprava automatického přepisu sama o sobě již existující model neučí. Opravená data je nutné použít při dalším trénování nebo fine-tuningu modelu.[10]

Při výběru nových stran je vhodné nesoustředit se pouze na snadno čitelné dokumenty. Pokud má výsledný model zvládat celý archivní soubor, měly by Ground Truth postupně doplňovat také reprezentativní příklady obtížnějších rukopisů, odlišných písařů a dalších typických variant.

Význam otevřených trénovacích dat

Trénovací data vytvořená pro jeden projekt mohou mít hodnotu i pro další výzkum. Iniciativa HTR-United proto vytváří katalog zdokumentovaných datasetů určených pro automatickou transkripci a segmentaci historických dokumentů. Datové soubory mohou být publikovány například v PAGE XML, ALTO XML nebo jako kombinace obrazů a textových souborů a jejich metadata zahrnují také podmínky dalšího využití.[11]

Sdílení kvalitního Ground Truth umožňuje nejen reprodukovat výsledky výzkumu, ale také vytvářet obecnější modely nebo využívat již existující data při trénování modelů pro příbuzný materiál. Z dlouhodobého hlediska proto nemusí být nejcennějším výsledkem projektu pouze samotný HTR model, ale také pečlivě vytvořený a dobře zdokumentovaný trénovací korpus.

HTR jako součást práce s archivními daty

HTR nelze chápat jako jednorázové „přečtení“ rukopisu počítačem. V archivní praxi jde spíše o proces, v němž se propojuje digitalizace, analýza rozvržení stránky, lidská transkripce, příprava Ground Truth, trénování modelu, automatické rozpoznávání a kontrola výsledků.

Hlavní výhodou HTR přitom nemusí být vytvoření dokonale bezchybné edice dokumentu. I přepis obsahující určité množství chyb může výrazně rozšířit možnosti práce s rozsáhlými archivními fondy: dovoluje fulltextové vyhledávání, předběžnou orientaci v dokumentech a vytváří strojově čitelný podklad pro další zpracování historických dat. HTR tak může zpřístupnit obsah digitalizovaných rukopisů, který by jinak zůstal dostupný pouze prostřednictvím časově náročného manuálního čtení jednotlivých dokumentů.[1]

Poznámky a použité zdroje

[1] MUEHLBERGER, Günter et al.; COLUTTO, Sebastian et al. Transforming scholarship in the archives through handwritten text recognition. Journal of Documentation, 2019. DOI: 10.1108/JD-07-2018-0114.
Článek a bibliografické údaje

[2] READ-COOP. Data Preparation – Training Text Recognition Models. Dokumentace Transkribus. Doporučení k tvorbě Ground Truth, množství trénovacích dat a zastoupení písařských rukou.
Dokumentace Transkribus – Data Preparation

[3] Kraken OCR. Introduction to Automatic Text Recognition. Dokumentace systému Kraken; popis přípravy trénovacích dat, transkripčních pravidel a formátů PAGE XML a ALTO.
Kraken – Introduction to Automatic Text Recognition

[4] BÜTTNER, Jonas et al. From Manuscript to Model: Developing HTR for Medieval Greek. Proceedings of the Fourth Workshop on Language Technologies for Historical and Ancient Languages (LT4HALA 2026), s. 139–151. Studie porovnává mimo jiné trénování od začátku s fine-tuningem a ukazuje vliv segmentace na výslednou chybovost. DOI: 10.63317/47tkobv5mgbu.

[5] READ-COOP. Model Setup and Training. Dokumentace Transkribus. Popis trénovací a validační sady, base modelů, epoch a early stopping.