HTR-modellek betanítása történelmi kéziratok felismerésére

Mi az a HTR modell?

A kézírás-felismerés (HTR) egy olyan technológia, amelyet arra terveztek, hogy automatikusan felismerje a kézzel írt szöveget a digitális dokumentumok képeiből. Ellentétben a klasszikus OCR-rel, amely történelmileg elsősorban a nyomtatott dokumentumokra összpontosított, a HTR-nek a karakterek, szavak és teljes írásstílusok lényegesen nagyobb variálhatóságával kell dolgoznia. Ugyanazon betűnek sokféle formája lehet egy kéziratban, megjelenése nemcsak az egyes írnokok között változik, hanem a környező karakterek, a használt íróeszköz, az irat keletkezési időszaka vagy az eredeti fizikai állapota szerint is. [1]

A modern HTR rendszerek ezért nem ismerik fel a kézírást csak elszigetelt betűk gyűjteményeként. Gépi tanulási modelleket használnak, amelyek példákból tanulják meg a szöveg vizuális formája és a megfelelő karaktersorozat közötti kapcsolatot. A történeti források esetében ez a megközelítés különösen fontos, mivel lehetővé teszi egy bizonyos típusú dokumentumhoz, korszakhoz, nyelvhez vagy konkrét írnokkézhez igazodó modellek létrehozását. [1] [2]

Ground Truth – a képzés alapja

A saját HTR modell létrehozásának legfontosabb előfeltétele a kiváló minőségű tanítási adatok, amelyeket általában Ground Truth (GT) néven említenek. Ez egy kézírásos szöveg képéből és annak pontos emberi átírásából alkotott pár. A modell a betanítás során képet kap a szövegről, valamint információt arról, hogy az adott képen valójában milyen szöveg található, és fokozatosan megtanulja kombinálni a két ábrázolást. [2] [3]

A Ground Truth minősége kritikus. A kézi átírás hibái nem csak „zajt” jelentenek a modell számára: a képzés során ezek a helyes eredményként jeleníthetők meg a modell számára. Emiatt a képzési átírásnak nemcsak a lehető legpontosabbnak kell lennie, hanem belsőleg konzisztensnek is kell lennie. [2]

Az összhang például a következőkre vonatkozik:

• nagy- és kisbetűk átírása,
• írásjelek,
• szóközök,
• történelmi helyesírás,
• rövidítések és azok bővítése,
• mellékjelek,
• különleges írásjelek,
• olvashatatlan vagy sérült helyek.

A kiterjedtebb átírás megkezdése előtt ezért tanácsos egységes átírási szabályokat megállapítani. Gépi tanulási szempontból egy egyszerűbb és következetesen alkalmazott rendszer előnyösebb, mint a nagyon bonyolult szabályok, amelyeket nem alkalmaznak következetesen az adatokban. [3]

Mennyi tanítási adatra van szükség

Nincs általános válasz arra a kérdésre, hogy hány oldalt kell manuálisan átírni. Az eredmény függ a dokumentumok homogenitásától, az írnoki kezek számától, a nyelvtől, a digitalizálás minőségétől, a kézírás összetettségétől, valamint attól, hogy a modell a semmiből készül-e, vagy egy már meglévő modellen alapul.

A Transkribus platform dokumentációja körülbelül 5 000 és 15 000 szó közötti kezdeti tartományt ad, vagy nagyjából 25 és 75 oldal közötti Ground Truth oldalt. Kéziratos anyagokhoz körülbelül 10 000 szót ajánl egy írásbeli kézhez. A több mint 100 000 szón és sok, hasonló időszakból és régióból származó kézen alapuló nagy léptékű modellek képesek lehetnek olyan kéziratokkal dolgozni, amelyek nem közvetlenül részei a képzési adatoknak. [2] Ezeket a számokat azonban gyakorlati ajánlásként kell értelmezni, nem pedig rögzített határként.

Az oldalak puszta számánál sokkal fontosabb a reprezentatív jellegük. Ha a modellt például több írnokot tartalmazó archív gyűjteményre kívánjuk alkalmazni, akkor nem elegendő egyetlen írnok kézírásából nagy mennyiségű Ground Truth előállítása. A képzési anyagnak tartalmaznia kell az írás különböző formáinak ésszerű ábrázolását, amelyeket a modellnek később fel kell ismernie. [2]

Ugyanez vonatkozik a hosszú időn keresztül létrehozott dokumentumokra is. Ha egy szerző kézírása évtizedek alatt megváltozott, írásának különböző szakaszait kell megjeleníteni a képzési adatokban.

Dokumentum szegmentálás

A szövegfelismerés nem az egyetlen feladata az egész folyamatnak. Még előtte meg kell határoznia a rendszernek, hogy hol található a szöveg az oldalon. Egy dokumentum több szövegterületet, oszlopot, széljegyzetet, táblázatot vagy egyéb, az automatikus elemzést bonyolító elemet tartalmazhat.

Ezért a felismerési modell betanítása során a képterületek vagy sorok, amelyekhez a megfelelő szöveg tartozik, szintén társításra kerülnek az átírásokhoz. Az általános adatformátumok, például a PAGE XML vagy a ALTO XML lehetővé teszik az átírást és a képen lévő szöveg helyzetével kapcsolatos információk együttes tárolását. [3]

A szegmentálás minősége jelentősen befolyásolhatja a végeredményt. A kísérleti munka azt mutatja, hogy a modell lényegesen jobb eredményeket érhet el megfelelően előkészített szövegsorokkal, mint hibás automatikus szegmentálás esetén. [4] A helytelenül meghatározott vonalhatárok ezért olyan hibákat okozhatnak, amelyek első pillantásra magának a HTR modellnek a hiányosságainak tűnnek.

Képzési és érvényesítési adatok

A tanítás során a Ground Truth általában fel van osztva, így nem az egészet használják közvetlenül a modell tanítására. Az anyag egy része ellenőrző készletként van félretéve.

Az oktatókészlet a modell paramétereinek beállítására szolgál. A validációs adatok viszont nem direkt példaként szolgálnak a tanuláshoz, hanem lehetővé teszik, hogy a képzés során megfigyeljük, hogyan működik a modell olyan anyagokkal, amelyeket jelenleg nem használ saját tanulására. Alapértelmezés szerint a Transkribus az érvényesítésre elkülönített Ground Truth szekcióval működik, és a rendelkezésre álló átiratok körülbelül 10%-át ajánlja a dokumentációjában. [5]

Az érvényesítési készletnek is reprezentatívnak kell lennie. Ha a betanítási adatok például több írnokot tartalmaznak, de az érvényesítési halmaz szinte kizárólag egyetlen, akkor előfordulhat, hogy a számított sikerarány nem jól jellemzi a modell tényleges alkalmazhatóságát a teljes dokumentumkészleten. [5]

Az alaposabb tudományos értékeléshez a képzési és validációs készleten kívül külön tesztkészlet is létrehozható, amelyet a modellfejlesztés során félretesszük és csak a végső független értékeléshez használunk. A képzési, érvényesítési és tesztadatok ilyen elkülönítését a HTR-vel végzett kutatási kísérletekben is használják. [6]

CER – Karakterhiba-arány

A HTR modell egyik alapvető minőségi mutatója a Character Error Rate (CER ). A karakterszintű hibák arányát fejezi ki, amikor az automatikusan felismert szöveget a helyes Ground Truth átírással hasonlítja össze. Az eredmény hiányzó, redundáns és helytelenül felismert karaktereket tartalmaz. [7]

Egyszerűen elmondható, hogy:

CER = (helyettesítés + kihagyás + karakterek beszúrása) / referenciaszöveg karaktereinek száma

Minél alacsonyabb a CER, annál pontosabb az automatikus átírás. Például a Transkribus azt állítja, hogy az 5%-os CER nagyjából megfelel egy olyan helyzetnek, amikor minden 100 karakterből 95 helyesen, öt pedig helytelenül kerül felismerésre. [7]

Magát a CER értéket azonban kontextusban kell értelmezni. Előfordulhat, hogy az a modell, amelynek CER értéke nagyon alacsony a betanítási adataihoz hasonló dokumentumokon, nem teljesít olyan jól más írnokokon vagy más típusú archív anyagokon. A modellek összehasonlításakor ezért fontos tudni, hogy mely adatok alapján számították ki a CER-t, és ezek az adatok hogyan hasonlítanak azokhoz a dokumentumokhoz, amelyeken a modellt telepíteni kívánják.

Modell túlillesztés

A tanítás egyik kockázata a túlillesztés, azaz a tanítási adatokhoz való túlzott alkalmazkodás. Egy modell nagyon jól tud alkalmazkodni a gyakorlati példákhoz anélkül, hogy megtanulná a kézírás általánosabb jellemzőit is. Ennek eredménye lehet az ismert adatok nagyon alacsony hibaaránya, de az új dokumentumok lényegesen rosszabb felismerése.

Az ellenőrzési halmaz eredményeinek megfigyelése segít feltárni ezt a problémát. A modern képzési eljárások használhatják a korai leállítást is: a képzés akkor fejeződik be, ha a további epochok már nem hoznak javulást az érvényesítési adatok eredményeiben. [5]

Tehát nem az a helyzet, hogy minél tovább képezzük a modellt, annál jobbnak kell lennie. A döntő az a képessége, hogy a tanult tulajdonságokat korábban nem látott anyagra tudja általánosítani.

Már meglévő modell használata

A modellkészítést nem mindig a nulláról kell kezdeni. Ha létezik hasonló nyelvre, korszakra vagy írásbeli stílusra kiképzett modell, akkor egyes HTR rendszerekben alapmodellként használható, és tovább adaptálható a saját adataihoz. [5]

Ezt az eljárást általában finomhangolásnak vagy továbbképzésnek nevezik. Előnye, hogy a modell már tartalmaz némi ismeretet a karakterstruktúrákról, és nem kell mindent kizárólag az újonnan létrehozott Ground Truth-ből tanulnia. Ezzel csökkenthető a használható eredmény eléréséhez szükséges kézzel átírt anyag mennyisége. A kiindulási modell haszna azonban nem automatikus: kellően hasonlónak kell lennie a célanyaghoz, és alkalmasságát kísérletileg igazolni kell. [5]

A finomhangolás fontosságát kísérleti vizsgálatok is megerősítik. Egyes történeti korpuszok esetében a megfelelő előképzett modell illesztése jobb eredményeket hozott, mint a modell elölről történő felépítése. [4] [8]

Speciális vagy általános modell?

A HTR projekt előkészítésekor fontos meghatározni, hogy az eredményül kapott modellnek milyen széles dokumentumkört kell kezelnie.

Egy speciális modell például egyetlen írnokra, egyetlen irodára vagy archív dokumentumok homogén sorozatára összpontosíthat. Mivel egy korlátozottabb problémát old meg, nagyon jó eredményeket érhet el a megfelelő anyagon még viszonylag korlátozott mennyiségű Ground Truth esetén is.

Ezzel szemben az általános modell állítólag nagyobb számú írnokot, időszakot vagy dokumentumtípust ismer fel. Ezért sokkal változatosabb tanítási adatokra van szükség. Előnye a szélesebb körű alkalmazhatóság, hátránya pedig a szűken specializálódott modellhez képest kisebb pontosság adott írnoka kezeken. [2] [9]

Egy kiterjedt általános modell a további specializáció alapjául is szolgálhat. A levéltári gyakorlathoz egy általános előre betanított modell és egy kisebb mennyiségű, közvetlenül egy adott archív gyűjteményből készített kiváló minőségű Ground Truth kombinációja lehet eredményes.

A HTR modell iteratív létrehozása

A gyakorlatban a Ground Truth nem hozható létre teljesen kézzel az első tanítás előtt. A több ciklusból álló eljárás eredményes lehet:

1. kézzel írja át a reprezentatív oldalak kezdeti készletét,
2. létrehozza az első HTR modellt,
3. alkalmazza más dokumentumokra,
4. manuálisan korrigálja az automatikus átírásokat,
5. A a javított oldalakat a Ground Truth közé helyezi,
6. létrehozza a modell új verzióját,
7. szükség szerint ismételje meg az eljárást.

Egy ilyen eljárás lehetővé teszi a képzési korpusz fokozatos bővítését. Fontos azonban hangsúlyozni, hogy az automatikus átírás javítása önmagában nem tanít meg egy már létező modellt. A javított adatokat a modell továbbképzése vagy finomhangolása során kell felhasználni. [10]

Új oldalak kiválasztásakor nem célszerű csak a könnyen olvasható dokumentumokra koncentrálni. Ha az eredményül kapott modell a teljes archív gyűjteményt kezeli, a Ground Truth-t fokozatosan ki kell egészíteni a bonyolultabb kéziratok reprezentatív példáival, különböző írnokokkal és más tipikus változatokkal.

A nyílt tanítási adatok fontossága

Az egyik projekthez készített képzési adatok más kutatások számára is értékesek lehetnek. A HTR-United kezdeményezés ezért létrehozza a dokumentált adatkészletek katalógusát a történelmi dokumentumok automatikus átírására és szegmentálására. Az adatfájlok közzétehetők például PAGE XML, ALTO XML nyelven vagy képek és szöveges fájlok kombinációjaként, és ezek metaadatai a további felhasználás feltételeit is tartalmazzák. [11]

Megosztási minőség A Ground Truth nemcsak a kutatási eredmények reprodukálását teszi lehetővé, hanem általánosabb modellek létrehozását vagy a már meglévő adatok felhasználását a kapcsolódó anyagok modelljeinek betanításához. Hosszú távon tehát a projekt legértékesebb eredménye nem csak maga a HTR modell lehet, hanem a gondosan megalkotott és jól dokumentált képzési korpusz is.

HTR az archív adatokkal való munka részeként

A HTR nem értelmezhető úgy, mint egy kézirat egyszeri számítógép általi "olvasása". A levéltári gyakorlatban inkább egy olyan folyamatról van szó, amelyben a digitalizálás, az oldalelrendezés elemzés, a humán átírás, a Ground Truth előkészítés, a modell betanítás, az automatikus felismerés és az eredményellenőrzés összekapcsolódik.

A HTR fő előnye nem feltétlenül a dokumentum tökéletesen hibátlan kiadásának létrehozása. Már egy bizonyos számú hibát tartalmazó átirat is jelentősen bővítheti a kiterjedt levéltári gyűjteményekkel való munkavégzés lehetőségeit: teljes szöveges keresést, előzetes tájékozódást tesz lehetővé a dokumentumokban és gépi olvasható alapot teremt a történeti adatok további feldolgozásához. A HTR így elérhetővé teheti a digitalizált kéziratok tartalmát, amelyek egyébként csak az egyes dokumentumok időigényes kézi olvasásával maradnának elérhetőek. [1]

Felhasznált megjegyzések és források

[1]MUEHLBERGER, Günter et al.; COLUTTO, Sebastian et al. Transforming scholarship in the archives through handwritten text recognition. Journal of Documentation, 2019. DOI: 10.1108/JD-07-2018-0114.
cikk és bibliográfiai adatok

[2]READ-COOP. Data Preparation – Training Text Recognition Models. Transkribus dokumentáció. Javaslatok a Ground Truth létrehozásához, a képzési adatok mennyiségéhez és az írnokok ábrázolásához.
Transkribus Dokumentáció – Adat-előkészítés

[3]Kraken OCR. Introduction to Automatic Text Recognition. Kraken rendszerdokumentáció; a képzési adatok elkészítésének leírása, az átírási szabályok és a PAGE XML és ALTO formátumok.
Kraken – Bevezetés az automatikus szövegfelismerésbe

[4]BÜTTNER, Jonas et al. From Manuscript to Model: Developing HTR for Medieval Greek. A történelmi és ókori nyelvek nyelvtechnológiáival foglalkozó negyedik műhelymunka anyaga (LT4HALA 2026), 139–151. A tanulmány többek között összehasonlítja a képzést a kezdetektől a finomhangolással, és bemutatja a szegmentáció hatását a kapott hibaarányra. DOI: 10.63317/47tkobv5mgbu.

[5]READ-COOP. Model Setup and Training. Transkribus dokumentáció. A képzési és érvényesítési készlet leírása, az alapmodellek, a korszakok és a korai leállítás.