Entraînement de modèles HTR pour la reconnaissance de manuscrits historiques

Qu'est-ce qu'un modèle HTR ?

La reconnaissance de texte manuscrit (HTR) est une technologie conçue pour reconnaître automatiquement le texte manuscrit à partir d'images de documents numériques. Contrairement à l'OCR classique, qui s'est historiquement concentré principalement sur les documents imprimés, HTR doit fonctionner avec une variabilité beaucoup plus grande de caractères, de mots et de styles de scribes entiers. La même lettre peut prendre plusieurs formes dans un manuscrit, et son apparence varie non seulement selon les scribes individuels, mais aussi selon les caractères qui l'entourent, l'instrument d'écriture utilisé, la période de création du document ou l'état physique de l'original. [1]

Les systèmes modernes HTR ne reconnaissent donc pas l'écriture manuscrite uniquement comme un ensemble de lettres isolées. Ils utilisent des modèles d'apprentissage automatique qui apprennent à partir d'exemples la relation entre la forme visuelle du texte et la séquence de caractères correspondante. Pour les sources historiques, cette approche est particulièrement importante, car elle permet de créer des modèles adaptés à un certain type de document, une période, une langue ou des mains de scribes spécifiques. [1] [2]

Ground Truth – la base de l’entraînement

La condition préalable la plus importante pour créer votre propre modèle HTR est de disposer de données d’entraînement de haute qualité, généralement appelées Ground Truth (GT). C'est un couple formé par l'image d'un texte manuscrit et sa transcription humaine exacte. Au cours de l’entraînement, le modèle reçoit une image du texte ainsi que des informations sur le type de texte réellement trouvé dans l'image donnée, et apprend progressivement à combiner les deux représentations. [2] [3]

La qualité Ground Truth est essentielle. Les erreurs de transcription manuelle ne sont pas que du « bruit » pour le modèle : lors de l'entraînement, elles peuvent être présentées comme le résultat correct à apprendre par le modèle. Pour cette raison, la transcription de l’entraînement doit non seulement être aussi précise que possible, mais également cohérente en interne. [2]

La cohérence s'applique par exemple à :

• transcription des lettres majuscules et minuscules,
• ponctuation,
• espaces,
• orthographe historique,
• abréviations et s'il faut les développer,
• signes diacritiques,
• caractères spéciaux,
• endroits illisibles ou endommagés.

Avant de se lancer dans une transcription plus poussée, il convient donc d’établir des règles de transcription uniformes. Du point de vue de l’apprentissage automatique, un système plus simple et appliqué de manière cohérente a tendance à être plus bénéfique que des règles très compliquées qui ne sont pas utilisées de manière cohérente dans les données. [3]

Quelle quantité de données d’entraînement est nécessaire

Il n’existe pas de réponse universelle à la question de savoir combien de pages doivent être transcrites manuellement. Le résultat dépend de l'homogénéité des documents, du nombre de mains de scribe, de la langue, de la qualité de la numérisation, de la complexité de l'écriture manuscrite et du fait que le modèle soit créé de toutes pièces ou s'appuie sur un modèle déjà existant.

La documentation de la plateforme Transkribus donne une plage initiale approximative d'environ 5 000 à 15 000 mots, soit environ 25 à 75 pages de Ground Truth. Pour le matériel manuscrit, il recommande environ 10 000 mots pour une main de scribe. Des modèles à grande échelle basés sur plus de 100 000 mots et de nombreuses mains d’une période et d’une région similaires peuvent être capables de travailler avec des manuscrits qui ne faisaient pas directement partie des données d’entraînement. [2] Toutefois, ces chiffres doivent être compris comme une recommandation pratique et non comme une limite fixe.

Plus importante que le simple nombre de pages est leur représentativité. Si le modèle doit être appliqué, par exemple, à une collection d'archives contenant plusieurs scribes, il ne suffit pas de générer une grande quantité de Ground Truth à partir de l'écriture manuscrite d'un seul scribe. Le matériel d’entraînement doit contenir une représentation raisonnable des différentes formes d’écriture, que le modèle est censé reconnaître ultérieurement. [2]

Il en va de même pour les documents créés sur une longue période. Si l'écriture d'un auteur a changé au fil des décennies, différentes étapes de son écriture doivent être représentées dans les données d’entraînement.

Segmentation des documents

La reconnaissance de texte n'est pas la seule tâche de l'ensemble du processus. Même avant cela, le système doit déterminer où se trouve le texte sur la page. Un document peut contenir plusieurs zones de texte, colonnes, notes marginales, tableaux ou autres éléments compliquant l'analyse automatique.

Par conséquent, lors de l’entraînement d'un modèle de reconnaissance, les régions d'image ou les lignes auxquelles appartient le texte respectif sont également associées aux transcriptions. Les formats de données courants, tels que PAGE XML ou ALTO XML, permettent de stocker ensemble la transcription et les informations sur la position du texte dans l'image. [3]

La qualité de la segmentation peut affecter considérablement le résultat final. Des travaux expérimentaux montrent que le modèle peut obtenir des résultats nettement meilleurs avec des lignes de texte correctement préparées qu'avec une segmentation automatique défectueuse. [4] Des limites de ligne mal définies peuvent donc provoquer des erreurs qui, à première vue, semblent être une déficience du modèle HTR lui-même.

Données d’entraînement et de validation

Pendant l’entraînement, Ground Truth est généralement divisé afin que la totalité ne soit pas utilisée directement pour enseigner le modèle. Une partie du matériel est mise de côté en tant qu'ensemble de validation.

L'ensemble d’entraînement est utilisé pour ajuster les paramètres du modèle. Les données de validation, en revanche, ne sont pas utilisées comme exemples directs pour son apprentissage, mais permettent d'observer pendant l’entraînement comment le modèle fonctionne avec du matériel qu'il n'utilise pas actuellement pour son propre apprentissage. Par défaut, Transkribus fonctionne avec la section Ground Truth réservée à la validation et recommande environ 10 % des transcriptions disponibles dans sa documentation. [5]

L’ensemble de validation doit également être représentatif. Si les données d’entraînement contiennent, par exemple, plusieurs scribes, mais que l'ensemble de validation est presque exclusivement un seul, le taux de réussite calculé peut ne pas bien caractériser l'applicabilité réelle du modèle sur l'ensemble des documents. [5]

Pour une évaluation scientifique plus approfondie, en plus de l'ensemble d’entraînement et de validation, un ensemble de tests distinct peut être créé, qui sera mis de côté pendant le développement du modèle et utilisé uniquement pour l'évaluation indépendante finale. Une telle séparation des données d’entraînement, de validation et de test est également utilisée dans les expériences de recherche avec HTR. [6]

CER – Taux d’erreur de caractères

L'un des indicateurs de qualité de base du modèle HTR est le Taux d'erreur de caractère (CER). Il exprime la proportion d'erreurs au niveau des caractères lors de la comparaison du texte auto-reconnu à la transcription correcte Ground Truth. Le résultat inclut des caractères manquants, redondants et mal reconnus. [7]

En termes simples, on peut dire que :

CER = (substitution + omission + insertion de caractères) / nombre de caractères du texte de référence

Plus le CER est bas, plus la transcription automatique est précise. Par exemple, Transkribus indique qu'un CER de 5 % correspond à peu près à une situation dans laquelle sur 100 caractères, 95 sont reconnus correctement et cinq incorrectement. [7]

Cependant, la valeur CER elle-même doit être interprétée dans son contexte. Un modèle avec un CER très faible sur des documents similaires à ses données d’entraînement peut ne pas fonctionner aussi bien sur d'autres scribes ou sur un autre type de matériel d'archives. Lors de la comparaison de modèles, il est donc important de savoir sur quelles données le CER a été calculé et en quoi ces données ressemblent aux documents sur lesquels le modèle doit être déployé.

Surapprentissage du modèle

L'un des risques de l'entraînement est le surajustement, c'est-à-dire une adaptation excessive aux données d'entraînement. Un modèle peut très bien s’adapter à des exemples d’entraînement sans également apprendre les caractéristiques plus générales de l’écriture manuscrite. Le résultat peut être un taux d’erreur très faible sur les données connues, mais une reconnaissance bien pire des nouveaux documents.

C'est l'observation des résultats sur l'ensemble de validation qui permet de révéler ce problème. Les procédures d’entraînement modernes peuvent également utiliser l'arrêt précoce : l’entraînement est terminée lorsque des époques ultérieures n'apportent plus d'améliorations aux résultats des données de validation. [5]

Il n’est donc pas vrai que plus nous entraînons le modèle longtemps, meilleur il doit être. Ce qui est décisif est sa capacité à généraliser les propriétés apprises à des matériaux inédits.

Utiliser un modèle déjà existant

La création de modèles ne doit pas toujours partir de zéro. S'il existe un modèle entraîné sur une langue, une période ou un style de scribe similaire, il peut être utilisé comme modèle de base dans certains systèmes HTR et adapté davantage à vos propres données. [5]

Cette procédure est généralement appelée mise au point ou entraînement continu. Son avantage est que le modèle contient déjà une certaine connaissance des structures des caractères et n'a pas besoin de tout apprendre exclusivement du Ground Truth nouvellement créé. Cela peut réduire la quantité de matériel transcrit manuellement nécessaire pour produire un résultat utilisable. Cependant, l’intérêt du modèle de départ n’est pas automatique : il doit être suffisamment similaire au matériau cible et son adéquation doit être vérifiée expérimentalement. [5]

L’importance du réglage fin est également confirmée par des études expérimentales. Pour certains corpus historiques, l'ajustement d'un modèle pré-entraîné approprié a donné de meilleurs résultats que la construction d'un modèle à partir de zéro. [4] [8]

Modèle spécialisé ou généraliste ?

Lors de la préparation du projet HTR, il est important de déterminer l'étendue de la gamme de documents que le modèle résultant doit gérer.

Un modèle spécialisé peut se concentrer, par exemple, sur un seul scribe, un seul bureau ou une série homogène de documents d'archives. Parce qu'il résout un problème plus limité, il peut obtenir de très bons résultats sur le matériau correspondant même avec une quantité relativement limitée de Ground Truth.

Le modèle général, quant à lui, est censé reconnaître un plus grand nombre de scribes, de périodes ou de types de documents. Cela nécessite donc des données d’entraînement beaucoup plus variées. Son avantage est une applicabilité plus large, tandis que son inconvénient peut être une précision moindre sur des mains de scribe spécifiques par rapport à un modèle étroitement spécialisé. [2] [9]

Un modèle général étendu peut également servir de base à une spécialisation plus poussée. Pour la pratique archivistique, une combinaison d'un modèle général pré-entraîné et d'une plus petite quantité de Ground Truth de haute qualité créée directement à partir d'une collection d'archives spécifique peut être efficace.

Création itérative du modèle HTR

En pratique, Ground Truth ne peut pas être créé entièrement à la main avant la première formation. Une procédure en plusieurs cycles peut être efficace :

1. retranscrire manuellement l'ensemble initial de pages représentatives,
2. créer le premier modèle HTR,
3. l'appliquer à d'autres documents,
4. corriger manuellement les transcriptions automatiques,
5. mettre les pages corrigées parmi Ground Truth,
6. créer une nouvelle version du modèle,
7. répétez la procédure si nécessaire.

Une telle démarche permet d’élargir progressivement le corpus d’entraînement. Cependant, il est important de souligner que le simple fait de corriger la transcription automatique n'enseigne pas à lui seul un modèle préexistant. Les données corrigées doivent être utilisées lors de l’entraînement continue ou de la mise au point du modèle. [10]

Lors du choix de nouvelles pages, il est conseillé de ne pas se concentrer uniquement sur des documents faciles à lire. Si le modèle résultant doit gérer l'ensemble de la collection d'archives, Ground Truth devrait être progressivement complété par des exemples représentatifs de manuscrits plus difficiles, de différents scribes et d'autres variantes typiques.

Importance des données d’entraînement ouvertes

Les données d’entraînement créées pour un projet peuvent également être utiles à d’autres recherches. L'initiative HTR-United crée donc un catalogue d'ensembles de données documentés destinés à la transcription et à la segmentation automatiques de documents historiques. Les fichiers de données peuvent être publiés, par exemple, dans PAGE XML, ALTO XML ou sous la forme d'une combinaison d'images et de fichiers texte, et leurs métadonnées incluent également des conditions d'utilisation ultérieure. [11]

Le partage de la qualité Ground Truth permet non seulement de reproduire les résultats de la recherche, mais également de créer des modèles plus généraux ou d'utiliser des données préexistantes pour entraîner des modèles pour du matériel associé. À long terme, le résultat le plus précieux du projet pourrait donc être non seulement le modèle HTR lui-même, mais également le corpus d’entraînement soigneusement créé et bien documenté.

HTR dans le cadre de l'utilisation des données d'archives

HTR ne peut pas être compris comme une « lecture » unique d'un manuscrit par un ordinateur. Dans la pratique archivistique, il s'agit plutôt d'un processus dans lequel la numérisation, l'analyse de la mise en page, la transcription humaine, la préparation du Ground Truth, l’entraînement du modèle, la reconnaissance automatique et la vérification des résultats sont liées.

Le principal avantage de HTR ne doit pas nécessairement être la création d’une édition parfaitement impeccable du document. Même une transcription contenant un certain nombre d'erreurs peut élargir considérablement les possibilités de travail avec de vastes collections d'archives : elle permet une recherche en texte intégral, une orientation préliminaire dans les documents et crée une base lisible par machine pour un traitement ultérieur des données historiques. HTR peut ainsi rendre disponible le contenu de manuscrits numérisés, qui autrement resterait disponible uniquement grâce à une lecture manuelle fastidieuse de documents individuels. [1]

Notes et sources utilisées

[1]MUEHLBERGER, Günter et al.; COLUTTO, Sébastien et al. Transforming scholarship in the archives through handwritten text recognition. Journal de documentation, 2019. DOI : 10.1108/JD-07-2018-0114.
Article et données bibliographiques

[2]LECTURE-COOP. Data Preparation – Training Text Recognition Models. Documentation Transkribus. Recommandations pour la création de Ground Truth, la quantité de données d'entraînement et la représentation des mains du scribe.
Documentation Transkribus – Préparation des données

[3]Kraken OCR. Introduction to Automatic Text Recognition. Documentation du système Kraken ; description de la préparation des données d'entraînement, règles de transcription et formats PAGE XML et ALTO.
Kraken – Introduction à la reconnaissance automatique de texte

[4]BÜTTNER, Jonas et al. From Manuscript to Model: Developing HTR for Medieval Greek. Actes du quatrième atelier sur les technologies linguistiques pour les langues historiques et anciennes (LT4HALA 2026), pp. L'étude compare entre autres l’entraînement initiale avec la mise au point et montre l'effet de la segmentation sur le taux d'erreur qui en résulte. DOI : 10.63317/47tkobv5mgbu.

[5]LECTURE-COOP. Model Setup and Training. Documentation Transkribus. Description de l'ensemble d’entraînement et de validation, des modèles de base, des époques et de l'arrêt anticipé.