Exemple pratique : créer un modèle HTR pour un registre d’archives

Imaginons que nous disposions d'un cadastre foncier numérisé de 300 pages. Le livre a été créé sur plusieurs décennies et contient des entrées de plusieurs scribes. L'objectif n'est pas de créer une édition diplomatique de l'intégralité de la source, mais d'obtenir une transcription automatique de qualité suffisamment élevée dans laquelle il sera possible de rechercher des noms de personnes, des noms de lieux, des numéros de ferme et d'autres données.

Cet exemple montre une procédure pratique pour créer votre propre modèle HTR.

1. Ne commencez pas par retranscrire les cinquante premières pages

La première procédure intuitive est généralement simple : ouvrez le livre au début et réécrivez progressivement les pages jusqu'à ce qu'il y en ait suffisamment. Ground Truth.

Toutefois, une telle sélection peut produire un ensemble d’entraînement non représentatif. Par exemple, si les 80 premières pages ont été écrites par un scribe et le reste du livre par d'autres scribes, le modèle apprendra très bien la première main du scribe, mais pourrait avoir des résultats bien pires sur le reste du livre.

Dans un premier temps, il convient donc de parcourir l'intégralité du document sans transcription détaillée et de connaître sa structure de base.

Pour chaque partie du livre, nous surveillons principalement :

• les changements de main du scribe,
• changements de période importants,
• changements de langue ou d’orthographe,
• différents types d'entrées,
• modifications de la mise en page,
• tableaux et éléments de forme,
• pages endommagées ou mal numérisées.

Cela pourrait aboutir, par exemple, à constater que les pages 1 à 90 ont été principalement écrites par le scribe A, les pages 91 à 210 par le scribe B et que la dernière section contient un mélange d'entrées par les scribes B, C et D.

Cette simple analyse est plus importante pour la suite du travail que d'atteindre mécaniquement un certain nombre de pages transcrites.

2. Sélectionnez le premier ensemble Ground Truth

A partir d'un livre de 300 pages, on peut sélectionner par exemple 40 à 50 pages pour la première expérimentation. Cependant, il ne s’agit pas d’un numéro recommandé universellement ; le besoin réel dépend de la quantité de texte sur la page et de la variabilité de l'écriture manuscrite.

Nous sélectionnons des pages dans tout le livre.

Une sélection illustrative pourrait ressembler à ceci :

Même ce ratio n’est peut-être pas idéal dans toutes les circonstances. Par exemple, si le scribe D n’a que quelques courtes entrées dans le livre, il peut ne pas être pratique de lui consacrer le même nombre de pages d’entraînement qu’au scribe principal.

L'objectif est de créer un échantillon représentatif du matériel que le modèle lira réellement plus tard.

3. Établir les règles de transcription avant de créer le Ground Truth

Avant de commencer à transcrire des dizaines de pages, il est conseillé de créer un court document avec des règles de transcription.

Pour le cadastre par exemple, on fixe :

• nous conservons l'orthographe originale;
• nous ne modernisons pas les formes de mots historiques;
• nous conservons les majuscules et les minuscules selon l’original, si elles peuvent être déterminées de manière fiable;
• nous écrivons la ponctuation uniquement là où elle se trouve réellement dans le document ;
• les abréviations ne sont pas réécrites sous une forme moderne;
• nous utilisons une manière uniforme de transcrire les caractères historiques;
• nous marquons toujours les endroits illisibles de la même manière;
• nous ne transcrivons pas le texte selon ce que nous pensons « avoir dû être écrit » en fonction du contexte, mais selon ce qui peut réellement être lu.

Les règles spécifiques peuvent varier d'un projet à l'autre. Il est essentiel que les règles ne changent pas arbitrairement lors de la création de Ground Truth.

Par exemple, si une personne transcrit textuellement une abréviation historique et que l'autre la développe automatiquement, le modèle reçoit deux réponses différentes au même phénomène visuel.

4. Effectuez la segmentation et vérifiez les lignes

Nous effectuerons une analyse de mise en page sur les 50 pages sélectionnées.

La segmentation automatique accélère généralement considérablement le travail, mais nous vérifierons son résultat. Nous nous concentrerons notamment sur :

• lignes manquantes,
• deux lignes connectées,
• une ligne incorrectement divisée en plusieurs parties,
• notes marginales,
• titres,
• Texte s'étendant dans la reliure,
• a barré et inséré des entrées supplémentaires.

Ce n'est qu'alors que nous créons ou corrigeons la transcription elle-même.

5. Créez le premier Ground Truth

Si nous disposons d'un modèle HTR générique approprié pour la langue, la période et l'écriture manuscrite pertinentes, nous pouvons d'abord l'exécuter sur les pages sélectionnées et corriger manuellement sa sortie.

Si un modèle adapté n'existe pas ou si ses résultats sont très mauvais, nous créons une transcription manuellement.

Le résultat doit être une paire :

image de ligne → transcription de ligne vérifiée

Ce sont ces données qui constituent la véritable base du futur modèle.

À ce stade, cela ne vaut pas la peine de gagner du temps au détriment de la qualité. Si nous créons 50 pages de Ground Truth inexactes, nous n'obtiendrons pas de meilleur matériel d’entraînement que si nous créons un ensemble de données plus petit mais soigneusement examiné.

6. Mettre de côté une partie des données pour validation

À partir du Ground Truth préparé, nous allouerons une partie des pages sur lesquelles nous surveillerons la qualité du modèle pendant l’entraînement.

À 50 pages, par exemple, nous pourrions utiliser :

45 pages pour le kit d’entraînement
5 pages pour le jeu de validation

Toutefois, la division ne doit pas être purement aléatoire, si cela devait aboutir à un ensemble de validation non représentatif. Par exemple, les cinq pages de validation ne doivent pas provenir uniquement du Scribe A.

Si l'objectif est une évaluation plus sérieuse, il est conseillé de réserver quelques pages supplémentaires comme ensemble de test au début. Nous ne les utiliserons ni pour notre propre formation ni pour une prise de décision continue lors du développement du modèle.

7. Former le premier modèle

La formation personnalisée peut maintenant être démarrée.

S'il existe un modèle de qualité créé sur un matériau historique similaire, il est généralement conseillé d'essayer d'abord de l'utiliser comme modèle de base et de créer une variante spécialisée avec une formation complémentaire.

De plus, en fonction des possibilités du système utilisé, un modèle sans base pré-entraînée appropriée peut également être créé expérimentalement et les résultats comparés.

L'objectif de la première formation n'est peut-être pas encore de créer un modèle définitif. Il s'agit principalement de découvrir ce que le modèle a pu apprendre des données préparées et où il rencontre des problèmes.

8. N'évaluez pas le modèle par un seul CER

Après avoir terminé l’entraînement, nous obtenons la valeur du taux d'erreur de caractères sur les données de validation. Par exemple, supposons que le modèle réalise :

CER = 7,2 %

Le chiffre lui-même semble prometteur, mais il ne dit pas si le modèle convient à l'ensemble du livre.

Il faut donc savoir quelles erreurs composent ces 7,2%.

Si le modèle confond principalement la ponctuation ou certaines variantes de majuscules, il peut déjà être très utile pour les recherches en texte intégral.

Toutefois, si cela déforme systématiquement :

• Noms de famille,
• noms de lieux,
• Numéros,
• dates,
• sommes d’argent,

cela peut être problématique pour la recherche historique prévue, même avec un CER global relativement bon.

9. Testez les scribes individuels

Nous allons maintenant prendre quelques pages que le modèle n'a pas vues du tout pendant l'entraînement.

Par exemple, le résultat pourrait ressembler à ceci :

Le résultat moyen de l'ensemble du modèle pourrait paraître satisfaisant. Cependant, le tableau montre quelque chose de plus substantiel : le modèle gère très bien les scribes A et B, les scribes C mal et échoue de manière significative pour le scribe D.

Donc, ajouter davantage de pages aléatoires à partir de l'ensemble du livre n'est peut-être pas la solution.

Il sera bien plus utile de créer un autre Ground Truth principalement à partir de l'écriture manuscrite du scribe D et éventuellement C.

10. Utilisez le premier modèle pour créer des données supplémentaires

Nous appliquons désormais le premier modèle personnalisé à d'autres pages représentatives.

Par exemple, nous passions initialement 20 minutes à transcrire manuellement une page. Le premier modèle permet déjà de créer une transcription dont la correction manuelle prend beaucoup moins de temps.

Les pages corrigées deviendront les nouvelles Ground Truth.

Cela crée un cycle de travail :

manuel Ground Truth → modèle 1 → transcription automatique → correctif → étendu Ground Truth → modèle 2

Le deuxième modèle peut être formé sur, par exemple, les 45 pages d’entraînement originales complétées par 20 pages supplémentaires axées principalement sur les scribes, pour lesquels le premier modèle a échoué.

11. Répétez le test sur les mêmes données indépendantes

Après avoir créé la deuxième version du modèle, nous répétons l'évaluation.

Par exemple, on peut obtenir :

Un tel résultat montrerait que l’extension ciblée de Ground Truth a vraiment aidé.

Les nombres affichés ne sont qu'un exemple de modèle, et non les valeurs attendues pour un document d'archive réel.

12. Quand arrêter l'entraînement

Il n'y a pas de limite CER à laquelle le modèle est automatiquement « terminé ».

Le but décide.

Si nous souhaitons créer une édition critique d’une source historique, nous aurons probablement de toute façon besoin d’une révision humaine de la quasi-totalité du texte.

Toutefois, si nous devons rendre 300 pages disponibles pour les recherches en texte intégral et les travaux de recherche ultérieurs, l'avantage d'une réduction supplémentaire du CER de 5 % à 3 % peut être inférieur à la quantité de travail requise pour créer des données Ground Truth supplémentaires.

À un moment donné, une question pratique se pose donc :

Vaut-il toujours la peine d'investir dans une entraînement continu, ou est-il plus rentable d'exécuter le modèle sur les documents restants ?

La réponse dépend de l’utilisation prévue des données obtenues.

13. Exécutez le modèle sur l'ensemble du livre

Une fois que le modèle est de qualité acceptable sur des pages de test représentatives, nous pouvons l'utiliser sur les 230 à 250 pages restantes du livre.

Cependant, le travail ne doit pas s’arrêter là.

La transcription automatique peut être en outre :

• être corrigé manuellement,
• être indexé,
• être recherché en texte intégral,
• être exporté vers XML ou un autre format structuré,
• être utilisé pour rechercher des personnes et des lieux,
• être lié aux enregistrements de la base de données,
• doit être utilisé comme base pour un traitement automatique ultérieur.

Pour un projet de données d'archives, il est important de conserver la relation entre la transcription et l'image originale du document en plus du texte résultant. Le chercheur peut ainsi revenir à tout moment à l’original et vérifier les données automatiquement reconnues.

Ce qu'il faut retenir de l'exemple

Le principe le plus important n'est pas de « transcrire le plus de pages possible ». L'objectif est de créer un Ground Truthaussi petit que possible, mais suffisamment représentatif et de haute qualité**, qui correspond à la variabilité réelle du matériau traité.

Pour le premier projet, toute la procédure peut être simplifiée pour :

1. Afficher l'intégralité du document.
2. Identifiez les principaux scribes et les types d’entrées.
3. Sélectionnez des pages représentatives.
4. Établir des règles de transcription uniformes.
5. Vérifiez la segmentation.
6. Créer de la qualité Ground Truth.
7. Séparez les données d’entraînement, de validation et éventuellement de test.
8. Former le premier modèle.
9. Testez-le sur des pages précédemment inutilisées et des scribes individuels.
10. Complétez Ground Truth en particulier là où le modèle échoue.
11. Recycler le modèle.
12. Une fois que la qualité correspond à l'objectif du projet, appliquez-la au reste du document.

Cette approche itérative présente un autre avantage important. Le résultat du projet n’est pas seulement un modèle HTR formé. Il crée également un corpus Ground Truth vérifié qui peut être conservé, publié, utilisé pour entraîner de futurs modèles ou combiné avec d'autres ensembles de données. Par conséquent, à long terme, un Ground Truth bien conçu pourrait avoir plus de valeur qu'une version spécifique du modèle HTR, qui pourrait ultérieurement être remplacée par une solution plus avancée techniquement.