Guide pratique : comment entraîner son premier modèle HTR

La création de votre propre modèle de reconnaissance de texte manuscrit (HTR) ne nécessite aucune connaissance en programmation ou en apprentissage automatique. Le principe de base est de présenter au système un nombre suffisant d'images de lignes d'écriture manuscrites ainsi que leur transcription correcte. Cette paire – l'image du document et sa transcription vérifiée – forme ce que l'on appelle Ground Truth (GT), c'est-à-dire les données de référence à partir desquelles le modèle apprend. [1]

La procédure suivante se concentre principalement sur Transkribus, car elle permet d'effectuer l'ensemble du processus dans un environnement graphique. Cependant, le même principe de base est également utilisé par les outils open source, tels que eScriptorium avec le système de reconnaissance Kraken. [2]

1. Définissez d’abord le matériau

Avant de commencer à créer des données d'entraînement, c'est une bonne idée de déterminer ce que le futur modèle devrait réellement pouvoir lire. Le modèle destiné, par exemple, aux registres administratifs tchèques du XVIIIe siècle résout un problème différent de celui de la correspondance personnelle du début du XXe siècle.

Pour la première expérience, il est avantageux de choisir un ensemble relativement homogène :

• des documents datant à peu près de la même époque,
• même langue,
• écriture similaire,
• de préférence un scribe ou un petit nombre de scribes,
• images qualitativement similaires.

Plus nous présentons du matériel diversifié au modèle, plus nous avons généralement besoin de données d’entraînement. Par conséquent, Transkribus recommande que l’ensemble d’entraînement représente différents types d’écriture manuscrite, de langues et d’autres fonctionnalités que le modèle devrait reconnaître ultérieurement. [3]

2. Sélectionnez les pages représentatives

Il n’est pas conseillé de se contenter des premières dizaines de pages du livre. Il est préférable de choisir des pages qui représentent le matériel sur lequel nous travaillerons plus tard.

Par exemple, si un volume d'archives contient des entrées communes, des tableaux, des titres, des notes marginales et plusieurs scribes différents, nous devons décider à l'avance lesquels de ces éléments le modèle doit traiter.

Il n’est pas nécessaire de préparer des centaines de pages pour le premier modèle. La documentation actuelle Transkribus répertorie environ 5 000 à 15 000 mots selon la nature du matériel, ce qui correspond à environ 25 à 75 pages. [4] Dans le cas des manuscrits, la quantité de données nécessaires dépend principalement de leur variabilité. Les instructions plus récentes de Transkribus indiquent à titre indicatif un minimum d'environ 10 000 mots par main de scribe (« main »). [1]

Ces chiffres doivent être considérés comme indicatifs et non comme une limite fixe.

3. Essayez d'abord un modèle existant

Avant de créer votre propre modèle, il convient de vérifier s'il existe déjà un modèle adapté au matériau donné. Transkribus propose des modèles publics créés à la fois par ses développeurs et par la communauté des utilisateurs. Ils peuvent être recherchés, par exemple, par langue, période ou type d'écriture. [5]

Le modèle existant ne fournit peut-être pas une transcription parfaite. Cependant, si cela crée une base exploitable, cela peut considérablement accélérer la préparation du Ground Truth : au lieu de transcrire manuellement la totalité de la page, nous corrigeons uniquement la transcription générée automatiquement.

4. Analysez la mise en page

Le système HTR doit savoir où se trouve chaque ligne de texte sur la page. Par conséquent, la reconnaissance de texte est précédée d’une segmentation ou d’une analyse de mise en page.

Pour une page standard, le système crée généralement automatiquement des zones de texte et ce que l'on appelle des lignes de base – des lignes de référence le long des lignes de texte individuelles. Ceux-ci doivent être vérifiés.

Des lignes mal placées, fusionnées ou manquantes peuvent affecter négativement les données d'entraînement. Transkribus souligne explicitement que l'exactitude des lignes de base est importante lors de la création d'un modèle de qualité. [6]

5. Faites une transcription précise

Vient maintenant la partie la plus laborieuse de tout le processus.

Chaque ligne doit avoir la transcription correcte du texte. Nous pouvons le créer manuellement ou utiliser d'abord un modèle HTR existant, puis corriger son résultat.

Plus importantes que la vitesse sont la précision et la cohérence. Le modèle ne reconnaît pas qu'une erreur dans Ground Truth est une faute de frappe humaine. Une transcription défectueuse est simplement une information d’entraînement. [1]

Avant de commencer une transcription plus poussée, il est donc conseillé de créer des règles de transcription simples. Par exemple, il faut décider :

• si nous gardons l'orthographe originale,
• comment on écrit les majuscules et les minuscules,
• comment nous traitons les abréviations,
• si nous développons les formes abrégées,
• comment nous écrivons la ponctuation,
• comment nous traitons le texte barré ou ajouté,
• si nous conservons les caractères historiques.

Une manière cohérente de transcrire a tendance à être plus importante pour l’entraînement d’un modèle que la modernisation du texte.

6. Marquez les pages vérifiées comme Ground Truth

On considère une page comme Ground Truth seulement après avoir vérifié à la fois sa transcription et sa segmentation.

Dans Transkribus, les pages vérifiées de cette manière peuvent se voir attribuer le statut Ground Truth. Nous créerons par la suite un ensemble d’entraînement et de validation à partir de ces données vérifiées. [1]

Il est utile de ne pas considérer la transcription automatique comme étant Ground Truth simplement parce qu'elle "a l'air plutôt bien". Même un nombre relativement faible d’erreurs systématiques peut enseigner au modèle un modèle de transcription indésirable.

7. Divisez les données en formation et validation

Un modèle ne doit pas être évalué uniquement sur les pages à partir desquelles il a appris. Nous réserverons donc une partie du Ground Truth comme ensemble de validation.

Transkribus recommande environ 90 % de données pour l’entraînement et 10 % pour la validation. [1] [3]

Ainsi si nous disposons par exemple de 50 pages retranscrites de haute qualité, nous pouvons grosso modo utiliser :

45 pages → données d'entraînement
5 pages → données de validation

Les pages de validation doivent être représentatives. Par exemple, si nous avons plusieurs scribes dans nos documents, nous ne devons pas construire l'ensemble de validation uniquement à partir des plus lisibles d'entre eux. [3]

8. Pensez à utiliser le modèle de base

Nous n'avons pas toujours besoin de former le modèle à partir de zéro.

S'il existe un modèle construit sur une langue, une période et un type de manuscrit similaires, il peut être utilisé comme modèle de base et adapté à vos propres données. Cette procédure, généralement appelée réglage fin, peut réduire la quantité de données nécessaires et améliorer les résultats. [6]

Un principe similaire est également proposé par eScriptorium / Kraken, où le modèle existant peut être entraîné davantage sur ses propres données. [2]

Pour un débutant, il est donc raisonnable d'essayer d'abord un modèle de base approprié et seulement si nécessaire de s'entraîner dès le début.

9. Commencez l’entraînement

Après la préparation des données, vous pouvez créer un nouveau modèle de reconnaissance de texte dans Transkribus, sélectionner les données d’entraînement et de validation et, éventuellement, un modèle de base, et démarrer l’entraînement. [3]

Le calcul lui-même s'exécute déjà automatiquement. Un débutant n’a donc pas besoin de mettre en place un réseau de neurones ni de programmer son propre algorithme.

Le résultat est un modèle spécialisé pour l'écriture manuscrite représentée dans Ground Truth.

10. Vérifiez le CER

L'un des indicateurs de base de la qualité du modèle HTR est le Character Error Rate (CER), c'est-à-dire le taux d'erreur au niveau des caractères.

En termes simples, CER exprime le nombre d'opérations sur les caractères nécessaires pour que la transcription automatique corresponde à la transcription de référence correcte. Il s'applique donc :

CER inférieur = reconnaissance plus précise.

CER 10 %, par exemple, ne signifie pas simplement « 90 % de mots corrects ». Il s'agit d'une métrique basée sur les différences entre les caractères de la référence et le texte reconnu.

Transkribus répertorie CER en dessous de 10 % comme résultat généralement applicable pour la recherche et une analyse plus approfondie; des valeurs d'environ 5 % ou moins peuvent être obtenues pour un corps d'écriture manuscrit bien modélisé et cohérent. [1] [6]

Cependant, le numéro lui-même n'est pas le seul critère. Pour le travail d'archives, il est important d'examiner également la nature des erreurs. Par exemple, le modèle peut lire de manière fiable un texte ordinaire, mais commet systématiquement des erreurs précisément dans les noms de personnes et de lieux, les chiffres ou les abréviations, qui sont essentiels pour la recherche historique.

11. Essayez le modèle sur des pages précédemment inutilisées

Après avoir entraîné le modèle, sélectionnez quelques pages qui ne faisaient pas partie de l'ensemble d'entraînement ou de validation et effectuez leur reconnaissance automatique.

Cela vous donne une réponse plus pratique à la question :

"Dans quelle mesure ce modèle fonctionnera-t-il sur d'autres documents ?"

Un test sur un matériau inédit est également recommandé par le guide Transkribus. [1]

Si le modèle fonctionne nettement moins bien sur les nouvelles pages que sur les données de validation, le problème peut être, par exemple, une sélection non représentative de Ground Truth ou une trop grande diversité de manuscrits.

12. Corrigez les erreurs et créez plus de Ground Truth

Le premier modèle n'est peut-être pas définitif.

La procédure pratique peut ressembler à ceci :

Ground Truth → premier modèle → transcription automatique des autres pages → correction manuelle → nouveau Ground Truth → nouvelle formation → meilleur modèle

L'expansion itérative de données d'entraînement de haute qualité est l'un des moyens fondamentaux d'améliorer votre propre modèle HTR. [7]

Dans le même temps, il est important de souligner une erreur courante : la seule correction du texte automatiquement reconnu ne recycle pas automatiquement le modèle. Les pages corrigées doivent être incluses dans les nouvelles données d'entraînement et une autre session d'entraînement doit être lancée. [8]

Première expérience simple

Un débutant n’a pas besoin de numériser immédiatement l’intégralité de la collection d’archives. Il est préférable de commencer par une petite expérience contrôlée.

Prenons, par exemple, un livre manuscrit avec principalement un seul scribe. Nous en préparerons environ 25 à 50 pages représentatives. Nous effectuons une segmentation, corrigeons les lignes de base et créons une transcription précise.

Nous utilisons ensuite la plupart des données pour l’entraînement et environ un dixième pour la validation. S’il existe un modèle public approprié pour une langue, une période et une écriture similaires, nous l’utiliserons comme base.

Après l’entraînement, nous essaierons notre propre modèle sur quelques autres pages qui n'ont pas encore été utilisées.

Nous ne nous contentons pas de corriger les erreurs mécaniquement. Nous retraçons leur cause :

Le modèle fait-il des erreurs sur tous les caractères ?
Nous avons probablement besoin de données Ground Truth plus nombreuses ou de meilleure qualité.

Est-il particulièrement mauvais sur un scribe ?
Cette écriture manuscrite peut être sous-représentée dans les données d'entraînement.

Est-ce que des erreurs se produisent au niveau des limites de ligne ou fusionnent du texte ?
Le problème peut être lié à la segmentation et aux lignes de base.

Est-ce qu'il reconnaît systématiquement mal un caractère particulier ?
Il convient de vérifier la cohérence de sa transcription dans Ground Truth.

Le CER est-il bon mais le modèle échoue sur les nouveaux documents ?
Les données d’entraînement et de validation ne sont probablement pas suffisamment représentatives du matériel réel.

Ce n'est qu'après cette évaluation qu'il est logique d'ajouter des pages corrigées supplémentaires et de réentraîner le modèle.

Une telle procédure présente un avantage significatif : la vérité terrain créée lors de la première expérience n’est pas un travail inutile. Il s'agit d'une base de données utilisable à long terme qui peut être progressivement étendue et utilisée lors de la création d'autres versions du modèle.

Ressources utilisées

[1]Transkribus : How to train a model in Transkribus, 22/10/2025.
https://www.transkribus.org/blog/how-to-train-a-text-recognition-model-in-transkribus

[2]eScriptorium Documentation : Train models.
https://escriptorium-tutorial.readthedocs.io/en/latest/train/

[3]Centre d'aide Transkribus : Model Setup and Training.
https://help.transkribus.org/model-setup-and-training

[4]Centre d'aide Transkribus : How do I train a model?
https://help.transkribus.org/how-do-i-train-a-model

[5]Centre d'aide Transkribus : Public Models.
https://help.transkribus.org/public-models

[6]LIRE-COOP : How to improve the CER of your model, 16/04/2024.
https://blog.transkribus.org/en/how-to-improve-the-cer-of-your-model

[7]LIRE-COOP : How to retrain a model in Transkribus, 8/11/2024.
https://blog.transkribus.org/en/how-to-retrain-a-model-in-transkribus

[8]Centre d'aide Transkribus : Training Text Recognition Models.
https://help.transkribus.org/training-text-recognition-models