Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

TransliTAL #1 : les technologies de la langue au service de la qualité des notices en écriture cyrillique de la BULAC

Au croisement des technologies de la langue et des enjeux de la translittération se déploie le projet TransliTAL, lauréat du programme de coopération 2023 de l’Agence bibliographique de l’enseignement supérieur (Abes).

Ces technologies de la langue portent sur le traitement par des outils informatiques du langage naturel pour diverses applications : analyse syntaxique, traduction automatique, extraction d’informations, analyse de sentiment…
Les récentes avancées en matière d’intelligence artificielle ont grandement élargi le champ des traitements envisagés en offrant notamment la possibilité de traiter une plus large volumétrie de données. Cela conduit, dès lors, à une meilleure qualité de la phase cruciale d’apprentissage par les modèles des tâches qui leur seront confiées. De cette façon, la pertinence des résultats s’en trouve d’autant plus améliorée que les modèles ont été confrontés à une plus grande quantité de cas à traiter, tant en nombre qu’en diversité.

L’objectif de TransliTAL est de s’appuyer sur les avancées récentes en traitement automatique des langues (TAL) et en intelligence artificielle pour développer des outils d’aide à la correction des translittérations erronées dans les notices du Sudoc, le catalogue collectif de l’enseignement supérieur. TransliTAL vise également à compléter les notices plus anciennes où l’écriture originale est absente et, enfin, à faciliter le travail de translittération courant. 

Depuis octobre 2024, la BULAC mène ce projet innovant en partenariat avec le laboratoire ERTIM (équipe de recherche textes, informatique, multilinguisme) de l’Inalco qui apporte son expertise dans le domaine de la linguistique computationnelle.

Trois grands domaines d’expérimentation, recouvrant des corpus linguistiques aux problématiques différentes, ont été sélectionnés pour mettre au point et éprouver le futur outil :

  • les écritures cyrilliques : russe, ukrainien, biélorusse, serbe, bulgare, langues d’Asie centrale, de Mongolie ;
  • les écritures arabo-persanes : arabe, persan, ourdou, turc ottoman ;
  • les écritures à sinogrammes : chinois, japonais, coréen, viêtnamien chữ nôm…

L’objectif est à terme d’harmoniser la qualité des notices en bi-écriture, en s’appuyant sur les normes en vigueur, mais aussi de corriger les erreurs d’identification de langues. En effet, les différences ou erreurs de translittération qui peuvent se trouver dans les notices obèrent la qualité des données catalographiques et, par là même, dégradent le service rendu aux utilisateurs.

Les enjeux du traitement du cyrillique

Le catalogue de la BULAC compte environ 153 000 notices décrivant des documents écrits en lettres cyrilliques. Ces caractères cyrilliques sont utilisés dans un grand nombre de langues. Si la langue russe représente environ 70 % de ces notices, suivie par plusieurs autres langues slaves majeures comme l’ukrainien ou le serbe, des langues non slaves qui ont un statut officiel à l’échelle d’un pays, telles que le mongol, l’azéri, ou le kazakh, sont également présentes, dans une portion réduite certes mais non négligeable. Des langues minoritaires parlées dans les pays de l’ancienne URSS comme le bachkir ou le tatar sont également représentées de façon très marginale. Enfin, certaines langues, telles que l’azéri, ne sont plus écrites en alphabet cyrillique mais l’étaient au moment de la publication des documents.

Le traitement des notices contenant des caractères cyrilliques est le plus souvent relativement simple. En effet, la norme ISO 9 utilisée par le réseau Sudoc implique une correspondance stricte d’une lettre latine pour chaque lettre cyrillique. 

Tant qu’un texte est encodé correctement, la production des translittérations et rétro-translittérations peut dès lors être automatisée, grâce à cette table de correspondance, sans perte d’informations.

Extrait du tableau de la norme ISO 9:1995, avec correspondance pour chaque caractère cyrillique du caractère latin en translittération
Extrait du tableau de la norme ISO 9:1995, Information et documentation — Translittération des caractères cyrilliques en caractères latins — Langues slaves et non slaves

De plus, cette même norme s’applique à toutes les notices contenant des lettres cyrilliques, indépendamment de la langue utilisée. La vaste majorité des traitements peut donc se faire automatiquement sans qu’il soit nécessaire de disposer d’aucune connaissance linguistique spécialisée.

L’examen des notices a toutefois permis d’identifier des anomalies récurrentes.

En premier lieu, certaines notices proposent uniquement la translittération latine, sans qu’apparaisse la version originale des champs, en caractères cyrilliques. Ces cas sont liés aux opérations de rétroconversion automatique menées lors de l’informatisation du catalogue, à une époque ou les caractères cyrilliques n’étaient pas pris en charge par les outils informatiques utilisés. Il faut noter, par ailleurs, que certaines translittérations présentes dans le catalogue suivent la norme américaine ALA, de la Bibliothèque du Congrès, au lieu de la norme ISO utilisée dans le réseau Sudoc.

L’identification de la langue dans les notices constitue une autre source d’erreurs. Ainsi, il est apparu que la langue indiquée dans la notice ne correspondait pas toujours à celle réellement utilisée dans le document concerné. À titre d’exemple, plusieurs documents écrits dans des langues comme le mongol ou le tadjik ont été classifiés comme des documents en russe. L’attribution fautive est probablement là le fruit d’un mélange d’erreurs d’inattention liées à l’usage d’outils d’automatisation lors de la création de la notice ou d’erreurs dues l’ignorance par les rédacteurs de ces notices de la diversité des langues écrites en lettres cyrilliques.

Certaines notices ont des champs en écriture cyrillique qui présentent pourtant des caractères latins. Cela revient souvent pour des textes écrits en ukrainien ou en russe pré-révolutionnaire, qui emploient une lettre cyrillique qui est visuellement identique au <i> latin mais encodée différemment. Cette lettre étant absente sur la plupart des claviers cyrilliques, les catalogueurs utilisent parfois le <i> latin qui est plus facilement disponible sur le clavier français. Si cela n’a aucun impact sur la lisibilité du texte, cela peut en revanche générer des erreurs de translittération ou de rétro-translittération car <i> est déjà réservée à la translittération d’une autre lettre, <и>.

Surtout, cela peut également rendre difficile, voire impossible, la recherche d’un document dans le catalogue : la notice risque de ne pas apparaître si l’utilisateur n’utilise pas exactement la même lettre lors de la saisie dans la barre de recherche.

À l’inverse, des lettres cyrilliques sont  employées dans des cas où les normes de l’Abes imposent d’utiliser des caractères latins. Les chiffres romains sont particulièrement concernés. En effet, les lettres latines <X>, <C> et <I>, souvent employées dans les chiffres romains, ont des homoglyphes visuellement identiques en alphabet cyrillique. Apparemment par commodité, les catalogueurs utilisent les formes cyrilliques pour éviter d’avoir à changer de clavier au milieu d’une saisie. Ceci peut être à l’origine des certains problèmes de translittération, tels que le chiffre pseudo-romain « ХХ » qui est parfois translittéré « HH ».

Exemple d'une notice du SUDOC où les chiffres romains XX ont été mal translittérés
Notice issu du Sudoc d’un document où les chiffres romains XX ont été mal translittérés.

Dernière catégorie d’erreur à signaler, même si elle est plus rare, il s’avère parfois que la translittération latine indiquée correspond à un tout autre document que celui dont le titre en cyrillique est indiqué. À ce stade, l’hypothèse la plus probable est que ce soit la conséquence d’un mauvais copier-coller d’une translittération automatique. Toutefois, ces cas rares nécessitent un examen plus précis afin d’identifier le titre correct.

Les premières solutions introduites et envisagées

Une série d’outils informatiques a été élaborée dans le but de corriger automatiquement la plupart des notices en masse, et d’identifier les notices qui sont potentiellement problématiques mais qui nécessitent une vérification de la part des personnes compétentes. 

Afin de régler les problèmes d’encodage, un premier outil permet de détecter les chiffres romains. On peut ainsi vérifier si ceux-ci contiennent des caractères cyrilliques indésirables. Si oui, ils sont remplacés par les bons caractères en utilisant un système de remplacement des homoglyphes latin-cyrillique. De même, ces deux outils permettent de remplacer les lettres latines qui se trouveraient dans les notices, en dehors des chiffres romains, par leurs homoglyphes cyrilliques.

En se basant sur la norme ISO 9 de juin 19951, un deuxième système a été mis au point pour effectuer la translittération automatique. Il permet de convertir un texte cyrillique dans sa translittération latine, conformément à la norme ISO-9. Cet outil est également capable de faire le traitement dans le sens inverse, et de restituer la forme cyrillique originelle à partir de la translittération latine. Comparable aux outils tiers déjà utilisés par les catalogueurs, il a l’énorme avantage de pouvoir être appliqué en masse à l’ensemble des notices de la BULAC, avec un temps de traitement très rapide (150 000 notices traitées en 5 minutes).

Une comparaison de la longueur des textes cyrilliques et de leurs translittérations latines originales permet d’identifier les cas où deux documents semblent être confondus dans la même notice. Si une erreur est détectée, une nouvelle translittération est produite à partir du texte cyrillique et le document est signalé aux personnes compétentes pour vérification.

Les méthodes décrites ci-dessus sont suffisantes pour identifier et corriger la majorité des erreurs possibles avec un minimum d’intervention humaine. Cependant, deux problèmes persistants ne peuvent pas, actuellement, être traités de façon satisfaisante. Ces problèmes et d’éventuelles solutions qui seront explorés pendant l’avancement du projet TransliTAL sont énumérés ci-dessous.

Une fois corrigés, les éléments en cyrillique passent dans un détecteur de langue tel que FastText Language Identification ou Spacy FastLang. Pour chaque titre, celui-ci indique la langue qu’il détecte avec un taux de certitude entre 0 et 100 %. Si la langue détectée ne correspond pas à celle qui est listée dans la notice et que le taux de certitude est de plus de 80 %, nous considérons que la notice est susceptible d’être erronée. Elle est donc signalée pour vérification auprès des personnes compétentes.

Le modèle FastText Language Identification identifie le titre “Война и мир” (Vojna i mir, ‘Guerre et Paix’) comme étant en russe, avec un taux de certitude de 94,2%
Le modèle FastText Language Identification identifie le titre “Война и мир” (Vojna i mir, ‘Guerre et Paix’) comme étant en russe, avec un taux de certitude de 94,2 %.

Une des principales limites de ces modèles existants vient de ce qu’ils sont paramétrés pour traiter les variantes modernes des langues. Dans le cas d’une bibliothèque dont les documents peuvent dater de périodes antérieures et de précédentes réformes orthographiques, cela peut engendrer des erreurs de détection. Par exemple, il est apparu que les documents russes publiés avant les réformes de 1917 sont souvent classifiés comme étant ukrainiens. C’est pourquoi, étant donné la proportion prépondérante des documents russes dans le catalogue, nous avons dû intégrer un outil de modernisation orthographique qui est systématiquement appliqué aux documents classifiés comme étant en langue russe. Cette solution ad hoc réduit ainsi considérablement le nombre d’erreurs du détecteur de langue moderne.

Les modèles modernes de détection de langue montrent également leurs limites quand il s’agit de traiter des langues qui ont abandonné l’alphabet cyrillique après la dissolution de l’Union soviétique. Entraînés sur les variantes modernes de ces langues, les modèles ne parviennent donc pas à reconnaître les anciennes graphies cyrilliques depuis abandonnées. Un texte azéri publié avant 1991 (date à laquelle le choix a été fait d’écrire l’azéri  en utilisant des caractères latins), par exemple, est typiquement classifié comme étant en tatar. Cela occasionne, là aussi, un certain nombre de faux positifs dans la liste des notices qui sont à vérifier car la langue détectée n’est pas celle qui apparaît dans le catalogue. 

Pour contenir ce problème, il est nécessaire d’exclure les notices pour lesquelles le taux de certitude du détecteur de langue est faible. Selon nos évaluations subjectives, l’exclusion des étiquettes avec un score inférieur à 80 % est suffisant pour éliminer la majorité des erreurs. Malgré cela, une meilleure précision pourrait être atteinte en créant un nouveau classificateur de langues capable d’identifier les langues écrites dans les différents systèmes d’écriture utilisés au fil du temps.
Si une notice contient uniquement la translittération latine, la rétro-translittération est basée sur la supposition que la translittération a bien été faite selon la norme ISO. Si elle a été réalisée en suivant la norme ALA-LC (American Library AssociationLibrary of Congress), la rétro-translittération sera de fait erronée. Par exemple, la translittération ALA-LC du nom de « Mikhail Gorbachëv » donne « Микхаил Горбацхёв » au lieu de son vrai nom en alphabet cyrillique, « Михаил Горбачёв ». Nous explorons la possibilité de construire un classificateur de normes de translittération qui permettra d’éviter ces erreurs de rétro-translittération et d’harmoniser les notices en norme ISO.

Le flux de traitement des documents en cyrillique

À l’heure actuelle, le flux de traitement des documents écrits en alphabet cyrillique se résume en quatre grandes étapes. 

Premièrement, les chiffres romains sont détectés dans chaque notice. Si un texte contient des lettres cyrilliques à l’intérieur du chiffre romain, celles-ci sont remplacées par leurs homoglyphes latins. Inversement, des caractères latins se trouvant en dehors des chiffres romains sont remplacés par leurs homologues cyrilliques. Cette étape est particulièrement utile pour le traitement des langues comme l’ukrainien ou le serbe, qui utilisent des lettres cyrilliques identiques au <i> ou au <j> latins. 

À partir de ce texte cyrillique nettoyé, nous produisons ensuite une nouvelle translittération selon la norme ISO-9. Dans les cas où seule la translittération est présente, une rétro-translittération est générée. 

Nous appliquons alors le détecteur de langue au nouveau texte cyrillique. Si la langue détectée est différente de celle décrite dans la notice et que le score de certitude est supérieur à 80 %, le document est signalé pour vérification auprès des catalogueurs compétents. Dans le cas notamment d’un livre russe publié avant 1917, cet outil est appliqué à une version modernisée du titre pour éviter des erreurs.

Enfin, la longueur de la nouvelle translittération est comparée à celle de la translittération précédente. S’il y a une différence de longueur de plus de 2 ou 3 caractères, cela signifie que la différence ne peut pas être facilement attribuée à une simple différence de norme de translittération. Cette étape aide notamment à identifier des documents pour lesquels la translittération ne représente pas le texte cyrillique. Dans ces rares cas, le document est signalé aux catalogueurs qui vérifieront la cause de la différence, et que le titre cyrillique correspond bien au document associé à la notice. 

À la fin du processus, pour chaque notice on obtient donc une nouvelle translittération, ou bien une rétro-translittération, ainsi qu’une proposition de détection automatisée de la langue du document concerné.

 

Si le traitement de l’écriture cyrillique a pu aboutir très rapidement à un résultat satisfaisant, le deuxième corpus (les écritures arabo-persanes) auquel va se confronter le projet apparaît déjà plus complexe à traiter. Rien que l’absence de représentation de certaines voyelles est un des éléments à prendre en compte et justifie d’adopter une tout autre approche. Cela fera l’objet d’un prochain billet sur le Carreau de la BULAC. À suivre, donc.


  1. Translittération des caractères cyrilliques en caractères latins – Langues slaves et non slaves. ↩︎

OpenEdition vous propose de citer ce billet de la manière suivante :
Emmett Strickland (20 décembre 2024). TransliTAL #1 : les technologies de la langue au service de la qualité des notices en écriture cyrillique de la BULAC. Le Carreau de la BULAC. Consulté le 15 février 2025 à l’adresse https://doi.org/10.58079/12zch


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.