IA pour la traduction des dialectes et des langues rares | Artificialy

"Le projet du modèle tessinois démontre que l’intelligence artificielle peut être un outil puissant non seulement pour innover, mais aussi pour préserver. À une époque où de nombreux dialectes régionaux risquent de disparaître, la technologie offre des opportunités inédites pour redonner vie à des patrimoines linguistiques et culturels précieux."

Le Défi

Alors que les modèles linguistiques basés sur l’IA excellent désormais dans la traduction des principales langues mondiales, les dialectes régionaux restent largement négligés. Le dialecte tessinois, parlé dans le canton suisse du Tessin, est vivant dans les échanges quotidiens, y compris en contexte professionnel, mais il ne dispose pas des ensembles de données numériques structurées propres aux langues officielles.

Le défi était multiple :

• Absence de corpus numérique standardisé. Contrairement aux grandes langues, le tessinois ne disposait pas de données d’entraînement facilement accessibles.

• Caractéristiques orthographiques uniques. Le dialecte utilise des caractères inexistants en italien standard (par exemple un « i » avec accent et tréma).

• Variations régionales. Un même concept peut être exprimé par quatre à cinq termes différents selon la zone géographique.

• Langue historique vs contemporaine. Les sources écrites disponibles datent des années 1950–1960 et présentent un langage rustique et très imagé, peu adapté à une traduction générale.

• Spécificités grammaticales. Les temps verbaux et les auxiliaires diffèrent sensiblement de l’italien standard.

L’objectif était de créer, dans des délais courts, un modèle de traduction fonctionnel à partir d’une langue principalement transmise par tradition orale.

Dans le tissu économique tessinois, les entreprises se développent et innovent tout en conservant un lien fort avec leur territoire et leur identité culturelle.

Une solution de traduction IA du dialecte tessinois permet une communication plus naturelle et inclusive, notamment par l’intégration du dialecte dans des écosystèmes culturels tels que les musées ou les initiatives territoriales. Cela favorise la compréhension, l’engagement et le sentiment d’appartenance, démontrant comment la technologie peut valoriser les racines locales tout en soutenant l’évolution numérique régionale.

Notre solution basée sur l'AI

Artificialy a développé un modèle linguistique sur mesure basé sur Mixtral, une architecture open source de type « mixture of experts », particulièrement efficace pour les langues européennes. L’approche a combiné expertise culturelle et techniques NLP avancées.

Les principaux éléments de la solution :

• Développement d’un OCR personnalisé. Après avoir testé des solutions open source, nous avons conçu un système OCR propriétaire capable de gérer les graphèmes spécifiques du tessinois et d’optimiser les conditions de numérisation.

• Construction stratégique du jeu de données. L’italien a servi de langue passerelle, le modèle étant progressivement enrichi de contenus tessinois issus de la littérature, du théâtre, de la poésie et des chansons afin de capturer différents registres et formats.

• Standardisation linguistique. Des variantes et déclinaisons officielles, telles que celles du Centro di dialettologia di Bellinzona, ont été adoptées pour lever les ambiguïtés régionales.

• Cycles d’entraînement itératifs. Plus de dix itérations ont permis d’affiner le modèle, notamment sur les temps verbaux, les auxiliaires et le filtrage des expressions trop colorées, grâce à des techniques de data augmentation développées avec des experts du domaine.

• Validation ciblée. Des jeux de test composés de phrases inédites ont permis d’évaluer quantitativement la qualité de la traduction, avec des résultats satisfaisants après plusieurs cycles d’optimisation.

Le jeu de données final comprend des dizaines de milliers de paires de mots précisément mappées entre l’italien et le tessinois.

Résultats

Le modèle de traduction du tessinois illustre comment l’IA peut préserver un patrimoine linguistique menacé tout en apportant une valeur concrète au monde de l’entreprise.

• Premier modèle du genre pour le dialecte tessinois, contribuant à la sauvegarde d’une langue en voie de disparition.

• Adoption commerciale. Ce projet nous permet aujourd’hui d’entraîner des LLM on premise même pour des langues rares et des domaines hautement spécialisés tels que le militaire, le médical ou le juridique.

• Méthodologie reproductible. L’approche a suscité l’intérêt d’organisations travaillant sur d’autres langues minoritaires comme le ladin, démontrant la scalabilité du modèle à d’autres langues « rares » disposant de sources écrites suffisantes.

• Applications innovantes. Intégration potentielle avec des avatars numériques dans les musées et institutions culturelles pour des expériences immersives en langue locale.