Dans le débat autour de l’intelligence artificielle, la langue occupe un rôle central, mais elle est souvent associée uniquement à des solutions désormais bien établies comme la traduction automatique ou les assistants virtuels multilingues. On considère rarement, en revanche, le potentiel de l’AI pour préserver la culture d’un territoire, par exemple lorsqu’il s’agit de dialectes régionaux menacés de disparition.

C’est précisément dans ce contexte qu’Artificialy a développé l’un de ses projets les plus significatifs sur le plan culturel : un modèle linguistique enrichi par la traduction vers et depuis le dialecte du canton du Tessin. Nous l’avons récemment présenté dans le Corriere del Ticino et devant les caméras de la RSI.

L’idée est née presque par hasard, au cours d’un dîner d’entrepreneurs, dans une conversation sur les modèles de langage qui s’entremêlait avec des échanges en dialecte tessinois. Le défi technique est apparu immédiatement : créer un modèle fonctionnel en très peu de temps, à partir d’une langue qui, bien que vivante dans la tradition orale et dans les conversations quotidiennes, ne dispose pas de jeux de données numériques structurés comparables à ceux des langues officielles.

La collecte de données : un défi multidimensionnel

La première phase du projet a nécessité une période intense de collecte de données. La principale source initiale a été la numérisation de livres et de documents historiques, un processus loin d’être simple. L’un des défis venait du fait que le tessinois historique contient des caractères inexistants en italien standard, comme un graphème combinant à la fois accent et tréma sur la lettre i, rendant impossible l’utilisation de systèmes OCR classiques.

Après avoir testé plusieurs OCR open source, Artificialy a développé une solution propriétaire capable de gérer ces particularités graphiques. De plus, la qualité du scan s’est révélée cruciale : anecdote intéressante, l’équipe a découvert que la lumière de l’aube et du crépuscule offrait les conditions optimales pour numériser les « textes anciens ».

Nettoyage et normalisation des données

Les premiers jeux de données étaient principalement composés de textes littéraires des années 1950 et 1960, souvent marqués par un langage rustique issu de la tradition populaire, avec un vocabulaire comprenant fréquemment des expressions imagées, peu adaptées à un traducteur généraliste. Une phase minutieuse de nettoyage et de normalisation s’est donc avérée indispensable.

Le dialecte tessinois est également caractérisé par une forte fragmentation territoriale : pour un même concept, il peut exister quatre ou cinq variantes lexicales différentes, liées à des zones géographiques spécifiques. Pour gérer cette complexité, l’équipe a choisi d’adopter une version standardisée du « dialecte tessinois du chemin de fer », historiquement diffusé de manière plus uniforme grâce au développement progressif des lignes ferroviaires reliant les principaux centres du canton.

Une référence essentielle pour la désambiguïsation terminologique a été le Lessico et le Vocabolario du Centre de dialectologie et d’ethnographie de Bellinzone, qui ont contribué à cristalliser une forme standard du dialecte. Cette approche a permis d’obtenir des traductions plus cohérentes et univoques, tout en réduisant redondances et ambiguïtés.

L’enrichissement stratégique du dataset

Au cours des phases d’entraînement, l’équipe a constaté un écart important entre la langue littéraire dominante dans le corpus et l’usage réel que les utilisateurs feraient du modèle. Pour combler cette distance, les œuvres littéraires et théâtrales — souvent disponibles à la fois en dialecte tessinois et en italien — ont joué un rôle fondamental. Elles ont permis d’élargir le corpus, de normaliser la langue et d’enseigner au modèle des structures syntaxiques et conversationnelles plus naturelles. L’intégration de poèmes et de chansons a encore renforcé sa capacité à gérer des registres variés.

Une autre difficulté technique concernait l’usage des temps verbaux. En tessinois parlé, le présent est employé de manière prédominante, une particularité qui déstabilisait le modèle dans les premières itérations. Le traitement des verbes auxiliaires, très différents de ceux de l’italien standard, a également demandé des ajustements ciblés. Des techniques de data augmentation ont été utilisées, en collaboration avec des experts du domaine.

Grâce à cette approche méthodique et itérative, le dataset a été progressivement étendu jusqu’à atteindre plusieurs dizaines de milliers de mots, soigneusement alignés entre les langues de référence et le dialecte tessinois.

L’architecture du modèle

Pour l’architecture, le choix, effectué l’année dernière, s’est porté sur Mixtral, un modèle open source particulièrement performant pour les langues européennes, dont l’italien. Ce choix s’est avéré stratégique : Mixtral utilise une structure de « mixture of experts », où un modèle général coordonne des modules spécialisés par domaine. Cette caractéristique a permis d’obtenir de bons résultats même avec un dataset relativement limité, et d’utiliser l’italien comme base solide pour enseigner le dialecte tessinois au modèle.

Le processus de formation s’est déroulé en cycles itératifs, parallèlement aux ajustements du dataset. La première version produisait des traductions trop imagées ou trop soutenues, héritées des textes historiques. Les deuxième et troisième versions présentaient des problèmes de précision dus au bruit dans les données. Ce n’est qu’à partir de la dixième version que l’équipe a commencé à obtenir des résultats fiables et à valider systématiquement la qualité de sortie en vue d’une première release.

La validation a nécessité des compétences spécifiques : un chef de projet connaissant le dialecte a élaboré un ensemble de phrases test inédites pour mesurer des métriques quantitatives fiables. Les résultats ont conduit à un nouveau cycle d’entraînement avant d’atteindre une qualité jugée satisfaisante.

Impact et perspectives d’avenir

Le modèle a été présenté officiellement dans un communiqué de presse et lors d’un événement dédié à la communauté scientifique locale. L’intérêt a rapidement dépassé la dimension purement technique : plusieurs organisations ont contacté l’équipe pour des projets analogues concernant d’autres langues minoritaires, comme le ladin. La méthodologie est en effet reproductible pour d’autres langues « rares », à condition que des sources écrites suffisantes existent.

D’un point de vue commercial, certaines entreprises ont expressément demandé d’intégrer le dialecte tessinois comme option linguistique dans leurs services, preuve que cette langue demeure fortement identitaire sur le territoire.

L’application la plus fascinante concerne la conservation et la diffusion culturelle : le modèle pourrait être intégré dans des avatars numériques dans les musées ou institutions culturelles, offrant une expérience immersive dans la langue locale.

Réflexions techniques et reproductibilité

Ce projet a été rendu possible grâce aux infrastructures de formation propriétaires d’Artificialy. Pour des entreprises dépourvues de ressources computationnelles dédiées, développer un modèle similaire serait excessivement coûteux.

Un aspect technique souvent sous-estimé est la tokenisation : les modèles linguistiques convertissent le texte en code binaire via des tokens, mais les langues nécessitent des stratégies de tokenisation différentes. Optimiser ce processus pour des langues minoritaires représente un défi supplémentaire demandant une expertise spécifique.

Le projet du modèle tessinois démontre que l’intelligence artificielle peut être un outil puissant non seulement pour innover, mais aussi pour préserver. À une époque où de nombreux dialectes régionaux risquent de disparaître, la technologie offre des opportunités inédites pour redonner vie à des patrimoines linguistiques et culturels précieux.