In der aktuellen Diskussion rund um künstliche Intelligenz spielt Sprache eine zentrale Rolle. Oft wird sie jedoch ausschließlich mit etablierten Anwendungen wie maschinellen Übersetzungen oder mehrsprachigen virtuellen Assistenten in Verbindung gebracht. Seltener berücksichtigt man dagegen das Potenzial von KI zur Bewahrung lokaler Kultur – etwa bei regionalen Dialekten, die vom Aussterben bedroht sind.

Genau in diesem Kontext hat Artificialy eines seiner kulturell bedeutendsten Projekte entwickelt: ein Sprachmodell, das Übersetzungen aus und in den Dialekt des Kantons Tessin ermöglicht. Darüber haben wir kürzlich auch im Corriere del Ticino sowie vor den Kameras von RSI berichtet.

Die Idee entstand fast zufällig – während eines Unternehmerabends, in dem sich ein Gespräch über Sprachmodelle mit Diskussionen im Tessiner Dialekt vermischte. Die technische Herausforderung war sofort klar: ein funktionierendes Modell in sehr kurzer Zeit zu entwickeln, basierend auf einer Sprache, die zwar im Alltag und in der mündlichen Tradition lebendig ist, aber keine strukturierten digitalen Datensätze wie offizielle Sprachen besitzt.

Datensammlung: eine multidimensionale Herausforderung

Die erste Projektphase erforderte eine intensive Datensammlung. Die wichtigste Quelle war die Digitalisierung historischer Bücher und Dokumente – ein alles andere als trivialer Prozess. Eine Herausforderung: Der historische Tessiner Dialekt enthält Zeichen, die im Standarditalienisch nicht existieren, darunter ein Graphem, das zugleich einen Akzent und einen Umlaut über dem Buchstaben „i“ kombiniert. Standard‑OCR‑Systeme konnten damit nicht umgehen.

Nach Tests mit verschiedenen Open‑Source‑OCR‑Systemen entwickelte Artificialy eine proprietäre Lösung, die die grafischen Besonderheiten des Dialekts korrekt verarbeiten konnte. Zudem erwies sich die Scanqualität als entscheidend: Das Team stellte fest, dass das Licht von Sonnenauf‑ und -untergang die besten Bedingungen für die Digitalisierung der „alten Texte“ bot.

Datenbereinigung und Normalisierung

Die ersten gesammelten Datensätze bestanden hauptsächlich aus literarischen Texten der 1950er‑ und 1960er‑Jahre, oft geprägt von einer volkstümlichen Erzähltradition und farbenreichen Ausdrücken – wenig geeignet für einen allgemeinen Übersetzer. Eine gründliche Bereinigung und Normalisierung war daher unerlässlich.

Der Tessiner Dialekt weist zudem eine starke regionale Fragmentierung auf: Für denselben Begriff können vier oder fünf verschiedene Varianten existieren, jeweils abhängig vom geografischen Gebiet. Um diese Komplexität zu bewältigen, entschied sich das Team für eine standardisierte Form des sogenannten „Eisenbahn‑Tessiner Dialekts“ – eine Variante, deren Verbreitung historisch durch die schrittweise Verbindung der wichtigsten Orte per Bahn begünstigt wurde.

Eine zentrale Referenz für die terminologische Klärung waren das Lessico und das Vocabolario des Centro di dialettologia e di etnografia in Bellinzona, die wesentlich zur Standardisierung beigetragen haben. Diese Methode ermöglichte kohärentere, eindeutige Übersetzungen und reduzierte zugleich Redundanzen und Mehrdeutigkeiten.

Strategische Erweiterung des Datensatzes

Während des Trainingsprozesses erkannte das Team eine deutliche Diskrepanz zwischen der literarischen Sprache der Datensätze und der realen Nutzung des Modells durch spätere Anwender. Um diese Lücke zu schließen, spielten literarische und theatralische Werke – oft sowohl im Tessiner Dialekt als auch auf Italienisch verfügbar – eine wichtige Rolle. Sie halfen nicht nur, das Korpus zu erweitern, sondern auch die Sprache zu normalisieren und natürlichere syntaktische und dialogische Strukturen zu vermitteln. Auch Gedichte und Lieder verbesserten die Fähigkeit des Modells, unterschiedliche sprachliche Register zu bewältigen.

Eine weitere technische Herausforderung betraf die Verbformen. Im gesprochenen Tessiner Dialekt dominiert das Präsens – eine Besonderheit, die das Modell in frühen Iterationen irritierte. Auch der Umgang mit Hilfsverben, die sich stark vom Standarditalienisch unterscheiden, erforderte gezielte Anpassungen. Hier kamen Data‑Augmentation‑Techniken zum Einsatz, die in Zusammenarbeit mit Fachexperten entwickelt wurden.

Durch diesen methodischen und iterativen Ansatz wuchs der Datensatz schließlich auf mehrere zehntausend sorgfältig abgeglichene Wörter zwischen den Referenzsprachen und dem Tessiner Dialekt.

Modellarchitektur

Bei der Modellarchitektur entschied sich Artificialy im vergangenen Jahr für Mixtral – ein Open‑Source‑Modell mit besonderem Fokus auf europäischen Sprachen, darunter Italienisch. Diese Wahl erwies sich als strategisch: Mixtral nutzt eine „Mixture of Experts“-Struktur, bei der ein zentrales Modell spezialisierte Teilmodelle koordiniert. Dies ermöglichte solide Ergebnisse selbst mit relativ begrenzten Datensätzen und bot dank der starken italienischen Basis einen idealen Ausgangspunkt, um den Tessiner Dialekt zu erlernen.

Das Training verlief in iterativen Zyklen, parallel zu laufenden Anpassungen des Datensatzes. Die erste Version erzeugte übermäßig farbige oder zu formelle Übersetzungen, geprägt von historischen Texten. Die zweite und dritte Iteration litten unter Genauigkeitsproblemen aufgrund von Datenrauschen. Erst ab der zehnten Version erzielte das Team überzeugende Ergebnisse und begann mit einer systematischen Validierung der Ausgabe.

Für die Validierung war spezifisches Wissen notwendig: Ein projektverantwortlicher Dialektkenner entwickelte einen Satz von Testsätzen, die im Training nicht verwendet worden waren, um zuverlässige quantitative Metriken zu erhalten. Die Ergebnisse führten zu einem weiteren Trainingszyklus, bevor eine zufriedenstellende Qualität erreicht wurde.

Wirkung und Zukunftsperspektiven

Das Modell wurde offiziell über eine Pressemitteilung und bei einem Event für die lokale wissenschaftliche Gemeinschaft vorgestellt. Das Interesse ging schnell über technische Aspekte hinaus: Mehrere Organisationen kontaktierten das Team für ähnliche Projekte zu anderen Minderheitensprachen, etwa Ladinisch. Die Methodik ist tatsächlich für viele „seltene“ Sprachen adaptierbar – sofern ausreichende schriftliche Quellen vorhanden sind.

Auch wirtschaftlich zeigt sich Potenzial: Einige Unternehmen haben ausdrücklich den Tessiner Dialekt als Sprachoption angefragt – ein klares Zeichen für die Identitätskraft dieser Sprache.

Besonders spannend sind Anwendungen im Bereich kultureller Bewahrung und Vermittlung: Das Modell könnte in digitale Avatare in Museen oder Kulturinstitutionen integriert werden und Besuchern ein immersives Erlebnis in der lokalen Sprache bieten.

Technische Überlegungen und Replizierbarkeit

Dieses Projekt war dank proprietärer Trainingsinfrastrukturen möglich. Für Unternehmen ohne dedizierte Rechenressourcen wäre die Entwicklung ähnlicher Modelle allerdings kaum finanzierbar.

Ein häufig unterschätzter technischer Aspekt betrifft die Tokenisierung: Sprachmodelle wandeln Text über Tokens in Binärcode um, doch verschiedene Sprachen benötigen unterschiedliche Tokenisierungssysteme. Die Optimierung dieses Prozesses für Minderheitensprachen ist eine zusätzliche Herausforderung, die spezielles Fachwissen erfordert.

Das Tessiner‑Dialekt‑Modell zeigt, dass künstliche Intelligenz nicht nur ein Werkzeug zur Innovation ist, sondern auch zur Bewahrung. In einer Zeit, in der viele regionale Dialekte vom Verschwinden bedroht sind, bietet Technologie neue Möglichkeiten, wertvolle sprachliche und kulturelle Traditionen lebendig zu halten.