Modello di traduzione del Ticinese: preservazione del patrimonio culturale con l'AI
“Il progetto del modello ticinese dimostra come l'intelligenza artificiale possa essere uno strumento potente non solo per innovare, ma anche per preservare. In un'epoca in cui molti dialetti regionali rischiano l'estinzione, la tecnologia offre opportunità inedite per dare nuova linfa vitale a patrimoni linguistici e culturali preziosi”.
La Sfida
Mentre i modelli linguistici AI-based eccellono, ormai, nella traduzione delle principali lingue mondiali, i dialetti regionali rimangono in gran parte trascurati. Il dialetto ticinese, parlato nel Canton Ticino svizzero, è vivo nella conversazione quotidiana, anche in ambito business, ma manca dei dataset digitali strutturati disponibili per le lingue ufficiali.
La sfida era su più livelli:
• Nessun corpus digitale standardizzato. A differenza delle lingue principali, il ticinese non disponeva di dati di training facilmente accessibili.
• Caratteristiche ortografiche uniche. Il dialetto utilizza caratteri che non esistono nell'italiano standard (es. "i" con accento e dieresi contemporaneamente).
• Variazione regionale. Esistono 4-5 termini diversi per lo stesso concetto nelle varie aree geografiche.
• Linguaggio storico vs. contemporaneo. Le fonti scritte disponibili risalivano agli anni '50-'60 con linguaggio rustico e colorito inadatto alla traduzione generale.
• Peculiarità grammaticali. I tempi verbali e gli ausiliari differiscono significativamente dall'italiano standard.
L'obiettivo era creare un modello di traduzione funzionale in tempi ristretti, partendo da una lingua preservata principalmente attraverso la tradizione orale.
Nel tessuto imprenditoriale ticinese, le imprese crescono e innovano, mantenendo al tempo stesso un forte legame con il territorio e la propria identità culturale.
Una soluzione di traduzione AI del dialetto ticinese permette di comunicare in modo più naturale e inclusivo, integrando il dialetto ad esempio in ecosistemi culturali come musei e iniziative territoriali. Questo favorisce comprensione, coinvolgimento e senso di appartenenza, dimostrando come la tecnologia possa valorizzare le radici locali mentre supporta l’evoluzione digitale locale.
La nostra Soluzione AI
Artificialy ha sviluppato un modello linguistico personalizzato utilizzando Mixtral, un'architettura open source con struttura "mixture of experts", particolarmente efficace per le lingue europee. L'approccio ha combinato competenza culturale con tecniche NLP avanzate.
Componenti chiave della soluzione:
• Sviluppo OCR personalizzato. Dopo aver testato soluzioni open source, abbiamo costruito un sistema proprietario di OCR, capace di gestire i grafemi unici del ticinese e di ottimizzare le condizioni di digitalizzazione.
• Costruzione strategica del dataset. Abbiamo utilizzato l'italiano come ponte linguistico, arricchendo progressivamente il modello con contenuti ticinesi da opere letterarie, teatrali, poesie e canzoni per catturare registri e formati diversi.
• Standardizzazione linguistica. Abbiamo adottato versioni e declinazioni ufficiali, ad esempio quelle del Centro di dialettologia di Bellinzona, per disambiguare le variazioni regionali.
• Cicli di training iterativi. In oltre 10 iterazioni di training, abbiamo perfezionato il modello affrontando problemi legati a tempi verbali, verbi ausiliari e filtraggio di espressioni troppo colorite attraverso tecniche di data augmentation sviluppate con esperti della materia.
• Validazione mirata. Abbiamo creato set di test con frasi mai viste per valutare quantitativamente la qualità della traduzione, raggiungendo risultati soddisfacenti dopo molteplici cicli di refining.
Il dataset finale ha raggiunto decine di migliaia di coppie di parole mappate con precisione tra italiano e ticinese.
Risultati
Il modello di traduzione ticinese dimostra come l'AI possa preservare il patrimonio linguistico in via di estinzione fornendo al contempo valore pratico per il business.
• Primo modello nel suo genere per il dialetto ticinese. Dà nuova vita a una lingua a rischio di estinzione.
• Adozione commerciale. Questo esperimento ci rende oggi capaci di allenare modelli LLM on-prem anche per lingue rare e ambiti linguistici specifici, ad esempio il settore militare, medico o legale.
• Metodologia replicabile. L'approccio ha attirato l'interesse di organizzazioni che lavorano su altre lingue minoritarie come il ladino, dimostrando la scalabilità del modello ad altre lingue "rare" con fonti scritte sufficienti.
• Applicazioni innovative. Potenziale integrazione con avatar digitali in musei e istituzioni culturali per esperienze immersive nella lingua locale.
Ti potrebbe interessare anche
Edge AI per le Smart City: rilevamento di oggetti per scenari stradali reali
