Nel dibattito sull’intelligenza artificiale, il linguaggio occupa un ruolo centrale, ma viene spesso associato esclusivamente a soluzioni ormai consolidate come le traduzioni automatiche o gli assistenti virtuali multilingua. Raramente si considera, invece, il potenziale dell'AI nella preservazione della cultura del territorio, ad esempio per i dialetti regionali a rischio di estinzione. 

Proprio in questo contesto Artificialy ha sviluppato uno dei suoi progetti più culturalmente significativi: un modello di linguaggio arricchito dalla traduzione dal e al dialetto del Canton Ticino. Lo abbiamo raccontato, di recente, anche su CdT e davanti alle telecamere di RSI. 

L'idea è nata quasi per caso, durante una cena di imprenditori, in una conversazione sui modelli di linguaggio che si intrecciava con discussioni in dialetto ticinese. La sfida tecnica è stata chiara fin da subito: creare un modello funzionale in tempi molto stretti, partendo da una lingua che, pur viva nella tradizione orale e nella conversazione quotidiana, non dispone di dataset digitali strutturati paragonabili a quelli delle lingue ufficiali.  

La raccolta dati, una sfida multidimensionale 

La prima fase del progetto ha richiesto un periodo intenso di raccolta dati.  La fonte principale iniziale è stata la digitalizzazione di libri e documenti storici, un processo tutt'altro che banale. Una delle sfide, il ticinese storico presenta caratteri che non esistono in italiano standard, come il grafema che comprende la lettera "i" con accento e dieresi al contempo, rendendo impossibile l'utilizzo di sistemi di Optical Character Recognition standard. 

Dopo aver testato diversi OCR open source, Artificialy ha sviluppato internamente una soluzione proprietaria in grado di gestire le peculiarità grafiche del dialetto. Non solo, la qualità della scansione si è rivelata cruciale: un aneddoto, il team ha scoperto che la luce dell'alba e del tramonto offriva le condizioni ottimali per digitalizzare "i testi antichi”.  

Pulizia e normalizzazione dei dati 

I primi dataset raccolti erano prevalentemente costituiti da testi letterari degli anni '50 e '60, con un linguaggio spesso rustico dettato dalla tradizione popolare dei racconti, e un vocabolario che quindi includeva frequentemente espressioni colorite, inadatte a un traduttore di uso generale. Questo ha richiesto un'attenta fase di pulizia e normalizzazione. 

Il dialetto ticinese è caratterizzato da una forte frammentazione territoriale: per uno stesso concetto possono coesistere anche quattro o cinque varianti lessicali diverse, legate a specifiche aree geografiche. Per affrontare questa complessità, il team ha scelto di adottare una versione standardizzata del cosiddetto “dialetto ticinese della ferrovia”, ricostruendo una diffusione linguistica più uniforme, storicamente favorita dallo sviluppo delle linee ferroviarie che collegavano progressivamente i principali centri del Cantone. 

Un riferimento fondamentale per la disambiguazione terminologica è stato il Lessico e il Vocabolario del Centro di dialettologia e di etnografia di Bellinzona, che hanno contribuito a cristallizzare una forma standard del dialetto. Questo approccio ha permesso di rendere le traduzioni più coerenti e univoche, riducendo al contempo ridondanze e ambiguità lessicali. 

L’arricchimento strategico del dataset 

Durante le fasi di addestramento, il team ha individuato una discrepanza significativa tra il linguaggio letterario prevalente nel dataset e l’uso reale che gli utenti avrebbero fatto del modello. Per colmare questa distanza, un ruolo fondamentale è stato svolto dalle opere letterarie e teatrali, spesso disponibili sia in dialetto ticinese sia in italiano. Queste fonti hanno contribuito non solo ad ampliare il corpus, ma anche a normalizzare il linguaggio e a favorire l’apprendimento di strutture sintattiche e conversazionali più naturali. L’integrazione di poesie e canzoni ha ulteriormente rafforzato la capacità del modello di gestire registri e formati linguistici eterogenei. 

Un’ulteriore sfida tecnica ha riguardato l’uso dei tempi verbali. Nel parlato ticinese, infatti, il presente viene impiegato in modo predominante, una peculiarità che nelle prime iterazioni tendeva a disorientare il modello. Anche il trattamento dei verbi ausiliari, significativamente diversi da quelli dell’italiano standard, ha richiesto interventi mirati. In questa fase si è fatto ricorso a tecniche di data augmentation, sviluppate in collaborazione con esperti di dominio che hanno fornito indicazioni puntuali per migliorare la resa linguistica. 

Grazie a questo approccio metodico e iterativo, il dataset è stato progressivamente ampliato fino a raggiungere diverse decine di migliaia di parole, accuratamente mappate tra le lingue di riferimento e il dialetto ticinese. 

L'architettura del modello 

Per quanto riguarda l'architettura, definita lo scorso anno, è stato scelto Mixtral, un modello open source con particolare focus sulle lingue europee, incluse l’Italiano. Questa decisione si è rivelata strategica: Mixtral utilizza una struttura a "mixture of experts", dove il modello generale coordina dei verticali specializzati su ambiti specifici. Questa caratteristica ha permesso di ottenere buone approssimazioni anche con dataset relativamente limitati rispetto a lingue più mainstream e di partire da una base solida sull’Italiano, che il team ha poi usato come ponte per insegnare al modello di linguaggio il dialetto ticinese. 

Il processo di training è stato strutturato in cicli iterativi e ha proceduto di pari passo con le modifiche al dataset: la prima versione presentava traduzioni eccessivamente colorite o auliche, ereditate dai testi storici. La seconda e terza iterazione hanno presentato problemi di accuratezza dovuti al molto rumore presente nel dataset. Solo dalla decima versione il team ha iniziato ad ottenere buoni risultati e a validare sistematicamente l'output, in ottica di una prima release del modello. 

La validazione ha richiesto competenze specifiche: un project manager con conoscenza del dialetto ha sviluppato un set di frasi di test mai viste in fase di training, per ottenere metriche quantitative affidabili. I risultati ottenuti durante questo processo di valutazione hanno portato ad un’ulteriore ciclo di iterazione di training, prima di raggiungere una qualità soddisfacente. 

Impatto e prospettive future 

Il modello è stato presentato ufficialmente con un comunicato stampa e ad un evento dedicato alla comunità scientifica locale. L'interesse è andato oltre quello puramente tecnico: diverse organizzazioni hanno contattato il team per progetti analoghi su altre lingue territoriali minoritarie, come il ladino. Infatti, la stessa metodologia è replicabile per altre lingue "rare", a condizione che esistano fonti scritte sufficienti. 

Dal punto di vista commerciale, alcune imprese hanno esplicitamente richiesto il dialetto ticinese come opzione linguistica nei loro servizi, testimoniando quanto questa lingua sia ancora sentita e identitaria per il territorio.  

L'applicazione più affascinante riguarda conservazione e divulgazione culturale: il modello potrebbe essere integrato con avatar digitali in musei o istituzioni culturali, offrendo un'esperienza immersiva nella lingua locale. 

Riflessioni tecniche e replicabilità 

Questo progetto è stato possibile grazie alla disponibilità di infrastrutture di training proprietarie. Per aziende prive di risorse computazionali dedicate, sviluppare modelli simili risulterebbe eccessivamente costoso.  

Un aspetto tecnico spesso sottovalutato riguarda la tokenizzazione: i modelli di linguaggio convertono il testo in codice binario attraverso token, ma lingue diverse utilizzano sistemi di tokenizzazione diversi. Ottimizzare questo processo per lingue minoritarie rappresenta una sfida aggiuntiva che richiede expertise specifica. 

Il progetto del modello ticinese dimostra come l'intelligenza artificiale possa essere uno strumento potente non solo per innovare, ma anche per preservare. In un'epoca in cui molti dialetti regionali rischiano l'estinzione, la tecnologia offre opportunità inedite per dare nuova linfa vitale a patrimoni linguistici e culturali preziosi.