Papa e Tavosanis, Valutazione umana di DeepL a livello di frase per le traduzioni di testi specialistici dall'inglese verso l'italiano

 

Vale davvero la pena tenere d’occhio gli sviluppi della traduzione automatica… è uno dei rarissimi casi in cui la tecnologia è più avanti di quel che sembra!

 

Adesso è appena uscito un contributo scritto da un bravo studente, Sirio Papa, e da me: Valutazione umana di DeepL a livello di frase per le traduzioni di testi specialistici dall’inglese verso l’italiano. Il contributo appare negli atti del convegno CLiC-it 2020, che avrebbe dovuto tenersi quest’anno ma che è stato spostato al marzo 2021: speriamo possa tenersi in presenza.

 

I risultati del lavoro, per quanto incredibile ciò ancora mi sembri, confermano altri studi recenti, in cui si è parlato molto di raggiungimento della “parità” tra traduzione automatica e traduzione umana. Per quanto riguarda l’“adeguatezza”, cioè in sostanza la correttezza dei contenuti, nel mio campione la traduzione automatica è risultata al livello di quella umana. Non arriva invece al livello di quella umana per la “scorrevolezza”, definendo in questo modo il rispetto di tutte le regole grammaticali, l’uso delle collocazioni tipiche di una lingua, eccetera, ma la differenza è davvero ridottissima. Di tutto questo ho già parlato l’anno scorso, parlando della presentazione fatta a Bari e del contributo pubblicato. 

In quanto ai risultati del lavoro appena uscito, che confermano e rafforzano i precedenti, sono stati ottenuti sottoponendo a un gruppo di 15 valutatori le traduzioni di 108 frasi inglesi. Di ogni frase sono state valutate due diverse versioni, una tradotta da esseri umani e l’altra tradotta da DeepL. Le frasi sono state divise in due gruppi e presentate ai valutatori in ordine casuale, senza informazioni su chi avesse tradotto ogni singola frase. I risultati complessivi, in scala da 1 a 5, sono stati questi:

 

Adeguatezza 

• Umano: 4,29 
• DeepL: 4,31

Scorrevolezza 

• Umano: 4,17 
• DeepL: 4,09

Insomma, la traduzione automatica ha ricevuto addirittura un punteggio più alto di quello della traduzione umana per quanto riguarda l'adeguatezza, ma la differenza è tanto ridotta da non essere statisticamente significativa: in pratica, si tratta di parità. È invece statisticamente significativo il vantaggio del traduttore umano per la scorrevolezza… ma, come si vede, il margine è comunque molto, molto ridotto.

 

Se al di là dei numeri interessano gli aneddoti, poi, forse è il caso di raccontarne uno. Quando ho ricevuto il documento con le frasi estratte a caso da traduzioni eseguite da DeepL, l’ho scorsa e ho contattato il mio coautore, dicendo: “ci deve essere un errore! Queste mi sembrano le frasi tradotte da traduttori umani”. La risposta, come si sarà immaginato, è stata: “no, no, sono proprio quelle di DeepL”…

 

Vale poi la pena di precisare due cose importanti. La prima è che la valutazione è stata condotta, a differenza dei miei esperimenti precedenti, su testi specialistici: brevetti, manuali, schede di sicurezza. I settori di provenienza erano “biomedicina e discipline del farmaco” e “ambiente ed energia”. E prima di fare la valutazione, confesso che non avevo idea di che cosa sarebbe venuto fuori: questi testi si prestano bene alla traduzione automatica, perché per esempio la sintassi è più rigida di quella di altri tipi di testo? O si prestano male, perché per esempio le difficoltà nella traduzione della terminologia sono insormontabili? Direi che i risultati, come minimo, garantiscono che le difficoltà non sono insormontabili.

 

La seconda cosa, connessa, è che la valutazione è stata condotta grazie al contributo volontario degli studenti e dei docenti (in particolare, delle professoresse Isabella Blum e Silvia Barra) del Master on line in Traduzione specialistica inglese > italiano erogato dal Consorzio ICoN: li ringrazio tutti sentitamente! Il loro coinvolgimento è stato essenziale perché, com’è ovvio, non si può valutare la qualità della traduzione se non si sa che cosa significa il testo originale, o anche solo se determinate parole esistono o no nell’uso italiano.

 

Prossimi sviluppi? Probabilmente passare a valutare testi interi, non più singole frasi. La cosa è difficile e pone anche problemi metodologici (come si fa a nascondere al valutatore l’origine anche solo di un articolo di giornale? Per rendere evidente la provenienza basta che sia presente all’interno anche un solo errore che un essere umano non commetterebbe mai); ma un paio di idee le ho, e forse potrò provare ad applicarle nel 2021.

 

Aggiungo poi che anche in questo caso sono lieto di aver pubblicato l’articolo in italiano, in un contesto in cui la conferenza accetta sia italiano che inglese, ma, se vedo bene, su 69 articoli accettati quelli in italiano sono solo 4. Meglio dei 2 su 75 dell’anno scorso, peraltro! E chissà che la traduzione automatica non permetta comunque la lettura anche a chi non conosce l’italiano...

 

Sirio Papa e Mirko Tavosanis, Valutazione umana di Google Traduttore e DeepL per le traduzioni di testi giornalistici dall’inglese verso l’italiano, pp. 1-7, in CLiC-it 2020 – Proceedings of the Seventh Italian Conference on Computational Linguistics Bologna, Italy, March 1-3, 2021, a cura di Johanna Monti, Felice Dell’Orletta e Fabio Tamburini, CEUR Workshop Proceedings, Aachen University, ISSN 1613-0073.

 

Giacche e calzoncini

 

Più passa il tempo, meno mi dà fastidio lasciare le cose del passato. Anzi, alleggerirmi mi fa piacere… e, anche dal punto di vista pratico, negli ultimi giorni ho fatto un bel po’ di pulizia tra vestiti e scarpe. Quello che non posso o non voglio più usare è stato quindi accompagnato al contenitore della San Vincenzo in via Lucchese.

 

Alcune cose però le ho accompagnate meno volentieri. Per esempio, una vecchia giacca antivento della Decathlon, da venti euro o giù di lì. Era una giacca di plastica, di bassa qualità, ma che si è rivelata perfettamente funzionale in un sacco di occasioni. Non so quando l’ho comprata… ce l’avevo già, sicuramente, nell’aprile del 2007 e me la vedo addosso in una foto davanti al ponte del Firth of Forth, in Scozia, nel luglio sempre del 2007:

  

Qualche anno più tardi il suo cappuccio staccabile era rimasto in un bar di Toirano; era tutta chiazzata di vernice e ormai il rivestimento esterno si lacerava da solo. Però ci avevo avvoltolato dentro mia figlia diverse volte, per farla dormire a terra al caldo, quando aveva due o tre anni e la portavo nello zaino a fare lunghe camminate. Per esempio, una indimenticabile – per me – sulle spiagge di Rosignano (24 febbraio 2008) o sul percorso della vecchia ferrovia della Lama (27 agosto 2009). 

  

Alla fine un po’ mi ero affezionato a quella giacca. Oppure ai calzoncini leggeri che avevo comprato nel 2012 per andare a Hong Kong in treno: leggerissimi, si asciugavano al volo e si sono rivelati praticissimi. Anche lì il tessuto ormai era logoro; per qualche anno ho coperto buchi e strappi con toppe adesive, ma quest’estate le lacerazioni hanno vinto.

 

Un po’ alla volta poi toccherà al resto, credo. L’accappatoio Bassetti (comodissimo) che ho da trent’anni ma che ormai ha ceduto in modo impossibile da riparare. La giacca Sisley in cotone nero, comprata usata per € 15 al Mercatone anni fa e che mi ha tenuto caldo in un safari in Kenya, mi ha fatto da coperta e cuscino su treni in India e in Giappone, mi ha accompagnato a innumerevoli lauree, matrimoni, consigli di Dipartimento… I vestiti sono attrezzi, e quando arriva la loro stagione è il momento di lasciarli andare. Però qualcuno mi fa piacere ricordarlo.

 

Ripartenza?

 

Dal punto di vista del lavoro, il 2020 per me è stato un anno eccezionalmente difficile. La ragione principale, forse, è stata la più ovvia: il Covid-19 e tutti gli impegni connessi con lo spostamento del lavoro a distanza hanno portato a un forte aumento del carico per le attività normali.

 

Inoltre, non ci sono state solo le attività normali! Parlando anche solo dell’insegnamento… Per il mio Laboratorio di scrittura del II semestre dell’anno accademico 2019-2020 avevo chiesto supporto per gestire il carico di lavoro, ma per una perversa congiuntura di eventi il supporto non è arrivato. La ripetizione del corso, che avrebbe dovuto tenersi nel II semestre dell’anno accademico 2020-2021, è stata anticipata al primo semestre, cioè a questo. I corsi OFA a distanza di cui mi occupo si sono moltiplicati e, anche se questa è una soddisfazione, perfino qui all’inizio non è stato possibile avere un supporto. In aggiunta, in questo semestre ho gestito e in parte tenuto un corso di Italian linguistics, ovvero di Linguistica italiana in inglese (!) per studenti stranieri. In circostanze normali, gestire tutto questo sarebbe stato impegnativo ma ragionevole. Nelle attuali circostanze… diciamo che sono stati mesi molto impegnativi!

 

Mi è anche spiaciuto non poter partecipare tanto quanto in passato alla Settimana della lingua italiana nel mondo, che quest’anno ovviamente si è tenuta tutta a distanza. Mi è spiaciuto particolarmente perché il tema della Settimana, quest’anno, era particolarmente bello: L’italiano tra parola e immagine: graffiti, illustrazioni, fumetti.

 

Per fortuna, grazie a un gentile invito di Marco Marica e Matteo Cattaneo, direttori rispettivamente degli Istituti Italiani di Cultura di Città del Messico e Città del Guatemala, ho avuto se non altro la possibilità di fare una conferenza sul rapporto tra lingua italiana e fumetti e un corso per docenti. La conferenza era in spagnolo: ho scritto il testo in italiano, i traduttori degli IIC l'hanno tradotto e poi io l'ho letto in spagnolo... mi chiedo che impressione ne abbiano avuto gli ascoltatori! Ma i docenti che hanno partecipato al corso si sono confermati davvero bravi (avevo già conosciuto diversi di loro nel 2018) e hanno anche proposto diverse attività molto interessanti. Per inciso, i fumetti più usati, sia nel corso sia nella loro pratica normale di insegnamento, si sono rivelati la Pimpa e Mafalda (che, anche se non è italiano, è talmente popolare nei paesi di lingua spagnola da rappresentare un punto di riferimento).

 

Per finire, poi, alla fine di ottobre sono stato eletto presidente dei Corsi di studio (triennale e magistrale) in Informatica umanistica qui a Pisa. È indubbiamente un onore – e anche un impegno molto consistente.

 

In questa veste, giusto ieri ho presieduto la mia prima sessione di laurea. Tra triennale e magistrale, i laureandi erano 19 – e io ho fatto da relatore per sei di loro. Anche questo è stato un bell’impegno, ma alla fine è andato tutto benissimo e le tesi, al solito, sono state una splendida fonte di motivazione. Se è possibile fare tutto questo lavoro nel mezzo della seconda ondata, qualche possibilità di miglioramento ce l’abbiamo! E spero che da adesso in poi, un po’ alla volta, tante altre situazioni possano migliorare.

 

Tavosanis, Le discussioni di Wikipedia

  

 

A pochi mesi dal precedente, è uscito un nuovo numero della rivista Lingue e culture dei media, diretta da Ilaria Bonomi e Mario Piotti. All’interno c’è un mio contributo che si intitola Le discussioni di Wikipedia: una lunga descrizione, in prospettiva linguistica e non solo, del modo in cui funzionano le discussioni su Wikipedia in lingua italiana.

 

Quello della rivista, stavolta, è un numero monografico, curato da Angela Ferrari, Letizia Lala e Filippo Pecorari e dedicato ad Accordi e disaccordi in rete: aspetti linguistici, comunicativi e psicosociali. All’interno si trovano contributi nati a partire degli interventi dal convegno di Basilea dedicato lo scorso anno allo stesso tema, affrontato da diverse angolazioni: le attività online dell’Accademia della Crusca, le recensioni ai libri e agli hotel, le discussioni dei politici, gli insulti… Il quadro che ne risulta mostra bene quanto la comunicazione in rete sia differenziata al proprio interno, e spesso interessante proprio per questa differenziazione.

 

Il mio lavoro, poi, si inserisce in un filone di cui avevo già parlato: analisi di Wikipedia in lingua italiana, in cui lo studio linguistico si ricollega anche ad altre questioni.

 

In quanto al merito, non tutti sanno che su Wikipedia le (discussioni, pubbliche, frequenti e condotte in spazi dedicati), sono uno strumento centrale per la vita della comunità collegata. Wikipedia fornisce inoltre regole esplicite e molto dettagliate per la gestione dei disaccordi e la ricerca del consenso. L’operato degli autori sembra però motivato più dal dissenso che dal consenso: il desiderio di mostrare di aver ragione è probabilmente una delle principali motivazioni per scrivere sul sito.

 

Il prodotto di questa e di altre spinte contrastanti sono discussioni spesso molto articolate e dettagliate, lontanissime da quelle che si possono trovare nelle reti sociali. Al tempo stesso, va detto che la loro natura è probabilmente legata al profilo sociolinguistico degli interlocutori: impossibile da definire fino in fondo, ma evidentemente di livello socioeconomico superiore alla media, con titoli di studio spesso legati all’informatica o all’ingegneria. Sia per la centralità del sito nella vita contemporanea, sia per la peculiarità delle forme, credo che studiare queste discussioni valga la pena – e, spero, ulteriori approfondimenti in futuro.

 

Mirko Tavosanis, Le discussioni di Wikipedia , in Lingue e culture dei media 4, 2, 2020, ISSN 2532-1803, pp. 59-77, liberamente consultabile e scaricabile in linea. 
ORCID: https://orcid.org/0000-0002-4730-3901 
DOI: https://doi.org/10.13130/2532-1803/14333 

 

Tavosanis, L’italiano di Wikipedia e la didattica della scrittura

  

 

È uscito la settimana scorsa il nuovo numero della rivista Lingue e culture dei media, diretta da Ilaria Bonomi e Mario Piotti; rivista che tra l’altro ha il merito di rendere i contenuti liberamente disponibili con licenza CC BY 4.0. All’interno di questo numero (4, 1) c’è anche un mio contributo che si intitola L’italiano di Wikipedia e la didattica della scrittura e che, ovviamente, descrive il tipo di italiano usato su Wikipedia, dando ampio spazio alle applicazioni didattiche.

 

Il lavoro per me è particolarmente importante perché è il primo di una serie di contributi dedicati a Wikipedia; contributi che, con un po’ di fortuna, dovrebbero uscire con regolarità nei prossimi mesi. In passato avevo già descritto in un intervento a Pisa e in un altro a Siena le mie esperienze con l’uso di Wikipedia nei miei corsi, ma qui inizio ad allargare il campo, descrivendo le caratteristiche generali della scrittura di Wikipedia in lingua italiana.

 

Si tratta ancora di primi assaggi, visto che le dimensioni di Wikipedia richiedono un bel po’ di lavoro per disegnare un quadro accurato, ma intanto è importante partire. Ciò che si può dire ora, per esempio, è che le indicazioni esplicite fornite dalla comunità nel Manuale di stile dell’enciclopedia sono ben compatibili con la tradizione italiana di lavoro sulla chiarezza e comprensibilità della scrittura. E, per quanto riguarda la pratica, gli assaggi fatti mostrano una ragionevole capacità di applicare la teoria. L’indice Gulpease è 50,3 e, anche se le tipiche voci di Wikipedia sono brevi e schematiche, in un sondaggio su 10 voci estratte a caso ne è comparsa solo una con forti problemi espressivi. 

 

Inoltre, è proprio la migliorabilità di Wikipedia a rendere lo strumento interessante dal punto di vista didattico! Con un po’ di pratica, gli studenti delle scuole e dell’università possono essere coinvolti, a livelli diversi, nella correzione e nell’ampliamento di tanti aspetti delle voci. Il contributo propone quindi, sulla base delle esperienze che ho avuto in questi anni, spunti per una serie di attività su piani che vanno dalla correzione ortografia alla scrittura di voci complete.

 

I prossimi lavori (con un po’ di fortuna) riguarderanno poi l’ideologia linguistica di Wikipedia, il modo in cui si svolgono le discussioni al suo interno e le implicazioni linguistiche della parafrasi di testi al servizio dell’enciclopedia.

 

Mirko Tavosanis, L’italiano di Wikipedia e la didattica della scrittura, in Lingue e culture dei media 4, 1, 2020, ISSN 2532-1803, pp. 8-26, liberamente consultabile e scaricabile in linea.