lunedì 1 giugno 2026

I test PISA e le competenze degli studenti italiani

 
I risultati dei test PISA per la comprensione del testo
Nelle ultime settimane, a Pisa e a Cracovia, ho avuto modo di discutere spesso con insegnanti, colleghi e amici a proposito delle competenze degli studenti italiani. Ne abbiamo parlato soprattutto in rapporto a lettura e scrittura, dato il settore in cui lavoro; ma alcuni aspetti del discorso sono di portata più generale e il tutto è comunque di estremo interesse. Provo quindi a sintetizzare le mie opinioni attuali in modo più articolato di quello possibile nelle discussioni a voce!
 
Su questo argomento io ho posizioni, diciamo, “ottimistiche”. Nella mia esperienza, a parità di situazione socioculturale, dalla fine del Novecento a oggi le competenze degli studenti sono rimaste in sostanza invariate (a parte la crisi Covid, naturalmente, che richiede un discorso a parte). La maggioranza delle persone con cui parlo ha tuttavia opinioni assai diverse. Anzi, la retorica sul calo di competenze è tale che ogni tanto, parlando con i docenti, ho l’impressione che la rassegnazione e il senso di sconfitta siano i mali peggiori con cui la scuola oggi deve fare i conti. Si tratta solo di un’impressione momentanea, certo: le questioni importanti sono più strutturali e riguardano in particolare l’aspetto economico e l’assetto sociale. Ma anche questa retorica del declino gioca senz’altro un ruolo. E la cosa interessante è che lo fa senza avere nessuna base oggettiva.
 
Ma come? Non esistono accorati appelli sul terribile peggioramento dei nostri studenti? La nota Lettera dei seicento del 2017 non parlava esplicitamente di un “declino” nelle competenze? E non è vero che le competenze degli studenti non sono quelle che vorremmo che fossero?
 
Per l’ultimo punto: certo, è ovvio che non siamo al livello desiderato! Del resto, ben pochi sistemi di formazione (o sistemi sociali in generale) ottengono tutto quello che si vorrebbe ottenessero. Al sistema formativo si potrà sempre chiedere di più; anzi, è giusto chiederlo. Questo però è un problema assai diverso rispetto al considerare la situazione frutto di un “declino”.
 
Se si prova a cercare di capire come stanno in realtà le cose, tuttavia, si incontra subito un problema di base: le rilevazioni affidabili sulle competenze e conoscenze degli studenti o della popolazione sono rarissime. Ciò può sembrare sorprendente ai non addetti ai lavori, ma le cause di questo stato di cose sono strutturali. Valutare in modo oggettivo qualcosa di tanto complesso come la capacità di scrittura è un’attività difficile: ogni valutazione è parziale, e le valutazioni fatte con un minimo di scientificità sono molto complicate. In pratica, con le eccezioni che citerò tra poco, non esiste nessuna rilevazione che ci permetta per esempio di dire in modo documentato se negli ultimi decenni le competenze di scrittura degli studenti all’ingresso all’università sono aumentate o diminuite.
 
Un punto di riferimento in questo settore sono però, da un quarto di secolo, i test PISA dell’OCSE (test che, nonostante il nome, non hanno alcun rapporto privilegiato con la città di Pisa). Questi test, triennali, a partire dal 2000 sono somministrati a campioni rappresentativi dei quindicenni di tutti i paesi dell’OCSE e anche ad alcuni paesi esterni all’organizzazione e spiccano per la loro solidità, nonché per la possibilità che offrono di fare confronti nel tempo e nello spazio. Certo, non sono perfetti (anche qui: quale sistema lo è?): ma per l’Italia sono in pratica l’unica fonte seria. Io su questo blog li cito e li discuto da più di 15 anni e continuo ad apprezzarli. Gli ultimi risultati pubblicati sono quelli relativi al 2022 e io attendo adesso, con molta curiosità, gli esiti dell’edizione 2025.
 
I test PISA non coprono tutte le competenze. Ne coprono però una che mi interessa particolarmente: quella della “lettura”, che potremmo definire come “comprensione del testo”. Tale competenza viene misurata chiedendo ai quindicenni di leggere testi di vario tipo (espositivo, narrativo, ecc.) e di rispondere a domande: il complesso lavoro necessario per preparare attività confrontabili a livello internazionale è descritto in dettaglio sul sito dedicato.
 
Che cosa dicono, quindi, i test PISA per quanto riguarda la “comprensione del testo” dei quindicenni italiani dal 2000 a oggi? Questo grafico, tratto da p. 431 del rapporto completo relativo al 2022, presenta gli aspetti essenziali:
 
I risultati dei test PISA per la comprensione del testo
 
Per interpretare il grafico, occorre tener presente che i test PISA sono stati tarati sulla base della media dei punteggi OCSE nel 2000, facendo corrispondere al punteggio medio il valore di 500. Nel 2000 i quindicenni italiani ottenevano un valore inferiore rispetto alla media, ma non di molto: 487 punti. Sono poi calati fino s 469 punti nel 2006, sono risaliti fino a superare tutti i risultati precedenti nel 2012 con 490 punti per poi tornare a scendere… con un inaspettato recupero nel 2022, quando il 482 ottenuto in periodo pandemico è risultato addirittura superiore alla media OCSE, molto calata proprio in quella rilevazione.
 
In sostanza, quello che emerge dai test PISA è un quadro dominato dalla stabilità, con oscillazioni significative ma contenute in un senso e nell’altro. Certo, i dati non vanno letti in modo acritico: valutare le capacità di comprensione del testo non ci dice per esempio nulla di diretto sulle capacità di scrittura, anche se è legittimo aspettarsi che ci sia una buona correlazione. Né vanno sottovalutati i punti critici del quadro italiano, a cominciare dalle fortissime disparità per quanto riguarda la situazione nelle diverse aree geografiche e nei diversi percorsi scolastici. Però, per tornare al punto chiave, nulla in questi numeri fa pensare a un drastico o inevitabile “declino” delle competenze. E un po’ mi consola il fatto che le mie impressioni istintive siano in linea con i migliori dati disponibili.
 
A molti lettori di questo post verrà poi spontanea una domanda: ma i test INVALSI? Anche quelli sono di estremo interesse… ma conto di parlarne in altra occasione.
 

martedì 26 maggio 2026

Traduzione automatica a Cracovia

 
Lenticchie e birra sullo sfondo della valle dell'Adige
Sono in viaggio per il convegno SILFI 2026 a Cracovia: domani, 27 maggio, parlerò su un tema che ben conosco: la Valutazione dell’italiano delle traduzioni eseguite da LLM. In questo momento, a bordo del RailJet 84 delle ferrovie austriache, sto risalendo la valle dell’Adige... spettacolare quando uno può guardarla per bene senza dover tener gli occhi fissi sulla strada!
 
Per quanto riguarda il mio lavoro, a inizio intervento conto di presentare quattro punti che sono un po’ premesse e un po’ conclusioni:
  1. Verso l’italiano, i sistemi attuali producono per alcuni tipi di testo e per alcune lingue di partenza traduzioni di livello paragonabile a quello di una buona traduzione umana non sottoposta a un’ultima revisione
  2. Di fronte a traduzioni di questo tipo, prive di indicazione d’origine, spesso anche dei valutatori esperti non riescono a distinguere tra traduzione umana e traduzione automatica
  3. Almeno in alcuni ambiti, gli LLM generalisti come ChatGPT forniscono traduzioni di qualità superiore a quella di sistemi specializzati come DeepL
  4. Come per i traduttori umani, gli LLM producono regolarmente esempi di traduttese
Dico “un po’ premesse e un po’ conclusioni” perché lo stato di cose che descrivo mi sembra ormai accettato, nelle linee generali, ma poco documentato (soprattutto per l’italiano). Io spero di contribuire a documentarlo mostrando in particolare i risultati di una valutazione compiuta con gli studenti della laurea magistrale in Linguistica e traduzione dell’Università di Pisa. Abbiamo condotto le prove su brevi sezioni iniziali di tre romanzi, tra cui l’ultimo di McEwan e il sempre caro Nova di Samuel R. Delany, confrontando il lavoro di ChatGPT e DeepL con la venerabile traduzione di Renato Prinzhofer pubblicata a suo tempo dalla Nord.
 
E a parte questo… a Cracovia ci vado in treno! Purtroppo non ho fondi sufficienti a permettermi di fare in treno anche il viaggio di ritorno, per il quale dovrò ripiegare sull’economico volo Ryanair diretto da Cracovia a Pisa. Ma almeno all’andata si va in modo più sostenibile, da Ripafratta e cambi a Pisa Centrale, Firenze Santa Maria Novella, Verona Porta Nuova e Rosenheim, con arrivo auspicato domattina alle 7 a Cracovia Centrale (Kraków Główny)!
 

martedì 19 maggio 2026

Insegnanti e centauri


Centauri capovolti: collage di Cory Doctorow da https://pluralistic.net/2021/02/17/reverse-centaur/ licenza CC 4.0 By
Vogliamo insegnanti che usano strumenti, o strumenti che usano insegnanti?
 
Nelle ultime settimane ho avuto occasione di incontrare molti docenti e, soprattutto, futuri docenti delle scuole secondarie italiane. Ci sarebbero innumerevoli cose positive da dire in rapporto a queste persone competenti e motivate! Vorrei però fare qualche considerazione partendo da ciò che mi ha colpito di più negli scambi: l’ideologia di rassegnazione e sconfitta con cui queste persone sembrano costrette a confrontarsi ogni giorno. Sembra quasi che su di loro, per creare stordimento, vengano riversate alcune idee tanto assurde quanto paralizzanti e ossessive:
  • che gli studenti abbiano competenze sempre minori 
  • che l’IA sia inevitabile 
  • che tutto vada in una sola direzione 
  •  che l’unica scelta possibile sia rassegnarsi
 
Io non credo a nessuno di questi luoghi comuni, che spesso sono smentiti da dati precisi e rilevazioni scientifiche. Per esempio, le competenze degli studenti, in Italia, sembrano stabili da un quarto di secolo (dovremmo rafforzarle, certo, ma questo è un discorso ben diverso rispetto al credere che siano in drammatico e irreversibile declino). E per quanto riguarda l’IA, non c’è niente di inevitabile! Certo, le decisioni in questo settore devono fare i conti con potenti interessi economici e politici, ma l’esito di queste battaglie è tutt’altro che scontato – anche se sta vincendo una retorica che dice che il futuro è già deciso.
 
Nello specifico, sul rapporto con l’IA mi sembra utile riprendere una distinzione emersa nei dibattiti recenti. Ethan Mollick ha parlato infatti del modello del “centauro”: l’essere umano e la macchina collaborano, ma resta abbastanza chiaro che cosa fa l’uno e che cosa fa l’altra. Prendendo spunto da qui, Cory Doctorow ha però fatto notare che il rapporto tra le componenti del centauro può concretizzarsi in due situazioni ben diverse.
 
Da un lato, infatti, possiamo immaginarci il centauro in modo ottimistico: un essere umano che usa la macchina per svolgere i compiti che gli interessano. E dall’altro, possiamo immaginarci quello che Doctorow definisce il “reverse centaur” e che io chiamerei il “centauro capovolto”: una macchina che controlla un essere umano per svolgere i compiti che la macchina non è in grado di eseguire. Sembra una situazione da fantascienza? In realtà, è esattamente ciò che avviene quando le organizzazioni mettono sotto controllo gli esseri umani attraverso tecnologie digitali per svolgere attività che le macchine non sono in grado di eseguire: dalle consegne a domicilio alla correzione di compiti.
 
Ora, in rapporto al mondo dell’educazione, non c’è dubbio che oggi siano in molti a sognare la trasformazione degli insegnanti in centauri capovolti: da alcune forze politiche alle organizzazioni che puntano a introdursi nel mercato della didattica. Ma io voglio vivere in un altro mondo: quello in cui gli insegnanti possono decidere, nella loro autonomia se servirsi o meno degli strumenti tecnologici! E in cui, se decidono di farlo, possono farlo come piace a loro. Da centauri giusti.
 

martedì 3 marzo 2026

Tavosanis, Grammatica generata

 
Logo AI-Ling

Il 2025 è stato per me un anno decisamente impegnativo. In primo luogo, e di gran lunga, per gli eventi della vita; ma un po’ anche per i lavori da portare a termine. Questo secondo aspetto se non altro è più controllabile e, incrociando le dita, si sta normalizzando. Tuttavia, la quantità di cose da fare è stata tale da rendere difficile anche solo dar conto di quel che è stato pubblicato.
 
Segnalo quindi qui un mio contributo uscito già da qualche mese sulla rivista “AI-Linguistica”: Grammatica generata: analisi di alcune strutture presenti nei testi di ChatGPT in lingua italiana. Lì ho cercato di vedere quanti e quali sono gli errori grammaticali che ChatGPT, Minerva LLM e DeepSeek commettono nei testi generati in lingua italiana. Spoiler! Gli errori sono pochi ma non assenti (se ne trova uno ogni una-due pagine), e sono anche molto simili tra un modello e l’altro, sia per frequenza sia per qualità.
 
Tuttavia, una valutazione più precisa è resa difficile da una vaghezza nell’oggetto. Infatti, nell’italiano contemporaneo non è sempre chiaro che cosa sia errore o no. L’incertezza è viva soprattutto per la sintassi, e molto meno per la morfologia o l’ortografia, ma coinvolge comunque strutture comunissime. A scanso di equivoci, è bene precisare che ciò avviene anche (o specialmente?) nell’uso colto. In pratica, quindi, si vede che persone istruite, inclusi i docenti di materie letterarie nella scuola secondaria o i linguisti, hanno opinioni molto diverse tra di loro (e spesso vivacemente diverse tra di loro) riguardo l’accettabilità o meno di frasi come queste, che possono essere accettate senza problemi o violentemente critcate:
 
  • A Piero piace Maria e cerca di farsi bello ai suoi occhi. 
  • In questi casi, una scrittura volutamente non chiara può servire a proteggere individui da potenziali danni, sia a livello personale che professionale.
 
Naturalmente, non sono io il primo ad accorgersi dello stato delle cose: da un quarto di secolo a questa parte, diversi ricercatori, incluso Gaetano Berruto, hanno fatto occasionale riferimento a questa “disomogeneità di giudizi”, evidente a chiunque si metta a leggere sistematicamente i tre monumentali tomi della Grande grammatica italiana di consultazione. Tuttavia, non si sono mai avute, per esempio, campagne di valutazione estese che rendessero conto della variabilità dei giudizi dei parlanti. E in generale, com’è ovvio, la produzione professionale spesso si tiene lontana dai casi incerti; che però emergono senza problemi quando a scrivere sono persone di alto livello culturale ma che non praticano professionalmente la scrittura in lingua italiana.
 
La questione sarebbe soprattutto scolastica, ma è impossibile evitarla quando si cerca di valutare la produzione delle intelligenze artificiali. Se un’intelligenza artificiale generativa produce strutture come “sia a livello personale che professionale”, che vanno in diretta violazione di alcuni principi enunciati da Luca Serianni, si tratta di un errore o no?
 
Anche in questo caso mi sembra insomma che l’intelligenza artificiale, oltre a essere un oggetto di studio interessante di per sé, permetta di tornare a riflettere su qualcosa che sia nella discussione scientifica sia nella pratica didattica è rimosso o negato. Anche dopo decenni di studi, l’italiano delle grammatiche non sempre dà conto dell’italiano reale… e vale senz’altro la pena approfondire la questione.
 
Mirko Tavosanis, Grammatica generata: analisi di alcune strutture presenti nei testi di ChatGPT in lingua italiana , “AI-Linguistica” 2, 2, 2025, pp. 1-32. https://doi.org/10.62408/ai-ling.v1i1.14
 

lunedì 2 marzo 2026

Interventi e presentazioni tra febbraio e marzo


Logo RIND
Come scrivevo ieri, negli ultimi mesi dal punto di vista lavorativo sono stato in grado solo di occuparmi dell’essenziale. Non sono quindi riuscito nemmeno ad annunciare qui tutto ciò che facevo o pubblicavo: il riallineamento sta iniziando adesso!
 
All’interno di questo riallineamento, segnalo ora, tutti assieme, alcuni interventi che ho tenuto a febbraio e le iniziative in programma per marzo:
  • l’11 febbraio, su gentile invito di Giuliana Fiorentino, ho tenuto una lezione online sul Valutare le capacità delle intelligenze artificiali generative per il Polo Lincei del Molise
  • il 26 febbraio, a Trieste, all’interno del convegno Visti da lontano inserito nel progetto PRIN RIND, su gentile invito di Stefano Ondelli, ho tenuto una presentazione sul tema Dalla statistica linguistica alla valutazione
  • il 10 marzo, alle 14:30, parteciperò al laboratorio Oltre alla lezione frontale, altre forme di didattica presso il Liceo Buonarroti a Pisa
  • l’11 marzo, alle 14:30, nell’Aula Magna del Dipartimento di Filologia, letteratura e linguistica dell’Università di Pisa si terrà un incontro di presentazione del mio libro L’italiano sulla via dell’India; parteciperanno Daniele Baglioni e Alessandro Orengo
 
Seguiranno naturalmente aggiornamenti per le iniziative successive!
 
Creative Commons License
Blog di Mirko Tavosanis by http://linguaggiodelweb.blogspot.com is licensed under a Creative Commons Attribuzione-Non opere derivate 2.5 Italia License.