Le rilevazioni INVALSI e il Covid

 

Parlavo due giorni fa dei test PISA riguardo le competenze dei quindicenni: indagini ben fatte, confrontabili a livello internazionale… ma basate su rilevazioni a campione. Sarebbe assai meglio sapere come stanno le cose per tutti, attraverso quella che viene chiamata un’indagine censuaria.

 

Per fortuna, oggi in Italia abbiamo anche questo! Ci sono infatti le rilevazioni INVALSI, che coinvolgono tutti gli studenti di 5 anni scolastici (II e V anno della scuola primaria, III anno della scuola secondaria di primo grado, II e ultimo anno della scuola secondaria di secondo grado) e riguardano, in sostanza, italiano, matematica e inglese. La lettura dei rapporti INVALSI, e in particolare quella del Rapporto INVALSI 2025, disponibile sul sito dell’Istituto, è quindi di estremo interesse.

 

Tuttavia, va detto subito che, per ragionamenti come quello sul “declino” di lungo periodo delle competenze degli studenti, i dati INVALSI non possono dirci nulla. Anche se l’INVALSI ha una storia piuttosto lunga, le rilevazioni attuali sono il frutto di un iter lungo e tortuoso, con diversi passi falsi. La qualità del processo oggi mi sembra buona… ma il lungo percorso alle spalle fa sì che molti dati siano confrontabili, come dichiarato anche nell'ultimo rapporto, solo a partire dal 2019 (mentre per i test PISA la confrontabilità parte già dal 2000).

 

Inoltre, il 2019 è, ovviamente, l’anno che precede il 2020, in cui anche le rilevazioni INVALSI sono state sospese a causa delle chiusure per Covid e della più devastante alterazione della didattica che si sia vista in Italia dopo la Seconda guerra mondiale. Il periodo è stato terribile: io l’ho attraversato da presidente di due Corsi di Laurea, cercando di gestire al meglio la situazione a livello universitario, ma nel caso della scuola molti effetti sono stati senz’altro più forti di quelli con cui mi sono confrontato di persona e hanno portato allo sconvolgimento di ben tre anni scolastici.

 

Era legittimo attendersi che le chiusure delle scuole producessero un calo sensibile delle competenze e delle conoscenze degli studenti... e così è stato. Nelle classi prese in esame dai test INVALSI si riscontra infatti, in modo quasi uniforme, un forte calo nei punteggi dal 2019 al 2021. Non solo: a quel che sembra, il basso livello del 2021 non viene recuperato negli anni successivi ma si mantiene. Viene quindi spontaneo interpretare la differenza rispetto al 2019 come il differenziale che tutti gli studenti coinvolti nel periodo Covid si porteranno dietro per tutto il loro percorso di studi. Gli estensori del rapporto interpretano in questo modo i risultati parlando di Italiano nella classe II della scuola primaria (ma considerazioni simili vengono inserite anche in relazione alle altre classi): “Questo andamento sembra confermare l’ipotesi di un effetto pandemico a medio-lungo termine sugli apprendimenti che appare tuttora ancora difficile da riassorbire” (INVALSI, p. 13). Mi sembrano però condivisibili anche le altre preoccupazioni espresse dagli estensori:

 

… sembra anche opportuno interrogarsi sulla possibile presenza di fattori strutturali che, al di là dell’evento pandemico, stanno contribuendo a favorire gli scenari messi in luce dalle prove INVALSI. Tra questi potrebbero rientrare elementi legati alla crescente complessità sociale, ai mutamenti nel ruolo e nelle aspettative attribuite alla scuola nonché all’impatto pervasivo delle tecnologie. In questo scenario, la pandemia potrebbe aver agito da acceleratore e rivelatore precoce di fragilità già presenti nel sistema, contribuendo a renderle più visibili e urgenti (INVALSI, pp. 13-14).

 

Dal punto di vista pratico: occorre senz'altro evitare che, in mancanza di correttivi, il calo pandemico diventi “il nuovo standard”. Per fortuna, il quadro non è uniforme e presenta diversi aspetti incoraggianti. Per esempio, in Italiano il livello della II elementare presenta solo un calo leggero rispetto al periodo pre-Covid (mentre la differenza è assai più significativa in Matematica); il calo è in generale meno marcato nei primi anni di scuola e più marcato negli ultimi; le competenze in Inglese sono in netto miglioramento rispetto al periodo pre-Covid; e così via.

 

Va poi aggiunto che c’è molta differenza tra un calo e un collasso. Per quanto riguarda l’area che mi coinvolge più direttamente dal punto di vista professionale, cioè l’Italiano nell’ultimo anno della scuola secondaria di secondo grado, il passaggio da 200 punti a 184,7 rappresenta un sensibile peggioramento, ma non certo un azzeramento delle competenze (la media italiana del 2025 si avvicina a quella che pre-Covid era stata la media della regione “Sud”, isole escluse). Qui il grafico pertinente, dalla p. 115 del Rapporto:

 

 

Tutto questo non può (e non deve) indurre a eccessi di ottimismo. Resta però evidente che il calo è stato causato da un evento specifico, con un inizio e una fine. Non stiamo insomma combattendo contro mistiche forze irresistibili che trascinano verso il basso: occorre evitare assolutamente la ripetizione di un disastro come quello del Covid, ma le valutazioni quantitative, combinate con il confronto con i test PISA, mostrano bene la differenza tra ciò che è avvenuto e un ipotetico “declino” protratto nel tempo. Chi opera nel sistema formativo non si trova dunque di fronte un destino ineluttabile, ma ha il compito di migliorare i livelli attuali, analizzando con lucidità i punti di forza e quelli di debolezza. Il che però richiede senz’altro una discussione più sofisticata, e in generale più lavoro, rispetto alle retoriche oggi dominanti.

 

I test PISA e le competenze degli studenti italiani

 

Nelle ultime settimane, a Pisa e a Cracovia, ho avuto modo di discutere spesso con insegnanti, colleghi e amici a proposito delle competenze degli studenti italiani. Ne abbiamo parlato soprattutto in rapporto a lettura e scrittura, dato il settore in cui lavoro; ma alcuni aspetti del discorso sono di portata più generale e il tutto è comunque di estremo interesse. Provo quindi a sintetizzare le mie opinioni attuali in modo più articolato di quello possibile nelle discussioni a voce!

 

Su questo argomento io ho posizioni, diciamo, “ottimistiche”. Nella mia esperienza, a parità di situazione socioculturale, dalla fine del Novecento a oggi le competenze degli studenti sono rimaste in sostanza invariate (a parte la crisi Covid, naturalmente, che richiede un discorso a parte). La maggioranza delle persone con cui parlo ha tuttavia opinioni assai diverse. Anzi, la retorica sul calo di competenze è tale che ogni tanto, parlando con i docenti, ho l’impressione che la rassegnazione e il senso di sconfitta siano i mali peggiori con cui la scuola oggi deve fare i conti. Si tratta solo di un’impressione momentanea, certo: le questioni importanti sono più strutturali e riguardano in particolare l’aspetto economico e l’assetto sociale. Ma anche questa retorica del declino gioca senz’altro un ruolo. E la cosa interessante è che lo fa senza avere nessuna base oggettiva.

 

Ma come? Non esistono accorati appelli sul terribile peggioramento dei nostri studenti? La nota Lettera dei seicento del 2017 non parlava esplicitamente di un “declino” nelle competenze? E non è vero che le competenze degli studenti non sono quelle che vorremmo che fossero?

 

Per l’ultimo punto: certo, è ovvio che non siamo al livello desiderato! Del resto, ben pochi sistemi di formazione (o sistemi sociali in generale) ottengono tutto quello che si vorrebbe ottenessero. Al sistema formativo si potrà sempre chiedere di più; anzi, è giusto chiederlo. Questo però è un problema assai diverso rispetto al considerare la situazione frutto di un “declino”.

 

Se si prova a cercare di capire come stanno in realtà le cose, tuttavia, si incontra subito un problema di base: le rilevazioni affidabili sulle competenze e conoscenze degli studenti o della popolazione sono rarissime. Ciò può sembrare sorprendente ai non addetti ai lavori, ma le cause di questo stato di cose sono strutturali. Valutare in modo oggettivo qualcosa di tanto complesso come la capacità di scrittura è un’attività difficile: ogni valutazione è parziale, e le valutazioni fatte con un minimo di scientificità sono molto complicate. In pratica, con le eccezioni che citerò tra poco, non esiste nessuna rilevazione che ci permetta per esempio di dire in modo documentato se negli ultimi decenni le competenze di scrittura degli studenti all’ingresso all’università sono aumentate o diminuite.

 

Un punto di riferimento in questo settore sono però, da un quarto di secolo, i test PISA dell’OCSE (test che, nonostante il nome, non hanno alcun rapporto privilegiato con la città di Pisa). Questi test, triennali, a partire dal 2000 sono somministrati a campioni rappresentativi dei quindicenni di tutti i paesi dell’OCSE e anche ad alcuni paesi esterni all’organizzazione e spiccano per la loro solidità, nonché per la possibilità che offrono di fare confronti nel tempo e nello spazio. Certo, non sono perfetti (anche qui: quale sistema lo è?): ma per l’Italia sono in pratica l’unica fonte seria. Io su questo blog li cito e li discuto da più di 15 anni e continuo ad apprezzarli. Gli ultimi risultati pubblicati sono quelli relativi al 2022 e io attendo adesso, con molta curiosità, gli esiti dell’edizione 2025.

 

I test PISA non coprono tutte le competenze. Ne coprono però una che mi interessa particolarmente: quella della “lettura”, che potremmo definire come “comprensione del testo”. Tale competenza viene misurata chiedendo ai quindicenni di leggere testi di vario tipo (espositivo, narrativo, ecc.) e di rispondere a domande: il complesso lavoro necessario per preparare attività confrontabili a livello internazionale è descritto in dettaglio sul sito dedicato.

 

Che cosa dicono, quindi, i test PISA per quanto riguarda la “comprensione del testo” dei quindicenni italiani dal 2000 a oggi? Questo grafico, tratto da p. 431 del rapporto completo relativo al 2022, presenta gli aspetti essenziali:

 

 

Per interpretare il grafico, occorre tener presente che i test PISA sono stati tarati sulla base della media dei punteggi OCSE nel 2000, facendo corrispondere al punteggio medio il valore di 500. Nel 2000 i quindicenni italiani ottenevano un valore inferiore rispetto alla media, ma non di molto: 487 punti. Sono poi calati fino s 469 punti nel 2006, sono risaliti fino a superare tutti i risultati precedenti nel 2012 con 490 punti per poi tornare a scendere… con un inaspettato recupero nel 2022, quando il 482 ottenuto in periodo pandemico è risultato addirittura superiore alla media OCSE, molto calata proprio in quella rilevazione.

 

In sostanza, quello che emerge dai test PISA è un quadro dominato dalla stabilità, con oscillazioni significative ma contenute in un senso e nell’altro. Certo, i dati non vanno letti in modo acritico: valutare le capacità di comprensione del testo non ci dice per esempio nulla di diretto sulle capacità di scrittura, anche se è legittimo aspettarsi che ci sia una buona correlazione. Né vanno sottovalutati i punti critici del quadro italiano, a cominciare dalle fortissime disparità per quanto riguarda la situazione nelle diverse aree geografiche e nei diversi percorsi scolastici. Però, per tornare al punto chiave, nulla in questi numeri fa pensare a un drastico o inevitabile “declino” delle competenze. E un po’ mi consola il fatto che le mie impressioni istintive siano in linea con i migliori dati disponibili.

 

A molti lettori di questo post verrà poi spontanea una domanda: ma i test INVALSI? Anche quelli sono di estremo interesse… ma conto di parlarne in altra occasione.

 

Traduzione automatica a Cracovia

 

Sono in viaggio per il convegno SILFI 2026 a Cracovia: domani, 27 maggio, parlerò su un tema che ben conosco: la Valutazione dell’italiano delle traduzioni eseguite da LLM. In questo momento, a bordo del RailJet 84 delle ferrovie austriache, sto risalendo la valle dell’Adige... spettacolare quando uno può guardarla per bene senza dover tener gli occhi fissi sulla strada!

 

Per quanto riguarda il mio lavoro, a inizio intervento conto di presentare quattro punti che sono un po’ premesse e un po’ conclusioni:

1. Verso l’italiano, i sistemi attuali producono per alcuni tipi di testo e per alcune lingue di partenza traduzioni di livello paragonabile a quello di una buona traduzione umana non sottoposta a un’ultima revisione
2. Di fronte a traduzioni di questo tipo, prive di indicazione d’origine, spesso anche dei valutatori esperti non riescono a distinguere tra traduzione umana e traduzione automatica
3. Almeno in alcuni ambiti, gli LLM generalisti come ChatGPT forniscono traduzioni di qualità superiore a quella di sistemi specializzati come DeepL
4. Come per i traduttori umani, gli LLM producono regolarmente esempi di traduttese

Dico “un po’ premesse e un po’ conclusioni” perché lo stato di cose che descrivo mi sembra ormai accettato, nelle linee generali, ma poco documentato (soprattutto per l’italiano). Io spero di contribuire a documentarlo mostrando in particolare i risultati di una valutazione compiuta con gli studenti della laurea magistrale in Linguistica e traduzione dell’Università di Pisa. Abbiamo condotto le prove su brevi sezioni iniziali di tre romanzi, tra cui l’ultimo di McEwan e il sempre caro Nova di Samuel R. Delany, confrontando il lavoro di ChatGPT e DeepL con la venerabile traduzione di Renato Prinzhofer pubblicata a suo tempo dalla Nord.

 

E a parte questo… a Cracovia ci vado in treno! Purtroppo non ho fondi sufficienti a permettermi di fare in treno anche il viaggio di ritorno, per il quale dovrò ripiegare sull’economico volo Ryanair diretto da Cracovia a Pisa. Ma almeno all’andata si va in modo più sostenibile, da Ripafratta e cambi a Pisa Centrale, Firenze Santa Maria Novella, Verona Porta Nuova e Rosenheim, con arrivo auspicato domattina alle 7 a Cracovia Centrale (Kraków Główny)!

 

Insegnanti e centauri

Vogliamo insegnanti che usano strumenti, o strumenti che usano insegnanti?

 

Nelle ultime settimane ho avuto occasione di incontrare molti docenti e, soprattutto, futuri docenti delle scuole secondarie italiane. Ci sarebbero innumerevoli cose positive da dire in rapporto a queste persone competenti e motivate! Vorrei però fare qualche considerazione partendo da ciò che mi ha colpito di più negli scambi: l’ideologia di rassegnazione e sconfitta con cui queste persone sembrano costrette a confrontarsi ogni giorno. Sembra quasi che su di loro, per creare stordimento, vengano riversate alcune idee tanto assurde quanto paralizzanti e ossessive:

• che gli studenti abbiano competenze sempre minori 
• che l’IA sia inevitabile 
• che tutto vada in una sola direzione 
•  che l’unica scelta possibile sia rassegnarsi

 

Io non credo a nessuno di questi luoghi comuni, che spesso sono smentiti da dati precisi e rilevazioni scientifiche. Per esempio, le competenze degli studenti, in Italia, sembrano stabili da un quarto di secolo (dovremmo rafforzarle, certo, ma questo è un discorso ben diverso rispetto al credere che siano in drammatico e irreversibile declino). E per quanto riguarda l’IA, non c’è niente di inevitabile! Certo, le decisioni in questo settore devono fare i conti con potenti interessi economici e politici, ma l’esito di queste battaglie è tutt’altro che scontato – anche se sta vincendo una retorica che dice che il futuro è già deciso.

 

Nello specifico, sul rapporto con l’IA mi sembra utile riprendere una distinzione emersa nei dibattiti recenti. Ethan Mollick ha parlato infatti del modello del “centauro”: l’essere umano e la macchina collaborano, ma resta abbastanza chiaro che cosa fa l’uno e che cosa fa l’altra. Prendendo spunto da qui, Cory Doctorow ha però fatto notare che il rapporto tra le componenti del centauro può concretizzarsi in due situazioni ben diverse.

 

Da un lato, infatti, possiamo immaginarci il centauro in modo ottimistico: un essere umano che usa la macchina per svolgere i compiti che gli interessano. E dall’altro, possiamo immaginarci quello che Doctorow definisce il “reverse centaur” e che io chiamerei il “centauro capovolto”: una macchina che controlla un essere umano per svolgere i compiti che la macchina non è in grado di eseguire. Sembra una situazione da fantascienza? In realtà, è esattamente ciò che avviene quando le organizzazioni mettono sotto controllo gli esseri umani attraverso tecnologie digitali per svolgere attività che le macchine non sono in grado di eseguire: dalle consegne a domicilio alla correzione di compiti.

 

Ora, in rapporto al mondo dell’educazione, non c’è dubbio che oggi siano in molti a sognare la trasformazione degli insegnanti in centauri capovolti: da alcune forze politiche alle organizzazioni che puntano a introdursi nel mercato della didattica. Ma io voglio vivere in un altro mondo: quello in cui gli insegnanti possono decidere, nella loro autonomia se servirsi o meno degli strumenti tecnologici! E in cui, se decidono di farlo, possono farlo come piace a loro. Da centauri giusti.

 

Tavosanis, Grammatica generata

 

Il 2025 è stato per me un anno decisamente impegnativo. In primo luogo, e di gran lunga, per gli eventi della vita; ma un po’ anche per i lavori da portare a termine. Questo secondo aspetto se non altro è più controllabile e, incrociando le dita, si sta normalizzando. Tuttavia, la quantità di cose da fare è stata tale da rendere difficile anche solo dar conto di quel che è stato pubblicato.

 

Segnalo quindi qui un mio contributo uscito già da qualche mese sulla rivista “AI-Linguistica”: Grammatica generata: analisi di alcune strutture presenti nei testi di ChatGPT in lingua italiana. Lì ho cercato di vedere quanti e quali sono gli errori grammaticali che ChatGPT, Minerva LLM e DeepSeek commettono nei testi generati in lingua italiana. Spoiler! Gli errori sono pochi ma non assenti (se ne trova uno ogni una-due pagine), e sono anche molto simili tra un modello e l’altro, sia per frequenza sia per qualità.

 

Tuttavia, una valutazione più precisa è resa difficile da una vaghezza nell’oggetto. Infatti, nell’italiano contemporaneo non è sempre chiaro che cosa sia errore o no. L’incertezza è viva soprattutto per la sintassi, e molto meno per la morfologia o l’ortografia, ma coinvolge comunque strutture comunissime. A scanso di equivoci, è bene precisare che ciò avviene anche (o specialmente?) nell’uso colto. In pratica, quindi, si vede che persone istruite, inclusi i docenti di materie letterarie nella scuola secondaria o i linguisti, hanno opinioni molto diverse tra di loro (e spesso vivacemente diverse tra di loro) riguardo l’accettabilità o meno di frasi come queste, che possono essere accettate senza problemi o violentemente critcate:

 

• A Piero piace Maria e cerca di farsi bello ai suoi occhi. 
• In questi casi, una scrittura volutamente non chiara può servire a proteggere individui da potenziali danni, sia a livello personale che professionale.

 

Naturalmente, non sono io il primo ad accorgersi dello stato delle cose: da un quarto di secolo a questa parte, diversi ricercatori, incluso Gaetano Berruto, hanno fatto occasionale riferimento a questa “disomogeneità di giudizi”, evidente a chiunque si metta a leggere sistematicamente i tre monumentali tomi della Grande grammatica italiana di consultazione. Tuttavia, non si sono mai avute, per esempio, campagne di valutazione estese che rendessero conto della variabilità dei giudizi dei parlanti. E in generale, com’è ovvio, la produzione professionale spesso si tiene lontana dai casi incerti; che però emergono senza problemi quando a scrivere sono persone di alto livello culturale ma che non praticano professionalmente la scrittura in lingua italiana.

 

La questione sarebbe soprattutto scolastica, ma è impossibile evitarla quando si cerca di valutare la produzione delle intelligenze artificiali. Se un’intelligenza artificiale generativa produce strutture come “sia a livello personale che professionale”, che vanno in diretta violazione di alcuni principi enunciati da Luca Serianni, si tratta di un errore o no?

 

Anche in questo caso mi sembra insomma che l’intelligenza artificiale, oltre a essere un oggetto di studio interessante di per sé, permetta di tornare a riflettere su qualcosa che sia nella discussione scientifica sia nella pratica didattica è rimosso o negato. Anche dopo decenni di studi, l’italiano delle grammatiche non sempre dà conto dell’italiano reale… e vale senz’altro la pena approfondire la questione.

 

Mirko Tavosanis, Grammatica generata: analisi di alcune strutture presenti nei testi di ChatGPT in lingua italiana , “AI-Linguistica” 2, 2, 2025, pp. 1-32. https://doi.org/10.62408/ai-ling.v1i1.14