Le rilevazioni INVALSI e il Covid

 

Parlavo due giorni fa dei test PISA riguardo le competenze dei quindicenni: indagini ben fatte, confrontabili a livello internazionale… ma basate su rilevazioni a campione. Sarebbe assai meglio sapere come stanno le cose per tutti, attraverso quella che viene chiamata un’indagine censuaria.

 

Per fortuna, oggi in Italia abbiamo anche questo! Ci sono infatti le rilevazioni INVALSI, che coinvolgono tutti gli studenti di 5 anni scolastici (II e V anno della scuola primaria, III anno della scuola secondaria di primo grado, II e ultimo anno della scuola secondaria di secondo grado) e riguardano, in sostanza, italiano, matematica e inglese. La lettura dei rapporti INVALSI, e in particolare quella del Rapporto INVALSI 2025, disponibile sul sito dell’Istituto, è quindi di estremo interesse.

 

Tuttavia, va detto subito che, per ragionamenti come quello sul “declino” di lungo periodo delle competenze degli studenti, i dati INVALSI non possono dirci nulla. Anche se l’INVALSI ha una storia piuttosto lunga, le rilevazioni attuali sono il frutto di un iter lungo e tortuoso, con diversi passi falsi. La qualità del processo oggi mi sembra buona… ma il lungo percorso alle spalle fa sì che molti dati siano confrontabili, come dichiarato anche nell'ultimo rapporto, solo a partire dal 2019 (mentre per i test PISA la confrontabilità parte già dal 2000).

 

Inoltre, il 2019 è, ovviamente, l’anno che precede il 2020, in cui anche le rilevazioni INVALSI sono state sospese a causa delle chiusure per Covid e della più devastante alterazione della didattica che si sia vista in Italia dopo la Seconda guerra mondiale. Il periodo è stato terribile: io l’ho attraversato da presidente di due Corsi di Laurea, cercando di gestire al meglio la situazione a livello universitario, ma nel caso della scuola molti effetti sono stati senz’altro più forti di quelli con cui mi sono confrontato di persona e hanno portato allo sconvolgimento di ben tre anni scolastici.

 

Era legittimo attendersi che le chiusure delle scuole producessero un calo sensibile delle competenze e delle conoscenze degli studenti... e così è stato. Nelle classi prese in esame dai test INVALSI si riscontra infatti, in modo quasi uniforme, un forte calo nei punteggi dal 2019 al 2021. Non solo: a quel che sembra, il basso livello del 2021 non viene recuperato negli anni successivi ma si mantiene. Viene quindi spontaneo interpretare la differenza rispetto al 2019 come il differenziale che tutti gli studenti coinvolti nel periodo Covid si porteranno dietro per tutto il loro percorso di studi. Gli estensori del rapporto interpretano in questo modo i risultati parlando di Italiano nella classe II della scuola primaria (ma considerazioni simili vengono inserite anche in relazione alle altre classi): “Questo andamento sembra confermare l’ipotesi di un effetto pandemico a medio-lungo termine sugli apprendimenti che appare tuttora ancora difficile da riassorbire” (INVALSI, p. 13). Mi sembrano però condivisibili anche le altre preoccupazioni espresse dagli estensori:

 

… sembra anche opportuno interrogarsi sulla possibile presenza di fattori strutturali che, al di là dell’evento pandemico, stanno contribuendo a favorire gli scenari messi in luce dalle prove INVALSI. Tra questi potrebbero rientrare elementi legati alla crescente complessità sociale, ai mutamenti nel ruolo e nelle aspettative attribuite alla scuola nonché all’impatto pervasivo delle tecnologie. In questo scenario, la pandemia potrebbe aver agito da acceleratore e rivelatore precoce di fragilità già presenti nel sistema, contribuendo a renderle più visibili e urgenti (INVALSI, pp. 13-14).

 

Dal punto di vista pratico: occorre senz'altro evitare che, in mancanza di correttivi, il calo pandemico diventi “il nuovo standard”. Per fortuna, il quadro non è uniforme e presenta diversi aspetti incoraggianti. Per esempio, in Italiano il livello della II elementare presenta solo un calo leggero rispetto al periodo pre-Covid (mentre la differenza è assai più significativa in Matematica); il calo è in generale meno marcato nei primi anni di scuola e più marcato negli ultimi; le competenze in Inglese sono in netto miglioramento rispetto al periodo pre-Covid; e così via.

 

Va poi aggiunto che c’è molta differenza tra un calo e un collasso. Per quanto riguarda l’area che mi coinvolge più direttamente dal punto di vista professionale, cioè l’Italiano nell’ultimo anno della scuola secondaria di secondo grado, il passaggio da 200 punti a 184,7 rappresenta un sensibile peggioramento, ma non certo un azzeramento delle competenze (la media italiana del 2025 si avvicina a quella che pre-Covid era stata la media della regione “Sud”, isole escluse). Qui il grafico pertinente, dalla p. 115 del Rapporto:

 

 

Tutto questo non può (e non deve) indurre a eccessi di ottimismo. Resta però evidente che il calo è stato causato da un evento specifico, con un inizio e una fine. Non stiamo insomma combattendo contro mistiche forze irresistibili che trascinano verso il basso: occorre evitare assolutamente la ripetizione di un disastro come quello del Covid, ma le valutazioni quantitative, combinate con il confronto con i test PISA, mostrano bene la differenza tra ciò che è avvenuto e un ipotetico “declino” protratto nel tempo. Chi opera nel sistema formativo non si trova dunque di fronte un destino ineluttabile, ma ha il compito di migliorare i livelli attuali, analizzando con lucidità i punti di forza e quelli di debolezza. Il che però richiede senz’altro una discussione più sofisticata, e in generale più lavoro, rispetto alle retoriche oggi dominanti.

 

I test PISA e le competenze degli studenti italiani

 

Nelle ultime settimane, a Pisa e a Cracovia, ho avuto modo di discutere spesso con insegnanti, colleghi e amici a proposito delle competenze degli studenti italiani. Ne abbiamo parlato soprattutto in rapporto a lettura e scrittura, dato il settore in cui lavoro; ma alcuni aspetti del discorso sono di portata più generale e il tutto è comunque di estremo interesse. Provo quindi a sintetizzare le mie opinioni attuali in modo più articolato di quello possibile nelle discussioni a voce!

 

Su questo argomento io ho posizioni, diciamo, “ottimistiche”. Nella mia esperienza, a parità di situazione socioculturale, dalla fine del Novecento a oggi le competenze degli studenti sono rimaste in sostanza invariate (a parte la crisi Covid, naturalmente, che richiede un discorso a parte). La maggioranza delle persone con cui parlo ha tuttavia opinioni assai diverse. Anzi, la retorica sul calo di competenze è tale che ogni tanto, parlando con i docenti, ho l’impressione che la rassegnazione e il senso di sconfitta siano i mali peggiori con cui la scuola oggi deve fare i conti. Si tratta solo di un’impressione momentanea, certo: le questioni importanti sono più strutturali e riguardano in particolare l’aspetto economico e l’assetto sociale. Ma anche questa retorica del declino gioca senz’altro un ruolo. E la cosa interessante è che lo fa senza avere nessuna base oggettiva.

 

Ma come? Non esistono accorati appelli sul terribile peggioramento dei nostri studenti? La nota Lettera dei seicento del 2017 non parlava esplicitamente di un “declino” nelle competenze? E non è vero che le competenze degli studenti non sono quelle che vorremmo che fossero?

 

Per l’ultimo punto: certo, è ovvio che non siamo al livello desiderato! Del resto, ben pochi sistemi di formazione (o sistemi sociali in generale) ottengono tutto quello che si vorrebbe ottenessero. Al sistema formativo si potrà sempre chiedere di più; anzi, è giusto chiederlo. Questo però è un problema assai diverso rispetto al considerare la situazione frutto di un “declino”.

 

Se si prova a cercare di capire come stanno in realtà le cose, tuttavia, si incontra subito un problema di base: le rilevazioni affidabili sulle competenze e conoscenze degli studenti o della popolazione sono rarissime. Ciò può sembrare sorprendente ai non addetti ai lavori, ma le cause di questo stato di cose sono strutturali. Valutare in modo oggettivo qualcosa di tanto complesso come la capacità di scrittura è un’attività difficile: ogni valutazione è parziale, e le valutazioni fatte con un minimo di scientificità sono molto complicate. In pratica, con le eccezioni che citerò tra poco, non esiste nessuna rilevazione che ci permetta per esempio di dire in modo documentato se negli ultimi decenni le competenze di scrittura degli studenti all’ingresso all’università sono aumentate o diminuite.

 

Un punto di riferimento in questo settore sono però, da un quarto di secolo, i test PISA dell’OCSE (test che, nonostante il nome, non hanno alcun rapporto privilegiato con la città di Pisa). Questi test, triennali, a partire dal 2000 sono somministrati a campioni rappresentativi dei quindicenni di tutti i paesi dell’OCSE e anche ad alcuni paesi esterni all’organizzazione e spiccano per la loro solidità, nonché per la possibilità che offrono di fare confronti nel tempo e nello spazio. Certo, non sono perfetti (anche qui: quale sistema lo è?): ma per l’Italia sono in pratica l’unica fonte seria. Io su questo blog li cito e li discuto da più di 15 anni e continuo ad apprezzarli. Gli ultimi risultati pubblicati sono quelli relativi al 2022 e io attendo adesso, con molta curiosità, gli esiti dell’edizione 2025.

 

I test PISA non coprono tutte le competenze. Ne coprono però una che mi interessa particolarmente: quella della “lettura”, che potremmo definire come “comprensione del testo”. Tale competenza viene misurata chiedendo ai quindicenni di leggere testi di vario tipo (espositivo, narrativo, ecc.) e di rispondere a domande: il complesso lavoro necessario per preparare attività confrontabili a livello internazionale è descritto in dettaglio sul sito dedicato.

 

Che cosa dicono, quindi, i test PISA per quanto riguarda la “comprensione del testo” dei quindicenni italiani dal 2000 a oggi? Questo grafico, tratto da p. 431 del rapporto completo relativo al 2022, presenta gli aspetti essenziali:

 

 

Per interpretare il grafico, occorre tener presente che i test PISA sono stati tarati sulla base della media dei punteggi OCSE nel 2000, facendo corrispondere al punteggio medio il valore di 500. Nel 2000 i quindicenni italiani ottenevano un valore inferiore rispetto alla media, ma non di molto: 487 punti. Sono poi calati fino s 469 punti nel 2006, sono risaliti fino a superare tutti i risultati precedenti nel 2012 con 490 punti per poi tornare a scendere… con un inaspettato recupero nel 2022, quando il 482 ottenuto in periodo pandemico è risultato addirittura superiore alla media OCSE, molto calata proprio in quella rilevazione.

 

In sostanza, quello che emerge dai test PISA è un quadro dominato dalla stabilità, con oscillazioni significative ma contenute in un senso e nell’altro. Certo, i dati non vanno letti in modo acritico: valutare le capacità di comprensione del testo non ci dice per esempio nulla di diretto sulle capacità di scrittura, anche se è legittimo aspettarsi che ci sia una buona correlazione. Né vanno sottovalutati i punti critici del quadro italiano, a cominciare dalle fortissime disparità per quanto riguarda la situazione nelle diverse aree geografiche e nei diversi percorsi scolastici. Però, per tornare al punto chiave, nulla in questi numeri fa pensare a un drastico o inevitabile “declino” delle competenze. E un po’ mi consola il fatto che le mie impressioni istintive siano in linea con i migliori dati disponibili.

 

A molti lettori di questo post verrà poi spontanea una domanda: ma i test INVALSI? Anche quelli sono di estremo interesse… ma conto di parlarne in altra occasione.

 

Da HAL all'assistente vocale

  

 

Negli ultimi mesi sono stato impegnatissimo a preparare una serie di eventi e presentazioni che andranno avanti fino al 18 novembre. Più che altro si tratta di eventi collegati alla Settimana della lingua italiana nel mondo… ma si inizia domani, venerdì 12 ottobre, quando dalle 15 alle 18, all’interno dell’Internet Festival di Pisa si svolgerà l’evento Da HAL all'assistente vocale. L'evento si svolgerà presso il Museo degli strumenti per il calcolo (Vecchi Macelli), Palazzina A1. Ecco il programma!

 

Moderatore: Gianni Del Vecchio (Huffington Post)

 

Introduzione – Mirko Tavosanis (Università di Pisa): ore 15

 

15:10-15:30 – Franco Cutugno (Università di Napoli) - Interazione Naturale Multimodale: uomini e avatar che dialogano in ambienti virtuali tridimensionali

 

15:30-15:50 – Roberto Basili (Università di Roma "Tor Vergata") - Linguaggio naturale, apprendimento nelle macchine e robotica

 

15:50-16:10 – Maria Palmerini (Cedat85, Roma) - Il riconoscimento del parlato: applicazioni, criticità e pregiudizi

 

16:10-17:00 – Tavola rotonda. Relatori e relatrici: Franco Cutugno, Mirko Tavosanis, Roberto Basili, Maria Palmerini, Roberto Pieraccini, Carlo Aliprandi

 

17:00-18:00 – Demo della Guida Museo con Google Home

 

Escher a Pisa

  

 

Qualche settimana fa sono andato a vedere la bella mostra di M. C. Escher allestita a Palazzo Blu a Pisa. Non mi aspettavo troppe sorprese, perché le opere di Escher sono, come tutti, abituato a vederle ovunque: sui poster, sui puzzle e sulle copertine dei libri. Però, quando si guardano gli originali qualcosa di nuovo si trova sempre – anche nel caso in cui gli originali sono costituiti in buona parte da stampe.

 

Per esempio, è stata una sorpresa vedere il livello di dettaglio in alcune opere. In alcuni casi ci sono iterazioni decrescenti talmente minuscole che mi chiedo quanto tempo e quali tecniche abbiano richiesto per la realizzazione: una lente d’ingrandimento, un buon sostegno per la mano e infinita pazienza? In una riproduzione di dimensioni limitate, per quanto buona sia, questi dettagli si perdono.

 

Dal punto di vista dei contenuti, invece, la scoperta più interessante è stata quella dei paesaggi italiani, risalenti in buona parte agli anni Venti e radicalmente estranei all’iconografia tradizionale. I soggetti esposti provengono soprattutto dalla Campania e dagli Abruzzi; viceversa, mi sembra poco presente lo sfondo che si collegherebbe a Escher in modo più intuitivo, cioè quello della Liguria. Da Genova alle Cinque Terre e a Portofino, scogli, strisce di colore e prospettive dall’alto sarebbero perfette per l’inserimento in alcune delle stampe più famose. Escher comunque ha visitato spesso la Liguria, quindi sarei sorpreso se non ce ne fossero tracce più consistenti in altre opere.

 

L’allestimento della mostra ha lati molto positivi. L’ingresso è a effetto. Una panchina video al primo piano permette di vedersi seduti su un triangolo impossibile, ed è una buona soluzione per dare soddisfazione al visitatore e concretizzare in qualche modo le prospettive impossibili per cui Escher è famoso.

 

Andando in mostra, temevo poi l’affollamento. È un bene che i musei siano affollati… ma a volte le scolaresche sono talmente numerose e vocianti che è davvero difficile veder bene le opere. In questo caso in effetti i gruppi c’erano, ma erano tenuti piacevolmente sotto controllo dagli accompagnatori. Anzi, ho avuto l’impressione che in diversi casi le guide facessero proprio attenzione a non intralciare i visitatori singoli, il che è un ottimo esempio di professionalità.

 

Aggiungo che la sorpresa più gradita in assoluto l’ho avuta in una sala in cui alcuni lavori geometrici di Escher sono messi a confronto con opere medievali e rinascimentali di tema paragonabile, e sorprendentemente simili. Immagino che questo non sia l’allestimento generale della mostra, ma una soluzione trovata ad hoc per Pisa, con opere che fanno parte della collezione permanente di Palazzo Blu. Se è così, è stata veramente un’ottima scelta.

 

HaPoC 2015

  

 

Alla fine della scorsa settimana sono stato molto impegnato con il convegno HaPoC 2015, di cui ero uno degli organizzatori. I convegni HaPoC (History and Philosophy of Computing) hanno cadenza biennale; l’ultimo si è tenuto appunto a Pisa dall’8 all’11 ottobre e mi sembra che abbia retto bene il confronto con i precedenti incontri di Ghent (2011) e Parigi (2013).

 

In sostanza, si è trattato di quattro giorni di interventi sulla storia e sulla filosofia dell’informatica… io mi piazzo saldamente dal lato della storia, e della storia esterna, ma questa è solo una delle tante angolazioni da cui è stata affrontata la materia. Senza nulla togliere agli altri, per ovvi motivi di ricerca per me è stato comunque particolarmente interessante un intervento di Federico Nanni e Rudi Bonfiglioli, From Close to Distant and Back: how to read with the help of machines.

Per quanto riguarda i numeri, in totale hanno partecipato ad HaPoC 32 relatori, in buona parte provenienti dall’Europa settentrionale. Sede del convegno, il Museo degli strumenti per il calcolo, che fa parte della rete museale dell’Università di Pisa.

 

In attesa di pensare alla pubblicazione degli atti, al momento del convegno sono usciti a cura di Fabio Gadducci e mia i “pre-proceedings”: Fabio Gadducci e Mirko Tavosanis (a cura di), Preliminary Proceedings of the Third International Conference on the History and Philosophy of Computing (HaPoC 2015), Pisa, Pisa University Press, 2015, pp. VIII + 95, ISBN 978-88-6741-576-2, € 7.

 

Test PISA 2012: è andata un po’ meglio

 

 

Ieri sono stati presentati i rapporti INVALSI sugli ultimi test PISA, condotti nel 2012. Di che cosa siano i test PISA ho già parlato in passato: in estrema sintesi, si tratta del più credibile tentativo oggi esistente per misurare e confrontare le competenze dei quindicenni in diversi paesi del mondo. I settori in cui le competenze sono misurate sono Lettura, Matematica e Scienze.

 

La posizione dell’Italia in questi test è sempre la solita: leggermente al di sotto della media OCSE. Tradotto in numeri, il “leggermente” significa quest’anno, secondo le parole della sintesi realizzata dall’INVALSI (p. 1):

 

Le competenze dei 15-enni italiani in Matematica si situano leggermente, ma significativamente, al di sotto della media OCSE (circa il 2 per cento, 485 punti a fronte dei 494 della media OCSE). Fra i paesi OCSE, ottengono un punteggio inferiore all’Italia solo Svezia, Ungheria, Israele, Grecia, Cile e Messico; sono equiparabili all’Italia (avendo valori che non se ne discostano in termini statisticamente significativi) Norvegia, Portogallo, Spagna, Repubblica Slovacca e Stati Uniti.

 

Solo leggermente migliori sono i risultati in Lettura e Scienze, con valori dell’Italia rispettivamente di 490 e 494 (a fronte di valori medi OCSE rispettivamente pari a 496 e 499). Fra i paesi OCSE, ottengono un punteggio inferiore all’Italia solo Cile, Grecia, Islanda e Messico, per la Lettura, vi si aggiunge Israele nelle Scienze; sono statisticamente equiparabili all’Italia, Danimarca, Repubblica Ceca, Ungheria, Lussemburgo e Israele - nella Lettura - Danimarca, Francia, Ungheria, Lussemburgo, Norvegia, Portogallo, Spagna e Stati Uniti - nelle Scienze.

 

In altri termini: sotto alla media, ma di pochissimo, e in discreta compagnia. I paesi OCSE hanno del resto un livello quasi uniforme, con un’oscillazione massima del 10% in alto o in basso. Il che ha del sorprendente se si considerano le diversità sociali, di reddito e di sistema scolastico che intercorrono tra paesi come la Repubblica slovacca, il Giappone e la Spagna! In Matematica, per esempio, data una media OCSE di 500 nel 2000, il risultato migliore è oggi quello della Corea del Sud, che arriva solo a 553, mentre sotto il 450 si collocano solo i tre paesi OCSE che hanno un livello di PIL “medio-alto”, invece di “alto” come tutti gli altri, cioè Turchia, Cile e Messico. Tuttavia, che l’Italia si collochi in tutte e tre le aree al di sotto della media OCSE non può essere motivo di grandi festeggiamenti.

 

Le cose vanno un po’ meglio in prospettiva storica. Concentrandosi sull’area che mi riguarda più direttamente, e cioè la Lettura – o meglio, la literacy –, la media OCSE, che era 500 nel 2000 ed era calata a 493 nel 2009 (con buona pace di tutte le considerazioni sui “nativi digitali”), nel 2012 è risalita a 494. Differenze comunque minime! Anche per l’Italia le cose sono nel frattempo migliorate, e da 486 nel 2009 si sale a 490 nel 2012 (lo stesso punteggio ottenuto dall’Austria, che pochi, penso, caratterizzerebbero come un paese depresso o incolto). Lo scarto si riduce insomma in tre anni da 7 a 4 punti.

 

Certo, tutti i dati di questo tipo vanno presi con le pinze, e festeggiare o disperarsi per fluttuazioni statisticamente non significative ha poco senso in ogni caso. Quel che ne esce è comunque una serie di conferme a livello generale: i paesi ad alto PIL ottengono risultati molto simili, ma non c’è un rapporto diretto tra soldi spesi e risultati formativi (tant’è vero che paesi come il Vietnam ottengono buoni piazzamenti) e c’è comunque un margine di miglioramento. Soprattutto, però, viene confermato per l’ennesima volta un dato inquietante per l’Italia: a fronte di regioni che per la Lettura arrivano a 521 (Lombardia, Veneto e provincia di Trento), il Sud fa registrare percentuali drammatiche, fino all’incredibile 434 della Calabria. Che, se fosse un paese OCSE, si collocherebbe in penultima posizione, superando solo il Messico (424) e piazzandosi al di sotto degli altri due paesi a PIL solo “medio-alto”, cioè il Cile (441) e la Turchia (475).

 

I test PISA e la lettura

Il 9 dicembre 2010 sono stati pubblicati i risultati degli ultimi test PISA, organizzati dall'OCSE. I test misurano le conoscenze e le competenze degli studenti quindicenni che appartengono a 34 paesi membri dell'OCSE + 40 esterni. Al momento, i test PISA rappresentano anche la maggiore massa di dati direttamente confrontabili su questi aspetti.

Dal punto di vista pratico, i test sono stati ripetuti ogni tre anni a partire dal 2003; le edizioni del 2000 e del 2009 (che è quella di cui sono appena usciti i risultati) si concentravano sull'area della "lettura" e sono quindi per me di particolare interesse. Curata dall'INVALSI, la versione italiana dei test è stata somministrata a circa 31.000 studenti. Purtroppo non è stata inclusa una sezione dei test (ERA) specificamente dedicata alla lettura su supporto elettronico, ma i risultati sono comunque molto interessanti.

È chiaro che test di questo genere non vanno presi per oro colato. Il test PISA è molto orientato alla risoluzione di problemi, cosa che lo rende bersaglio di critiche da parte di molti teorici della conoscenza "pura". La conoscenza "pura" è cosa bellissima, ed è certo che la vita non si riduce a una continua risoluzione di problemi; ma al momento non esistono alternative serie al test PISA e, in attesa che i detrattori propongano e riescano a mettere in funzione un sistema di valutazione più valido, questo abbiamo e su questo ci basiamo.

Quali sono i risultati? Non troppo lusinghieri per i sistemi formativi, che vedono per esempio scendere la media OCSE in lettura da 500 punti nel 2000 a 493 nel 2009: un calo minimo (1,4%), ma a fronte di una spesa aumentata. Per l'Italia poi le cose vanno peggio: anche se nel decennio la situazione italiana è rimasta più o meno inalterata, l'ultimo punteggio nazionale di 486, quindi 7 punti al di sotto della media.

È una catastrofe? Non proprio: questo è piuttosto uno dei tanti casi in cui il bicchiere può essere visto come mezzo pieno o mezzo vuoto. Da un lato, i risultati non sono un gran che, soprattutto a confronto con altri paesi. Dall'altro, un'occhiata a un campione dei test somministrati ai lettori fa passare le velleità catastrofiste. Nella sezione "lettura", il test PISA non richiede di leggere "r-u-o-t-a" o qualcosa di simile: fa domande piuttosto sofisticate, e gli scettici ne possono vedere un campione per esempio nell'Appendice 1 del Rapporto nazionale PISA 2009. E magari provare anche a rispondere...