Koretz, Measuring up

 

In questo periodo non aggiorno spesso il blog: siamo nel pieno del semestre e in pratica devo dedicare ai corsi e agli elaborati degli studenti ogni momento disponibile. Riesco però a leggere ancora qualcosa (di notte), e l’ultimo libro che ho finito è stato l’interessante Measuring up: what educational testing really tells us di Daniel Koretz, docente di “Education” all’università di Harvard (prima edizione, 2008; io ho letto il libro nell’edizione tascabile, Harvard University Press, Cambridge (Mass.) e Londra, 2009, ISBN 978-0-674-03521-8).

 

Measuring up si dedica a un argomento per me affascinante: la valutazione educativa sommativa, cioè, in sostanza, il vedere quanto hanno imparato gli studenti alla fine di un corso o di un ciclo di studi. In America su questo genere di test (dal famoso SAT in giù) si costruiscono le politiche educative; in Italia non c’è nulla di simile, ma ci sono molte spinte ad andare in questa direzione, a cominciare dalle disposizioni che impongono test d’ingresso per l’iscrizione all’Università, ed essere aggiornati sulle esperienze d’oltreoceano è senz’altro fondamentale. Un po’ per impararne qualcosa senza pregiudizi, un po’ per evitare facili entusiasmi.

 

Certo, il libro di Koretz è rivolto più ai genitori che ai colleghi, ma le cose che dice sono di estremo buon senso e confortano anche chi, come me, da anni è impegnato nella costruzione di test. Intanto, un punto chiave è che la valutazione è sempre valutazione di un minimo sottoinsieme di ciò che una persona è, sa o sa fare. Per quanto si possano costruire test sofisticati, misurare intelligenza, conoscenze e competenze degli esseri umani non è come misurarne il peso o l’altezza. Koretz insiste piuttosto sul paragone tra i test e le indagini statistiche o i sondaggi politici: non potendo misurare l’assieme, si prende un sottoinsieme rappresentativo (di elettori, o di competenze) e si cerca di misurare quello. Ma, così come non sempre i sondaggi indicano quello che sarà il vero vincitore delle elezioni, i test possono fornire indicazioni solo approssimative – e per esempio, test ripetuti sugli stessi campioni di studenti mostrano che i singoli individui possono ottenere risultati anche molto diversi a seconda del giorno, di minime differenze nella formulazione dei quesiti e così via.

 

Ciò non vuol dire, ovviamente, che la valutazione sia inutile. Vuol dire però che va sempre presa con un granello di sale, e in modo non meccanico (o meglio, aggiungo io: che ha senso usarla in modo meccanico solo se si vuole fare un filtraggio all’ingrosso e al risparmio, senza preoccuparsi troppo dei risultati). Dopodiché, Koretz passa a illustrare una serie di aberrazioni ed errori frequenti nei sistemi americani. In particolare, fa una pessima figura il No Child Left Behind Act fortemente voluto da Bush jr., che della valutazione sistematica dei risultati degli studenti fa uno dei suoi punti cardine.

 

In sostanza, cent’anni di classifiche e test a risposta multipla non sono bastati a rendere universale negli stessi Stati Uniti la consapevolezza delle possibilità e dei limiti della valutazione; il che fa venire molti dubbi sui tentativi di importare cose simili nell’assai meno smaliziata Italia. Dove la preoccupazione principale è ancora, figuriamoci, quella di avere un alto numero di bocciati agli esami in quanto “garanzia di serietà”...

 

Koretz insiste poi molto sul fatto che, comunque vadano le cose, quando un test diventa standard sia gli studenti sia i docenti si dedicano a quello, abbandonando il resto, creando un problema strutturale di inflazione nei voti. Il suo riferimento è alla nota Legge di Campbell, ma la saggezza popolare italiana ha da un bel pezzo codificato questo modo di procedere nel più universale principio “fatta la legge, trovato l’inganno”. Ahimè, non esistono sistemi di valutazione che siano tanto poco ingannabili quanto un metro, o una bilancia – ma forse questo è un bene.

P. S. La foto messa in copertina è meravigliosa.

 

Analfabetismo funzionale sul Sole - 24 ore

 

Sul Domenicale del Sole-24 ore, il più importante supplemento culturale italiano, mi è capitato oggi di leggere un articolo incredibile firmato da Armando Massarenti. L’articolo è dedicato alla situazione italiana e si presenta con un titolo che già da molto da pensare: Noi, analfabeti seduti su un tesoro. Il sottotitolo però è ancora più inquietante:

 

Il tasso di analfabetismo funzionale ha raggiunto livelli di guardia. O l’azione di Governo sarà in grado di far fronte all’emergenza o per l’Italia il declino è certo.

 

Perbacco! Possibile che sia così? Naturalmente no: per l’alfabetizzazione, funzionale o meno, l’Italia è oggi al livello più alto che abbia mai raggiunto nel corso della sua lunga storia, come mostrano puntualmente le rilevazioni statistiche. E questo livello, per un lungo periodo, non farà che aumentare. La ragione è la normale, per quanto triste, sostituzione demografica: man mano che scompaiono gli italiani più anziani, che hanno livelli inferiori di alfabetismo, la popolazione si trova a essere formata da persone mediamente più istruite, visto che la scolarizzazione è aumentata per decenni. Non è un percorso né irreversibile né in ascesa continua: diversi indicatori sono sostanzialmente fermi da qualche anno (sicuramente da un decennio, forse da un ventennio), e per esempio non è affatto sicuro che gli italiani nati nel 1990 oggi siano in media più istruiti di quanto fossero, alla loro età, gli italiani nati nel 1980. Però sono senza alcun dubbio molto più istruiti e alfabetizzati di quelli nati nel 1960 o nel 1950 o nel 1940 e così via, a ritroso. Il che significa, data la lunghezza media della vita umana, che per una quarantina d’anni o giù di lì, in assenza di catastrofi, anche conservando i livelli di scolarizzazione attuali i tassi di alfabetismo non faranno che aumentare (il discorso poi è un po’ più complesso, in quanto per esempio la capacità formativa della scuola non è costante e le capacità devono essere mantenute, oltre che acquisite; ma oggi, per fare un esempio, gli italiani non scrivono o leggono meno che in passato, anzi).

 

Da dove viene allora l’allarme di Massarenti? Da una voce di Wikipedia in lingua inglese, intitolata Functional illiteracy, che include anche una sezione sulla Prevalence dell’analfabetismo funzionale in alcuni paesi sviluppati. In questa sezione, nota Massarenti, l’Italia guida la classifica, con una percentuale di analfabetismo funzionale pari al 47%, superiore a quella del Messico (43%). Acciderba! L’Italia fa peggio del Messico? Un dato del genere dovrebbe sembrare come minimo sospetto a chiunque abbia viaggiato un po’ per il mondo. Massarenti lo prende per buono, ma io sono diffidente: da dove arriva l’informazione?

 

Il controllo mi ha richiesto circa un quarto d’ora. La voce di Wikipedia rimanda a un rapporto dell’OCSE Canada del 2009, che a sua volta si basa sul rapporto Learning a Living, che a sua volta riferisce i risultati di un’importante indagine del 2003, l’Adult Literacy and Life skills survey (ALL; teniamo in mente questo acronimo, perché ritornerà più avanti). Ovviamente, in questo gioco di scatole cinesi qualcosa si è perso. Nel caso particolare, l’informazione che si è persa è che lo studio originale non include “il Messico”, ma il solo stato messicano di Nuevo Léon – che ha il tasso di scolarizzazione e il reddito più alti del Messico, e arriva al livello di diversi paesi europei. Massarenti non si è curato di fare questa verifica minima, nonostante la voce di Wikipedia sulla cui base lancia l’allarme abbia bene in vista in cima alla pagina l’indicazione “This article may require cleanup to meet Wikipedia's quality standards”.

 

Detto questo, e riportata la cosa sul pianeta Terra (l’Italia è un paese con tassi di alfabetismo molto superiori a quelli del Messico nel suo assieme), torniamo a seguire l’argomentazione dell’articolo. Massarenti si lamenta perché nella versione di Wikipedia in lingua italiana non c’è la voce “Analfabetismo funzionale”, e lancia un appello: “qualcuno la allestisca!”. Ma basta qualche clic per vedere che la voce c’è, dal 26 dicembre 2008, e che è pure linkata nella colonna di sinistra della voce di Wikipedia in lingua inglese citata da Massarenti...

 

Dopodiché Massarenti scrive questo incredibile capoverso:

 

Il 47 per cento di analfabeti vi sembra un'esagerazione? Prima di allarmarci potremmo provare a consolarci in due modi. Primo: obiettare che i dati della voce di Wikipedia si fermano al 2003. Magra consolazione. Il governatore della Banca d'Italia Ignazio Visco ci ha ricordato, nel suo recentissimo Investire in conoscenza e sul Sole 24 Ore-Domenica di due settimane fa, che negli anni successivi gli analfabeti funzionali sono saliti all'80%!

 

Dal 47% all’80%... Sembra impossibile che un laureato italiano  che vive in Italia (e per di più autore di diversi libri) possa credere che nel suo paese la capacità di leggere e scrivere sia calata in modo così drammatico. Può darsi che si sia visto un calo simile in Cambogia quando i Khmer Rossi hanno sterminato buona parte delle persone capaci di leggere e scrivere. Ma in Italia... Visto che in nove anni il ricambio della popolazione è stato minimo, per portare la percentuale degli “alfabeti funzionali” dal 53 al 20% grosso modo metà degli italiani alfabetizzati deve essere diventata incapace di fare nel 2012 ciò che faceva nel 2003. Tra i colleghi di lavoro capaci di leggere testi, compilare moduli, capire regolamenti, uno su due deve essere diventato incapace di farlo. Possibile? Ovviamente no. La cosa incredibile è che la dichiarazione di Visco cui Massarenti fa riferimento è basata... sull’analisi ALL del 2003, come si legge chiaramente nel testo degli interventi! Semplicemente, Visco ha fatto riferimento a una fascia più ristretta di competenze rispetto a quella utilizzata, a catena, per portare alla voce di Wikipedia letta da Massarenti. In particolare, come si vede dalla tabella che Learning a Living presenta a p. 17, Visco ha fatto riferimento agli italiani che si collocano nelle fasce 3-5, le più alte, mentre la voce di Wikipedia faceva riferimento agli italiani che si collocano nella fascia 1, quella minima.

 

Possiamo quindi tirare un sospiro di sollievo: l’Italia non ha avuto crolli intellettuali, negli ultimi anni. Come sappiamo da tempo, ottiene risultati un po’ peggiori rispetto a quelli dei paesi con cui dovrebbe confrontarsi, e personalmente ritengo che farebbe dimolto bene a investire molto di più nella formazione (dando magari più risorse anche al mio settore di lavoro, e alla fine a me personalmente...), ma non è sull’orlo di un baratro intellettuale. Certo, che intellettuali prestigiosi lancino allarmi destinati ad ampia difussione senza prima fare quei controlli che ogni laureato di buon senso dovrebbe essere in grado di compiere non è un buon segno, ma questo è un altro discorso (o no?).

  

Coraggio, torno a correggere gli elaborati dei miei studenti...

 

Dillon, Designing usable electronic text

 

In questo momento di grande sperimentazione con i testi elettronici, la carenza di buoni studi in materia si fa sentire. Certo, ci sono centinaia di lavori di corto respiro, ma i quadri d’assieme ben fatti sono pochissimi e ben nascosti. Da poco ne ho scovato uno: la seconda edizione di Designing usable electronic text di Andrew Dillon (CRC Press, Boca Raton, 2004, ISBN 978-0-415-24059, pp. viii + 215). I prezzi non sono popolari: il rilegato nuovo costa su Amazon 104 euro e 76 centesimi, che non sono male per un libretto di queste dimensioni, e perfino la versione Kindle costa 27,18 €. Io ho fatto acquistare con i miei fondi di ricerca una copia su carta alla biblioteca del Dipartimento di studi italianistici, me la sono presa in prestito e alla fine l’ho letta con estremo interesse – anche se il modo di scrivere di Dillon a volte mi è risultato insolitamente soporifero.

 

Per la sostanza, sintetizzerei il giudizio in quattro punti: due positivi, due negativi. I negativi, però, non sono colpa dell’autore... mentre i positivi sono ovviamente merito suo.

 

Negativo 1: la data

 

Il libro è stato pubblicato nel 2004: nell’evoluzione dei testi elettronici si tratta ormai di una data remotissima... soprattutto visto che si trova al di là del doppio spartiacque dato dalla diffusione del Kindle nel 2007 e dell’iPad nel 2010. Ma su questo, non è che Dillon all’epoca potesse far molto! Semmai, è un peccato che nessuno stia apparentemente pensando a un aggiornamento – ed è un peccato che alcune sezioni del libro, guardando i riferimenti bibliografici, sembrino risalire per l’impianto di base addirittura alla sua prima edizione (che non conosco), pubblicata nel remoto 1994, agli albori del web. Diciamo che il tutto non fa che rendere ancora più dolorosa la mancanza di uno studio aggiornato sugli stessi argomenti: il libro in sé rimane invece, per quel che ne so, un insostituibile punto di riferimento.

 

Positivo 1: la copertura

 

Il libro mette insieme in modo accurato una quantità sorprendente di informazioni. Il secondo capitolo (“So what do we know? An overview of the empirical literature on reading from screens”: pp. 35-69), per esempio, è la sintesi più accurata e ragionevole degli studi sulla lettura da schermo che mi sia mai capitato di incontrare. In generale, esaminando la bibliografia e sulla base dei propri lavori Dillon aderisce all’opinione dominante sulla maggiore lentezza della lettura su schermo rispetto a quella su carta. Fa notare però che in circostanze reali un dato generale del genere è quasi inutile: vuoi perché gli utenti si adattano a molte soluzioni, con l’esperienza, vuoi perché gli altri fattori sono, caso per caso, molto più importanti.

 

In particolare, apprezzo molto, dalla mia prospettiva, il peso che Dillon assegna ai generi testuali per quanto riguarda la capacità dei lettori di orientarsi nei documenti elettronici. “Clearly, a problem for digital document designers and users is the lack of agreed genre conventions that will support the formation of [information] shapes” (p. 131). Eh, già...

 

Positivo 2: il modello

 

Per guidare la progettazione dei “digital documents”, Dillon propone un modello interessante chiamato TIME (cap. 8). In sostanza, si tratta di descrivere il rapporto con l’informazione tenendo conto di quattro fattori: Tasks (T), Information modelling (I), Manipulation (M) e Visual ergonomics (E). Questo però è in sostanza solo un modo per ricordare che gli esseri umani, quando “leggono”, svolgono in realtà un’attività che ha obiettivi, si svolge sulla base di un modello più o meno preciso del testo e richiede manipolazione e accesso visivo alle informazioni. Non molto di più. Il che mi ha ricordato molto la griglia “per parlare delle pagine web” che ho inserito nel mio libro sull’italiano del web: criteri tutt’altro che geniali, ma che è necessario esplicitare e formalizzare in quanto molti si concentrano sull’uno o sull’altro perdendo clamorosamente di vista l’assieme.

 

Negativo 2: l’utilità pratica limitata

 

Il modello TIME di per sé non porta molto lontano. Si limita a indicare alcuni criteri da seguire per impostare un’analisi, ma non fornisce per esempio vere e proprie linee guida. Dillon lo integra con pratiche di studio di usabilità in cui l’utente viene spinto a interagire con il testo esprimendo a voce alta durante il lavoro le proprie impressioni e valutazioni – il che fornisce ai progettisti indicazioni utili per capire dove stanno sbagliano. Tuttavia queste sessioni sembrano più che altro normali studi di usabilità, in cui la presenza di un modello esplicito non aggiunge molto.

 

La domanda di base allora è: questi limiti sono dovuti alla mancanza di approfondimenti del modello, che non si è trasformato in linee guida per pratiche dimostrabilmente superiori? Oppure al fatto che, banalmente, non è possibile formalizzare più di tanto?

 

Il linguaggio di Andrea Pazienza sul sito Treccani

 

Il sito Treccani.it, accanto all’Enciclopedia e a strumenti di lavoro indispensabili come il Dizionario biografico degli italiani, presenta anche una rivista online, il “Magazine”. Lì è stato pubblicato oggi uno Speciale dal titolo: Gulp! La lingua delle nuvolette che include una mia breve (6000 caratteri) presentazione della lingua usata nei fumetti di Andrea Pazienza. Il contributo si intitola Andrea Pazienza: un italiano vero (o verosimile) e cerca di presentare, in estrema sintesi, i motivi per cui la lingua delle opere di Pazienza è molto diversa rispetto a quella tradizionale del fumetto italiano.

 

Nello Speciale sono inoltre presenti diversi contributi interessanti, scritti da molte delle persone che si sono occupate di linguistica del fumetto in anni recenti – da Silvia Morgana a Luca Raffaelli. Io ho apprezzato particolarmente la sintesi sul fumetto Disney realizzata da Daniela Pietrini e la descrizione, fatta da Daniele Poggiogalli, delle soluzioni linguistiche adottate nella traduzione italiana di Gals! di Mihona Fujii.

 

Nota finale: al “Magazine” Treccani avevo già contribuito l’anno scorso con una panoramica sui siti web dedicati alla grammatica dell’italiano.