La comunicazione dei risultati
Molti giornalisti ed esperti hanno raccontato delle novità presentate nella consueta conferenza del 5 luglio 2018, tenutasi anche quest’anno presso il MIUR, in cui INVALSI ha esposto i risultati della rilevazione effettuata sulle classi campione, cioè quelle in cui è presente un osservatore esterno che garantisce la regolarità delle procedure di rilevazione.
Alcuni aspetti, pur evidenti, non sono stati però adeguatamente sottolineati. Ci si riferisce prima di tutto alla cifra comunicativa del team INVALSI che riguarda sia il tono utilizzato nella comunicazione dei relatori – in particolare dalla Presidente Anna Maria Ajello e da Roberto Ricci, Responsabile dell’Area Prove, – sia nello stile del “Rapporto prove INVALSI 2018”. Due sono gli elementi da rilevare.
Superato lo scoglio della somministrazione CBT
Il primo elemento da evidenziare è un atteggiamento di soddisfazione per essere riusciti a portare in porto con successo una rilevazione che presentava un insieme non indifferente di novità e incognite, tra cui la somministrazione online delle prove nella 3^ secondaria di 1° grado e nella 2^ secondaria di 2° grado. Tale attività ha richiesto da parte di molti istituti scolastici una riorganizzazione delle didattica, a volte molto impegnativa, proprio negli ultimi mesi di scuola: vari Istituti non avevano una adeguata strumentazione informatica o non disponevano di una banda sufficiente e hanno dovuto fare riferimento ad altre scuole più dotate o ad una turnazione complicata degli alunni. Tuttavia, come osserva Roberto Ricci, che sulla base di considerazioni preventive ben ponderate ha saputo sostenere un’operazione considerata rischiosa da non pochi osservatori, un’alta percentuale di scuole con “fortissimo senso istituzionale, senza alcuna distinzione tra le diverse aree geografiche” ha saputo portare in porto la somministrazione e procurarsi “dotazioni informatiche e migliori collegamenti che rimarranno a disposizione della didattica e della scuola” (si veda il documento “Un’occasione da non perdere”).
Anche senza eccedere in ottimismi eccessivi si può però dire che molti Istituti si sono sicuramente accorti di cosa comporta la somministrazione CBT delle prove e che l’anno prossimo si faranno probabilmente trovare più organizzati ed equipaggiati. Nel complesso sono state erogate oltre 2.200.000 prove di Italiano, Matematica e Inglese nella 3^ Secondaria di 1° grado e 1.100.000 test in Italiano e Matematica nelle 2^ secondaria di 2° grado. 
Il momento più difficile si è avuto con la somministrazione delle prove di ascolto di Inglese (listening): i file da scaricare erano molto pesanti e molte scuole non sono riuscite ad accedere al test per alcune ore. Con grande senso di flessibilità da parte di dirigenti, docenti e studenti ci si è adeguati alla situazione e, nell’attesa di avere la linea disponibile, si è proceduto alla somministrazione della prova di Inglese di lettura (reading). Bisogna sottolineare che nelle scuole ben dotate di strumentazione e di banda larga la somministrazione online ha facilitato la compilazione delle prove: gli alunni si sono dimostrati disinvolti nel rispondere alle domande al computer e i docenti non hanno poi dovuto correggere e inviare i test ad INVALSI. Insomma tutto si è risolto con due ore circa di impegno per ogni prova da parte dei ragazzi.
Altro effetto positivo della somministrazione online è stata la scomparsa statistica del cheating nella 3^ secondaria di 1° grado, cioè dei suggerimenti da parte degli insegnanti o di copiature da parte degli alunni. Infatti gli studenti si trovano a rispondere a quesiti diversi, che sono però equivalenti per abilità misurata e livello di difficoltà, tratti da una “banca di quesiti”. In altri termini la somministrazione CBT implica una modalità diversa di costruzione delle prove a cui INVALSI lavora già da anni con i propri esperti disciplinari e psicometrici.
La conseguenza è che, come nelle prove internazionali (ad esempio le prove PISA), alle scuole non possono essere più consegnate le prove complete, ma possono essere rilasciati solo un numero limitato di item che esemplificano il tipo di abilità richiesta agli alunni con riferimento a dei livelli descrittivi.
E questo è un altro cambiamento dovuto alle prove CBT: i risultati delle prove di Italiano, Matematica e Inglese del grado 8 (3^ secondaria di 1° grado) e di Inglese del grado 5 (5^ primaria) sono restituiti agli alunni e alle alunne attraverso l’assegnazione di livelli descrittivi di competenza che sono 5 per Italiano e Matematica e 3 per Inglese (pre-A1, A1 e A2) per la 3^ secondaria di 1° grado e 2 per Inglese per la 5^ primaria (pre-A1 e A1). Secondo quanto stabilito dal D. L. n. 62 del 13 aprile 2017 i livelli del grado 8 sono stati attributi ad ogni alunno con una certificazione delle competenze aggiunta alla certificazione rilasciata dalla scuola dopo l’Esame di Stato. Come noto, infatti, dal 2018 le prove per il grado 8 non vengono somministrate all’interno dell’Esame di Stato ma qualche mese prima, in marzo e, dunque, anche se gli alunni hanno l’obbligo di parteciparvi, non incidono sul voto di Esame.
Non ci si sofferma sulle modalità tecniche utilizzate da INVALSI per l’individuazione e formulazione dei livelli: si osserva solo che per le prove di Inglese sono stati costruiti con riferimento agli standard a priori definiti nel QCER (valutazione criteriale), mentre per Italiano e Matematica, le cui domande fanno riferimento ai Quadri di Riferimento elaborati in coerenza con le Prove Nazionali per il curricolo, sono stati individuati – attraverso tecniche statistiche – dei punteggi soglia che determinano i 5 livelli (per una spiegazioni tecnica si veda sul sito dell’INVALSI lo scritto di Marta Desimonini, I livelli per la descrizione degli esiti delle prove INVALSI). Le prove del grado 10 (2^ secondaria di 2° grado) sono valutate sulla base di livelli che vengono però restituiti ad ogni classe e non ad ogni studente.
La svolta nello stile comunicativo di INVALSI
Il secondo aspetto da rilevare è la svolta nello stile comunicativo che è meno tecnico e più discorsivo, più attento ad un pubblico non specialistico e alla comunità che ha relazioni dirette con il mondo della scuola ma non è particolarmente esperta di docimologia e statistica, come possono essere gli insegnanti, i dirigenti, i genitori, e, perché no, gli studenti. Uno stile “amichevole” apprezzato fin da subito dai giornalisti e che ha forse deluso in prima battuta gli esperti più attenti a tutti i risultati e alle analisi statistiche legate alla rilevazione. Il Rapporto 2018 è più colorato, l’editing è più attraente, ci sono fotografie di alunni e alunne e di vita quotidiana scolastica, sono utilizzati solo grafici resi attraenti ed ha uno schema che richiama i focus di PISA. L’approccio è tematico e ogni macro-tema è presentato attraverso una domanda (“Quanto è equa la scuola? “Sono più bravi i ragazzi o le ragazze?” ecc.), si dà quindi una spiegazione del concetto preso in esame (esempio: la variabilità), si danno in sintesi i risultati della rilevazione e si conclude con un approfondimento o uno sguardo generale sul problema in esame. Questo stile divulgativo è una scelta precisa dei vertici INVALSI e risponde all’esigenza di spiegare l’attività dell’Istituto ad un pubblico più largo, nel tentativo di superare alcune critiche dovute a mancanza di informazione o a pregiudizi radicati. Alla stessa esigenza risponde il fascicolo “Le prove Invalsi secondo l’INVALSI”, pure distribuito alla conferenza, che spiega con argomentazioni semplici e lineari le finalità, gli obiettivi, le caratteristiche e le modalità di costruzioni dei test standardizzati. Coerentemente a questa impostazione, nella sua presentazione la Presidente A. M. Ajello ha tenuto a sottolineare che le prove INVALSI non si sostituiscono alla valutazione dei docenti, ma misurano “solo” le abilità dichiarate nel quadro concettuale e “solo” la comprensione dei testi (oltre che l’ascolto in Inglese) e misurano abilità e non conoscenze. Ha spiegato che i livelli della certificazione, allo stato attuale, hanno il valore empirico di esprimere cosa hanno saputo fare gli allievi rispetto alle prove proposte e cosa potrebbero fare in più sulla base del livello raggiunto; descrivono, dunque, in termini accessibili e positivi i processi cognitivi messi in atto dagli studenti per rispondere alle domande e hanno scopo migliorativo e didattico. La loro formulazione linguistica, ha ribadito R. Ricci, è stata costruita cercando una mediazione tra il rigore scientifico e l’accessibilità ad una comunità più vasta. Si tratta di informazioni scontate per chi è addentro ai metodi e alle finalità della valutazione standardizzata, ma evidentemente non sufficientemente note ad un pubblico di non esperti. Le svolta CBT ha avuto, almeno così appare, la conseguenza di fare assumere ad INVALSI un atteggiamento più esplicativo e un modello sia divulgativo sia teorico che fa riferimento a quello delle prove PISA.
I veri e propri rapporti tecnici sono pubblicati separatamente dal “Rapporto prove INVALSI 2018” e in tempi diversi e riguardano le modalità di individuazione dei livelli per la descrizione degli esiti (il testo di M. Desimoni, già citato), “La somministrazione CBT delle prove INVALSI 2018 (3^ secondaria di 1° grado e 2^ secondaria di 2° grado)”, il vero e proprio “Rapporto tecnico sulle prove INVALSI 2018”, e “Il valore aggiunto di scuola in base ai risultati delle prove INVALSI 2018”.
Il nuovo Ministro e il miglioramento delle prove
Il nuovo Ministro del MIUR, Marco Bussetti, nell’intervento che ha aperto la conferenza ha manifestato un atteggiamento positivo verso i test INVALSI – deludendo forse qualche critico che sperava in una critica del sistema delle prove – indicandoli come rilevazione di sistema importante per capire quali siano gli elementi più deboli della scuola italiana su cui intervenire politicamente. Ha rilevato che le prove vanno però migliorate: una critica su cui non si può che concordare essendo proprio questo il costante sforzo di chi lavora con e per INVALSI. In realtà è proprio l’approccio CBT che impone un salto di qualità nella costruzione delle prove dato che si deve pensare nei termini di una banca item e con riferimenti ai livelli, specie a quelli più difficili, meno agevoli da valutare, e alle attività cognitive richieste da ogni domanda. In questo senso le prove elaborate per il CBT hanno una ricaduta di ripensamento anche delle prove della Primaria. E, soprattutto, impongono di ripensare le modalità di utilizzo didattico dei risultati e i percorsi di formazione per i docenti. Il nuovo Quadro di Riferimento delle Prove di Italiano, pubblicato a fine agosto e comprensivo di tutti i gradi dal secondo al tredicesimo, è fondamentale per capire la nuova direzione che prenderà la costruzione e l’utilizzo delle prove.
Esiti principali
Si indicano di seguito gli aspetti essenziali dei risultati delle prove che confermano in buona parte i tratti evidenziati negli anni precedenti accentuandoli, in alcuni casi, come effetto delle modalità della rilevazione CBT. Si fa, inoltre, riferimento alla novità degli esiti delle prove in Inglese.
In generale nella scuola primaria le differenze tra i risultati sono ridotti e non significativi statisticamente. Osservando la distribuzione dei punteggi si può però notare che i punteggi bassi sono maggiori in alcune aree del paese come, ad esempio, la Campania, la Calabria, la Sicilia e la Sardegna già al grado 5 (5^ primaria). In altri termini in questa annualità scolastica emergono i problemi che diventano evidenti nei gradi successivi. Nella 3^ secondaria di 1° grado, infatti, i risultati si differenziano maggiormente nelle macro-aree e tra le regioni con evidente svantaggio dell’area del Sud e del Sud e Isole; tali differenze si accentuano ulteriormente nella 2^ secondaria di 2° grado (grado 10) dove il Centro “regge” ed il Nord, in particolare il Nord-Est, primeggia, con alcune regioni che hanno risultati decisamente buoni in tutti i gradi, come il Friuli Venezia Giulia, il Veneto e la Provincia Autonoma di Trento. Si conferma in definitiva quanto già rilevato negli anni precedenti, oltre che nelle indagini internazionali come PISA, il forte squilibrio tra Nord e Sud del paese.
La tabella 1 e il grafico seguente mostrano, con riferimento alla Matematica nella 2^ secondaria di 2° grado, quanto detto.
Tab. 1 – Risultati in Matematica – Grado 10 (2^ secondaria 2° grado)
Graf. 1 Differenza negli esiti di Matematica nei vari gradi scolastici
Tra la regione con il punteggio più alto in assoluto in Matematica al grado 10, cioè la Provincia di Trento con 219 punti, e la regione con il punteggio più basso la Calabria (176), ci sono ben 43 punti di differenza, il che equivale a dire che gli studenti e le studentesse di alcune regioni del Sud (particolarmente problematici sono i risultati della Sardegna) dimostrano abilità e conoscenze che equivalgono ad un anno scolastico in meno rispetto a quelle dimostrate dai coetanei di alcune regioni e province del Nord. “L’affermazione, spesso ripetuta, secondo cui la scuola secondaria inferiore rappresenterebbe “l’anello debole” del sistema scolastico italiano non trova riscontro nei dati né delle prove INVALSI né delle indagini internazionali: quello che emerge, invece, è che in questo grado d’istruzione diventa manifesta la differenza di risultati tra le diverse aree dell’Italia, e in particolare tra nord e sud, situazione che viene mascherata se si guarda solo al punteggio medio dell’intero Paese” (“Rapporto Prove INVALSI 2018” p. 55).
Oltre che nei livelli di apprendimento si evidenzia un forte problema di equità tra le aree geografiche. Se si somma la variabilità tra scuole e la variabilità tra classi si può osservare che nelle due aree meridionali e insulari è più alta rispetto alle altre zone del Paese in tutte e tre le discipline valutate, e in particolare nella prova di ascolto in Inglese. Le più basse percentuali di variabilità si osservano nelle regioni del Nord Est. Ancora una volta si evidenza una preoccupante differenza di esiti tra Nord e Sud, confermata anche dalla diversa capacità di attenuare l’effetto del differenziale socio economico-geografico delle scuole delle due aree geografiche del Paese. Una differenza che comporta una vera e propria disuguaglianza educativa in quanto implica per molti alunni della scuola del Meridione la privazione del diritto a raggiungere livelli di preparazione previsti dalle Indicazioni Nazionali e competenze chiave di cittadinanza. Sulla questione si discute, anche perché, di contro, i risultati degli Esami di Stato nel Sud Italia sono sistematicamente migliori rispetto a quelli del Nord (si vedano anche gli esiti del 2018: http://www.miur.gov.it/web/guest/home). Ancora non si sono manifestate strategie per affrontare tale situazione che, d’altro canto, non è certo compito di INVALSI tentare di risolvere.
La novità nella rilevazione 2018 è stata soprattutto la somministrazione di prove in Inglese in 5^ primaria e in 3^ secondaria di 1° grado con riferimento al agli standard QCER: in 5^ la somministrazione è stata cartacea e mirata a rilevare il raggiungimento del livello A1 (con la misurazione anche del livello pre-A1), in 3^ la prova è stata svolta al computer e il livello di riferimento è stato l’A2 (con la misurazione anche dei livelli pre-A1, A1 e A2). In tutti e due i gradi è stato realizzato un test di ascolto (listening) e un test di lettura (reading).
I risultati in Inglese sono più confortanti del previsto in particolare nella primaria (grado 5) dove circa il l’80% di alunni del Nord e Centro Italia raggiunge nell’ascolto il livello A1 previsto dalle Indicazioni Nazionali, mentre nel due macro aree meridionali e insulari tale percentuale è del 70% circa. Ancor meglio, come è prevedibile dato che la comprensione dell’ascolto è meno presente nella didattica dell’Inglese, le percentuali di A1 nella lettura: 95% al Nord e circa il 90% al Sud. Le percentuali si differenziano però se si considerano le diverse aree geografiche come mostra la seguente tabella:
Tabella 2 – Percentuale di alunni che raggiunge il livello A2 nella III secondaria di primo nelle diverse macro-aree
Si ripropongono dunque anche per Inglese le disuguaglianze negli apprendimenti tra Nord e Meridione. I dati mostrano anche che nei processi di insegnamento e apprendimento è importante investire di più sull’abilità di ascolto. I migliori punteggi in Inglese si sono registrati peraltro nella Provincia Autonoma di Bolzano e, soprattutto, nella Provincia Autonoma di Trento che negli ultimi anni ha investito in modo programmatico per il miglioramento delle conoscenze nelle lingue straniere. È questo un esempio che mostra che con azioni adeguate il livello degli apprendimenti è migliorabile.
Grafico 2 – 5^ primaria: Inglese – QCER Reading
Grafico 2 – 3^ secondaria di 1° grado: Inglese – QCER Reading
È infine interessante notare che le femmine hanno in Inglese – come in Italiano – risultati migliori dei maschi di circa 5 punti (listening e reading) in 5^ primaria e di 8 e 9 punti nel grado 8 e che l’Inglese è la sola materia in cui gli alunni stranieri ottengono risultati simili ai loro compagni italiani.
Ulteriori novità e criticità: le prove per la 5^ secondaria 2°grado
Salvo sorprese dell’ultimo minuto, nel 2019 entreranno in vigore anche le prove per il grado 13, cioè per la 5^ secondaria di 2° grado. In analogia con i test del grado 8 saranno somministrate al computer e riguarderanno l’Italiano, la Matematica e l’Inglese (livello B2). I livelli raggiunti saranno comunicati a ogni studente e studentessa e entreranno nel curriculum vitae degli stessi. Non è ancora chiaro quando saranno comunicati tali livelli: prima dell’Esame di Stato, durante lo stesso o dopo.
Certamente si pongono alcune questioni tra cui il problema della delicata relazione tra il livello delle prove INVALSI, i giudizi degli insegnanti di classe e le prove dell’Esame di Stato, e l’interrogativo sulla funzione dell’indicazione del livello nel CV di ogni studente, dato che dopo il grado 13 si esce dall’Istruzione scolastica per entrare nel mondo del lavoro o in un altro percorso di formazione.
Il test sarà uguale per tutti in Italiano, mentre in Matematica sarà lo stesso per l’80% della prova, mentre il restante 20% sarà diverso secondo l’Indirizzo di studio. La prova sarà somministrata in marzo, come quella del grado 8, e ciò renderà ancora più complesso lo sforzo organizzativo delle scuole e la gestione della somministrazione con l’individuazione, tra l’altro, di un più alto numero di osservatori per le classi campione. Sulla base dell’esperienza del 2018 INVALSI cercherà di rendere più fluida la gestione della somministrazione pubblicando fin dall’inizio dell’anno lo scadenziario online e i protocolli. Certo è che le scuole dovranno fare in modo di trovarsi pronte sul piano tecnologico, di documentazione e di gestione di un’attività che dovrebbe in qualche modo entrare a fare parte della routine scolastica da marzo a giugno/luglio.
Alcune novità riguarderanno, infine, anche la stesura dei Rapporti di Autovalutazione degli Istituti scolastici che dovranno recepire le nuove modalità di restituzione degli esiti delle prove ed elaborare, anche con riferimento ad essi, le proprie priorità, obiettivi e traguardi.