Il valore aggiunto:

ovvero come tenere conto delle diversità degli alunni

e delle scuole nella valutazione

Enrico Gori – gori@dss.uniud.it

Ordinario di Statistica Metodologica

Dipartimento di Scienze Statistiche - Università di Udine

  Coordinatore del Comitato Tecnico Scientifico dell’INValSI

L’attenzione del mondo della scuola si è recentemente concentrata sul Progetto Pilota dell’INValSI che si pone come Valutazione di Sistema in grado di fornire informazioni utili al processo di revisione interno alle scuole (Autovalutazione).

In estrema sintesi si tratta dell’introduzione, in via sperimentale, di un sistema di rilevazione delle conoscenze degli studenti, in specifici ambiti disciplinari, che ha il vantaggio di consentire una comparazione oggettiva dei livelli acquisisti a determinati momenti della loro carriera scolastica.

Tale sperimentazione presenta tuttavia tre limiti essenziali:

1. l’uso di sole prove a risposta multipla, mentre, anche le recenti indagini internazionali dell’OCDE, riconoscono la necessità di utilizzare prove a risposta aperta (temi, composizioni, soluzione di problemi);

2. contenuti che possono essere non sufficientemente tarati sui programmi effettivamente svolti;

3. un sistema di report dei risultati dell’indagine che consente di ottenere una misura del livello di conoscenze degli studenti ma non del valore aggiunto dalle scuole.

In particolare quest’ultimo costituisce un limite presente anche nel caso in cui i punti B e C fossero superati attraverso l’introduzione di prove di esame adeguate allo scopo.

Il problema è il seguente. La gran parte dei risultati del processo formativo relativi al singolo studente (partecipazione, successo, livello di conoscenze-competenze posseduto ad un certo istante del percorso formativo, ecc.) sono frutto dell’azione ed interazione di tre fattori fondamentali:

1. il background di conoscenze-competenze derivante dalla scuola (o classe) precedentemente frequentata e la condizione socio – economico - culturale della famiglia di provenienza;

2. la struttura e composizione della classe in termini di capacità e caratteristiche dei compagni (“effetto dei pari”);

3. le risorse materiali ed immateriali messe a disposizione della classe (qualità e quantità di insegnanti), l’organizzazione didattica ed il clima della scuola.

L’effetto che i fattori 2 e 3 hanno sui risultati dello studente viene chiamato anche “Valore Aggiunto” e costituisce la misura di maggiore interesse per la comprensione dei punti di debolezza dei processi formativi (Autovalutazione).

Le misure attualmente ottenibili, invece, sono il risultato di tutti e tre i fattori precedentemente elencati, con la conseguenza che gli studenti di una scuola possono avere un livello di conoscenze più elevato di un’altra non in virtù del maggiore valore aggiunto da questa apportato, ma grazie alle condizioni di partenza più favorevoli degli studenti.

A titolo d’esempio si considerino 3 scuole (o classi) di analogo livello, i cui studenti siano stati sottoposti a valutazione attraverso prove d’esame standardizzate e confrontabili che hanno prodotto i seguenti risultati (cfr. tab. 1).

La prima colonna di ciascuna delle sotto-tabelle riporta il numero di studenti (100 per ogni scuola in questo caso); la seconda contiene la somma delle valutazioni conseguite dagli stessi studenti (espresse ad esempio su un scala da 0 a 10); la terza riporta il voto medio (rapporto tra la somma dei voti ed il numero di studenti).

Tab. 1 – Un esemplificazione dei rischi derivanti dagli indicatori usuali

Come si può facilmente constatare dall’ultima riga della tabella (evidenziata in giallo), i voti medi relativi al TOTALE sembrerebbero indicare una “graduatoria” delle tre scuole del tipo:

• A migliore di C, C migliore di B;

che suggerisce le seguenti azioni:

• la scuola B deve assumere provvedimenti per migliorare le proprie performance;

• la scuola A può essere presa a modello di best practice;

• la scuola C, essendo sostanzialmente in media può continuare ad operare come desidera.

Tuttavia, i valori medi totali misurano il livello degli studenti delle scuole e non il valore aggiunto dalle scuole. Tale livello, oltre che dal valore aggiunto, dipende anche dal background degli studenti. Se si considerano le diverse righe della tabella, ciascuna di queste si riferisce ad una particolare tipologia di studenti, individuata dal loro background (Alto, Medio e Basso).

Dalla tabella 1D, relativa a totale degli studenti delle tre scuole, emerge chiaramente che vi è una relazione sistematica tra background e votazione conseguita, la quale ha una ben precisa spiegazione causale, documentata, del resto, da numerose evidenze empiriche.

La considerazione di tale ulteriore informazione e della terza colonna di ogni sotto tabella, sconvolge completamente le conclusioni alle quali si era giunti in precedenza ed evidenzia un quadro addirittura opposto:

• la scuola C, che apparentemente risultava nella media, è in realtà quella che dovrebbe assumere provvedimenti per migliorare le proprie performance, in quanto tutte e tre le tipologie di studenti conseguono votazioni inferiori a quelle di studenti analoghi nelle altre due scuole;

• la scuola B, che apparentemente era quella con le peggiori performance, è in realtà quella che dovrebbe essere presa a modello di best practice: infatti tutte e tre le tipologie di studenti conseguono votazioni superiori rispetto a quelle di studenti analoghi nelle altre due scuole;

• la scuola A, che avrebbe dovuto essere presa a modello di best practice, si colloca in realtà in una posizione media, in quanto il voto medio conseguito dalle tre categorie di studenti si colloca tra quello della scuola migliore (B) e di quella peggiore (C).

A fini di Autovalutazione interna, pertanto, l’informazione di tipo aggregato, che deriva dall’attuale impianto del Progetto Pilota, rischia di offuscare la realtà. E’ per questo che di recente, molti paesi che avevano adottato in passato ipotesi di Valutazione di Sistema basate su indicatori del tipo descritto in tabella 1 (riga del TOTALE), si stanno rivolgendo verso un sistema di indicatori in grado di cogliere il Valore Aggiunto della scuola.

Una definizione del concetto di valore aggiunto molto semplice può essere tratta dal rapporto finale relativo ad un recente progetto promosso in Inghilterra (“The Value Added Project”): il valore aggiunto a livello di singolo studente è dato dalla differenza tra la performance attesa dello studente, basata sul suo precedente background, e la performance osservata; mentre il valore aggiunto a livello di istituto è costituito dalla media del valore aggiunto dei singoli allievi.

Dal punto di vista grafico i problema si può descrivere come segue.

Fig. 1 – Esempio di informazione utile ai fini della misurazione del valore aggiunto

Fonte: DFES ( http://www.standards.dfes.gov.uk/performance/ap/ )

La fig. 1 riporta in ordinata i livelli del voto conseguito dallo studente in un determinato ciclo di studi (in particolare KS3, corrispondente, all’incirca, alla 3^a media inferiore), mentre in ascissa si ha il voto di partenza dello studente nel livello di studi immediatamente precedente (KS2, corrispondente, all’incirca alla 5^a elementare). La linea marcata (verde) rappresenta il valore medio (mediano per l’esattezza) del voto conseguito da tutti gli studenti a livello KS3 che partivano dallo stesso voto al livello KS2.

Fig. 2 – Il valore aggiunto

A partire da tale grafico è abbastanza facile intuire come il concetto di Valore Aggiunto possa essere concretizzato. La figura 2 evidenzia che uno studente che parta con un voto pari a 30 (al livello KS2), dovrebbe mediamente conseguire alla fine del ciclo successivo (KS3) un voto pari a 60: lo studente rappresentato dal punto blu avendo conseguito un valore superiore (80) mostra un valore aggiunto positivo, mentre quello rappresentato dal punto rosso un valore aggiunto negativo.

Se adesso, per ogni scuola, si effettua una media delle differenze tra i voti effettivamente conseguiti e la linea verde che rappresenta quanto atteso si ha una misura del valore aggiunto a livello di scuola. Il calcolo può essere effettuato anche a livello di classe, nonché materia per materia, oltre che a livello di singolo studente, fornendo così utili indicazioni per l’autovalutazione a tutti i livelli: dagli studenti al capo di istituto.

Va sottolineato, però, che la “linea verde” si può determinare in maniera affidabile solo attraverso l’uso dei dati relativi alla totalità (o comunque buona parte) degli istituti scolastici; è poi necessario, come ovvio, che i risultati di apprendimento relativi ad ogni studente – ad esempio negli esami finali - possano venire ricollegati a quelli posseduti al momento dell’entrata nel ciclo al quale i risultati medesimi si riferiscono.