Pubblichiamo le considerazioni di Marco Magni a proposito delle Prove Invalsi che ormai da alcuni anni si svolgono in Italia; quest’anno si proveranno a bloccare la loro somministrazione attraverso gli scioperi del 5 ed il 6 nelle scuole elementari e del 12 nelle scuole superiori.

La locandina di Stud-AUT contro l’Invalsi

PROVE INVALSI: RISULTATI CONTRO LA SCIENZA

Le metodologie dell’Invalsi (e i loro precedenti anglosassoni) saranno ricordate, in futuro, nel novero delle aberrazioni storiche come i test QI per individuare le “tare” o selezionare gli immigrati, i voti dati alla maniera sessantottina dal collettivo di classe, le macchine per istruire del comportamentista Skinner, ed altre bizzarrie che la storia ha sfornato nel campo dell’educazione.

di Marco Magni

Dovremmo avere il coraggio di dirlo chiaramente. I testi Invalsi, dal punto di vista scientifico, nel campo delle scienze dell’educazione, è ciò che Lysenko è stato in biologia, Di Bella in medicina, Moniz (l’inventore della lobotomia) in psichiatria.

Dobbiamo tuttavia domandarci perché il metodo di valutazione Invalsi, fondato sui dati di test o prove strutturate, sia stato così largamente utilizzato nei due decenni appena trascorsi, ed alcuni personaggi – burocrati, tecnici, politici, soprattutto in Usa e Gran Bretagna – vi abbiamo costruito sopra fortunate carriere. Restando solamente a ciò che gli storici della scienza chiamano la “storia interna” (di cui il più noto specialista è Jay Gould), astrazion facendo cioè dalle “condizioni esterne”, di natura politica e sociale, la risposta è abbastanza semplice: il successo di ricette aberranti, nel campo dell’educazione, la ragione per cui esse sono in grado di conquistarsi un pubblico plaudente pur di fronte al cumularsi di prove empiriche contrarie, deriva dalla natura in se stessa imperfetta dell’educazione medesima, perciò anche della disciplina che ha preteso nella storia di formularne la teoria, la pedagogia (e l’insieme dei suoi derivati, la didattica, la docimologia, la psicopedagogia, ecc.). In campo pedagogico non c’è mai la controprova. O, meglio, non immediata e definitiva, non nella modalità dell’”experimentum crucis” baconiano. Si possono sempre presentare dei casi favorevoli al metodo, qualsiasi esso sia, e il suo successo o fallimento dipende dall’adesione consensuale del pubblico, non dall’adeguatezza, sperimentalmente verificata, del metodo stesso.

Non è stato certo un “experimentum crucis” a sancire la riduzione drastica del numero di vergate inflitte ai discepoli nel XV e XVI secolo, ma l’affermarsi di una concezione educativa, quella gesuitica, che imponeva il disciplinamento oltre che dell’allievo, del maestro, sottomesso anch’egli alla celebre Regola dell’ordine. E neppure di natura strettamente sperimentale è la ragione che, tra la fine dell’800 e i primi decenni del ‘900, impose l’affermarsi, in luogo dell’apprendimento mnemonico e di una disciplina di tipo militare, di metodologie educative come lo scoutismo e delle idee di Dewey e Maria Montessori. Per converso, soprattutto negli Usa – ma probabilmente solo perché si tratta del posto in cui esistono molteplici studi del fenomeno – i disastri delle pedagogie attivistiche ispirate a Dewey, avvenute malgrado le intenzioni e l’indubbio genio del fondatore, sono venuti alla luce non a causa di evidenze sperimentali, ma in ragione del mutamento del clima politico e culturale americano negli anni dell’inflazione e della stagnazione produttiva di fine ’70. Si potrebbero citare ancora molti altri esempi.

Nella scuola avvengono continuamente delle “sperimentazioni” che, in realtà non sono tali rispetto alle condizioni di laboratorio previste non solo dalla scienze della natura, ma dalle stesse scienze umane (presenza di un gruppo di controllo, definizione chiara degli obiettivi con cui confrontare i dati, eliminazione delle cause ambientali perturbatrici, riproducibilità dell’esperimento, controllo od eliminazione dell’influenza dello sperimentatore sull’esperimento), delle quali è sempre possibile decretare il successo.

Definire ciò che debba essere in sé l’educazione, le sue finalità, i suoi procedimenti ottimali, i suoi risultati, è impossibile. Un minimo di senso storico non può che condurre ad ammettere che ciò che l’educazione è, o deve essere, viene deciso di volta in volta dalle diverse società storiche. Ed è all’interno della storicità dei processi, dei fini e dei risultati storicamente determinati, che può essere effettuata la comparazione. Essa, come sa ogni storico e ogni sociologo, può essere effettiva solamente non dando mai per buone le premesse di chi porta avanti i processi educativi. La comparazione, se è realmente tale, ha natura critica.

La natura sociale e politica delle prove sperimentali

Proprio per questo, all’inizio, ho scritto “abbiamo le prove”. Nel momento stesso in cui si esce dall’ambito dei numeri e degli “indicatori” e si sofferma lo sguardo da un lato sul loro processo genetico (il processo o i processi effettivi, di natura sociale, che conducono a quei numeri) e sulle conseguenze effettuali di ciò che viene definita come “valutazione di sistema”, allora l’opera di demolizione del dispositivo diviene abbastanza agevole.

Questo è il lavoro compiuto negli ultimi due decenni dalla sociologia dell’educazione
anglosassone (Ball, Gewirtz, Ravitch), che a sua volta poteva poggiarsi sugli studi degli anni ’60 sulla riproduzione delle diseguaglianze (Bordieu, Bernstein), e sul composito filone dell’ epistemologia e delle scienze della complessità.
Sono sostanzialmente i seguenti, legati tra loro, i risultati cui è giunto il lavoro di analisi critica della “valutazione di sistema”:

1) non si tratta di “valutare” risultati già esistenti, confrontandoli tra loro, bensì di prescrivere metodologie, standard, modelli di comportamento. Ciò, indipendentemente dalle intenzioni del valutatore. Nel 1975, quando la questione della valutazione dei risultati negli apparati amministrativi era ancora nella fase di incubazione, il sociologo omonimo formulò la cosiddetta “legge di Campbell”, la quale recita che qualsiasi indicatore quantitativo venga assunto come parametro dei risultati di un’istituzione sociale, determinerà il fatto che il comportamento degli attori di quella stessa istituzione si modificherà in modo tale da soddisfare le esigenze di quell’indicatore. Se i ricercatori americani e inglesi hanno tradotto tale fenomeno nell’espressione “teaching to test” (insegnare per il test, in luogo dell’insegnamento di competenze disciplinari), recentemente Valeria Pinto, occupandosi della critica della valutazione quantitativa della ricerca universitaria, ha affermato che la valutazione cerca, più che di comparare risultati diversi, di prescrivere, ai lavoratori intellettuali, delle condotte e dei comportamenti adeguati alla logica del mercato e dell’impresa;

2) pur ammettendo che i test offrano delle indicazioni attendibili dei risultati in termini di acquisizioni di competenze o abilità (e ciò, relativamente ai grandi numeri, è senza dubbio vero, proprio in ragione della “legge dei grandi numeri”), nulla possono dire sulle cause delle differenze di rendimento tra aree geografiche diverse o tra scuole diverse. Non possono, perché è semplicemente impossibile farlo: la sociologia dell’educazione ha determinato – e non vi è contesa su questo tra gli specialisti seri – l’esistenza di diverse probabilità di successo scolastico tra diversi gruppi sociali, e ciò conduce a dire che l’appartenenza ad una classe sociale superiore o inferiore ha un impatto rilevante sulle probabilità future di ottenere un diploma o una laurea (pur non predeterminando nulla con certezza, perché si tratta di probabilità non di destino); ma non sa dire nulla sul perché, all’interno di uno stesso gruppo sociale, si verifichino esiti diversi. Bourdieu ci aveva provato, affermando che, in coloro (come lui stesso) che erano giunti a risultati eccellenti partendo da condizioni sociali modeste, vi era sempre l’esempio di un “parente” che aveva compiuto lo stesso percorso. Tale ipotesi è altrettanto valida dell’altra, secondo cui, un certo figlio di contadino o di operaio abbia incontrato un certo insegnante capace di influire sulle sue aspettative e sui suoi sogni (ma nulla dice che quel certo insegnante abbia fatto quell’effetto a tutti i figli di operai e di contadini). Perciò, è del tutto velleitario e tendenzioso pretendere (come l’Invalsi fa) di poter determinare il livello di competenze prodotto dall’eredità socioculturale e distinguerlo dal “valore aggiunto” che un certo istituto o un certo insegnante fornirebbe alla cultura degli allievi.

D’altronde, l’esperienza internazionale – così come le indagini Pisa-Ocse e dello stesso Invalsi – dimostra che i differenziali di rendimento e di competenze riscontrati dai test rispecchiano le diseguaglianze socioculturali nella composizione delle diverse aree territoriali (e delle scuole che vi sono dislocate). Questo è quanto la statistica applicata alla sociologia dell’educazione è in grado di dire. Oltre non è dato sapere;

3) si possono aggiungere tutta una serie di critiche “minori” alla valutazione di sistema (e all’Invalsi), che per brevità riuniamo in un unico punto. Per esempio, tra i massimi critici della valutazione dei test standardizzati ci sono i matematici, che la contestano proprio in nome della nozione matematica di “misura”, non soddisfatta dall’approssimazione dei test standardizzati. Inoltre, come si accennava prima, nel momento in cui si esce dal confronto di “grandi numeri” (ad es. Nord e Sud Italia), nel quale gli errori statistici tendono a elidersi e a convergere rispetto alla media, sui “piccoli gruppi” (la classe, la scuola) i fattori accidentali che spiegano le differenze di risultato aumentano di molto, e rimangono inesplicati. Va detto, al proposito, che l’Invalsi non offre alcun tipo di strumento per analizzare e spiegare tali differenze, non compie cioè nessun tipo di verifica sul campo per studiare la validità degli stessi test che somministra. Infine, l’esperienza dice che ulteriori problemi nascono dal rischio evidente di “cheating”, ovvero copiature e imbrogli: l’Invalsi, senza inviare osservatori sul campo, pretende di sapere quando il risultato di un test si discosta troppo dai risultati attesi (test “troppo buoni”) e anche di sancire che in questo caso si è in presenza di “cheating”. A seconda dei casi, taglia i punteggi oppure addirittura annulla i test. Si tratta di un evidente arbitrio, poiché non si è in grado di sapere – senza essere presenti – se il test sia troppo facile, oppure casualmente calzante con un argomento trattato in modo approfondito nel programma di quella classe, oppure se ci sia stato realmente il “cheating”;

4) un posto a parte spetta, nell’enucleazione degli argomenti critici, alla pretesa di valutare e comparare tra loro non solo sistemi educativi nazionali, o aree geografiche differenti al loro interno, ma gli stessi “istituti” scolastici. Un’inchiesta inglese del ’79, Fifty-thousand hours, ha fatto da trampolino di lancio a tale idea, messa poi a sistema in Inghilterra dalla Thatcher e negli Usa da Bush junior. Un’inchiesta francese, pubblicata a sua volta sugli Annales des sciences sociales, ha dimostrato, a sua volta, che il cosiddetto “effetto-istituto” sul livello di formazione degli allievi è pura illusione, poiché gli stessi dati, aggregati diversamente, dimostrano la nota correlazione positiva con le diseguaglianze socioculturali.

Nell’istituto scolastico ci sono tanti insegnanti, ciascuno dei quali lavora in condizioni determinate dall’organizzazione scolastica (infrastrutture, ruolo o incarico, allievi in carico, ecc.), ma che, in fondo, svolge il core del suo lavoro da solo a confronto con i propri allievi, con alcuni marginali momenti di collaborazione con altri docenti. Perché la valutazione della qualità del suo lavoro dovrebbe dipendere dal punteggio del suo “istituto”? Tutti, nella loro formazione scolastica, possono raccontare sia di insegnanti bravi che di insegnanti pessimi, nella sezione A o nella sezione B. Perché aggregarli in un unico conteggio?

Mentre nelle industrie vi è una divisione del lavoro, e la qualità del prodotto dipende dalla qualità della lavorazione delle singole parti, nella scuola ogni insegnante opera nel curare una parte dell’istruzione degli allievi, cooperando e mediando solo “ex-post” con gli altri (es. aggiustando la propria programmazione per armonizzarla con colleghi di materie affini, o decidendo collegialmente se promuovere o bocciare). Allora, perché assimilare la scuola a un’impresa divisa in reparti distinti di un identico processo di lavorazione?

Evidentemente, l’idea è quella della “scuola-azienda”, l’impresa coesa nell’attuare una determinata “mission” che sia assunta interiormente ed emotivamente da tutti i suoi impiegati, che dovrebbero sentirsi corresponsabili gli uni con gli altri dei risultati conseguiti dal loro istituto. Un’istanza chiaramente simbolica, e puramente artificiale rispetto al modo in cui concretamente la scuola opera.

Il reale significato – ampiamente realizzato in Gran Bretagna e Usa – dell’istituire artificialmente un’omologia tra la scuola e l’azienda sta nell’idea che entrambe debbono essere in concorrenza su un mercato, e migliorare se stesse attraverso la competizione. E’ ampiamente noto che tale concorrenza tra scuole determina solamente l’ampliamento delle diseguaglianze tra scuole socialmente favorite e scuole socialmente svantaggiate, aumentando i livelli di segregazione sociale già esistenti.

La concorrenza tra scuole, non a caso, è sostenuta dai fautori della privatizzazione, da Milton Friedman in poi: dato il principio che la concorrenza sarebbe il fattore universale del miglioramento dei risultati, allora la proprietà privata o la gestione privata (charter schools) delle scuole stabilirebbero la condizione ottimale nel campo dell’istruzione, perché sancirebbero la completa equiparazione dell’istruzione all’economia di mercato nei servizi e dell’industria;

5) la “valutazione di sistema”, legata alla pratica “meritocratica” di distribuire il salario accessorio in forma “premiale”, e di assegnare quote dei fondi pubblici alle scuole a secondo della loro posizione in graduatoria, ha l’evidente segno di indebolire i diritti collettivi del lavoro. Alla contrattazione collettiva sostituisce i premi individualizzati e i fondi assegnati in forma premiale alle scuole “buone” e negati alle scuole “cattive”. Si tratta di una profonda modifica dello statuto del lavoro degli insegnanti, che mina non solamente il loro diritto alla contrattazione collettiva, ma intacca i valori fondamentali comuni alla professione (e qui si aprirebbe un nuovo capitolo, poiché si richiederebbe l’analisi della professione docente…). E’ evidente che la demolizione dei diritti collettivi e dello status professionale dei docenti conduce ad una loro marginalizzazione e perdita di autonomia ed all’esaltazione delle posizioni gerarchiche del capo d’istituto e, più in generale, dei funzionari e degli amministratori scolastici.

Conclusione

Possiamo concludere immaginando degli scenari, nel momento in cui, quest’anno, la “valutazione di sistema”, ipocritamente denominata “autovalutazione d’istituto”, diviene obbligatoria in Italia. Il problema sta proprio nell’assenza, che si diceva all’inizio, nel campo dell’istruzione e dell’educazione, della possibilità di effettuare “confutazioni” in senso popperiano o un “experimentum crucis” che confermi o falsifichi una teoria o un dispositivo. Possiamo immaginare che, in assenza di un’opposizione politica e culturale ferma, la “valutazione Invalsi” si affermi come processo “autoreferenziale” che, indipendentemente da ogni correlazione con la realtà effettuale, venga a costituire la “norma” rispetto alla quale vengano a definirsi l’”autostima” e l’”identità” degli insegnanti e degli stessi studenti di un dato istituto.

Che la “valutazione d’istituto” rappresenti un’aberrazione nei confronti di qualsiasi pratica educativa, a qualsiasi scuola pedagogica dell’insegnamento essa si rifaccia (è indifferente se si tratti di Herbart, Gentile, Gramsci, Montessori, Dewey, ecc.), è una realtà che, prima o poi, facendo mente locale ai precedenti storici, verrà a galla. Si tratta, evidentemente, della sovradeterminazione di istanze economiche – e di una certa dottrina economica, neoliberista, microeconomica, utilitarista – alle ragioni sociali dell’educazione.

È assolutamente certo che, a meno che il mondo non scivoli nella completa catastrofe della tirannide finanziaria o della teocrazia, le metodologie dell’Invalsi (e i loro precedenti anglosassoni) saranno ricordate, in futuro, nel novero delle aberrazioni storiche come i test QI per individuare le “tare” o selezionare gli immigrati, i voti dati alla maniera sessantottina dal collettivo di classe, le macchine per istruire del comportamentista Skinner, ed altre bizzarrie che la storia ha sfornato nel campo dell’educazione. Ma, nell’attesa che quel tempo giunga, tali metodologie potrebbero compiere molti danni. E spetta a noi fare in modo che ne facciano il meno possibile.

(18 febbraio 2015)