Proposte per la prossima VQR

Come più volte annunciato nelle presentazioni che Anvur ha tenuto in molti atenei italiani in occasione della sperimentazione della SUA RD e della campagna di accreditamento del dottorato di ricerca,  l’avvio di una nuova VQR pare imminente.  Malgrado gli appelli di Roars, non è stata prodotta alcuna riflessione sui costi e sui benefici dell’operazione.
Tale riflessione sarebbe stata particolarmente necessaria perché MIUR ed ANVUR hanno messo in piedi una delle macchine di valutazione più costose (e più discutibili) al mondo. Cui adesso si affiancherà SUA-RD ovvero uno strumento di controllo burocratico della ricerca che dovrà essere adottata in continuo dalle Università italiane. Ma, come ormai sappiamo, l’opinione prevalente è che valutare faccia bene anche se è fatto male. Ed eccoci quindi di nuovo in pista (o quasi) con la VQR.

Abbiamo dedicato moltissimi post a mostrare gli errori di disegno, metodologici e tecnici che hanno reso non credibili i risultati della VQR. In questo ci concentreremo sulla pars construens, dando per nota la pars destruens (e rimandando i lettori interessati ai post ad essa dedicati da ROARS in questi anni). Una premessa necessaria è la seguente. Gli esercizi nazionali di valutazione non dovrebbero essere utilizzati per una ripartizione automatica delle risorse. Perché i danni che così si provocano  sono a nostro avviso nettamente superiori ai benefici che si possono conseguire da una malintesa e mal gestita competizione tra istituzioni (per una discussione del punto si può leggere qui). Le informazioni rilevate, al contrario, dovrebbero essere utilizzate quali strumenti per assumere responsabilmente decisioni trategiche da parte degli organi di governo democraticamente eletti.

Ciò premesso, non è inutile ribadire (specie in Italia) che le informazioni rilevate con un esercizio di valutazione, devono comunque essere attendibili, e rilevate con le corrette metodologie.

Ecco gli interventi correttivi che proponiamo.

Cambiare modello di valutazione

Gli esercizi di valutazione in giro per il mondo sono -ci si passi la semplificazione- di tue tipi. Esercizi basati sulla peer review, come nel
REF britannico. Ed esercizi basati su modelli bibliometrici puri, del tipo dell’ERA australiano. In Italia abbiamo inventato un modello ibrido che usa al contempo peer review e bibliometria. I risultati sono stati disastrosi perché bibliometria e peer review hanno dato luogo a esiti che non concordano. Poiché la bibliometria permette valutazioni “più generose”  della peer review, i risultati della valutazione per settori disciplinari finiscono per premiare sistematicamente quei settori con quote più basse di peer review. E i risultati delle istituzioni valutate dipendono dalla loro composizione in termini di settori disciplinari. Il problema è così evidente che la CRUI ha ritenuto di sviluppare un algoritmo alternativo a quello ANVUR per la distribuzione delle risorse; algoritmo che non ha però risolto i problemi.

Per il nuovo esercizio è a nostro avviso auspicabile l’adozione della metodologia del REF britannico, pur con tutti i suoi difetti. In tal modo,
l’uso sistematico della peer review ed una corretta definizione di una unica scala di qualità dei prodotti permetterà la comparazione dei risultati tra settori e aree.
E’ altresì auspicabile che i risultati dell’esercizio basato sulla peer review vengano affiancati da una analisi biblioiatrica puntuale condotta sulle banche dati internazionali a livello di aree disciplinari e singoli atenei, in modo da poter confrontare sistematicamente i risultati interni della valutazione con un controllo bibliometrico esterno. A tal fine è indispensabile che il Ministero abbia una propria base di dati (TRo Scopus) e che la manutenga costantemente rispetto alla disambiguazione, alle affiliazioni, al legame con l’anagrafe.

Cosa si valuta

La valutazione è istituzionale non individuale. I risultati sono presentati per università, dipartimenti, discipline. Prima dell’inizio dell’esercizio di valutazione deve essere chiaramente stabilito che in nessun caso i risultati individuali potranno essere utilizzati per la valutazione dei singoli docenti, per la loro carriera e remunerazione né di singole aggregazioni fittizie (come ad esempio i collegi di dottorato o i gruppi di ricerca). I risultati individuali non sono comunicati né ai docenti né alle strutture. I dati individuali resi anonimi sono invece disponibili per ricerca dietro opportuna richiesta.

La questione della terza missione delle università ha a che fare con l’idea di valutare l’impatto economico e sociale delle attività dei ricercatori. Le comunità internazionali si stanno sempre più orientando ad una valutazione in context e verso le diverse applicazioni che la ricerca ha non tanto e non solo nell’industria, ma nella società in senso lato. Il REF sta sperimentando le metodologie di valutazione e i risultati dovrebbero essere presto disponibili. Anche i Paesi Bassi stanno introducendo l’analisi sull’impatto sociale. Visto il ritardo con cui stiamo affrontando il tema è opportuno attendere gli esiti di queste sperimentazioni prima di avventurarsi in ulteriori improbabili fai-da-te
quantitativi.

Come sottoporre i lavori scientifici per la valutazione

Nella VQR c’è stata una ambiguità di fondo tra valutazione dei singoli e valutazione delle istituzioni, dovuta verosimilmente alla volontà punitiva di scovare i fannulloni, ma i dati della VQR hanno mostrato che ricercatori silenti (almeno secondo la definizione data da Anvur di ricercatore inattivo) sono una quota del tutto fisiologica. Ecco come si potrebbe pensare di organizzare la raccolta delle pubblicazioni

a. sono responsabili dell’invio dei prodotti della ricerca i dipartimenti;

b. per ogni ricercatore/docenti del dipartimento si inviano un massimo di 2 lavori;

c. il dipartimento può decidere di inviare lavori per tutti i docenti/ricercatori o solo per un sottoinsieme di essi.

d. i risultati finali saranno ponderati tenendo conto della quota di docenti attivi sul totale; un dipartimento potrà scegliere se tenere alta la media inviando un insieme ristretto di lavori buoni, oppure presentare una quota elevata di lavori anche se ciò abbasserà la media.

Come si valuta

Tutti i lavori presentati sono valutati secondo una unica scala di valori definita univocamente. La scheda di valutazione utilizzata dalla VQR aveva notevoli problemi documentati qua. La stessa definizione di qualità della ricerca adottata nel DM appariva logicamente incoerente. E’ auspicabile che si adotti la scheda di valutazione del REF britannico. Che per comodità riproduciamo qua sotto.

I membri dei panel sono sensibilizzati a non valutare i lavori sulla base del loro contenitore, in particolare si raccomanda ai valutatori di non usare in alcun caso liste di riviste.  Il nuovo esercizio di valutazione nazionale, infatti, non dovrebbe comprendere il ricorso a classifiche o ratings di riviste.

Chi valuta

Nel modello REF britannico sono i membri dei panel che svolgono direttamente la peer review. Ogni lavoro presentato è valutato da un solo
revisore. Questo permette non solo di contenere i costi, ma anche di responsabilizzare direttamente i membri dei panel sui risultati della valutazione, che possono anche rivolgersi a esperti esterni la cui identità è comunque resa nota. Il modello italiano con la doppia peer review anonima ha verosimilmente favorito comportamenti opportunistici da parte dei valutatori anonimi e la completa opacità del processo.

Chi nomina i valutatori

Nel passato esercizio VQR le modalità opache di nomina dei GEV hanno dato luogo a problemi di mancanza di fairness nella loro composizione. In particolare ANVUR ha utilizzato una procedura di nomina a due stadi. Contrariamente a quanto previsto dal DM, ha infatti nominato prima i presidenti e solo in un secondo momento i membri dei GEV (A. Bonaccorsi: “abbiamo nominato i 14 presidenti dei Gruppi di esperti della valutazione, i GEV, che costituiranno l’organismo di base del processo valutativo, prima dell’approvazione del Decreto!“). Questo ha probabilmente permesso al presidente scelto di avere voce in capitolo sulle nomine degli membri, riducendo la varietà dei punti di vista del GEV.

Nel modello REF la questione della composizione dei panel è particolarmente delicata ed oggetto di test severi di fairness (gender,
età, etc.). Il fatto che i membri dei GEV svolgano direttamente la valutazione dei lavori richiede gev più numerosi e una attenzione
particolare alla loro composizione disciplinare.

Per la costituzione dei panel italiani si dovrebbero seguire le seguenti
procedure:

1. procedura pubblica per entrare a far parte dei panel;
2. nomina da parte del consiglio direttivo dei membri del panel in modo da rispettare elementari norme di fairness (gender, età, sul modello
britannico). Adozione della semplice regola per cui non più del 10% dei membri di un panel possono essere co-autori tra loro o avere un co-autore comune;
3. Nessun presidente GEV, nessuno dei coordinatori dei sub-gev e nessuno dei membri GEV della VQR 2004-2010 può far parte del GEV nel nuovo esercizio;
4. Il presidente GEV è eletto dai membri del GEV nel corso della prima riunione.

Una base informativa credibile per la valutazione

VQR e ASN hanno messo in luce in modo drammatico le difficoltà relative alla gestione dei dati bibliografici. Si potrebbe tentare di cogliere
almeno l’occasione del passaggio di tutti gli atenei ad uno stesso modello di anagrafe della ricerca locale (il sitema di gestione dei dati della ricerca IRIS), per cominciare a costruire l’anagrafe nazionale, a definire le regole di inclusione, validazione e dediplicazione delle pubblicazioni. Solo a partire da dati certi e validati sarà possibile costruire indicatori attendibili.