Dinamo Press
09 06 2015
L`università e il mondo accademico più in generale rappresentano l`interessante terreno di studio di nuove unità di misura del lavoro. L`inizio di questo processo coincide con l’affermazione del New Public Management (NPM) , che ha imposto la managerializzazione delle istituzioni come unico principio nella modernizzazione del funzionamento del settore pubblico. Siamo nel mezzo di una vera e propria moltiplicazione degli strumenti di misurazione che si accompagna a quella dei suoi risultati: in questo ricco scenario non c’è più un unico standard valido una volta per tutte. Si tratta di un eterogeneo panorama che mostra tutta l’artificialità e l’arbitrarietà della nuova misura che, a seconda dei processi di selezione, degli indicatori o dell`algoritmo scelto, rileva differenti gradi e valori.
Dall`analisi bibliometrica agli algoritmi
L`università e il mondo accademico più in generale rappresentano l`interessante terreno di studio di nuove unità di misura del lavoro che si intrecciano ad altrettante originali pratiche di valutazione della ricerca, del funzionamento dei dipartimenti e della produttività dei docenti basate sui dati bibliometrici e l’uso di algoritmi. L`inizio di questo processo coincide con l’affermazione del New Public Management (NPM), che ha imposto la managerializzazione delle istituzioni come unico principio nella modernizzazione del funzionamento del settore pubblico. il NPM si é affermato dapprima nei paesi anglosassoni, in particolare in Gran Bretagna, e rappresenta la sintesi della tradizione di Bussiness administration radicata negli USA e delle correnti neoliberali espresse da alcune organizzazioni internazionali tra cui l`OCSE, la Banca Mondiale e il Fondo Monetario Internazionale. Questo approccio neoliberale del management delle istituzioni accademiche è caratterizzato da spinte che sono tra loro eterogenee, se non addirittura opposte: se da un lato siamo di fronte ad un processo di deregolamentazione dell’ università-azienda per rispondere alle necessità del mercato del lavoro, dall`altro abbiamo una vera e propria «over-regulation» che investe i risultati della ricerca e dell’insegnamento. Proprio in questa «over-regulation», che coinvolge l’intera vita accademica, si possono collocare i processi di valutazione e misurazione della ricerca basati sulla scientometria, i cui risultati gestiscono la forza lavoro e orientano tanto la spesa che gli investimenti strategici istituzionali. Scrive giustamente Nicola De Bellis nel suo lavoro Introduzione alla bibliometria: dalla teoria alla pratica (De Bellis, 2014): «La bibliometria ha fatto il suo ingresso nelle valutazioni comparative individuali dei ricercatori (in occasione di reclutamenti, promozioni, ecc.) e negli esercizi di valutazione collegati ai meccanismi di finanziamento della ricerca universitaria». A partire dalla metà degli anni Ottanta nel mondo anglosassone, e dagli anni Novanta in molti altri paesi, questo tipo di valutazione ha sempre più caratterizzato la produzione di sapere e il lavoro nell’accademia. È l’Institute for Scientific Information (ISI) che, per primo, ha introdotto criteri valutativi di carattere quantitativo per misurare la produzione e il lavoro accademico. Si tratta di unità di misura basate sull’analisi delle citazioni, attraverso l’utilizzo di una serie di indicatori di «impatto», «influenza» e «qualità» «del lavoro accademico a partire dalle citazioni, dai riferimenti bibliografici presenti nelle note o nella bibliografia di ricerche pubblicate» (Henk F. Moed, 2005).
L’uso della bibliometria nella valutazione della ricerca prende le mosse nella seconda metà del secolo scorso. Il chimico e imprenditore statunitense Eugene Garfield, dopo aver fondato nel 1954 la Eugene Garfield Associated, nel 1964 istituisce l’Institute for Scientific Information (ISI) con lo scopo di ideare gli strumenti e studiarne i possibili usi per servizi di valutazione a enti istituzionali e non solo, tanto nel settore pubblico che in quello privato. Nel 1992 Garfield vende la ISI alla famosa multinazionale Thomson Reuters. Dal 1964 ad oggi la ISI si è trasformata in uno dei più importanti e autorevoli fornitori di servizi legati agli studi bibliometrici: una vera e propria agenzia che offre consulenze a pagamento su scala transnazionale, con uffici sparsi in tutto il mondo. Il lavoro svolto dalla ISI è stato reso possibile grazie alla creazione di particolari database che raccolgono dati e metadati di riviste selezionate da questa stessa compagnia. Queste banche di informazioni, tra loro molto differenti, variano in relazione al campo disciplinare da analizzare; la prima a essere stata realizzata da Garfield è il SCI (Science Citation Index), che ricopriva circa seicento giornali scientifici. Dopo questo primo esperimento, che elaborava esclusivamente discipline scientifiche, l’ISI ha iniziato a lavorare sulle pubblicazioni di scienze sociali e scienze umane: nel 1973 è stato fondato il SSCI (Social Science Citation Index), e nel 1978 il A&HCI (Art and Humanities Citation Index). Nel 2009, dopo che la ISI è diventata proprietà della Thomson Reuter, tutti e tre i database (SCI, SSCI e A&HCI) sono stati trasformati in versione elettronica chiamata Web of Science (WoS). Continuando l’esplorazione degli strumenti sviluppati da Garfield per valutare il lavoro nel mondo accademico e della ricerca, non possiamo non parlare dello strumento Impact Factor (IF), un indicatore sviluppato all`interno del progetto Journal Citation Reports definito da Garfield «uno strumento bibliometrico per stimare la rilevanza di un giornale scientifico» (Garfield, 1972). La valutazione dell’impatto di un giornale accademico all`interno della comunità scientifica è calcolato dividendo il numero totale delle citazioni ricevute in un dato anno dai contributi pubblicati nel giornale nel biennio precedente per il numero delle «original research» e dei «review articles» pubblicati nei due anni precedenti (1).
La caratteristica principale della bibliometria e dell’analisi delle citazioni operata dalla multinazionale Thomson Reuters consiste nel fatto che le sue operazioni di calcolo non ricoprono l`insieme totale dei giornali che vengono pubblicati nella comunità scientifica. Essa riflette esclusivamente il numero delle citazioni di quei giornali presenti nei database proprietari SCI, SSCI e A&HCI, che sono costruiti attraverso processi di selezione ed esclusione: infatti non tutte le migliaia di giornali che quotidianamente vengono pubblicati a livello globale sono indicizzati, ma solo una parte di essi. Questo fatto indusse Garfield, già alla fine degli anni Sessanta, a formulare la cosiddetta legge di concentrazione: «Non più di 1000 riviste sarebbero state sufficienti, in quel periodo, a coprire il nucleo della letteratura specializzata in tutte le discipline scientifiche, rendendo di fatto inutile, e forse persino sbagliato, ambire alla copertura totale» (De Bellis, 2014). Martin Garlinghouse, direttore del Thomson Reuters Institute for Scientific Information nella regione Asia, intervistato nel 2010 nel suo ufficio di Singapore, ha confermato che è proprio il processo di selezione a qualificare il lavoro di valutazione di questa multinazionale, differenziandosi così dai «competitor» del mercato: «per la ISI, selezionare significa qualità e rigore nel servizio che offriamo ai nostri clienti in tutto il mondo». Durante l’intervista a Martin Garlinghouse, è stato tuttavia molto difficile capire quali siano gli effettivi criteri utilizzati per selezionare ed escludere. Ciò che appare chiaro è che i risultati finali del conteggio del numero delle citazioni avviene esclusivamente a partire dai giornali selezionati presi in considerazione. Tale selezione afferma l’originale monopolio dei saperi come «denominatore comune delle leggi bibliometriche», dove «pochi autori sono responsabili della maggior parte della letteratura prodotta nel loro settore disciplinare; un ristretto gruppo di riviste pubblica la maggior parte degli articoli rilevanti in una data ricerca; un numero relativo basso di parole ricorrenti governa il comportamento linguistico individuale degli autori» (De Bellis, 2014).
La valutazione della ricerca e i criteri di misura nell’università
Se prendiamo il caso delle università in Asia, America o Europa, è facile scoprire come la valutazione della ricerca, la misura del lavoro accademico e della qualità della didattica siano sempre più dipendenti dall’uso di indicatori come il numero e tipo delle pubblicazioni, piuttosto che il valore dell’Impact Factor di quei giornali in cui accademici e ricercatori devono pubblicare. I risultati della ricerca sono misurati attraverso il numero di articoli pubblicati nei giornali accademici che appartengono ai database Science Citation Index (SCI) per le scienze dure e Social Sciences Citation Index (SSCI) per le scienze sociali, e questi risultati sono vincolanti per i finanziamenti universitari. Quanti più ricercatori attivi possiede un certo dipartimento, tanto più alto sarà l`ammontare complessivo dei fondi di ricerca di cui esso potrà disporre. L`allocazione differenziale dei fondi destinati alle istituzioni universitarie avviene utilizzando differenti indicatori che sempre più si focalizzano sulla misura della produttività del singolo ricercatore accademico (attraverso pubblicazioni, citazioni, impact factor, analisi dei giornali e degli articoli maggiormente citati appartenenti a Web of Science) e sulla valutazione dei cosiddetti «key input data» (come «R&D expenditures» e «R&D personnel»). Tale pratica è realizzata da differenti attori istituzionali e non, tanto privati quanto pubblici. La valutazione basata sui dati bibliometrici si realizza attraverso la creazione di una nuova figura: quella dell`esperto che include «educational development consultants», «quality assurance officers», «staff development trainers», «teaching quality assessors» e a cui si affiancano sempre più multinazionali e aziende private come la Thomson Reuters, che offre il proprio servizio ad un numero crescente di istituzioni: «sono sempre più le università che si rivolgono a noi, perché siamo gli esperti a cui chiedere consulenza su come migliorare e valutare i risultati della ricerca, quello che noi chiamiamo practice of science». Ancora, sempre nelle parole di Garlinghouse: «le università pubbliche ci chiedono un gran numero di questioni: vogliono valutare i risultati delle loro ricerche e gestire meglio le loro risorse; altre volte vogliono semplicemente fare soldi, e noi li aiutiamo in questo». Questi specialisti, tanto privati che pubblici, sviluppano un tipo di sapere e discorso che crea modelli e normative per la misurazione, dove la scientometria diventa «examination», «verification», ovvero una pratica che evoca i principi del giudizio piuttosto che dell’esame. Come affermano Shore e Wright, misurare il lavoro accademico è essenzialmente una «relazione di potere tra chi valuta e chi viene valutato». Inoltre un importante elemento da sottolineare è il fatto che i risultati di tale misurazione e valutazione vengono resi pubblici attraverso la stesura di ranking: «i risultati della valutazione sono spesso pubblicati nel formato gerarchico chiamato league table, facendo convergere valutazione e ranking» (Hazelkorn, 2011).
In altre parole i risultati della valutazione assumono sempre più un carattere relativo, mentre la misurazione diventa un processo di comparazione in uno spazio necessariamente eterogeneo. Valutare significa allora esaltare differenti posizioni, disuguaglianze, gerarchie e relazioni che acquistano sempre più peso. La stessa misurazione diventa «relativa»: essa ha bisogno di una relazione per poter essere decifrata e compresa. Un utile esempio di quanto andiamo dicendo è rappresentato dalla nascita del Academic Ranking of World Universities (ARWU), ranking delle Global University nato alla Shanghai Jiao Tong University nel suo centro di ricerca sulle World-Class Universities nel 2003. Il sistema rappresentato dal ARWU si definisce a partire da un’originale centralità delle gerarchie capace di dividere tra università considerate di serie A e di serie B. Questo tipo di classifiche unidimensionali «in stile hit parade esaltano chi vi primeggia (o migliora la propria posizione da un anno all’altro) deprimendo i perdenti e gli ignavi, al punto da diventare talvolta un pretesto per il lancio di costosissimi programmi di research excellence. Ancora peggio, condizionano i destini individuali di studenti in cerca di buone università dove iscriversi o di giovani scienziati in cerca del luogo migliore dove perfezionare le proprie competenze» (De Bellis, 2014). La nuova misura del lavoro e le pratiche di valutazione ci mostrano un inedito intreccio dove i dati «oggettivi» del sapere bibliometrico si annodano a processi di stratificazione e differenziazione tanto della produzione di sapere che della forza lavoro su scala globale. Gli strumenti della scientometria, i dispositivi con cui studiare e comparare il numero di citazioni per singolo autore e articolo pubblicato, i database proprietari SCI, SSCI e A&HCI, le piattaforme Web of Science, Google Scholar e Scopus, definiscono una misura sempre più basata su contenuti di informazioni.
Si può, in un certo senso, descrivere questa misurazione come un sapere sulla produzione di sapere che, in quanto tale, lo organizza, segmenta e differenzia. L`unità di misura basata sulla scientometria, infatti, è una forma di sapere che si applica, come abbiamo visto, alla produzione di sapere. Esso è un sapere sul sapere che produce effetti, pratiche e normative attraverso la formalizzazione che caratterizza gli algoritmi. Il tentativo di questi strumenti scientometrici è, cioè, misurare e standardizzare la dimensione qualitativa dei saperi attraverso l`uso di indicatori in grado di rendere conto della qualità comunicativa e sociale tanto del lavoro che dei suoi risultati.
Siamo nel mezzo di una vera e propria moltiplicazione degli strumenti di misurazione che si accompagna a quella dei suoi risultati: in questo ricco scenario non c’è più un unico standard valido una volta per tutte. Ogni database e algoritmo, distribuendo pesi diversi ad altrettanti indicatori, concentrandosi maggiormente su alcuni aspetti e sottovalutandone altri, produce inevitabilmente differenti risultati, valutazioni e gerarchie. Si tratta di un eterogeneo panorama che mostra tutta l’artificialità e l’arbitrarietà della nuova misura che, a seconda dei processi di selezione, degli indicatori o dell`algoritmo scelto, rileva differenti gradi e valori. Laddove pensare e produrre sembrano essere diventati la stessa cosa e le classiche forme di misurazione sembrano oggi inadeguate, l`università (ovvero dove si apprende e si produce sapere per eccellenza), acquista un significato ed una posizione tanto particolare quanto inedita. Questa istituzione sembra essere messa al centro dai cambiamenti di natura epocale che il mondo della produzione sta vivendo, trasformandosi nel laboratorio per nuove unità di misura del lavoro e originali forme di valore. Duttile, cognitiva, molteplice: è la nuova misura elaborata e raffinata in questi anni dal mondo dell`accademia, che ci pone di fronte a un’inedita centralità dell`università. Piuttosto che una «torre d’avorio» essa è capace di dislocare, in nuovi e originali terreni sociali, modelli di valorizzazione e reti della produzione economica oltre i confini e i perimetri già dati, come una nuova frontiera ancora tutta da esplorare.
__________________
1. NdR: Definizione di Impact Factor (http://en.wikipedia.org/wiki/Impact_factor)
In any given year, the impact factor of a journal is the average number of citations received per paper published in that journal during the two preceding years.[1] For example, if a journal has an impact factor of 3 in 2008, then its papers published in 2006 and 2007 received 3 citations each on average in 2008. The 2008 impact factor of a journal would be calculated as follows:
2008 impact factor = A/B.
where:
A = the number of times that all items published in that journal in 2006 and 2007 were cited by indexed publications during 2008.
B = the total number of “citable items” published by that journal in 2006 and 2007. (“Citable items” for this calculation are usually articles, reviews, proceedings, or notes; not editorials or letters to the editor).
(Note that 2008 impact factors are actually published in 2009; they cannot be calculated until all of the 2008 publications have been processed by the indexing agency.)
*tratto da roars.it
