Una revisione paritaria o paritetica, detta anche revisione tra pari o valutazione a pari livello[1] (in inglese peer review), è una valutazione critica che un lavoro o una pubblicazione riceve da parte di specialisti aventi competenze analoghe a quelle di chi ha prodotto l'opera.[2]
È una pratica indispensabile nel mondo della ricerca scientifica e dell'università, che permette di discriminare un articolo con fondamenta scientifiche da uno che non ne ha, accreditando il primo e screditando il secondo. Questo lavoro viene svolto dalle riviste scientifiche, che con i propri revisori (in inglese reviewers), operano una valutazione critica (revisione) del lavoro che verrà pubblicato sulla rivista scientifica. I revisori sono protetti dall'anonimato e generalmente privi di qualsiasi conflitto di interesse. Per garantire trasparenza e consentire la verifica dei criteri di scelta dei revisori, l'elenco di chi ha lavorato a quale articolo viene talvolta pubblicata a lavoro compiuto.[3]
Un revisore si rende disponibile ad effettuare una revisione paritaria previa accettazione del codice etico dei collaboratori e dei revisori.[3]
Descrizione
Gli editori e le agenzie di finanziamento usano la tecnica di valutazione tra pari per selezionare le proposte ricevute. Questo processo costringe gli autori ad adeguarsi ai migliori livelli di qualità della loro disciplina oppure ai requisiti specifici della rivista o dell'agenzia finanziatrice. Pubblicazioni e progetti di ricerca che non siano stati soggetti a una revisione dei pari non sono generalmente considerati scientificamente validi dai ricercatori e dai professionisti del settore, se non dopo eventuali e accurate verifiche. La valutazione tra pari è nata assieme alla crescita e standardizzazione editoriale dei periodici scientifici, non è priva di difetti e di proposte di perfezionamento, ma nei fatti questo sistema è quello che ha maggiormente contribuito allo sviluppo della conoscenza scientifica, verificata attraverso un metodo scientifico, nella società moderna con l'affermarsi di un consenso scientifico nel tempo intorno alle varie tematiche di pari passo con le rispettive verifiche sperimentali[2].
Motivazioni
La ragione principale della revisione paritaria risiede nel fatto che è spesso molto difficile per un singolo autore, o per un gruppo di ricerca, riuscire a individuare tutti gli eventuali errori, imprecisioni o difetti di un proprio studio, che sia questo più o meno complesso. Questo perché l'autore spesso può essere vittima di bias o perché, in un prodotto intellettuale innovativo, un'opportunità di miglioramento può essere visibile soltanto a persone con conoscenze molto specifiche o di ambiti differenti. Di conseguenza mostrare il proprio lavoro ad altri ricercatori dello stesso campo di studi aumenta la probabilità che eventuali debolezze vengano identificate e, grazie anche a consigli ed incoraggiamenti da parte del revisore stesso, corrette. Così la revisione raggiunge lo scopo ultimo di filtro delle informazioni e delle ricerche realmente affidabili ovvero verificabili e degne quindi di pubblicazione, scartando spesso quelle non originali, dubbie ovvero non convincenti, false o addirittura fraudolente. L'anonimato – quasi sempre garantito – e l'indipendenza dei revisori, hanno poi lo scopo di incoraggiare critiche aperte e scoraggiare eventuali parzialità nelle decisioni sulla accettazione della pubblicazione, o sul suo rifiuto o rigetto.
Funzionamento
La revisione paritaria sottopone il lavoro o le idee di un autore allo scrutinio di uno o più esperti del medesimo settore. Ognuno di questi esperti fornisce una propria valutazione (solitamente valutazioni di metodo o ricerca di prove valide), includendo anche suggerimenti per l'eventuale miglioramento ad un redattore o ad un altro intermediario (tipicamente, la maggior parte delle valutazioni sono comunicate anche all'autore stesso). Le valutazioni solitamente includono raccomandazioni esplicite sul testo del manoscritto o della proposta, spesso scelte tra opzioni proposte dal giornale o dall'editore. La maggior parte di tali raccomandazioni rientra tra le seguenti:
- il lavoro è accettato senza riserve;
- il lavoro è accettato, a patto che l'autore lo migliori sotto determinati aspetti;
- il lavoro è respinto, ma se ne incoraggia una revisione e una riproposta;
- il lavoro è respinto senza appello.
In questo processo il parere degli esperti di fatto è solo consultivo e l'editore non assume alcun obbligo formale ad accettarne le conclusioni. Inoltre, nelle pubblicazioni scientifiche, gli esperti non lavorano in gruppo, non comunicano tra loro e normalmente non sono a conoscenza delle identità degli altri esperti. Normalmente non vi è necessità che gli esperti esprimano un giudizio consensuale, a differenza di altri ambiti, quale per esempio la giuria di tribunale.
Nel caso i pareri degli esperti divergano tra loro in maniera consistente sulla qualità di un lavoro analizzato, vi sono diverse strategie per dirimere la questione.
In alcune discipline, esistono luoghi arbitrati quali conferenze e laboratori. Per essere ammessi a parlare, gli scienziati devono sottoporre in anticipo un lavoro scientifico (in genere breve, 15 pagine o meno). Questo documento viene revisionato da un "comitato di programma" (l'equivalente di un consiglio editoriale), che in genere richiede opinioni dai revisori. Le scadenze rigide imposte dalle conferenze tendono a limitare le opzioni per l'accettazione o il rifiuto del documento.
Le riviste scientifiche osservano universalmente questa convenzione. I due o tre revisori selezionati riportano al redattore la loro valutazione dell'articolo, assieme a dei suggerimenti per migliorarlo. Il redattore riporta quindi l'insieme dei commenti all'autore (alcuni commenti possono essere stati segnalati al redattore come confidenziali), nel frattempo basandosi su essi, decide se pubblicare o meno il manoscritto. Quando un redattore riceve commenti molto positivi e molto negativi sullo stesso manoscritto, spesso sollecita una o più revisioni aggiuntive per spezzare l'incertezza.
Un'altra strategia in mancanza di un chiaro consenso è quella di invitare l'autore a replicare alle critiche dei revisori e permettere una confutazione convincente, per sciogliere l'incertezza. Se un redattore non si sente sicuro nel valutare la persuasività di una confutazione, può sollecitare una risposta al giudice che portò la critica originale. In rari casi, un redattore trasmetterà le comunicazioni tra autore e revisori, permettendo in pratica di discutere un punto. Anche in questi casi, comunque, i redattori non permettono ai revisori di conferire tra loro, e lo scopo esplicito del processo non è quello di raggiungere il consenso o convincere qualcuno a cambiare la propria opinione. Alcune riviste mediche comunque, (di solito seguendo il modello dell'accesso aperto) hanno pubblicato su Internet la storia precedente alla pubblicazione di ogni articolo, dalla candidatura originale ai rapporti dei revisori, ai commenti degli autori, ai manoscritti revisionati.
Dopo aver rivisto e risolto qualsiasi potenziale nodo, ci sono tre esiti possibili per l'articolo. I due più semplici sono lo scarto diretto e l'accettazione incondizionata. In molti casi agli autori viene data una possibilità di rivedere il lavoro, con o senza raccomandazioni o richieste specifiche da parte dei revisori.
Stili di revisione
La revisione paritaria può essere condotta in modo rigoroso senza per questo essere eccessivamente restrittiva. Ad esempio, nel caso di un ente che disponga di molti fondi da devolvere, o di una rivista con pochi lavori di alto profilo tra cui scegliere, potrebbe non aver senso essere troppo selettivi. Viceversa, quando i fondi o lo spazio per la pubblicazione sono limitati, la revisione paritaria può essere usata per selezionare un piccolo numero di proposte o manoscritti.
Spesso la decisione su cosa sia "abbastanza buono", ricade interamente sul redattore o l'organizzatore della rivista. In altri casi, la scelta toccherà ai revisori, con una guida generale da parte del coordinatore, sul rigore da applicare. Molto spesso vengono segnalati errori di metodo nello studio di ricerca presentato prima ancora della verifica o attendibilità delle eventuali prove presentate a sostegno della tesi.
Alcune riviste come Science e Nature hanno standard estremamente alti per la pubblicazione e rifiutano lavori scientifici anche di buona qualità, se non ritengono che siano innovativi nel settore. Altre come Physical Review e Astrophysical Journal usano la revisione paritaria soprattutto per filtrare evidenti errori e manifestazioni di incompetenza.
A seconda della disciplina, la disamina da parte di pari può essere più o meno improntata al lasciar fare. I fisici ad esempio, tendono a credere che le decisioni sulla bontà di un articolo devono essere lasciate al mercato. Eppure anche all'interno di una tale cultura la revisione paritaria serve ad assicurare alti standard a ciò che viene pubblicato. Gli errori evidenti sono individuati e gli autori ricevono sia correzioni che suggerimenti.
Per preservare l'integrità del processo di revisione paritaria, gli autori candidati non vengono informati su chi abbia ricevuto il loro lavoro; talvolta non sanno nemmeno l'identità del redattore che è responsabile del loro lavoro. In molti casi, chiamati revisione "cieca" o a "doppio cieco", l'identità degli autori viene nascosta ai revisori, per evitare che tale conoscenza diventi pregiudizievole alla loro revisione. In tali casi, comunque, il redattore associato, responsabile del testo, conosce l'identità dell'autore. Talvolta lo scenario in cui i revisori conoscono l'autore è chiamato "singolo cieco", per distinguerlo dal processo a "doppio cieco". Nella revisione a doppio cieco, agli autori viene richiesto di togliere dal lavoro qualsiasi riferimento che possa farli individuare come autori.
Mentre l'anonimato dei revisori viene preservato quasi universalmente, le revisioni a doppio cieco (dove gli autori sono ignoti ai revisori) non sono sempre impiegate. I critici del processo a doppio cieco fanno notare che, nonostante l'ulteriore sforzo editoriale per assicurare l'anonimato, tale processo spesso non vi riesce, poiché certi approcci, metodi, annotazioni, ecc., possono indicare un certo gruppo di persone appartenenti a un filone di ricerca, o addirittura una particolare persona. I sostenitori del processo a doppio cieco sostengono che se i revisori di un documento sono sconosciuti gli uni agli altri, il redattore associato responsabile del documento può verificare facilmente l'oggettività delle revisioni. Le revisioni a doppio cieco sono quindi fortemente dipendenti dalla buona volontà dei partecipanti.
Nomina dei revisori
In una rivista o un editore di libri, il compito di selezionare i revisori tipicamente è affidato a un redattore. Quando un manoscritto viene presentato, il redattore richiede una revisione a studiosi o ad altri esperti, che potrebbero o meno aver già espresso la loro disponibilità a fungere da revisori per quella rivista o editore. Le agenzie che erogano finanziamenti tipicamente reclutano un panel o un comitato di revisori in vista dell'arrivo di richieste di finanziamento.
Il reclutamento dei revisori è operato sulla base delle loro competenze affermate nel campo a partire da loro pubblicazioni e alla parallela disponibilità degli stessi che spesso non sono retribuiti[4] e sottraggono comunque del tempo utile alle loro principali attività di ricerca e/o didattica all'interno dei rispettivi istituti di ricerca. Una buona riuscita del processo di revisione, e quindi un'accurata scelta dei revisori, è infatti nell'interesse del redattore per dar credito di affidabilità alla rivista stessa. I redattori hanno quindi un particolare interesse nel reclutare studiosi quando hanno supervisionato le pubblicazioni dei loro lavori o se lo studioso è tra quelli che sperano di sottoporre in futuro un proprio lavoro alla pubblicazione di tale redattore. A vantaggio del reclutatore molti dei potenziali revisori sono quindi a loro volta autori e/o lettori consapevoli che un sistema di pubblicazione efficiente e affidabile richieda un servizio di revisione da parte di esperti. Gli istituti che assegnano borse di studio, similmente, tendono a cercare i revisori tra chi hanno finanziato o stanno finanziando.
Talvolta i redattori sollecitano i suggerimenti dell'autore sulla scelta dei revisori, perché gli scritti accademici solitamente sono molto specializzati. I redattori spesso supervisionano molte discipline, e potrebbero non essere esperti in nessuna di esse, poiché potrebbero essere professionisti a tempo pieno che non si occupano di insegnamento o ricerca. Ma dopo che un redattore ha scelto i revisori da un gruppo di candidati, è tipicamente obbligato a non rivelare le loro identità all'autore, e nelle riviste scientifiche a non rivelare le reciproche identità. Le regole su queste questioni differiscono a seconda della disciplina accademica.
Un'altra difficoltà affrontata dagli organizzatori della revisione paritaria è che, rispetto a certi lavori o proposte, possono esserci pochi studiosi veramente qualificabili come esperti. Tale circostanza spesso rende vano il mantenimento dell'anonimato dei revisori o l'evitare il conflitto di interessi. Inoltre aumenta le possibilità che un organizzatore non sia in grado di reclutare veri esperti - persone che hanno avuto lavori simili sottoposti a revisione, e che possono leggere tra le righe. Riviste di scarso prestigio e istituti che concedono piccoli finanziamenti si trovano in particolare difficoltà nel reclutare esperti. Da ultimo, l'anonimato dei revisori scelti aggiunge un'ulteriore difficoltà alla ricerca di revisori.
Tradizionalmente i revisori non sono noti agli autori, ma questo aspetto sta cambiando lentamente. In alcuni ambienti accademici la maggior parte delle riviste offrono ai revisori la scelta se rimanere anonimi o meno; gli articoli talvolta contengono, nella sezione dei riconoscimenti, ringraziamenti a revisori (chiamati per nome) che hanno aiutato a migliorare l'articolo.
Nei circoli scientifici di fatto credito e reputazione sono fattori ritenuti importanti ed essere un giudice per una rivista prestigiosa può essere considerato senz'altro un'onorificenza, ma spesso le restrizioni poste dall'anonimato rendono impossibile per essi stessi dichiarare pubblicamente di essere stati dei revisori di un certo articolo sebbene in alcuni campi i revisori possano anche non essere anonimi. Credito e reputazione vengono quindi stabiliti principalmente dalle proprie pubblicazioni e non dall'attività di revisione. Per i revisori fungere da "giudice", oltre che motivo di prestigio, può rappresentare anche una condizione per ricevere un finanziamento o per diventare membro di un'associazione professionale[5].
Tempi di revisione
La revisione paritaria può essere un processo lento in quanto uno studio specialistico deve essere opportunamente valutato da specialisti; il compito da parte del redattore di selezionare il gruppo di revisori a partire da un'ampia bancadati può richiedere diverse settimane di tempo in modo da ridurre i rischi di rifiuto per motivi di impegno o divergenza di competenze. La velocità di revisione è altresì importante per gli autori. Un metodo provato per velocizzare il processo è quello di pagare i revisori, ma è poco utilizzato temendo una diminuzione di oggettività nelle recensioni. Solitamente i periodici si limitano a pubblicare una lista dei loro collaboratori e i ringraziamenti.
Problemi aperti e critiche
La questione dei costi
Un altro problema della revisione paritaria è il costo. I revisori non vengono pagati, ma è la selezione il momento che incide di più sul costo della pubblicazione: include gli stipendi dei redattori e degli assistenti di redazione, il prezzo dei software per l'archiviazione e la gestione delle revisioni e degli strumenti di comunicazione (fax, posta, telefono).
La diffusione di Internet ha drasticamente abbassato i costi e, nello stesso tempo, ridotto grandemente i tempi, perché ormai, le comunicazioni sono in tempo reale. Sono stati lanciati sul mercato vari sistemi web per la revisione paritaria, ad accesso limitato per autori, revisori e redattori, con diversi costi e diversi livelli di funzionalità. Questi sistemi permettono all'autore di effettuare l'upload dell'articolo che, convertito in formato PDF, è immediatamente reperibile dal redattore e dai revisori. Le spese postali sono eliminate e tutto il processo diventa molto più veloce. Con tali sistemi diventa necessario assumere nello staff redazionale persone che gestiscano l'invio degli articoli on line e assistano gli autori e i revisori che non sanno utilizzare correttamente il sistema.
Un'ulteriore riduzione dei costi e dei tempi può essere attuata con l'applicazione di una metodologia wiki, ovviamente se sussistono condizioni che la favoriscano, in prima linea una grande sintonia tra i revisori.
Nonostante ciò, nel 2012, scoppiò una rivolta da parte di circa 3 000 tra scienziati e ricercatori universitari che aderirono alla piattaforma “Il costo della conoscenza”[6] che mira a boicottare il colosso editoriale Elsevier, a causa dei costi alti e della vendita a grandi pacchi, che impedisce di limitare le spese agli atenei, facoltà e dipartimenti[7].
La questione dell'attendibilità
La questione più importante e discussa verte sull'affidabilità: quanto è attendibile la revisione paritaria? Questo sistema si fonda di fatto sull'integrità della comunità scientifica ed è ciò che ha permesso l'affermarsi di un consenso nel tempo sulle varie teorie scientifiche grazie anche alla verifica sperimentale, ma la soggettività dei recensori non è completamente eliminabile. Questi vengono influenzati positivamente e negativamente da diversi fattori estranei alla qualità del materiale da esaminare, come prova uno studio del Journal of the American Medical Association. La discriminazione nella revisione paritaria esiste nella sopravvalutazione di autori noti o "protetti" da istituzioni prestigiose, ma anche nelle differenze geografiche o di sesso, oppure può essere causata da un conflitto di interesse.
Oltre a ciò, nel 2013 il Nobel Randy Schekman ha criticato alcune delle più prestigiose riviste scientifiche, proprio perché "distorcono il processo scientifico". Le accuse sono durissime: le principali riviste scientifiche internazionali (Nature, Cell e Science) sono paragonate a tiranni: pubblicano in base all'appeal mediatico di uno studio, piuttosto che alla sua reale rilevanza scientifica. Da parte loro, visto il prestigio, i ricercatori sono disposti a tutto, anche a modificare i risultati dei loro lavori, pur di ottenere una pubblicazione[8][9].
Iniziative e progetti di controllo
Per verificare possibili abusi nella revisione paritaria nel 1999 è stato fondato da un gruppo di redattori il COPE (Commitee on Publication Ethics[10]). L'iniziativa ha ora carattere pubblico e segnala e discute sul suo sito i casi di cattiva condotta. Questa non è legata solo alle discriminazioni, ma anche e soprattutto al pericolo di plagio: in quattro anni il COPE ha segnalato settanta casi di pubblicazioni simili tra loro. Al COPE si sono associati nel tempo, come membri, alcune delle principali case editrici del settore scientifico: Elsevier, Wiley-Blackwell, Springer, Taylor & Francis, Palgrave Macmillan e Wolters Kluwer[11].
Richard Smith, caporedattore del British Medical Journal fra il 1999 e il 2004, citando un esperimento condotto dalla rivista durante la sua gestione, ha affermato nel 2015 che non c'è nessuna prova che la revisione paritaria prima della pubblicazione abbia contribuito a migliorare gli studi o a scoprire errori o frodi[12]. Un metodo molto sostenuto dal gruppo BMJ per diminuire gli abusi nella revisione paritaria è di eliminare l'anonimato dei recensori: la cosiddetta "apertura" del processo dovrebbe anche portare credito ai recensori ed è fortemente richiesta dagli autori.
Questo metodo è criticabile perché può portare troppa "diplomazia" nelle recensioni, cioè eliminarne la forza critica. È sperabile che una standardizzazione delle procedure e la conseguente istruzione dei recensori possa portare una minore soggettività. Per quanto riguarda la cattiva condotta, sono state create altre associazioni con gli stessi fini del COPE, come lo US Office of Research Integrity organizzazione governativa statunitense[13], la WAME (World Association of Medical Editors)[14] creata nel 1995, e il Danish Council on Scientific Dishonesty agenzia del ministero di Scienze, educazione e studi superiori del governo danese[15]. Queste organizzazioni credono nel ruolo dell'educazione e a questo scopo diffondono linee guida, applicando sanzioni solo come ultima risorsa.
L’attendibilità è questione di etica delle persone e delle organizzazioni, oltreché di competenza disciplinare. La comunità scientifica si è chiesta in base a quali presupposti «due giudici anonimi, scelti segretamente dalla direzione di una rivista, dovrebbero garantire una valutazione accurata e imparziale dei testi loro sottoposti», tenuto conto che il selezionatore è afferente a editori commerciali il cui primario fine lucrativo è lontano dall’ethos della ricerca[16].
Il problema rimane ancora aperto e dibattuto[17].
Revisione paritaria aperta
La revisione paritaria aperta è un processo alternativo al modello chiuso tradizionale. I contenuti sono pubblicati per un certo periodo nel sito Internet di una comunità di riferimento, nel quale restano consultabili gratuitamente e possono essere commentati per osservazioni, richieste di chiarimenti e critiche, tendenzialmente da chiunque.
Il metodo è quello della discussione libera e dell'uso pubblico della ragione, all'interno di una comunità disciplinare complessa, ma priva di gerarchie, che condivide regole trasparenti sulle fonti ammissibili e sulle procedure da seguire.
Affare Sokal
Nel 1996 il professore universitario di fisica Alan Sokal, per dimostrare la problematicità dei meccanismi di selezione dei contenuti di riviste culturali, riuscì a pubblicare sulla rivista accademica Social Text un falso articolo di filosofia, dal titolo Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity (Violare le frontiere: verso un'ermeneutica trasformativa della gravità quantistica), dimostrando a suo avviso come inserendo frasi politicamente allineate alle tendenze ideologiche dei redattori fosse possibile pubblicare scritti privi di senso.
In Italia
L'uso di revisori anonimi in Italia per il finanziamento e per la valutazione della ricerca è utilizzato almeno dal 1997, per quel che riguarda i progetti di rilevante interesse nazionale (PRIN)[18]. L'uso della revisione paritaria continua tuttora (dati del PRIN 2009, bandito nel 2010 e assegnato verso la fine del 2011[19][20]).
Anche le attività di ricerca finanziate dal progetto Futuro in ricerca (spesso denominato FIR), dedicate ai giovani ricercatori, sono valutate mediante un processo di revisione paritaria[21].
Note
Bibliografia
Voci correlate
Altri progetti
Collegamenti esterni
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
