News NoshUn algoritmo innovativo per valutare i revisori paritari
Un nuovo algoritmo è stato sviluppato per classificare i revisori paritari in base al numero di citazioni che hanno attratto gli articoli che hanno esaminato. Questo strumento, presentato in uno studio nel mese di febbraio, potrebbe migliorare il processo di revisione paritaria indicando quali documenti potrebbero avere un grande impatto durante tale fase.
Lo studio ha analizzato 308.243 articoli dell’American Physical Society pubblicati tra il 1990 e il 2010 e ha applicato un algoritmo per creare revisori immaginari. I risultati sono stati promettenti, mostrando una correlazione tra le valutazioni dei revisori immaginari e i punteggi effettivamente assegnati ai documenti.
Valutare l’efficacia delle classifiche
Gli autori hanno testato l’efficacia delle classifiche di reputazione nel prevedere il numero di citazioni degli articoli recensiti. I risultati mostrano che le raccomandazioni immaginarie dei revisori hanno predetto accuratamente il reale impatto e le citazioni ricevute dagli articoli nella decade successiva.
Equilibrare l’importanza delle citazioni nei processi di revisione
Sebbene l’algoritmo sia promettente, alcuni esperti hanno sottolineato che concentrarsi esclusivamente sulle citazioni potrebbe amplificare i pregiudizi nel mondo accademico. Studi precedenti hanno mostrato che lavori non replicabili vengono citati più spesso, sollevando preoccupazioni sull’equità di questo approccio.
Secondo lo scienziato An Zeng, l’attenzione sui revisori è cruciale. Revisioni negative possono portare al rifiuto di lavori validi, ma la professionalità e l’affidabilità dei revisori stessi meritano maggiore considerazione. Zeng crede che l’algoritmo potrebbe contribuire a identificare revisori più affidabili, riducendo l’influenza di quelli meno attendibili.
Migliorare la selezione dei revisori per le riviste
Gli editori spesso si affidano a strumenti di ricerca per individuare revisori, ma la scelta finale è basata su criteri soggettivi. Se le attività dei revisori fossero valutate in modo più sistematico, la selezione potrebbe diventare più accurata ed equa per tutte le parti coinvolte nel processo di revisione scientifica.
Rivisitare il concetto di selezione dei revisori
La classificazione dei revisori scientifici in base alla loro reputazione è un argomento dibattuto. Anita Bandrowski mette in guardia sul rischio di esacerbare disuguaglianze e pregiudizi nel processo di revisione tra pari.
Equità nel processo di revisione
Bandrowski evidenzia che favorire revisori con una lunga storia potrebbe creare disparità. L’algoritmo proposto da Zeng, invece, potrebbe rivelare revisori poco invitati ma con punteggi reputazionali elevati.
Considerare la complessità
Laura Piediham-Walker solleva il timore che l’algoritmo non consideri studi incrementali, risultati negativi o repliche di studi precedenti, essenziali anche se poco citati.
Il sistema proposto potrebbe penalizzare revisori che supportano studi incrementali, ma di valore. Inoltre, non tiene conto di nuovi revisori o di quelli che non hanno recensito per un determinato editore.
Valorizzare la varietà e la qualità
I revisori possono evolversi nel tempo e dipendere da vari fattori esterni. Piediham-Walker sottolinea l’importanza di un algoritmo che consideri tali sfumature e aggiunga nuovi revisori per migliorare la qualità complessiva del processo.
