Peer review: wat is het?

Peer review (soms ook ‘expert review’ of ‘merit review’ genoemd) houdt in dat collega-wetenschappers (‘peers’) het wetenschappelijke werk van andere wetenschappers, groepen wetenschappers of volledige instellingen beoordelen. Peer review wordt beschouwd als een doeltreffende manier om de kwaliteit van het onderzoek te bewaken. Alle onderzoekers krijgen te maken met peer review: als degene op wie een review betrekking heeft en (van zodra een onderzoeker enige onderzoekservaring heeft opgebouwd) ook als reviewer.

Peer review heeft een centrale plaats in besluitvormingsprocessen die cruciaal zijn voor het onderzoek en de onderzoekers. Het wordt – al dan niet in combinatie met andere evaluatiemethodes – o.m. gebruikt om te bepalen:

welke manuscripten (tijdschriftartikels, monografieën,…) worden gepubliceerd
welke bijdragen en posters aan bod komen tijdens een conferentie
welke beurs- en projectaanvragen, aanvragen voor mobiliteit e.d.m. worden gefinancierd
welke onderzoeksgroepen en instellingen worden gefinancierd of geaccrediteerd
wie wordt aangeworven of bevorderd
aan wie een wetenschappelijke prijs of onderscheiding wordt toegekend

Kwaliteit en integriteit

Peer review moet met de grootst mogelijke zorg worden uitgevoerd en moet beantwoorden aan volgende criteria m.b.t. kwaliteit en integriteit:

Expertise: De reviewers beschikken over voldoende kennis om de review uit te voeren. Afhankelijk van de aard van de review, gaat hun expertise verder dan wetenschappelijke kennis en omvat zij bv. ook de kennis en ervaring die nodig zijn om diverse vormen van impact te beoordelen. De reviewers krijgen duidelijke instructies (en eventueel opleiding) over de criteria waarop ze moeten letten bij de beoordeling, hun verantwoordelijkheden en de verwachtingen van de organisatoren van de peer review (te respecteren tijdslijnen, opmaken van een verslag e.d.m.).
Diversiteit: Bij de selectie van de reviewers wordt een beroep gedaan op de diverse talenten die in de onderzoeksgemeenschap aanwezig zijn. Onderzoekers worden niet a priori uitgesloten van review-werk op basis van hun geslacht, afkomst e.d.m.
Vertrouwelijkheid: De inhoud van de te beoordelen manuscripten, voorstellen en aanvragen wordt vertrouwelijk behandeld door de reviewers en alle andere actoren die bij het peer review-proces betrokken zijn.
Transparantie: De reviewers worden volgens duidelijke en gekende criteria geselecteerd. Voorstellen, manuscripten e.d.m. worden volgens duidelijke en gekende criteria beoordeeld. Zonder afbreuk te doen aan de vertrouwelijkheid, krijgen aanvragers, auteurs, sollicitanten etc. feedback over de peer review-procedure of de ruimere evaluatieprocedure waarvan de review deel uitmaakt. Er moeten tevens procedures worden voorzien om onderzoekers in staat te stellen te antwoorden op of in beroep te gaan tegen een (beslissing die gebaseerd is op) peer review.
Onpartijdigheid: Alle dossiers worden op dezelfde manier en eerlijk behandeld. De reviewers handelen in volle onafhankelijkheid. Ze maken melding van mogelijke belangenconflicten en trekken zich desgevallend terug als reviewer. Reviewers laten zich niet beïnvloeden door bewuste of onbewuste vooroordelen (‘bias’) en discrimineren niet (bv. naar leeftijd, geslacht, discipline). Waar mogelijk worden mechanismen ingebouwd om bias te vermijden. Bij manuscripten, bv., gebeurt de review vaak single- of double-blind (in het eerste geval kennen de auteurs de identiteit van de reviewers niet, in het tweede geval komt daarbij dat ook de reviewers de identiteit van de auteur(s) niet kennen).
Geschiktheid: De peer review-procedure is aangepast aan de context waarin de evaluatie wordt uitgevoerd (bv. passend bij de specifieke projectoproep).
Efficiëntie: Het peer review-proces verloopt op een efficiënte en zo eenvoudig mogelijke manier. De procedures, verwachtingen en verantwoordelijkheden worden op voorhand vastgelegd en bekend gemaakt aan alle actoren die bij het peer review-proces betrokken zijn. Het proces worden administratief ondersteund en gemonitord. Hiervoor worden voldoende mensen en middelen voorzien. De reviewers engageren zich ertoe om een review binnen een afgesproken tijdsbestek uit te voeren. In het bijzonder bij manuscripten mag een lange peer review-procedure niet leiden tot vertragingen in het publicatieproces.

Beperkingen

Peer review die beantwoordt aan bovenstaande criteria wordt door de onderzoeksgemeenschap vrij algemeen aanvaard als een doeltreffende manier om kwaliteitsvol onderzoek (in de betekenis die hieraan in een specifieke evaluatie wordt gegeven) te detecteren. Niettemin heeft peer review ook een aantal beperkingen, waaronder:

Onderzoekers besteden veel tijd aan reviews, zonder dat zij hiervoor erkenning en waardering – laat staan een vergoeding – krijgen. Dit leidt tot een zekere vermoeidheid (‘reviewer fatigue’), waarbij onderzoekers geen review¬-werk meer aanvaarden, er niet meer in slagen reviews op tijd in te dienen etc.
Er wordt vaak een beroep gedaan op dezelfde reviewers – niet zelden gevestigde waarden binnen het onderzoek – waardoor jonge onderzoekers het moeilijk hebben om ervaring als reviewer op de doen.
Bias kan niet worden uitgesloten. Reviewers blijken bovendien eerder conservatief te zijn in hun beoordelingen. Interdisciplinair onderzoek, sterk vernieuwend en experimenteel onderzoek en risicovol onderzoek blijken daardoor minder kans te maken om te worden gefinancierd en gepubliceerd.
Zeker in kleine vakgebieden is het niet steeds eenvoudig om voldoende geschikte experten te vinden. Vaak doet zich een (potentieel) belangenconflict voor, omdat onderzoekers in eenzelfde groep werken, coauteurs zijn van publicaties e.d.m. In wetenschapsgebieden met een klein aantal onderzoekers is het doorgaans ook niet mogelijk om de anonimiteit van een auteur of reviewer te garanderen, omdat de reviewers de auteurs (her)kennen en omgekeerd.
Peer review is niet gericht op het detecteren van inbreuken op de wetenschappelijke integriteit (al zijn de meningen hierover verdeeld). Omwille van het grote aantal artikels dat na publicatie wordt teruggetrokken omwille van inbreuken op de wetenschappelijke integriteit, worden steeds vaker mechanismen ingebouwd die de kans op het detecteren van fraude of inbreuken verhogen. Zo wordt een manuscript vaak voor peer review al gescreend op ‘image manipulation’, worden de ruwe data mee opgevraagd bij indiening etc.
Bij de evaluatie van projectvoorstellen is peer review geschikt om ondermaatse en excellente voorstellen te herkennen. Het is echter geen efficiënte manier om in de zone daartussen – bij projectvoorstellen van een gelijk(w)aardige kwaliteit – te bepalen welke voorstellen worden gefinancierd. Reviewers van projectvoorstellen geraken gefrustreerd wanneer het beschikbare budget niet toereikend is om alle voorstellen die in aanmerking komen ook financiering toe te kennen. Er wordt daarom geëxperimenteerd met alternatieve manieren om, bij projecten van gelijkwaardige kwaliteit, te bepalen welke financiering krijgen, bv. ‘partial randomisation’.
Bij peer review voor publicaties zorgt het grote aantal te beoordelen manuscripten voor een zekere traagheid in het systeem. Hierdoor kan het lang duren voor een publicatie verschijnt, waardoor de verspreiding van nieuwe wetenschappelijke kennis vertraging oploopt. Om het mogelijk te maken om wetenschappelijke resultaten snel te publiceren, opteren sommige online publicatieplatformen voor post-publication peer review.