Evaluatie van onderzoek: leidraad voor verantwoord evalueren
Elke evaluatie van onderzoek aan de Universiteit Gent voldoet aan acht principes, die er samen voor zorgen dat onderzoek op een verantwoorde en kwaliteitsvolle manier kan worden geëvalueerd.
Meer over Verantwoord evalueren van onderzoek
1. De evaluatie is nodig
V Het is nodig, nuttig en zinvol dat de UGent deze evaluatie op dit moment organiseert
X De evaluatie wordt niet georganiseerd uit gewoonte of omdat andere organisaties een gelijkaardige evaluatie organiseren
2. De evaluatie heeft een duidelijk doel
V De doelstelling van de evaluatie wordt voor de start van de evaluatie expliciet bepaald
X De evaluatie is geen doel op zich
X Het doel van de evaluatie is niet (louter) het aanmoedigen (dan wel ontmoedigen) van bepaald onderzoeksgedrag dat beter op andere manieren kan worden gestimuleerd (ontmoedigd)
3. De evaluatiemethodes, -criteria en -indicatoren stemmen overeen met de doelstelling van de evaluatie
V Elke gebruikte methode, elk criterium en elke (kwantitatieve en kwalitatieve) indicator draagt bij tot het doel van de evaluatie, en dus tot de kwaliteit en de impact van de evaluatie
V Alle methodes, criteria en indicatoren samen zorgen ervoor dat de doelstelling van de evaluatie wordt bereikt
X Er worden geen methodes, criteria of indicatoren gebruikt die niet nodig of relevant zijn voor de evaluatie
X Er worden geen methodes, criteria of indicatoren gebruikt enkel en alleen omdat andere instellingen dat ook doen, uit gewoonte, of omdat de methodes, criteria of indicatoren gemakkelijk te gebruiken of te vinden zijn
4. Er worden enkel kwaliteitsvolle evaluatiemethodes, -criteria en -indicatoren gebruikt
V Elke gebruikte methode, elk criterium en elke (kwantitatieve en kwalitatieve) indicator is voldoende robuust en in de mate van het mogelijke evidence-based
V De gehanteerde methodes, criteria en indicatoren zijn zoveel als mogelijk bestand tegen gaming, en goal discplacement wordt zoveel als mogelijk vermeden
V De gebruikte methodes, criteria en indicatoren zijn transparant, zodat de resultaten van een evaluatie kunnen worden gecontroleerd en geverifieerd (ook door degenen die worden geëvalueerd)
X Er worden geen (nieuwe) methodes, criteria of indicatoren gebruikt waarvan niet voldoende is aangetoond dat ze de nodige kwaliteitsgaranties bieden
5. De evaluatie houdt rekening met de complexiteit van het onderzoek en met de diversiteit tussen onderzoekers
V De evaluatie houdt rekening met de betekenis(sen) die aan kwaliteit en impact wordt (worden) gegeven in de context van het onderzoek dat / de onderzoeker(s) die wordt (worden) geëvalueerd
V De evaluatie houdt rekening met verschillen tussen disciplines (bv. op het vlak van publicatiecultuur, citatiegedrag)
V De evaluatie houdt rekening met verschillen in loopbaanpaden en -fasen
V In overeenstemming met het aggregatieniveau van de evaluatie, worden diverse evaluatiemethodes, -criteria en -indicatoren gecombineerd om de veelzijdigheid van het onderzoek zichtbaar te maken
X Onderzoek en onderzoekers worden niet gereduceerd tot één enkele (kwalitatieve of kwantitatieve) indicator
X De gebruikte evaluatiecriteria, -methodes en -indicatoren leiden er niet toe dat bepaalde disciplines, groepen onderzoekers e.d. (ongewild) worden benadeeld
X Bias en (onbedoelde) neveneffecten van de gekozen evaluatiecriteria, -methodes en -indicatoren worden indien mogelijk gecorrigeerd (genormaliseerd)
6. De evaluatie is haalbaar
V De doelstelling van de evaluatie, gekozen evaluatiecriteria, -methodes en -indicatoren en de benodigde inzet van mensen en middelen die hieruit volgt, zijn in verhouding tot het belang en de omvang van de evaluatie
V Er is voldoende expertise beschikbaar om de gekozen evaluatiecriteria, -methodes en -indicatoren kwaliteitsvol in te zetten in de evaluatie
V Waar mogelijk wordt voor de evaluatie gebruik gemaakt van informatie die reeds beschikbaar is (bv. in institutionele databanken als GISMO, Biblio, SAP, OASIS, ...)
X Er wordt geen informatie bijeengebracht (laat staan gevraagd aan de personen of onderzoekseenheden die worden geëvalueerd) die niet wordt gebruikt voor de evaluatie
7. De evaluatie gebeurt door experten
V Bij het ontwerpen van de evaluatie zijn onderzoekers en experten met de nodige kennis op het vlak van onderzoeksevaluatie betrokken
V De evaluatie gebeurt door vakexperten die in staat zijn om de kwaliteit en impact van het onderzoek (en eventuele andere aspecten) adequaat te beoordelen; dit geldt in het bijzonder voor peer reviewers
V De evaluatoren hebben voldoende kennis van de gebruikte evaluatiecriteria, -methodes en -indicatoren
V De evaluatiecommissie is evenwichtig samengesteld op het vlak van wetenschappelijke discipline, ervaring, expertise, gender etc.
V Wanneer relevant worden externe experten bij de evaluatie betrokken (bv. buitenlandse onderzoekers, vertegenwoordigers van het brede maatschappelijke veld)
V De evaluatoren treden op in alle onafhankelijkheid en vermijden elke vorm van conflict of interest
V De evaluatoren dragen de volle verantwoordelijkheid voor de evaluatie die ze uitvoeren
V De evaluatoren engageren zich ertoe om de principes voor de UGent-visie op het evalueren van onderzoek in de praktijk om te zetten
8. De evaluatie verloopt in alle openheid en transparantie
V Waar mogelijk wordt de evaluatie ontworpen in samenspraak met de personen of onderzoekseenheden die zullen worden geëvalueerd
V De evaluatiemethodes, -criteria en -indicatoren worden vooraf vastgelegd en aan alle betrokkenen meegedeeld
V De personen of onderzoekseenheden die worden geëvalueerd en de evaluatoren hebben volledige inzage in de informatie die uit databanken e.d. wordt gehaald om te worden gebruikt in de evaluatie; zij kunnen deze informatie controleren en verifiëren
V Waar mogelijk wordt aan de personen of onderzoekseenheden die worden geëvalueerd de mogelijkheid tot wederwoord geboden
V De personen of onderzoekseenheden krijgen feedback – minstens na afloop van de evaluatie en desgevallend ook reeds tijdens het evaluatieproces
X Er worden in de loop van het evaluatieproces geen bijkomende methodes, criteria of indicatoren geïntroduceerd
X Openheid en transparantie impliceren niet dat de vertrouwelijkheid van het evaluatieproces en van de dossiers mag worden geschonden
Meer tips
- Evaluatie van onderzoek: richtlijnen bij het gebruik van kwantitatieve indicatoren (voor organisatoren van evaluaties) (Integer onderzoek & ethiek)
- Evaluatie van onderzoek: tips voor onderzoekers die kwantitatieve indicatoren willen gebruiken in hun CV, projectaanvraag e.d. (Integer onderzoek & ethiek)
- Evaluatie van onderzoek: wat is DORA? (Integer onderzoek & ethiek)
- Evaluatie van onderzoek: wat zijn ARRA en CoARA? (Integer onderzoek & ethiek)
Vertaalde tips
Laatst aangepast 6 mei 2024 09:15