Algemeen

Er bestaan zeer veel kwantitatieve indicatoren en er worden nog steeds nieuwe indicatoren ontwikkeld. Voorbeelden van kwantitatieve indicatoren zijn: aantal (wetenschappelijke) publicaties, aantal citaties, citatie-impact (genormaliseerd), aantal gedownloade (open access) papers, aantal gebruikers van gedeponeerde datasets, aantal vermeldingen van een onderzoek/publicatie op sociale media en/of academische networking sites, aantal uitgebrachte beleidsadviezen, aantal begeleide doctoraten, grootte van de eigen onderzoeksgroep, aantal publiekslezingen, aantal patenten, hoeveelheid verworven onderzoeksfinanciering.

Kwantitatieve indicatoren kunnen in een evaluatie worden gebruikt, op voorwaarde dat dit op een verantwoorde en doordachte manier gebeurt, in lijn met het beleid van de UGent rond verantwoord evalueren en het verantwoord gebruik van kwantitatieve indicatoren. In het bijzonder laat de UGent niet toe dat de Journal Impact Factor wordt gebruikt bij de beoordeling van de kwaliteit van het werk van een individuele onderzoeker (cf. DORA).

Meer over Verantwoord evalueren van onderzoek en het verantwoord gebruik van kwantitatieve indicatoren

Hoe gebruiken?

Of er al dan niet kwantitatieve indicatoren worden gebruikt in een evaluatie (en zo ja, welke) hangt af van de context, de doelstellingen van de evaluatie en vaak ook van het aggregatieniveau. Hoe hoger het aggregatieniveau (bv. vakgroep, faculteit, universiteit) hoe minder haalbaar uitgebreide kwalitatieve evaluatiemethodes, zoals peer review, zijn. Tegelijk hebben de (ongewenste) neveneffecten van (bepaalde) kwantitatieve indicatoren minder grote implicaties op hogere aggregatieniveaus. In de praktijk wordt, zeker op lagere aggregatieniveaus (bv. bij de evaluatie van een onderzoeker), een combinatie gemaakt van (meerdere) kwantitatieve en kwalitatieve indicatoren en methodes. Onderzoek is immers te complex om in één indicator of descriptor te vatten.

Indien het in de context van een evaluatie zinvol wordt geacht om één of meerdere kwantitatieve indicatoren te gebruiken, dan moet elke kwantitatieve indicator voldoen aan volgende criteria:

1. De kwantitatieve indicator is relevant voor de evaluatie en het gebruik ervan is nodig om de evaluatie op een kwaliteitsvolle manier uit te voeren.
2. De kwantitatieve indicator geeft weer (meet) wat de organisatoren van de evaluatie willen weten (meten).
3. De kwantitatieve indicator wordt gebruikt waar hij voor bedoeld is.
4. De kwantitatieve indicator is voldoende betrouwbaar, robuust, verifieerbaar en reproduceerbaar.
5. De kwantitatieve indicator is op een transparante manier samengesteld.
6. De kwantitatieve indicator is geschikt om te worden gebruikt op het aggregatieniveau van de evaluatie.
7. De kwantitatieve indicator heeft discrimineert niet of kan worden gecorrigeerd (genormaliseerd) om bias te voorkomen (t.o.v. disciplines, loopbaanfasen, etc.).
8. De kwantitatieve indicator is zo goed als mogelijk bestand tegen ‘gaming’.
9. De kwantitatieve indicator heeft geen andere ongewenste neveneffecten.
10. Alle betrokkenen (organisatoren, evaluatoren en degenen die worden geëvalueerd) kunnen de kwantitatieve indicator begrijpen en verifiëren: de berekeningswijze (formule) is bekend en de gegevens waarop de kwantitatieve indicator is gebaseerd zijn toegankelijk (of kunnen op vraag van een betrokkene ter beschikking worden gesteld).
11. De UGent beschikt over voldoende interne expertise om de kwantitatieve indicator op een kwaliteitsvolle manier te gebruiken in een evaluatie.
12. De kwantitatieve indicator wordt gebruikt in combinatie met andere voor de evaluatie relevante kwantitatieve en kwalitatieve indicatoren.