De UGent-visie op het evalueren van onderzoek wordt waar mogelijk ook toegepast bij de evaluatie van onderzoeksteams. Dit is o.m. het geval bij de Interdisciplinaire onderzoeksconsortia gericht op maatschappelijke impact (IDC). Sommige teams worden niet formeel geëvalueerd, maar zijn op zoek naar inspiratie om hun werking op vrijwillige basis te evalueren. Zij vinden hier inspiratie over hoe dergelijke evaluatie kan worden aangepakt.

Wat is een ‘science team’?

Een ‘science team’ is elke groep onderzoekers die samen onderzoek verricht. Het kan hierbij zowel gaan om duurzame organisatorische eenheden (bv. samenwerkingsverbanden voor onderzoek, onderzoeksgroepen, IDC, faculteiten) als om tijdelijke (formele of informele) samenwerkingsverbanden (bv. onderzoekers die hun basisfinanciering bundelen om samen te werken rond een bepaalde onderzoeksvraag).

Hoe evalueer je een team?

Er bestaat geen vast stramien of vaste werkwijze om een team te evalueren. Wanneer de evaluatie van een team niet verplicht is – en het kader dus niet opgelegd wordt – dan biedt dit de vrijheid om een evaluatie maximaal te laten aansluiten bij de noden en behoeften van de groep zelf. Wat wil een team uit de evaluatie leren? Welke informatie is voor het team relevant? Hieraan tegemoet komen vergroot het draagvlak van de evaluatie en draagt ertoe bij dat de evaluatie na afloop wordt opgevolgd (en bv. leidt tot actiepunten of ontwikkeltrajecten). Uiteraard moet elke evaluatie rekening houden met de UGent-visie op verantwoord evalueren.

Wat maakt een evaluatie van een team anders dan de evaluatie van een onderzoeker?

De evaluatie van een team is meer dan de optelsom van de evaluatie van elk individueel lid van het team. De plaats, rol en bijdrage van de individuele leden in een team maakt uiteraard wel deel uit van de evaluatie van dat team, maar bij de evaluatie van het team verschuift de focus van de individuele onderzoeker naar het kader waarin teamleden samenwerken, hoe zij samen bijdragen aan het team en hoe het team als geheel bijdraagt aan de groei van de teamleden. De nadruk ligt op de onderzoekscultuur en op de structuren, systemen en processen die vorm geven aan het onderzoek. Het onderzoek zelf komt vanzelfsprekend ook aan bod, maar het is in een evaluatie van een team minder (en soms zelfs helemaal niet) nodig om (de kwaliteit van) het onderzoek van de teamleden te evalueren. Zorgvuldig afwegen welke elementen uit een evaluatie op individueel niveau worden meegenomen in een evaluatie op teamniveau, zorgt ervoor dat de teamevaluatie behapbaar blijft. 

Waarom een evaluatie op teamniveau?

Mogelijke redenen om te evalueren zijn (zie SCOPE):

• Analyseren: inzicht krijgen in de samenstelling, werking, en/of resultaten (en hun impact) van het team
• Monitoren: opvolgen of het team vooropgestelde doelstellingen bereikt
• Bijsturen: de samenstelling, werking en/of resultaten van het team verbeteren
• Profileren: de sterktes en successen van het team zichtbaar maken
• Vergelijken: het team vergelijken met andere teams binnen of buiten de UGent
• Belonen: evalueren om een prijs of financiering toe te kennen.

Wat evalueren?

Op welke vragen moet een evaluatie een antwoord bieden? Welke inzichten moeten eruit komen? Een evaluatie kan bv. peilen naar de gedeelde onderzoekscultuur, de totstandkoming en uitwerking van een gezamenlijke onderzoeksagenda, de werking van een team, de levensvatbaarheid van een groep op langere termijn, en/of… Dit hangt uiteraard samen met het doel van de evaluatie.

Tijdsvenster

Een evaluatie kan een momentopname zijn, opgezet zijn als een vergelijking tussen twee momenten in de tijd of een evolutie over meerdere jaren weergeven.

Terugblikken of vooruitkijken

Een evaluatie kan focussen op wat het team heeft gerealiseerd (‘past performances’), op het toekomstperspectief (de verdere ontwikkeling van het team), of op een combinatie van beiden.

Indicatoren

Welke informatie is er nodig om een antwoord te kunnen geven op de centrale vragen uit de evaluatie? Het zal doorgaans nodig zijn om meerdere informatiebronnen te combineren. Het kan hierbij zowel gaan om kwantitatieve als om kwalitatieve informatie. Hoe groter de groep die wordt geëvalueerd, hoe tijdsintensiever het bijeenbrengen, interpreteren en evalueren van kwalitatieve gegevens is. Het verantwoord gebruik van kwantitatieve indicatoren kan dan een optie zijn.

Enkele suggesties voor het evalueren van de ontwikkeling, organisatie en werking van het team: denk aan strategisch plan, (mono-, inter- en/of transdisciplinaire) doelstellingen (ambities) van het team, impactstrategie, bijdrage van elk teamlid aan het team en aan het bereiken van de doelen, manier waarop elk teamlid (de werking van) het team ervaart, samenwerkingsverbanden en interacties die zonder het team niet mogelijk zouden geweest zijn, manier waarop het leiderschap is georganiseerd, manier waarop goede onderzoekspraktijken en wetenschappelijke integriteit worden geïmplementeerd, interne overlegstructuren, afspraken m.b.t. de begeleiding van doctorandi, beschikbare financiële middelen en infrastructuur, enzoverder.

Voor het evalueren van academische output en impact: (Open Access) (co-)publicaties van teamleden, (hergebruikte) (open) datasets, (interdisciplinaire) samenwerkingsverbanden met andere teams in binnen- en buitenland, verdedigde doctoraten, lesopdrachten, peer reviews door teamleden, onderzoeksfinanciering, etc. Bij elk van deze criteria kan worden gepeild naar de realisaties die tot stand zijn gekomen in samenwerking met andere leden van het team en naar de (individuele) verwezenlijkingen die niet mogelijk waren geweest zonder het team.

Voor het evalueren van maatschappelijke (incl. economische) output en impact: social media posts, betrokkenheid van externe stakeholders bij het onderzoek, bilaterale onderzoekssamenwerkingen en dienstverlening met derden (bedrijven, overheden,…), lezingen voor het grote publiek handboeken voor leerkrachten, patenten, curatorschap van tentoonstellingen, lidmaatschap van adviescommissies buiten de universiteit,…
Ook hier kan de nadruk liggen op de wijze waarop het (individuele) onderzoek bijdraagt aan de realisaties van het team.

Methodes

Hoe wordt de informatie verzameld, geanalyseerd en geëvalueerd? Afhankelijk van de gekozen indicatoren kunnen kwalitatieve of kwantitatieve methodes worden gebruikt. Doorgaans zal het nodig zijn om meerdere methodes te combineren.
Enkele mogelijkheden: bibliometrische of scientometrische analyse, bevragingen, focusgroepen, interviews, 360°-evaluatie, zelfevaluatierapport, opstellen van impact case studies, SWOT-analyse,…

De evaluatoren

De verzamelde informatie wordt bij voorkeur beoordeeld door een expertenpanel (peer review). De samenstelling van het panel zal afhangen van de aard van het team en het doel van de evaluatie (wel/niet internationale panelleden, stakeholders e.d. betrekken). Het is aangewezen dat minstens enkele panelleden ervaring hebben met het evalueren van ‘science teams’. De panelleden moeten duidelijke instructies krijgen over het opzet en het doel van de evaluatie, en over wat van hen verwacht wordt (een vergelijking met andere teams, een intern rapport met verbeterpunten, een rapport dat bedoeld is voor externe communicatie,…).

Wat na de evaluatie?

Wat er gebeurt met de resultaten van een evaluatie – en wie verantwoordelijk is voor de opvolging – wordt bij voorkeur vóór de start van de evaluatie en in overleg met het geëvalueerde team afgesproken. De opvolging die nodig is, hangt samen met de doelstelling van de evaluatie. Als het bv. de bedoeling is om de werking van het team bij te sturen, dan zal dat een ander soort (en langere) opvolging vragen dan wanneer het de bedoeling is om de succesverhalen in de verf te zetten. Daarnaast kan het nuttig zijn om de evaluatie zelf te evalueren – hoe is het proces verlopen en welke lessen kunnen daaruit getrokken worden? Dit is zeker het geval wanneer het de bedoeling is om de evaluatie periodiek te herhalen of om het evaluatieproces te herhalen voor een ander team.

Zelf verder aan de slag?

Meer indicatoren zijn o.m. te vinden in het Nederlandse Strategy Evaluation Protocol 2021-2027.

Groepen die een methodiek zoeken om een verantwoorde evaluatie te ontwerpen, kunnen o.m. gebruik maken van de SCOPE-methodologie.

UGent-pagina’s met nuttige informatie:

• UGent-intranetpagina over impact
• UGent-intranetpagina over Altmetric met bijhorende onderzoektip

Hulp nodig?

Het Functiedomein Onderzoek denkt graag mee met groepen die een evaluatie willen opzetten. Er kan ondersteuning geboden worden op volgende vlakken:

• Uitwerken van een plan van aanpak voor de evaluatie
• Ondersteuning van de organisatie van een SCOPE-workshop
• Aanleveren van (valorisatie-)informatie uit databanken: Biblio, VABB, WoS, Altmetric, GISMO/Research Explorer, UGI (of opvolger), Oasis, SAP-HR, SAP-FIN, UGI-One Office, TTRM, MyTT/UGI
• Uitvoeren van of ondersteuning bij bibliometrische analyses
• Organiseren van opleidingen (op maat) over Altmetric, InCites

Contact: Nele.Bracke@UGent.be