Agenda onderwerpen

12. Kwaliteitszorg onderzoek (protocollen)

Kenmerk: 365.849


25 november 2004


Protocollen onderzoeksbeoordelingen

Universiteit Twente



Dit document bevat een voorstel voor twee, elkaar aanvullende protocollen voor onderzoeks­beoordelingen. De protocollen zijn de uitdrukking van het kwaliteitszorgsysteem van de Universiteit Twente. Protocol A richt zich op disciplinaire onderzoeksvisitaties. Protocol B richt zich op de kwaliteitsbevordering van de wetenschappelijke instituten van de Universiteit Twente. Het voorstel is op verzoek van de stuurgroep onderzoek gemaakt. De door de stuurgroep onderzoek meegegeven uitgangspunten staan opgenomen in bijlage 1.

Dit document begint met een paragraaf over de bestuurlijke hantering van de onderzoeks­beoordelingen. De bestuurlijke visie op de kwaliteitsborging van het onderzoek aan de Universiteit Twente is daarin neergelegd. Daarna volgen beide protocollen. Deze vormen een uitwerking van de bestuurlijke visie. Tot slot is een paragraaf opgenomen met aanvullende, meer praktische informatie over de beoordelingen.


1. Bestuurlijke hantering onderzoeksbeoordelingen


De Universiteit Twente heeft een uitgesproken visie op de organisatie van haar onderzoek. De organisatie van het onderzoek aan de Universiteit Twente is uniek voor Nederland. Het onderzoek is geclusterd in zes grote, multidisciplinaire wetenschappelijke instituten. Elk instituut heeft een eigen wetenschappelijk directeur. Deze draagt de verantwoordelijkheid voor het onderzoek in zijn instituut.

De instituten vormen een krachtige impuls voor het onderzoek. Niet voor niets staat de Universiteit Twente op de zesde plaats in top-20 European Universities van de Europese Commissie (third European Report on Science and Technology Indicators, Brussels, 2003). De instituten verhogen de kwaliteit en zichtbaarheid van het onderzoek. Zij bundelen de beschikbare onderzoekscapaciteit rond bepaalde thema’s.

De Universiteit Twente heeft als ambitie dat alle onderzoeksinstituten van de Universiteit Twente een rol van betekenis spelen in de Europese of zelfs wereldwijde onderzoeksruimte.


Bij de UT-organisatie van het onderzoek past een kwaliteitszorgsysteem op het niveau van het instituut. De Universiteit Twente opteert voor een onderzoekskwaliteitszorgsysteem dat is toegesneden op het wetenschappelijk instituut.


Deze keuze is mede een gevolg van de veranderingen in het Nederlandse stelstel van onderzoekskwaliteitszorg. De kwaliteit van het onderzoek aan de Nederlandse universiteiten werd bewaakt door de VSNU. De VSNU voerde disciplinaire visitaties uit. Hierin kwam verandering door het rapport ‘Kwaliteit verplicht’ (2001) van de commissie Van Bemmel. In het rapport wordt een nieuwe opzet voor onderzoeksbeoordelingen gepresenteerd. Belangrijke wijzigingen ten opzichte van de beoordeling oude stijl zijn:

-een grotere autonomie voor instellingen

-een beperking van de beoordelingslast

In de nieuwe opzet van onderzoeksbeoordelingen is een cyclus voorzien van een keer per drie jaar een zelfevaluatie en een keer in de zes jaar een externe beoordeling. De gegevens uit de zelfevaluatie dienen als input voor de externe beoordeling.

Het rapport ‘Kwaliteit verplicht’ laat de keuze voor de te visiteren onderzoekseenheden aan de universiteiten. De Nederlandse universiteiten kiezen voor disciplinaire onderzoeksbeoordelingen.


De Universiteit Twente wil de kwaliteit van het onderzoek van haar leerstoelen vergelijken met die van andere onderzoeksgroepen. Daarom kiest zij naast een op de instituten toegesneden kwaliteitsborging en in lijn met de keuze van andere Nederlandse universiteiten voor disciplinaire onderzoeksvisitaties.


De keuze voor én institutionele beoordelingen én disciplinaire beoordelingen, heeft consequenties voor de beoordelingslast. Tegelijkertijd is er het streven om die last zo veel mogelijk te beperken. Die beperking krijgt vorm door de volgende uitgangspunten:

De institutionele beoordelingen vinden eens per zes jaar plaats. Het karakter van de beoordeling is een prospectieve analyse. Bij de beoordeling is vooral het management van het instituut betrokken.

De disciplinaire beoordeling kennen elke 3 jaar een zelfevaluatie en elke 6 jaar een externe evaluatie. De beoordeling is vooral retrospectief. Bij de beoordeling is naast het management van het instituut vooral betrokkenheid van de leerstoelhouders van belang.

Er is niet alleen sprake van beoordelingslast bij onderzoeksbeoordelingen. De beoordelingen leveren nuttige informatie voor de betreffende eenheden. De beoordeling biedt feedback door deskundigen in de visitatiecommissie, gemeten naar nationale en internationale standaarden van kwaliteit, productiviteit, relevantie en vitaliteit. Het biedt tenslotte toekomstverwachtingen voor de wetenschappelijke en maatschappelijke impact van onderzoek.


Het doel van de onderzoeksbeoordelingen is om tot acties te komen om de kwaliteit van het onderzoek verder te verbeteren. Zij die verantwoordelijkheid dragen voor onderzoek aan de Universiteit Twente hebben daarom behoefte aan een gedegen en zo objectief mogelijk oordeel, gebaseerd op relevante gegevens. Om die gegevens te genereren, wordt een onderzoekskwaliteitszorgsysteem ingezet. Dat systeem levert gegevens over het functioneren van de instituten en over hun positionering in de wetenschappelijke en maatschappelijke omgeving. Het systeem levert ook gegevens over het onderzoek op het niveau van de leerstoelen. Dit laatste gebeurt in relatie tot leerstoelhouders binnen dezelfde discipline die bij andere (Nederlandse) universiteiten, en vooral de Technische Universiteit Delft en de Technische Universiteit Eindhoven, werkzaam zijn.

De onderzoeksbeoordeling heeft ook een externe functie. Het draagt bij aan de verantwoording aan de betrokken buitenwacht over de inzet van collectieve middelen en subsidiemiddelen die de Universiteit Twente inzet ter financiering van het onderzoek.

2. Protocol A: disciplinaire onderzoeksbeoordeling



Verantwoordelijkheid

Conform het Van Bemmel rapport is het College van Bestuur bestuurlijk verantwoordelijk voor de externe en interne beoordeling. Verantwoordelijk voor de organisatie van de zelfevaluatie en de externe beoordeling zijn de wetenschappelijk directeuren van die instituten waarin leerstoelhouders uit de discipline werkzaam zijn. In gevallen waarin een decaan verantwoordelijk is voor onderzoek dat niet is ondergebracht in een instituut, is de decaan mede verantwoordelijk voor de organisatie van de onderzoeksbeoordeling. Deze groep van wetenschappelijk directeuren en decanen wordt aangeduid als ‘organisatoren’. Indien mogelijk wijzen de organisatoren één persoon aan als ‘eerste organisator’.




Aanpak

Per discipline worden de organisatoren verantwoordelijk gehouden voor het tijdig afronden van de zelfevaluatie (elke drie jaar). De tussentijdse zelfevaluatie wordt uitgevoerd op basis van een subset van de variabelen uit de externe evaluatie drie jaar eerder. De zelfevaluatie wordt zoveel mogelijk gemaakt volgens de indeling in appendix 3 van het Standard Evaluation Protocol 2003-2009 (zie bijlage 3).

De organisatoren zijn verantwoordelijk voor de productie van het zelfevaluatierapport. Het definitieve rapport wordt vastgesteld na bespreking met het College van Bestuur. De zelfevaluatie wordt gebruikt in de planning- en controlcyclus en vormt input voor de externe evaluatie.

Ten behoeve van de externe beoordelingen (elke zes jaar) worden de volgende stappen genomen:

-onderlinge vergelijkingen

Bij externe beoordelingen vindt zoveel mogelijk vergelijking met andere onderzoeksgroepen plaats. Om dit mogelijk te maken, zal ruim voor de datum dat de externe beoordeling plaats vindt bekend moeten zijn met wie men zich wenst te vergelijken. De organisatoren gaan hierover in overleg met de instellingen waar hun voorkeur naar uitgaat en rapporteren aan het college wanneer de keuze definitief is gemaakt. Onderzoeksgroepen van de TUD en TU/e worden zoveel mogelijk betrokken bij de externe beoordeling.

-vaststellen protocol

Het CvB stelt het evaluatie protocol vast, zowel voor de externe evaluatie als de zelfevaluatie. Het vaststellen van het evaluatie protocol voor de externe evaluatie gebeurt in overleg met de andere betrokken instellingen. Het Standard Evaluation Protocol is daarbij uitgangspunt, aangevuld met voor de betreffende evaluatie relevant geachte documenten en indicatoren. Het concept-protocol wordt voorbereid door de organisatoren.

-samenstellen evaluatiecommissie

Het CvB/de CvBs (bij externe evaluaties met meer partners) is/zijn verantwoordelijk voor het uitnodigen en instellen van de evaluatie commissie. De bij de beoordeling betrokken organisatoren doen hiertoe een gezamenlijk voorstel, waarbij zij de in het protocol verwoorde eisen in acht nemen en leggen dit voor aan de betrokken CvB(s). Deze stellen, bij instemming met het voorstel, de commissie in. Het College van Bestuur zal letten op de benodigde breedte van de commissie, omdat het onderzoek aan de Universiteit Twente vooral multidisciplinair is. Tevens wordt een werkprogramma voor de commissie opgesteld. Daarnaast worden afspraken gemaakt over de ambtelijke ondersteuning van de commissie. Hierbij kan zowel worden gedacht aan lokale ambtelijke ondersteuning als aan inschakeling van de VSNU of QANU.

-zelfevaluatie

De organisatoren dragen zorg voor de zelfevaluatie. Alvorens de zelfevaluatie naar de externe evaluatiecommissie wordt gezonden, stelt het CvB de zelfevaluatie vast. De concept-evaluatie dient tijdig bij het CvB te worden aangeleverd, zodat het mogelijk is hierover overleg met de organisatoren aan te gaan en, indien gewenst, de zelfevaluatie aan te passen.

-evaluatierapport

De evaluatiecommissie produceert een evaluatierapport op basis van haar bevindingen, waarbij de vereisten uit het evaluatieprotocol in acht worden genomen. Het rapport wordt door het CvB beoordeeld op compleetheid, correctheid en consistentie. Het college treedt hierover in overleg met de organisatoren. Het College van Bestuur stelt het rapport vast.

De organisatoren worden door het college gevraagd indien gewenst commentaar te leveren op kwesties die door de commissie in haar rapport naar voren worden gebracht. Dit commentaar wordt als appendix bij het rapport gevoegd en vormt er een geheel mee. Het college stelt vervolgens het evaluatierapport definitief vast.

-conclusies

Na vaststelling van het definitieve rapport verzoekt het college de organisatoren conclusies te trekken over de toekomst van het onderzoek van de organisatoren en het college te informeren over de maatregelen die men aan de hand van deze conclusies voor ogen heeft. Over de conclusies en de voorgenomen maatregelen vindt overleg plaats tussen het college en de organisatoren. De in overleg vastgestelde maatregelen vormen onderdeel van de bestuurlijke agenda van de organisatoren.

-openbaarmaking resultaten

De zelfevaluatie, het evaluatierapport en de conclusies vormen tezamen het resultaat van de externe evaluatie. Het college draagt zorg voor bekendmaking van de resultaten van de externe evaluatie en rapporteert hierover in het jaarverslag.


Bouwblokken

Om de beoordelingslast te minimaliseren, kan met bouwblokken worden gewerkt. Die kunnen zo worden gevoegd dat ze in elke beoordeling kunnen terugkeren (zelfevaluatie, externe evaluatie, institutionele evaluatie). Indien mogelijk en haalbaar wordt gebruik gemaakt impact- en citatiescores. De bouwblokken moeten informatie van voldoende kwaliteit opleveren om de volgende variabelen te kunnen beoordelen:

- productiviteit (wetenschappelijke output)

- vitaliteit en haalbaarheid (flexibiliteit, beheer en leiderschap)

- kwaliteit (internationale erkenning en wetenschappelijke impact)

- relevantie (wetenschappelijke en sociaal-economische impact)


Opvolging

De zelfevaluatie en de externe evaluatie spelen een rol in de planning- en controlcyclus, en in gesprekken tussen instituten en raden van toezichts (governing boards) van de wetenschappelijke instituten. Uit de conclusies komen doelen voort die zullen worden besproken tijdens voor- en najaarsoverleggen. De conclusies zijn samen met de strategische plannen ook inzet voor afspraken tussen decaan en wetenschappelijk directeur over inzet en omvang leerstoel.

De zelfevaluaties en externe evaluaties – alsmede de evaluaties van het instituut – verlopen volgens een bepaald tijdschema. Bijlage 2 bevat het tijdschema voor zelfevaluaties en externe beoordelingen. Het nieuw op te richten 3 TU Institute of Science and Technology streeft naar harmonisatie van de tijdschema’s van de Universiteit Twente, Technische Universiteit Delft en Technische Universiteit Eindhoven. Deze afstemming maakt gezamenlijke visitaties mogelijk.

3. Protocol B: institutionele onderzoeksbeoordeling


Verantwoordelijkheid

De wetenschappelijk directeur is verantwoordelijk voor de organisatie van de institutionele onderzoeksbeoordeling. Het College van Bestuur is eindverantwoordelijk.


Aanpak

Elk wetenschappelijk instituut organiseert elke zes jaar zijn eigen evaluatie. De wetenschappelijk directeur (organisator) is verantwoordelijk voor de organisatie van de evaluatie. Bij voorkeur wordt in de evaluatie het instituut vergelijken met andere relevante instituten. De organisator is verantwoordelijk voor de productie van het evaluatierapport. Het definitieve rapport wordt vastgesteld na bespreking met het College van Bestuur. De evaluatie wordt gebruikt in de planning- en controlcyclus en vormt input voor het overleg met de raad van toezicht (governing board) van het instituut.

Ten behoeve van de evaluatie worden de volgende stappen genomen:

-onderlinge vergelijkingen

Bij voorkeur vindt bij de evaluatie vergelijking met andere instituten plaats. Om dit mogelijk te maken, zal ruim voor de datum dat de evaluatie plaats vindt bekend moeten zijn met wie men zich wenst te vergelijken. De organisator gaat hierover in overleg met de instituten waar zijn voorkeur naar uitgaat en rapporteert aan het college wanneer de keuze definitief is gemaakt.

-vaststellen protocol

Het CvB stelt het evaluatie protocol vast, zo nodig in overleg met de andere betrokken instituten. Het Standard Evaluation Protocol is daarbij uitgangspunt, aangevuld met informatie uit het strategisch plan en voor het betreffende instituut relevant geachte documenten. Het concept-protocol is opgesteld door de organisatoren. Het protocol wordt vastgesteld door het College van Bestuur.

-samenstellen evaluatiecommissie

Het CvB is verantwoordelijk voor het uitnodigen en instellen van de evaluatie commissie. De bij de beoordeling betrokken wetenschappelijk directeur doet hiertoe een voorstel, waarbij hij de in het protocol verwoorde eisen in acht nemen en legt dit voor aan het College van Bestuur. Deze stelt, bij instemming met het voorstel, de commissie in. Tevens wordt een werkprogramma voor de commissie opgesteld. Daarnaast worden afspraken gemaakt over de ambtelijke ondersteuning van de commissie.

-evaluatie

De organisator draagt zorg voor de evaluatie. De concept-evaluatie dient tijdig bij het College van Bestuur te worden aangeleverd, zodat het mogelijk is hierover overleg met de organisatoren aan te gaan en, indien gewenst, de evaluatie aan te passen.

-evaluatierapport

De evaluatiecommissie produceert een evaluatierapport op basis van haar bevindingen, waarbij de vereisten uit het evaluatieprotocol in acht worden genomen. Het rapport wordt door het CvB beoordeeld op compleetheid en consistentie. Het college treedt hierover in overleg met de organisator. Het College van Bestuur stelt het rapport vast.

De organisator wordt door het college gevraagd indien gewenst commentaar te leveren op kwesties die door de commissie in haar rapport naar voren worden gebracht. Dit commentaar wordt als appendix bij het rapport gevoegd en vormt er een geheel mee. Het college stelt vervolgens het evaluatierapport definitief vast.

-conclusies

Na vaststelling van het definitieve rapport verzoekt het college de organisatoren conclusies te trekken over de toekomst van het instituut en het college te informeren over de maatregelen die men aan de hand van deze conclusies voor ogen heeft. Over de conclusies en de voorgenomen maatregelen vindt overleg plaats tussen het college en de organisatoren. De in overleg vastgestelde maatregelen vormen onderdeel van de bestuurlijke agenda van de organisatoren.

-openbaarmaking resultaten

De evaluatie, het evaluatierapport en de conclusies vormen tezamen het resultaat van de evaluatie. Het college draagt zorg voor bekendmaking van de resultaten van de evaluatie en rapporteert hierover in het jaarverslag.


Bouwblokken

Om de beoordelingslast te minimaliseren, wordt bij de institutionele beoordeling met bouwblokken gewerkt. Die worden zo veel mogelijk zo geconstrueerd dat ze in elke beoordeling kunnen terugkeren (zelfevaluatie, externe evaluatie, institutionele evaluatie). De bouwblokken moeten informatie van voldoende kwaliteit opleveren om de volgende variabelen te kunnen beoordelen:

- productiviteit (wetenschappelijke output)

- vitaliteit en haalbaarheid (flexibiliteit, beheer en leiderschap)

- kwaliteit (internationale erkenning en wetenschappelijke impact)

- relevantie (wetenschappelijke en sociaal-economische impact)

- aansturing van de onderzoeksprogramma’s

- instituutsplan


Opvolging

De institutionele onderzoeksbeoordeling speelt een rol in de planning- en controlcyclus, en in gesprekken tussen instituten en raden van toezichts (governing boards) van de wetenschappelijke instituten. Uit de conclusies komen doelen voort die zullen worden besproken tijdens voor- en najaarsoverleggen. De conclusies zijn samen met de strategische plannen ook inzet voor afspraken tussen decaan en wetenschappelijk directeur over inzet en omvang van leerstoelen.


4. Onderzoeksbeoordelingen: enkele praktische zaken

De praktijk van het onderzoekskwaliteitszorgsysteem aan de Universiteit Twente dient te worden afgestemd op de hier opgeschreven protocollen. Een werkgroep wordt in het leven geroepen om zich te buigen over de operationele ondersteuning van de protocollen. De werkgroep licht het UT-systeem voor de onderzoekskwaliteitzorg oude stijl door en past dit waar nodig aan aan de nieuwe protocollen.


De kosten en ondersteuning van de disciplinaire onderzoeksbeoordelingen komen voor rekening van de wetenschappelijke instituten (en in voorkomende gevallen de faculteiten). Over de verdeling van de kosten maken de organisatoren vooraf afspraken. Voorgesteld wordt de kostenverdeling te laten plaatsvinden naar rato van het aantal leerstoelhouders in de eenheid van de betreffende organisator. De institutionele onderzoeksbeoordeling komt voor rekening van het instituut.


De Universiteit Twente kiest voor een model dat op één spoor (de disciplinaire onderzoeksbeoordelingen) afstemming vergt in het 3 TU Institute of Science and Technology en de andere Nederlandse universiteiten (binnen de VSNU?). De vorming van het instituut en de discussie tussen de universiteiten zijn ‘work in progress’. Vanwege de wens van de Universiteit Twente om gezamenlijk de disciplinaire onderzoeksbeoordeling vorm te geven, dient het ‘work in progress’ kritisch gevolgd te worden. Einddoel is om het UT-protocol en de afspraken binnen het instituut en de discussie binnen de VSNU met elkaar in overeenstemming te laten zijn.

Bijlage 1


Opdrachtverlening. Uit: verslag zevende vergadering stuurgroep onderzoek d.d. 3 februari 2004.


Onderzoekvisitatieprotocol

Na enige discussie komt de Stuurgroep Onderzoek tot de volgende conclusies, die als uitgangspunten gelden voor het nieuw op te stellen UT onderzoekvisitatieprotocol:

Het onderzoek aan de UT is ondergebracht in instituten. De UT is daarom eerst en vooral voorstander van visitaties van de onderzoeksinstituten.

De UT kiest ervoor om eens per zes jaar zijn instituten te laten visiteren. De visitatie is gericht op de toekomst, vergelijkbaar met de portfolio-analyse. Het onderzoeksmanagement, de relevantie van het onderzoek en de positionering van het instituut zijn belangrijke graadmeters.

Nederlandse universiteiten kiezen in meerderheid voor disciplinaire visitaties. De UT erkent de wens van leerstoelhouders om zich te meten met hun vakgenoten. Ook erkent de UT het belang van gezamenlijke visitaties. Daarom conformeert de UT zich aan het systeem waarbij disciplinaire visitaties worden uitgevoerd in een cyclus van zes jaar, met na drie jaar een zelfevaluatie en drie jaar later een externe evaluatie en zo verder.

De verantwoordelijkheid voor de organisatie van alle visitaties ligt bij de leden van Stuurgroep Onderzoek. De WD’s zijn immers verantwoordelijk voor het onderzoek aan de UT. In voorkomende gevallen wordt deze groep aangevuld met decanen wanneer deze verantwoordelijk zijn voor facultair onderzoek.

Het onderzoek dat in een visitatie wordt meegenomen, moet onderdeel uitmaken van een onderzoeksprogramma.

Bij een evaluatie streeft de UT naar een commissie van peers met brede expertise. De samenstelling van de visitatiecommissie moet zo zijn dat zij de hele breedte van het door de UT aangedragen te visiteren onderzoek bestrijkt.

Afgesproken wordt dat Apers, Agterof en Van Geffen een voorstel voor een onderzoekvisitatieprotocol maken voor de eerstvolgende vergadering van de Stuurgroep Onderzoek. Het onderwerp moet ook aan bod komen in het UMT, omdat de decanen betrokken zijn bij de onderzoekvisitaties.

Bijlage 2.


Tijdschema voor zelfevaluaties en externe beoordelingen

Ons voorstel zelfevaluatie UT voorstel externe evaluatie


DISCIPLINE

GEVISITEERD IN

VSNU-VOORSTEL

VOLGENDE EXTERNE BEOORDELING

UT voorstel volgende interne beoordeling

UT voorstel volgende externe beoordeling






Electrotechniek

2000

2005

2004

2005

Informatica

2004

2009

2007

2010

Wiskunde

2004

2009

2007

2010






Natuurkunde

2004

2009

2007

2010

Scheikunde

2003

2007

2007

2010






Werktuigbouwkunde

2000

2007

2007

2007

Civiele techniek

2001

2006

2004

2007

Industriële vormgeving

2002

2008

2005

2008






Filosofie


2005

2008

2005

Psychologie


2005

2008

2005

Communicatiewetenschappen

2003

2008

2005

2008

Onderwijskunde

2001

2006

2009

2006






Bestuurskunde

2003

2008

2005

2008

Technische Bedrijfskunde

2003

2008

2005

2008









INSTITUUT

PROSPECTIEVE ONDERZOEKS-BEOORDELING



MESA

2005

IGS

2006

CTIT

2005

BMTI

2005

Impact

2005

IBR

2006







Bijlage 3 Standard evaluation protocol 2003-2009 (2001)


Het standard evaluation protocol is veelal reeds in bezit. Het is een omvangrijk protocol. Daarom wordt volstaan met het geven van de URL, zodat iedereen die het niet heeft het kan opzoeken.


http://www.knaw.nl/cfdata/publicaties/adviezen.cfm