12. Kwaliteitszorg onderzoek (institutionele visitatie)

Kenmerk: 365.850




draaiboek

institutionele visitatie

Universiteit Twente



















Wim Agterof

Peter Apers

Sjoerd van Geffen

November 2004


1.Inleiding


De UT kent een protocol voor institutionele visitaties (Protocollen onderzoeks­beoor­delingen Universiteit Twente). Dit draaiboek is een handleiding naar aanleiding van dat protocol.

Het protocol bepaalt dat een wetenschappelijk instituut eens per zes jaar gevisiteerd wordt. Het protocol wijst de Wetenschappelijk Directeur (WD) aan als verantwoordelijke voor de uitvoering van de zesjaarlijkse evaluatie. Het College van Bestuur is eind­verantwoordelijk. Dit sluit aan bij de WHW waarin kwaliteitszorg als een bevoegdheid en verantwoordelijkheid van het instellingsbestuur wordt geregeld.


Het draaiboek opent met de uitgangspunten voor de visitatie. Daarna komen de variabelen en de operationalisatie daarvan aan bod. Het draaiboek gaat vervolgens in op de organisatie van de visitatie. Dan volgen paragrafen over de visitatiecommissie, de documentatie, de rapportage en de bestuurlijke hantering. Tot slot volgen drie bijlagen. De eerste is een dataregister, de tweede het visitatieschema. De derde is een verklaring van onafhankelijkheid, die de commissieleden moeten tekenen.


2.Uitgangspunten


Institutionele visitaties vinden plaats zodat WD en CvB van derden informatie krijgen over de stand van zaken en koers van het instituut. Die informatie heeft betrekking op twee dimensies die van wezenlijk belang zijn voor een wetenschappelijk instituut, namelijk academische kwaliteit en maatschappelijke relevantie. De eerste dimensie betreft de vraag of men wat men doet goed doet. De tweede dimensie betreft de vraag of men het goede doet. Juist in de combinatie van deze dimensies ligt de meerwaarde van het wetenschappelijk instituut.



Een instituut functioneert goed wanneer het hoog scoort op zowel academische kwaliteit als relevantie van het onderzoek (kwadrant IV).

In de visitatie wordt door de commissie aangegeven waar het instituut met haar onderzoeksprogramma’s geplaatst kan worden in dit figuur. Dat houdt een beoordeling van het meerjarig instituutsplan in. Op basis van het instituutsplan wordt gekeken naar waar het instituut eerst stond, welke ontwikkelingen er waren en in welke richting het instituut zich wil ontwikkelen. Ook wordt gestreefd naar een benchmark van het te visiteren instituut met andere, soortgelijke instituten. Zo wordt ook duidelijk hoe het instituut opereert ten opzichte van zijns gelijken. Als een benchmark onmogelijk blijkt, beperkt de visitatie zich tot een peer review.


3.Variabelen en operationalisatie


Paragraaf 2 beschrijft twee dimensies. De eerste dimensie is de academische kwaliteit van de leerstoelhouders die in het instituut participeren. De score van de leerstoelhouders is bekend; de leerstoel is immers beoordeeld in een disciplinaire visitatie. De jongste score van de leerstoelhouder tijdens zo’n visitatie geldt als input, aangevuld met een update van de publicaties en performance indicatoren met betrekking tot de leerstoel die uit de databases gedestilleerd kunnen worden.


De tweede dimensie meet de relevantie van het instituut met haar onderzoeks­programma’s. Deze dimensie wordt geoperationaliseerd via een aantal variabelen. De score op die variabelen is te achterhalen uit het instituutsplan en de management­informatie van het instituut.

Dit zijn de variabelen:

budget

omvang 2de/3de geldstroom, EU-middelen

geïnstitutionaliseerde partnerships (langdurig) en samenwerkingsverbanden (voor een project), blijkend uit overeenkomsten, convenanten en gezamenlijke aankopen, aanvragen e.d.

kennisvalorisatiebeleid en resultaten

klantenoordeel n.a.v. klantenonderzoek (klant = opdrachtgever derde geldstroom onderzoek)


4.Organisatie


4.1Berichtgeving over de start van de institutionele visitatie

Overeenkomstig het vastgestelde tijdschema bericht het CvB de instituten één jaar voor de geplande visitatie schriftelijk over een gewenste start van de institutionele visitatie.

De WD stuurt zo snel mogelijk na het ontvangen van het schrijven van het CvB, maar uiterlijk zes maanden later, een schriftelijk bericht terug aan het CvB met daarin vermeld:

-de instituten waarmee men vergeleken wil worden (zo mogelijk)

-de formulering van een profiel van de commissie

-de organisatie van het visitatiebezoek (programma)

-een voorstel voor samenstelling van de commissie


4.2Visitatiebezoek

De WD draagt in overleg met de voorzitter van de visitatiecommissie zorg voor het programma van het visitatiebezoek. De WD informeert het CvB over het programma. Het CvB ontvangt de commissie aan het begin van het visitatiebezoek.


5.Commissie


5.1De visitatiecommissie: onafhankelijkheid, kwaliteit en expertise

Alle institutionele visitaties worden uitgevoerd door visitatiecommissies bestaande uit vier leden, waaronder één voorzitter. De commissie wordt aangevuld met een secretaris. De commissieleden hebben vanuit hun functie en werkervaring ervaring met onderzoeksbeleid en gelden als expert op het het onderzoeksterrein dat wordt gevisiteerd. Zij zijn dus in staat de ontwikkelingen en innovaties op het te visiteren onderzoeksterrein op waarde te schatten. De voorzitter en leden van de visitatiecommissie dienen gezaghebbend, maar niet belanghebbend te zijn. De onafhankelijkheid van de commissie moet maximaal gewaarborgd zijn.

De WD draagt kandidaten voor de commissie voor aan het CvB. Het CvB benoemt de voorzitter, secretaris en leden van de visitatiecommissie.

Voor de voordracht en selectie van leden van de visitatiecommissie gelden de volgende uitgangspunten:

-ervaring met onderzoeksbeleid;

-inzicht in relevante onderzoeksontwikkelingen en innovaties in het gebied waarop het instituut opereert;

-onafhankelijkheid ten opzichte van de te beoordelen eenheid en de onderzoekers daarbinnen;

-internationaal gezag;

-twee of meer leden van de commissie moeten ook bestuurlijke ervaring hebben als directeur, rector of decaan;

-bekendheid met de organisatie van onderzoek in Nederland en het land of de landen van de samenwerkingspartners;

-de commissie bestaat voor minimaal de helft uit leden die niet eerder aan een visitatie van de eenheid hebben deelgenomen.

Ter bepaling van de onafhankelijkheid van de potentiële voorzitter, leden en secretaris van de visitatiecommissie worden in elk geval de volgende vragen in overweging genomen:

-Maakte de beoogde kandidaat in het verleden deel uit van de te beoordelen eenheid?

-Had de beoogde kandidaat zitting in adviesraden van de te beoordelen eenheid?

-Is er sprake van intensieve samenwerking tussen de beoogde kandidaat en stafleden uit de te beoordelen eenheid?

-Heeft de beoogde kandidaat nauwe banden met één of meerdere stafleden van de te beoordelen eenheid?

Indien één of meerdere van deze vragen bevestigend beantwoord moeten worden, dan wordt dit door de WD expliciet kenbaar gemaakt bij de voordracht van de betreffende kandidaat. Daarbij moet tevens worden aangegeven waarom de WD van mening is dat de onafhankelijkheid van de voorgestelde kandidaat voldoende gewaarborgd is. Het College van Bestuur heeft het recht om de lijst van voorgedragen kandidaten door externe experts te laten toetsen. De voorzitter en de leden van de visitatiecommissie wordt bij hun benoeming verzocht een verklaring te tekenen waarin zij aangeven een onafhankelijk oordeel te zullen geven.

Alle leden van de commissie zijn verplicht het ‘Indepence form’ uit bijlage 3 te tekenen.


5.2Benoeming en ontslag commissie en secretaris

Het CvB benoemt en ontslaat de commissieleden, alsmede de secretaris van de commissie. De secretaris staat ten opzichte van de commissie in een onafhankelijke positie. De secretaris wordt gelijktijdig met de commissie benoemd.


6.Documentatie


6.1Vaststelling documentatie

De door het instituut gegenereerde en verzamelde informatie ten behoeve van de visitatiecommissie wordt door de WD voor instemming en vaststelling voorgelegd aan het College van Bestuur.


6.2Aandacht voor prospectieve analyse

Het instituut besteedt uitdrukkelijk aandacht aan de prospectieve analyse van het onderzoek en de toekomstvisie op de eenheid. Dat doet zij door tenminste een strategisch plan voor een toekomstige periode te overleggen. Behoudens uitzonderingen maakt dit plan deel uit van het meerjarig instituutsplan.


6.3Periode onderzoeksoutput

De aan te leveren gegevens over de output van het wetenschappelijk onderzoek bestrijken de voorgaande zes jaar als de te beoordelen periode, dat wil zeggen tot en met het jaar voorafgaande aan het jaar waarin de visitatie plaatsvindt. Feitelijk omvat de periode daarmee, in retrospectieve zin, de output vanaf de vorige visitatie. De beoordeling dient aldus gebaseerd te zijn op het recente verleden.


6.4Output

Voor onderzoekers die naast hun aanstelling bij de UT tevens een aanstelling hebben bij een andere instelling, zal voor de beoordeling worden uitgegaan van de onderzoeksoutput die in het kader van hun aanstelling aan de UT is gerealiseerd.


7.Rapportage


7.1Rapportage aan college en instituutsbestuur

De visitatiecommissie rapporteert als laatste onderdeel van haar bezoek, en dus voor haar vertrek, over haar bevindingen in een schriftelijk conceptrapport gelijktijdig aan CvB en WD. In het rapport is aandacht voor positionering van het instituut in het figuur uit paragraaf 2, een prospectieve analyse van het instituut en – indien mogelijk – een benchmark van het instituut met anderen.


7.2Check

Het college stelt in overleg met de WD vast of het conceptrapport volledig en consistent is. Ingeval het college of de WD nadere aanvulling of explicatie op het rapport behoeft, vraagt het college via de secretaris van de commissie aan de voorzitter van de commissie deze aanvullingen of verduidelijkingen aan te brengen.


7.3Aanvaarding of afwijzing van het visitatierapport

Het college besluit, in overleg met de WD tot aanvaarding van het visitatierapport indien naar hun inzicht het visitatierapport aan alle vereisten voldoet.

Het college kan in voorkomende gevallen, in overleg met de WD, besluiten het visitatierapport af te wijzen. Het college maakt een dergelijk besluit bekend aan de voorzitter en leden van de visitatiecommissie.


7.4Wederhoor

Het conceptrapport wordt door de WD voorgelegd aan het management van het instituut met het verzoek om inhoudelijk commentaar en reactie op de uitkomsten van de visitatie.


7.5Vaststelling evaluatierapport

Het rapport van de commissie en de reactie van de beoordeelde eenheid vormen gezamenlijk het finale evaluatierapport dat door het college, in overleg met de WD, wordt vastgesteld.


8.Bestuurlijke hantering


8.1Bestuurlijk oordeel en maatregelen

Het college vraagt van het instituut een bestuurlijk oordeel over het visitatierapport. Bij gebleken tekortkomingen op basis van het rapport vraagt het college aan het betreffende instituutsbestuur, als verantwoordelijke en bevoegde instantie, welke maatregelen het bestuur zich voorneemt om tot verbeteringen te komen. Het bestuur kan het evaluatierapport voor advies voorleggen aan de governing board van het instituut. Het bestuur bericht aan het college welke maatregelen worden genomen. Het college bespreekt de maatregelen met de WD, waarbij toetsbare afspraken en de bewaking daarvan worden geformaliseerd.





Bijlage 1. Data


Benodigde gegevens kunnen worden gevonden:

A.: in instituutsplan

B: in disciplinaire visitatie

C: anders

-A. Mission statement

-A. Strategy

-A. Organisation structure

-A. Research themes

-A. Current and recently concluded research programmes

-A. Research facilities

-A. Policy for quality assurance

-A. Budget, both total and compartimented (1/2/3/EU)

-B. Results disciplinary visitation for each chair

-C. Participating researchers per programme and mutations therein

-C List of products per programma (publications, patents, software, et cetera)

-C Collaborations (long term) and partnerships (for the duration of a project), with written material as proof of the existance

-C Client satisfaction

-C Knowledge utilisation

-C Relationship with Technological Top Institutes

-C Short and Long term relevance



























Bijlage 2. Tijdschema institutionele visitaties



Instituut

visitatie

Volgende visitatie

BMTI

2005

Steeds 6 jaar later

CTIT

2005

Steeds 6 jaar later

IBR

2006

Steeds 6 jaar later

IGS

2006

Steeds 6 jaar later

IMPACT

2005

Steeds 6 jaar later

MESA+

2005

Steeds 6 jaar later


Bijlage 3


Independence form

independence form

This declaration is intended for persons nominated for appointment as a member of a review panel.

Review panels are expected to assess the quality of research institutes and research programmes in an authoritative, critical and independent way. The independence implies

that the judgement is made without undue influence from the institute, the programme or other stakeholders, and

that the panel members judge without bias, personal preference or personal interest.


Situations that must be reported include:

-family relations or other personal relationships

-personal involvement

-confidential inside information

-peer pressure

-expected personal benefit

-conflicts or cooperation with personnel, programmes or institutes.


Signing the declaration of independence is a requirement for installation as a member of the panel.

Independence and Disclosure form

for members of review panels



1.Conflict of interest assessment.

In the light of the University of Twente policies and standards, do you perceive any risk of conflict of interest or serious appearance of such conflict in your participation in the review?

Yes No


If the answer is yes, please provide a brief description and analysis of the potential for conflict.


2.Declaration about financial interests.

“I declare that I have no financial links with any of the persons, programmes or institutes under review (other than disclosed under 1), and that I have not accepted and will not accept any financial or other remunerations from outside sources for my participation in the review. I declare that I will report any offers of such remuneration to the chairman of the review committee.”

3.Declaration of independence

“I have read the principles and rules applying to this assessment and I declare that I will follow these to the best of my ability and that I will judge without influence from the institute, programme or other stakeholders, and without bias, personal preference or personal benefit.”


Name: ......................... Date: ................. Signature: ..........................................


Note: If your situation with respect to potential conflict of interest changes in the course of the review, you are obligated to submit an updated disclosure statement. Information provided in this disclosure form will be restricted to authorised persons.