Draaiboek mid-term evaluaties 3TU.Federatie
Een uitgave van het 3TU.Institute of Science and Technology (3TU.IST)
Mei 2008
De 3TU’s volgen het gangbare nationale evaluatiesysteem voor publiek gefinancierd onderzoek (het SEP protocol). Volgens dit systeem wordt al het publiek gefinancierd onderzoek eens in de 6 jaar geëvalueerd. Elke 3 jaar produceert een onderzoekseenheid een zelfevaluatie die gebruikt wordt ter voorbereiding op zowel een externe beoordeling als een interne mid-term review.
Het evaluatiesysteem kent 3 doelen:
*verbetering van de kwaliteit van het onderzoek
*verbetering van het management van het onderzoek
*verantwoording afleggen aan bestuur, fondsen, overheid en maatschappij in brede zin.
Naast het SEP-protocol is voor de 3TU.Federatie een eigen protocol gemaakt om zaken die in het SEP zijn opengelaten, nader in te vullen. Dat 3TU-protocol is voor wat betreft de mid-term review op een onderdeel aangepast: de omvang van de rapportage. De zelfstudie beperkt zich tot het verschaffen van informatie over management, organisatie en strategie op instituutsniveau (deel A). Daarbij ligt het accent op de verbeter- en veranderplannen die de faculteit heeft opgepakt op basis van de aanbevelingen van de voorgaande externe visitatiecommissie. Bij stap 5 van dit draaiboek wordt een toelichting gegeven.
Het SEP- en het 3TU-protocol blijken in de praktijk lastig mee te werken. Dit draaiboek is bedoeld als een hulpmiddel bij het stapsgewijs doorlopen van het arbeidsintensieve proces. De ervaringen die voorgangers hebben opgedaan kunnen een herhaling van problemen wellicht voorkomen. Ook wordt duidelijk welke kaders er zijn (de verplichte elementen uit zowel SEP als 3TU.protocol) en hoeveel ruimte er is voor eigen specifieke invulling. Voor externe onderzoeksbeoordelingen is een apart draaiboek externe onderzoeksbeoordelingen opgesteld.
Vergeleken met een externe beoordeling ligt de nadruk bij een mid-term review vooral op de eerste 2 doelen van het evaluatiesysteem, te weten verbetering van de kwaliteit van het onderzoek, en verbetering van het management van het onderzoek:
-de sterke en zwakke kanten van het onderzoek en de onderzoekseenheid te monitoren (momentopname);
-de bestuurlijke afspraken naar aanleiding van de voorafgaande externe evaluatie te toetsen (terugkijken);
-tijdig aanvullende verbeteracties in gang te zetten, voorafgaand aan de externe visitatie die 3 jaar later zal plaatsvinden, en zonodig nadere profielkeuzes en ambities te bepalen (vooruitkijken)
Daarbij komt dat in tegenstelling tot een externe beoordeling, een mid-term review NIET openbaar is. De aanpak is ook minder zwaar dan bij een externe onderzoeksbeoordeling.
Prof.dr.ir. J.T. Fokkema Prof.dr.ir. C.J. van Duijn Prof.dr. W.H.M. Zijm
Rector Magnificus TUD Rector Magnificus TU/e Rector Magnificus UT
Voorzitter IST
PLAN VAN AANPAK
Stap 1: start van het proces
Verplicht:
üHet uitgangspunt voor een externe onderzoeksbeoordeling is de 6-jarige cyclus die het SEP voorschrijft. Een mid-term review vindt per definitie plaats tussen twee externe evaluaties in. Een mid-term review bestrijkt in principe 3 jaar en sluit aan op de beoordelingsperiode van de voorafgaande externe beoordeling.
üHet reviewproces start in het laatste jaar van de te evalueren periode. Bijv. is de te evalueren periode 2006-2008 dan gaat in 2008 een verzoek uit om de voorbereidingen te starten.
Format:
üDe 3 Colleges van Bestuur stellen het lange termijn tijdschema vast.
üOp basis van dit lange termijn tijdschema stuurt het 3TU.IST bestuur een brief aan de betrokken decanen met het verzoek gezamenlijk voorbereidingen te treffen voor een mid-term review van de desbetreffende discipline.
Ruimte voor eigen invulling:
üAls er gegronde argumenten zijn om een mid-term review een jaar uit te stellen of te vervroegen en de 3 betrokken decanen zijn het met elkaar eens, dan kunnen (en zullen) de CvB’s hiervoor toestemming geven.
Stap 2: in 3TU verband of breder
Verplicht:
üHet uitgangspunt voor een mid-term review is dat het beoordelingsproces met de partners in 3TU verband wordt doorlopen. Dit conform de afspraken die zijn gemaakt bij de federatievorming.
üHet uitgangspunt is het tijdschema dat de 3 technische universiteiten met elkaar zijn overeengekomen.
Format:
üOp voorstel van de betrokken decanen, nemen de 3 CvB’s een besluit.
Ruimte voor eigen invulling:
üAls er gegronde argumenten zijn om de mid-term review stand-alone of met een andere universiteit erbij te doorlopen, dan behoort dit tot de mogelijkheden.
üOp termijn zouden gelijksoortige disciplines (ook van buiten Nederland) kunnen aansluiten bij een mid-term review in 3TU-verband. Een nadeel van meerdere partijen gezamenlijk door een en dezelfde commissie te laten reviewen is het zware beroep op het uithoudingsvermogen van de commissie.
Tips:
üHet proces vraagt overleg binnen en tussen faculteiten, tussen CvB en faculteit, tussen CvB’s en in 3TU.IST verband. Onderschat het niet!
üWijs een onderhandelaar (initiatiefnemer) aan, die het afstemmingsproces tussen de faculteiten en universiteiten kan organiseren en gaande houden.
Stap 3: opstellen en goedkeuring plan van aanpak
Verplicht:
üHet IST-bestuur stuurt de decanen een brief waarin wordt verzocht te starten met de voorbereidingen van een mid-term review.
üHet toepassen van het format plan van aanpak door de 3 betrokken faculteiten/decanen
üHet plan van aanpak dient afgestemd te worden en gelijktijdig aan de 3 CvB’s –via 3TU.IST- ter goedkeuring te worden aangeboden
üDeadline: uiterlijk 6 maanden voor de definitieve zelfstudie (dus 7 maanden voor de site visit)
üEen definitief plan van aanpak is een hamerstuk. De inhoud moet tijdens het opstellen van het plan afgestemd worden met alle betrokken partijen (incl. bestuurders)
üDe kosten worden naar rato, d.w.z. gerelateerd aan het aantal betrokken leerstoelen/fte’s tussen de faculteiten (universiteiten) verdeeld.
Ruimte voor eigen invulling:
üDe betrokken faculteiten/decanen hebben veel ruimte voor eigen invulling. Er is voldoende ruimte om rekening te kunnen houden met verschillen tussen disciplines.
Tips:
üHet is handig om de beoogde voorzitter en de commissieleden tijdig te polsen of men geïnteresseerd en beschikbaar is (zie stap 4 voor meer informatie)
üDe ervaring leert dat de helft van de voorbereidingstijd gaat zitten in het opstellen en afstemmen van een plan van aanpak.
üBetrek adviezen van een beoordelingscommissie van een voorgaande beoordeling over bijvoorbeeld de (ideale) omvang van een programma.
REVIEW COMMISSIE
Stap 4: aanstellen voorzitter en leden mid-term review commissie
Verplicht:
üBij een externe onderzoeksbeoordeling benoemen de CvB’s de voorzitter en de leden, bij een midterm review is een formele benoeming niet aan de orde. Een aanstelling verloopt via de faculteit/decaan.
üDe kosten van de mid-term review wordt naar rato over de faculteiten verdeeld, d.w.z. gerelateerd aan het aantal betrokken leerstoelen/fte’s. De interne verrekening vindt plaats volgens de huisregels van elke TU.
Format:
üDe specificaties rond de mid-term review (incl. wensen betreffende de rapportage) kunnen gelijktijdig met de aanstellingsbrief verstuurd worden.
Ruimte voor eigen invulling:
üDe samenstelling van de mid-term review commissie is een interne aangelegenheid. Uiteraard moeten de 3 decanen het met elkaar eens worden. Maar er is geen externe partij die de samenstelling van de commissie kritisch onder de loep neemt.
üGewenst zijn onafhankelijke commissieleden, maar het ondertekenen van een onafhankelijkheidsverklaring (zoals bij de externe visitaties gangbaar is) is niet nodig.
Tips:
üOngeveer 2 leden, 1 voorzitter en 1 secretaris is de gebruikelijke omvang van een review commissie. De commissie hoeft niet zwaar internationaal te zijn. De secretaris kan bovendien uit de eigen gelederen komen.
ZELFSTUDIE
Stap 5: voorbereiding op en schrijven van de zelfstudie
Verplicht:
üDe 3TU’s wijken af van het format appendix 3 van het SEP. De rapportage van de zelfstudie kan beperkter dan volgens het SEP is voorgeschreven. Dit betekent dat volstaan kan worden met onderstaande niet-doorgestreepte onderdelen uit het SEP-protocol:
A. Institute
1. mission
2. leadership
3. strategy and policy: met nadruk op beleidsconclusies uit vorige externe visitatie
4. personeel: ja, conform format SEP
5. resources, funding and facilities: m.n. toename/afname % 2e en 3e geldstroom op instituutsniveau
6. processes in research, internal and external collaboration: m.n. onderzoekscholen en 3TU
7. academic reputation
8. internal evaluation
9. external evaluation
10. overview of the results (output)
Op programmaniveau (deel B) de nadruk te leggen op de geïnvesteerde input en gerealiseerde output in de te beoordelen periode.
B. level of research programme
1. leadership
2. strategy and policy
3. processes in research, internal and external collaboration
4. academic reputation
5. internal evaluation
6. external validation
7. personeel
8. resources, funding and facilities
9. overview of the results
10. analysis, perspectives and expectations for the research programme
üElke universiteit schrijft de zelfstudie voor zich (het is per slot van rekening een zelfevaluatie), maar er vindt afstemming plaats over de toepassing van het SEP/appendix 3. Dit om te voorkomen dat de beoordelingscommissie met 3 totaal verschillende zelfstudies wordt geconfronteerd.
üSchrijf de zelfstudie in het Engels.
üEen citatie-analyse maakt onderdeel uit van een zelfstudie ten behoeve van zowel een midterm als een externe beoordeling. Aangezien er periodiek een 3TU brede citatiestudie bij het CWTS wordt georganiseerd is het niet nodig om zelf een studie in te kopen. Een analyse van de resultaten van de 3TU brede citatiestudie specifiek voor de te beoordelen discipline is verplicht; de citatie-impact wordt als een belangrijke indicator gezien.
Format:
üSEP/appendix 3 met bovengenoemde aanpassingen
Ruimte voor eigen invulling:
üHet SEP onderscheidt op dit moment niet de output categorie conference proceedings. Ook Engineering en Design (incl. ontwerpen) krijgen niet de volle aandacht die ze verdienen. T.z.t. zullen de criteria voor ontwerpprestaties aan het 3TU-protocol en dit draaiboek worden toegevoegd.
Tips:
üNeem het rapport van de voorgaande externe beoordeling (en mid-term review) erbij. Betrek de aanbevelingen die destijds zijn gedaan bij het schrijven van de zelfstudie.
üStel een informatiedossier (digitaal) samen, formeer een schrijfgroep, en maak een strakke planning.
üMaak een onderscheid in de planning tussen het verzamelen van kwantitatieve data en het schrijven van de inhoudelijke (kwalitatieve) teksten.
üCommuniceer alle stappen in het schrijfproces en creëer draagvlak voor de zelfstudie.
üOrganiseer eventueel een kick-off meeting om het schrijfproces van de zelfstudie formeel in te luiden. Motiveer alle betrokken binnen de faculteit.
Stap 6: toezenden zelfstudie aan beoordelingscommissie
Verplicht:
üBijvoorkeur 6 weken, doch uiterlijk 1 maand voorafgaand aan de site visit dient de commissie de zelfstudies (en eventueel ander voor de beoordeling benodigd materiaal) in handen te hebben.
Format:
üBiedt de stukken (m.n. de zelfstudie) via de secretaris van de beoordelingscommissie (en de voorzitter) aan de commissieleden aan.
SITE VISIT
Stap 7: voorbereiding site visit
Verplicht:
üMaak goede afspraken met de secretaris en de voorzitter van de beoordelingscommissie wat er verwacht kan worden van de site visit (toets elkaars verwachtingen).
üZowel organisatorisch als inhoudelijk moet de site visit goed voorbereid worden.
üDe beoordelingscommissie spreekt het management team van de faculteit/discipline en spreekt elke programmaleider.
üDe commissie wordt gastvrij ontvangen; de reis- en verblijfskosten worden door de ontvangende universiteiten te weten de faculteiten betaald. De leden krijgen van de faculteiten een vooraf afgesproken standaardvergoeding voor de geleverde diensten.
Ruimte voor eigen invulling:
üVolgorde waarin de commissie de verschillende universiteiten bezoekt.
Tips:
üWordt bij een externe onderzoeksbeoordeling alles uit de kast gehaald bij een site visit, bij een midterm review mag het allemaal een onsje minder.
Stap 8: de site visit
Verplicht:
üSite visits zijn in principe ook bij mid-term reviews, vanwege het voordeel van een mondelinge toelichting op de papieren zelfstudie, verplicht.
üKennismaking van de beoordelingscommissie met de te beoordelen programma’s en hun leiders.
üHet programma van de site visit sluit aan op de zelfstudie. Er kunnen accenten worden gelegd die de aandacht van de commissie behoeven. De peers krijgen de kans om het te beoordelen onderzoek met eigen ogen te zien en de betrokken onderzoekers te spreken.
Format:
Zie ook stap 7.
Tips:
üLaat (ambtelijk) medewerkers van de andere universiteiten bij elkaar in de keuken kijken tijdens de site visits.
Stap 9: mondelinge terugkoppeling commissie en rapportage
Verplicht:
üLaatste onderdeel van het site visit programma. De uitspraken van de commissie zijn niet bindend, maar meestal wel veelzeggend.
üDe schriftelijke rapportage door de commissie bevat in elk geval een beschouwing over de sterke en zwakke kanten van het onderzoek, een toetsing van de bestuurlijke afspraken naar aanleiding van de voorafgaande externe evaluatie, en een vooruitblik voor de komende drie jaar.
Format:
üEen mondelinge terugkoppeling duurt meestal 1 uur en vindt direct na een plenaire concluderende sessie van de commissie plaats.
Tips:
üStem wederom af welke verwachtingen de faculteit heeft ten aanzien van de terugkoppeling (de gewenste diepgang) en de wijze waarop de commissie de terugkoppeling denkt aan te pakken. Uiteraard dient de presentatie en de rapportage consistent te zijn.
üVoor alle duidelijkheid: bij de mid-term review worden geen scores QPRV uitgedeeld, maar blijft de rapportage beperkt tot de genoemde sterke en zwakke kanten van het onderzoek, een toetsing van de bestuurlijke afspraken naar aanleiding van de voorafgaande externe evaluatie, en een vooruitblik voor de komende drie jaar.
RAPPORT
Stap 10: aanbieding rapportage aan College van Bestuur
Verplicht:
üDe faculteitsbesturen leggen het resultaat van de interne zelfevaluatie in een beoordelingsrapport aan de Colleges voor. Het beoordelingsrapport van een faculteitsbestuur omvat:
- de zelfstudie van de onderzoekseenheid;
- een beschrijving van de door het faculteitsbestuur gekozen werkwijze van de interne zelfevaluatie;
- beoordelingen en adviezen van geraadpleegde derden;
- en de conclusies van het faculteitsbestuur op het niveau van de eenheid als geheel en op het niveau van de onderzoeksprogramma’s, thema’s of clusters.
üDe Colleges bespreken de conclusies van de faculteitsbesturen met de decanen (en de samenwerkingspartners).
üDesgewenst kan het IST-bestuur aparte acties ondernemen voor overleg.