Draaiboek externe onderzoeksbeoordelingen 3TU.Federatie
Een uitgave van het 3TU.Institute of Science & Technology (3TU.IST)
Mei 2008
De 3TU’s volgen het gangbare nationale evaluatiesysteem voor publiek gefinancierd onderzoek (het SEP protocol). Het Standard Evaluation Protocol 2003-2009 For Public Research Organisations (SEP) is opgesteld door de VSNU, KNAW en NWO, en zal in 2008 worden herijkt. Volgens dit systeem wordt al het publiek gefinancierd onderzoek eens in de 6 jaar geëvalueerd. Elke 3 jaar produceert een onderzoekseenheid een zelfevaluatie die gebruikt wordt ter voorbereiding op zowel een externe beoordeling als een interne midterm review.
Het evaluatiesysteem kent 3 doelen:
*verbetering van de kwaliteit van het onderzoek
*verbetering van het management van het onderzoek
*verantwoording afleggen aan bestuur, fondsen, overheid en maatschappij in brede zin.
Naast het SEP-protocol is voor de 3TU.Federatie een eigen protocol gemaakt om zaken die in het SEP zijn opengelaten, nader in te vullen. Dat 3TU-protocol blijft van kracht, maar is op een aantal punten geactualiseerd. Bovendien is uit de evaluatie van het 3TU.protocol gebleken dat het lastig is er in de praktijk mee te werken. Dit draaiboek voor externe onderzoeksbeoordelingen (visitaties) is bedoeld als een hulpmiddel bij het stapsgewijs doorlopen van het arbeidsintensieve proces. Voor de midterm reviews is een apart 3TU.draaiboek midterm reviews opgesteld.
De ervaringen die voorgangers hebben opgedaan kunnen een herhaling van problemen wellicht voorkomen. Ook wordt duidelijk welke kaders er zijn (de verplichte elementen uit zowel SEP als 3TU.protocol) en hoeveel ruimte er is voor eigen specifieke invulling.
Prof.dr.ir. J.T. Fokkema Prof.dr.ir. C.J. van Duijn Prof.dr. W.H.M. Zijm
Rector Magnificus TUD Rector Magnificus TU/e Rector Magnificus UT
Voorzitter IST
De externe beoordeling in fasen
De 14 stappen die het draaiboek doorloopt kunnen geclusterd worden tot een 6-tal fasen, elke fase kent zijn eigen mijlpaal.
Plan van aanpak externe beoordeling stap 1 t/m 3
Beoordelingscommissie stap 4
Zelfstudie stap 5 en 6
Site visit stap 7 t/m 9
Beoordelingsrapport stap 10 t/m 12
Onderzoeksbeleid stap 13 en 14
Wanneer een visitatie plaatsvindt, is in het jaar ervoor de zelfstudie afgerond. In feite beginnen de voorbereidingen nog eerder. In onderstaand schema zijn de fasen in de tijd geplaatst. De vervolgstappen worden in de volgende bladzijden toegelicht.
Visitatie in jaar t
Jaar maand Fase stappen
t-2 jan. plan van aanpak 1. start: brief van CvB’s aan decanen
2. besluit: visitatie in 3TU-verband of breder
najaar 3. vaststelling plan van aanpak
beoordelings- 4. benoeming voorzitter en leden
Commissie
- - - -
t-1 juli zelfstudie 5. definitief concept zelfstudie
september vaststelling door CvB’s
oktober/november 6. zelfstudie naar commissie
7. voorbereiding site visit
- - - -
t februari site visit 8. site visit
9. mondelinge terugkoppeling commissie
mei beoordelingsrapport 10. commentaar op conceptrapport
september 11. aanvaarding conceptrapport incl. instituutscommentaar
oktober 12. ontvangst gedrukt rapport
december onderzoeksbeleid 13. verbetermaatregelen
14. inbedding in Planning & Control cyclus
t+3 midterm review
Veelal wordt er de voorkeur aan gegeven de site visits aan het einde van het kalenderjaar te laten plaatsvinden. Het tijdschema dient in dat geval aan deze alternatieve “t” aangepast te worden.
PLAN VAN AANPAK
Stap 1: start van het proces
Verplicht:
üHet uitgangspunt voor een externe onderzoeksbeoordeling is de 6-jarige cyclus die het SEP voorschrijft. De beoordelingsperiode van de nieuwe beoordeling bestrijkt 6 jaar en sluit aan op de beoordelingsperiode van de voorgaande externe beoordeling.
üElke programma van elke discipline binnen elke faculteit dient in principe minstens 1x per 6 jaar beoordeeld te worden door een peer review committee,
üHet beoordelingsproces start in het laatste jaar van de te beoordelen periode. Bijv. te beoordelen periode 2003-2008 dan gaat in 2008 een verzoek om de voorbereidingen te starten uit.
Format:
üDe 3 Colleges van Bestuur stellen het lange termijn tijdschema vast.
üOp basis van dit lange termijn tijdschema stuurt het 3TU.IST bestuur een brief aan de betrokken decanen met het verzoek gezamenlijk voorbereidingen te treffen voor een externe onderzoeksbeoordeling van de discipline.
Ruimte voor eigen invulling:
üAls er gegronde argumenten zijn om een externe beoordeling een jaar uit te stellen (of naar voren te halen) en de 3 betrokken decanen/instituutsdirecteuren zijn het daarover eens, dan is dit in principe mogelijk.
Stap 2: in 3TU verband of breder
Verplicht:
üHet uitgangspunt voor een externe onderzoeksbeoordeling is het beoordelingsproces met de partners in 3TU verband te doorlopen. Dit is conform de afspraken die zijn gemaakt bij de federatievorming.
üHet uitgangspunt is het tijdschema dat de 3 technische universiteiten met elkaar zijn overeengekomen. Bij de definitieve start van elke beoordeling dient een definitieve beslissing genomen te worden.
Format:
üOp voorstel van de betrokken decanen, nemen de 3 CvB’s het besluit met welke partners de onderzoeksbeoordeling gaat plaatsvinden. In gevallen van disciplines die aan 2 TU’s beoefend worden of bij unica, besluiten de twee betrokken CvB’s resp. het CvB waar het vakgebied als enige beoefend wordt.
Ruimte voor eigen invulling:
üAls er gegronde redenen zijn om de beoordeling stand-alone of met een andere universiteit naast de 3TU’s te organiseren, dan behoort dit tot de mogelijkheden.
üOp termijn zouden gelijksoortige disciplines (ook van buiten Nederland) kunnen aansluiten bij een beoordeling in 3TU-verband. Een nadeel van meerdere partijen gezamenlijk door een en dezelfde commissie laten beoordelen is het zware beroep op het uithoudingsvermogen van de commissie.
Tips:
üBesluitvorming vraagt overleg binnen en tussen faculteiten, tussen CvB en faculteit, tussen CvB’s en in 3TU.IST verband. Onderschat deze stap niet!
üWijs een onderhandelaar (initiatiefnemer) aan, die het afstemmingsproces tussen de faculteiten en universiteiten kan organiseren en gaande houden.
Stap 3: opstellen en goedkeuring plan van aanpak
Verplicht:
üHet toepassen van het format plan van aanpak [zie hieronder] door de 3 betrokken faculteiten/decanen
üHet plan van aanpak dient afgestemd te worden en wordt door het IST aan de 3 CvB’s ter goedkeuring aangeboden
üIn dit stadium wordt de voorzitter voorgesteld; in overleg met hem/haar kunnen later de overige leden van de commissie gezocht worden
üDeadline: uiterlijk 6 maanden voor definitieve zelfstudie (dus 7 maanden voor de site visit)
üEen definitief plan van aanpak is een hamerstuk. De inhoud moet tijdens het opstellen van het plan afgestemd worden met alle betrokken partijen (incl. bestuurders)
üDe kosten van de site visit worden naar rato, d.w.z. gerelateerd aan het aantal betrokken leerstoelen/fte’s tussen de faculteiten (universiteiten) verdeeld.
üWanneer de diensten van de QANU worden ingeschakeld dan dient zorgvuldig bepaald te worden wat, wanneer en hoe de QANU dient te leveren. Het belangrijkste is dat de secretarisrol door een onafhankelijk en ervaren/kundig persoon wordt vervuld.
üEen verbijzondering (definities e.d.) van het SEP-format dient in onderling overleg tussen de participerende faculteiten afgestemd te worden.
Formats:
üEen plan van aanpak omvat 8 elementen:
oplanning
ooverzicht te beoordelen onderzoeksprogramma’s incl. omvang WP fte en de betrokken programmaleiders
obegroting incl. kosten verdeling over de 3 universiteiten (en namen van contactpersonen)
ovoorstel voorzitter beoordelingscommissie
ovoorstel profiel commissieleden
owel of geen citatie-analyse (+ argumentatie)
owel of geen gebruik van de diensten van de QANU (+ argumentatie)
oaan de commissie te leveren (kwantitatieve) informatie, voor zover afwijkend van het SEP
oeventuele additionele vragen die zowel door CvB als vanuit de faculteit aan de commissie gesteld kunnen worden
Ruimte voor eigen invulling:
üBinnen het format voor een plan van aanpak hebben de betrokken faculteiten/decanen veel ruimte voor eigen invulling en aanvulling. Er is voldoende ruimte om rekening te kunnen houden met verschillen tussen disciplines.
üDe keuze om wel of niet de diensten van de QANU in te schakelen is aan de te beoordelen disciplines zelf. Inpassen in de QANU-reeks heeft duidelijk zijn voordelen (onafhankelijkheid- en kwaliteitsstempel).
Tips:
üHet is handig om de beoogde voorzitter te polsen of de betrokkene beschikbaar en geïnteresseerd is alvorens zijn/haar naam aan het CvB voor te leggen
üDe shortlist commissieleden komt tot stand na 1) onderling overleg tussen de 3 faculteiten (de longlist) en 2) afstemming met de benoemde voorzitter.
üDe ervaring leert dat de helft van de voorbereidingstijd gaat zitten in het opstellen en afstemmen van een plan van aanpak.
üBetrek adviezen van een beoordelingscommissie van een voorgaande beoordeling over bijvoorbeeld de (ideale) omvang van een programma.
BEOORDELINGSCOMMISSIE
Stap 4: benoeming voorzitter en leden beoordelingscommissie
Verplicht:
üDe Colleges van Bestuur benoemen de voorzitter. Daarna worden de commissieleden benoemd. De benoemingen van de commissieleden vinden plaats na de voordracht van de faculteiten en nadat advies is ingewonnen bij de voorzitter.
üVoor de voordracht en selectie van de leden van de visitatiecommissie gelden specifieke uitgangspunten (en procedures) ten aanzien van onafhankelijkheid, expertise en wetenschappelijke kwaliteit. Deze zijn:
-toonaangevende wetenschappelijke expertise in tenminste één subdiscipline van het te beoordelen vakgebied;
-(inter)nationaal gezag in het vakgebied;
-minstens de helft van de commissieleden dient toonaangevende expertise te hebben in toepassingsgericht onderzoek;
-onafhankelijkheid ten opzichte van de te beoordelen eenheid en onderzoekers binnen de eenheid;
-inzicht in, en zo mogelijk enige expertise in, belendende subdisciplines;
-inzicht in en visie op (inter)nationale ontwikkelingen in het vakgebied;
-inzicht in relevante interdisciplinaire ontwikkelingen;
-twee of meer leden van de commissie moeten ook bestuurlijke ervaring hebben als decaan, rector of instituutsdirecteur;
-(enige) bekendheid met de organisatie van het onderzoek in Nederland en het land of de landen van de samenwerkingspartners;
-De commissie bestaat voor minimaal de helft uit leden die niet eerder aan een visitatie van de eenheid hebben deelgenomen.
üTer bepaling van de onafhankelijkheid van de potentiële voorzitter, leden en secretaris van de visitatiecommissie worden in elk geval de volgende vragen in overweging genomen:
-Heeft de beoogde kandidaat in het verleden deel uitgemaakt van de te beoordelen eenheid?
-Heeft de beoogde kandidaat zitting of zitting gehad in adviesraden van de te beoordelen eenheid?
-Is er sprake van intensieve samenwerking tussen de beoogde kandidaat en stafleden uit de te beoordelen eenheid (b.v. veelvuldig samen publiceren, gezamenlijk participeren in langdurige samenwerkingsverbanden, regelmatig deelnemen in promotiecommissies)?
-Heeft de beoogde kandidaat nauwe banden met één of meerdere stafleden van te beoordelen eenheden (b.v. als promotor opgetreden voor een staflid, staflid heeft deel uitgemaakt van dezelfde onderzoeksgroep als de beoogde kandidaat, gezamenlijke redacteurschappen)?
Indien één of meerdere van deze vragen bevestigend beantwoord moeten worden, dan zal dit door het faculteitsbestuur expliciet kenbaar gemaakt worden bij de voordracht van de betreffende kandidaat. Daarbij zal tevens worden aangegeven waarom het faculteitsbestuur van mening is dat de onafhankelijkheid van de voorgestelde kandidaat voldoende kan worden gewaarborgd.
üDe Colleges van Bestuur behouden zich het recht voor om de lijst van voorgedragen kandidaten vertrouwelijk door externe experts te laten toetsen.
üDe voorzitter en de leden van de visitatiecommissie wordt bij hun benoeming verzocht een verklaring te tekenen waarin zij aangeven een onafhankelijk oordeel te zullen geven.
Format:
üDe Colleges van Bestuur benoemen en installeren de voorzitter en de commissieleden, het 3TU.IST stuurt in naam van de 3 CvB’s de benoemingsbrieven uit.
üVoorzitter, secretaris en leden van de commissie ondertekenen een verklaring van onafhankelijkheid.
üDe specificaties rond de beoordelingsopdracht (incl. wensen betreffende het beoordelingsrapport bijvoorbeeld geen halve scores op QPRV) en eventuele additionele vragen kunnen gelijktijdig met de benoemingsbrief verstuurd worden. Maar meestal wordt ervoor gekozen om deze informatie gelijktijdig met de zelfstudies aan de commissie te verstrekken.
Tips:
üOngeveer 6 leden, 1 voorzitter en 1 secretaris lijkt de meeste ideale omvang van een beoordelingscommissie te zijn.
üElk te beoordelen vakgebied/domein dient in de commissie te zijn vertegenwoordigd. Neem voor elk beoogd lid 1 of 2 reserve kandidaten in de groslijst op.
üPols de beoogde kandidaat leden alvorens een shortlist aan het CvB voor benoeming voor te leggen. Bovendien dient de voorzitter akkoord te zijn.
ZELFSTUDIE
Stap 5: voorbereiding op en schrijven van de zelfstudie
Verplicht:
üHet SEP en dan met name appendix 3 is de leidraad voor het schrijven van de zelfstudie.
üElke universiteit schrijft de zelfstudie voor zich (het is per slot van rekening een zelfevaluatie), maar er vindt afstemming plaats over de toepassing van het SEP/appendix 3. Dit om te voorkomen dat de beoordelingscommissie met 3 totaal verschillende zelfstudies wordt geconfronteerd.
üSchrijf de zelfstudie in het Engels.
üHet College van Bestuur stelt de definitieve zelfstudie vast; een concept versie van de zelfstudie dient dan ook tijdig gecommuniceerd te worden met de portefeuillehouder, de Rector Magnificus. De nadruk ligt hierbij op het instituutsdeel, deel A.
üEr dient expliciet te worden ingegaan op het rapport van de voorgaande externe beoordeling (en midterm review). Betrek de aanbevelingen die destijds zijn gedaan bij het schrijven van de zelfstudie.
ü(Zie 3TU.protocol 4.12) Voor onderzoekers die naast hun aanstelling bij een TU tevens een aanstelling hebben bij een andere universitaire of niet-universitaire instelling, zal voor de beoordeling worden uitgegaan van de onderzoeksoutput die in het kader van hun aanstelling aan de desbetreffende TU is gegenereerd.
üEen citatie-analyse maakt onderdeel uit van een zelfstudie ten behoeve van zowel een midterm als een externe beoordeling. Aangezien er periodiek een 3TU brede citatiestudie bij het CWTS wordt georganiseerd is het niet nodig om zelf een studie in te kopen. Een analyse van de resultaten van de 3TU brede citatiestudie specifiek voor de te beoordelen discipline is verplicht; de citatie-impact wordt als een belangrijke indicator gezien.
Format:
üSEP/appendix 3
üDe aanbevelingen van de Meta-evaluatie Commissie (MEC) “ trust, but verify” komen de kwaliteit van de zelfstudie zeker ten goede. Het is zinvol om het rapport te raadplegen.
üDe additionele vragen die aan de peer review committee gesteld gaan worden dienen afdoende in de zelfstudie te worden geadresseerd. De commissie dient de benodigde informatie om antwoord te kunnen geven uiteraard wel in handen te hebben.
Ruimte voor eigen invulling:
üHet SEP onderscheidt op dit moment niet de output categorie conference proceedings. Ook Engineering en Design (incl. ontwerpen) krijgen niet de volle aandacht die ze verdienen. Aan het 3TU-protocol en dit draaiboek zullen t.z.t. criteria voor het beoordelen van ontwerpprestaties toegevoegd worden.
Tips:
üStel een informatiedossier (digitaal) samen. Formeer een schrijfgroep, en maak een strakke doch realistische planning.
üMaak een onderscheid in de planning tussen het verzamelen van kwantitatieve data en het schrijven van de inhoudelijke (kwalitatieve) teksten.
üCommuniceer alle stappen in het schrijfproces en creëer draagvlak voor de zelfstudie binnen de eigen faculteit.
üOrganiseer een kick-off meeting om het schrijfproces van de zelfstudie formeel in te luiden. Motiveer alle betrokkenen binnen de faculteit.
üWijs een stevige interne projectleider (bij voorkeur een wetenschapper) aan die de totstandkoming van de zelfstudie zowel organisatorisch als inhoudelijk kan managen.
üLeg heldere en uniforme formats voor aan de programmaleiders die elk een evaluatie van hun eigen programma (deel B) moeten schrijven. Zorg voor consistentie vanaf het eerste begin.
üLeg meteen de vraag voor 3 tot 5 key-publications aan de programmaleiders voor.
üMaak tijdig afspraken met de drukker en bepaal ook de oplage, de opmaak etc.
Stap 6: toezenden zelfstudie aan beoordelingscommissie
Verplicht:
üBijvoorkeur 6 weken, doch uiterlijk 1 maand voorafgaand aan de site visit dient de commissie de zelfstudies (en eventueel ander voor de beoordeling benodigd materiaal waaronder het SEP) in handen te hebben.
üZorg ervoor dat de commissie ook tijdig beschikt over de beoordelingsopdracht, de wensen en eisen die gesteld worden aan het beoordelingsrapport (zie ook stap 3 en stap 10), en de eventuele additionele vragen die de CvB’s en/of de decanen graag beantwoord willen zien.
Format:
üBiedt de stukken (m.n. de zelfstudie en het SEP) aan de secretaris van de beoordelingscommissie (en de voorzitter) aan. De secretaris draagt verder zorg voor de verspreiding onder de commissieleden. De taken worden over de commissieleden verdeeld o.a. via de formulieren voor een preliminary assessment.
üDe beoordelingscommissie krijgt gelijktijdig met de beoordelingsopdracht een format waaraan het beoordelingsrapport moet voldoen. Voor een groot deel kan verwezen worden naar het SEP en het MEC-rapport (“trust, but verify”). Maar bovendien wordt aan de commissie gevraagd:
ode kwantitatieve scores QPRV (schaal 1 t/m 5) consistent te laten zijn met de onderliggende kwalitatieve oordelen (beargumenteer zorgvuldig de uitschieters naar boven en naar beneden)
oneem ook suggesties en alternatieve oplossingen op (beperk niet tot het bevestigen van bevindingen door de discipline zelf)
omaak duidelijk een onderscheid tussen maatschappelijke en wetenschappelijke relevantie
obeperk een beoordeling van het instituut tot een kwalitatief verhaal (dus geen overall scores QPRV)
oreflecteer op de wijze waarop de 3TU met elkaar afstemmen en samenwerking plaatsvindt.
Ruimte voor eigen invulling:
üEen faculteit/discipline kan ervoor kiezen bepaalde informatie (om strategische redenen) pas bij de site visit aan de commissie aan te bieden.
SITE VISIT
Stap 7: voorbereiding site visit
Verplicht:
üDe commissie krijgt een standaardvergoeding voor de geleverde diensten, te weten: de dagvergoeding voor een commissielid is 225 euro, de voorzitter ontvangt 450 euro per dag.
üDe commissie wordt gastvrij ontvangen; hun reis- en verblijfskosten worden door de ontvangende universiteiten betaald.
Format:
Een voorbeeld programma:
oDag 1 Ontvangst vanaf Schiphol, taxi naar de TUD
oOpeningsdiner (met bijv. de 3 CvB’s (RM’s) en de 3 betrokken decanen)
oDag 2 Start site visit TUD met plenaire sessie commissie
oGevolgd door gesprek met MT faculteit, pauze
oGevolgd door de verschillende gesprekken met de programmaleiders
oDag 3 resterende gesprekken met de programmaleiders,
oCommissie trekt zich terug en beraad zich over de mondelinge terugkoppeling
oVertrek met taxibus naar TU/e alwaar gedineerd wordt (commissie alleen of met TU/e-ers)
oEtc. etc.
NB. zowel bij de start van de site visit als bij de mondelinge terugkoppeling ontmoet de RM graag de beoordelingscommissie.
Ruimte voor eigen invulling:
üVolgorde waarin de commissie de verschillende universiteiten bezoekt.
Tips:
üMaak goede afspraken met de secretaris en de voorzitter van de beoordelingscommissie wat er verwacht kan worden van de site visit (toets elkaars verwachtingen). Stel in onderling overleg het programma van het bezoek op.
üZowel organisatorisch als inhoudelijk moet de site visit goed voorbereid worden.
üStel een schrijfwijzer/format op voor de presentatie van de programmaleiders. Beperk de duur van de presentatie en zet de highlights genoemd in de zelfstudie aan.
üMaak het programma niet te druk. De commissie krijgt een berg informatie te verwerken en moet de kans krijgen alle indrukken op zich te laten inwerken. Dit zal de kwaliteit van het oordeel ten goede komen.
üMaak het verblijf van de commissie zo aangenaam mogelijk. Regel goede catering, een prettige ruimte waar de commissie zich kan terugtrekken (voorzien van wireless access en telefoons waarmee naar het buitenland gebeld kan worden), een goed hotel en goede restaurants.
üPosterpresentaties van de PhD’s doen het vaak heel goed bij een site visit (prepareer de PhD’s op mogelijke vragen van de commissie.
Stap 8: de site visit
Verplicht:
üKennismaking van de beoordelingscommissie met de te beoordelen programma’s en hun leiders.
üHet programma sluit aan op de zelfstudie. Er kunnen bepaalde accenten worden gelegd die de aandacht van de commissie behoeven. De peers krijgen de kans om het te beoordelen onderzoek met eigen ogen te zien en de betrokken onderzoekers te spreken.
üDe beoordelingscommissie spreekt het management team van de faculteit/discipline en spreekt elke programmaleider.
Format:
Zie ook stap 7.
Tips:
üDenk ook op de dag van de site visit aan de details: bijvoorbeeld een ceremoniemeester, plattegronden van gebouwen en de stad, paraplu’s, etc.
üLaat medewerkers van de andere universiteiten bij elkaar meekijken.
Stap 9: mondelinge terugkoppeling beoordelingscommissie
Verplicht:
üLaatste onderdeel van het site visit programma per instituut. De uitspraken van de commissie zijn niet bindend, maar meestal wel veelzeggend.
üZowel de portefeuillehouder van het CvB (RM), de decaan als de programmaleiders kunnen deze presentatie bijwonen.
Format:
üEen mondelinge terugkoppeling duurt meestal 1 uur en vindt direct na een plenaire concluderende sessie van de commissie plaats.
üZowel de decaan als de RM kunnen naast de voorzitter van de commissie het woord nemen. In hun rol van gastheer kunnen zij bepaalde vragen nader aan de orde stellen, met name de vraag naar de macrodoelmatigheid.
Ruimte voor eigen invulling:
üMaak een eigen verslag van de mondeling weergegeven bevindingen van de beoordelingscommissie.
Tips:
üStem wederom af welke verwachtingen de faculteit heeft ten aanzien van de terugkoppeling (de gewenste diepgang) en de wijze waarop de commissie de terugkoppeling denkt aan te pakken.
BEOORDELINGSRAPPORT
Stap 10: commentaar op conceptrapportage
Verplicht:
üBinnen 3 maanden na de site visit levert de beoordelingscommissie een eerste concept rapport. De beoordeelde discipline (faculteit) voert een toets uit naar feitelijke onjuistheden, consistentie en volledigheid (fase hoor- en wederhoor).
üDe conceptrapportage wordt ook tegen het licht gehouden van de beoordelingsopdracht. Een format (zie stap 5) waaraan het rapport moet voldoen maakt onderdeel uit van deze opdracht. De commissie krijgt de beoordelingsopdracht (incl. format rapport) voorafgaand aan de site visit (zie stap 5)
üDe decanen koppelen individueel de bevindingen terug aan de beoordelingscommissie. Voor de volledigheid informeren zij elkaar en het 3TU.IST
üDe decanen leggen ook het voornemen om een instituutsreactie (al dan niet gezamenlijk) aan het 3TU.IST voor.
Format:
üHet format voor het beoordelingsrapport dat onderdeel uitmaakt van de beoordelingsopdracht (zie stap 5) kan als checklist bij deze stap dienen.
Tips:
üNaast elkaar en het 3TU.IST te informeren is het het overwegen waard om de terugkoppeling intensief af te stemmen. Dit afstemmingsproces zal de nodige extra tijd in beslag nemen, maar het zal de kwaliteit van het beoordelingsrapport ten goede komen.
Stap 11: aanvaarding conceptrapport incl. instituutscommentaar
Verplicht:
üUiterlijk 3 maanden na het 1e concept (en dus uiterlijk 6 maanden na de site visit ontvangen de 3 CvB’s (zijnde de opdrachtgevers en eindverantwoordelijken) het definitieve eindrapport ter aanvaarding.
üEen instituutsreactie (al dan niet per universiteit afzonderlijk) kan onderdeel uitmaken van de formele aanvaarding en dient gereed te zijn op het moment dat het definitieve rapport ter aanvaarding wordt aangeboden.
üDe Colleges besluiten, in overleg met de faculteitsbesturen, tot aanvaarding van het visitatierapport indien naar hun inzicht het visitatierapport aan alle vereisten voldoet overeenkomstig het Standaard Evaluatie Rapport, en vereisten die door de universiteit zelf zijn gesteld.
üDe Colleges kunnen in voorkomende gevallen, in overleg met de faculteitsbesturen, besluiten het visitatierapport af te wijzen. De Colleges maken een dergelijk besluit bekend aan de voorzitter en leden van de visitatiecommissie.
Format:
üCvB-brief of 3TU.IST brief (eventueel inclusief instituutsreactie).
Ruimte voor eigen invulling:
üKeuze wel of geen instituutsreactie en/of gezamenlijke reactie.
Tips:
üDe QANU laat gelijktijdig met het publiceren van een beoordelingsrapport een persbericht uitgaan. Neem bij de aanvaarding van het rapport meteen een akkoord op het persbericht mee.
Stap 12: ontvangst gedrukt rapport en start bestuurlijke behandeling
Verplicht:
üHet rapport wordt aan het College van Bestuur (zijnde de opdrachtgever) en aan de betrokken decanen aangeboden.
üEen beoordelingsrapport is openbaar en wordt zowel door de QANU als door de beoordeelde universiteit op het web geplaatst. De QANU laat meestal ook een persbericht uitgaan.
üDe universiteit neemt in het kader van verantwoording in haar jaarverslag een paragraaf onderzoeksbeoordelingen op. De gepubliceerde rapporten incl. de resultaten op hoofdlijnen worden voorzien van een globaal plan van actie toegelicht.
üZodra het beoordelingsrapport in gedrukte vorm voorhanden is, vraagt het College van Bestuur aan de decaan om een verbeter- en veranderplan op te stellen.
üDe beoordeling wordt financieel afgewikkeld en de commissie wordt formeel van haar taak ontheven.
Format:
üIn een verbeter- en veranderplan vraagt het CvB aan de decaan (format):
oIn welke mate de decaan/discipline zich in het oordeel van de commissie kan vinden (beknopte evaluatie van de beoordeling).
oWelke maatregelen de decaan voornemens is te treffen: zowel faculteitsbreed als per programma.
oWanneer de decaan een suggestie van de commissie niet zal opvolgen dan dient dit in het verbeterplan beargumenteerd te worden.
oEen advies te geven aan het 3TU.IST over macrodoelmatigheid (waar zit ongewenst overlap c.q. hoe tot meer focus en massa te komen).
Ruimte voor eigen invulling:
üDe wijze waarop de financiën afgehandeld moeten worden is afhankelijk van de afspraken die hierover in het plan van aanpak tussen universiteiten (en bij de TU Delft tussen het CvB en de faculteit) zijn gemaakt.
Tips:
üMaak tijdig een afspraak tussen de portefeuillehouder RM en de decaan om over het verbeter- en veranderplan te praten.
ONDERZOEKSBELEID
Stap 13: verbetermaatregelen en doelstellingen naar aanleiding van bevindingen
Verplicht:
üDe bestuurlijke follow-up vindt binnen iedere universiteit voor zich plaats. Het College van Bestuur is via de portefeuillehouder RM met de decaan van de betrokken faculteit aan zet.
üIn 3TU.IST verband wordt zorgvuldig aandacht geschonken aan de beantwoording van de zogenoemde macrodoelmatigheidsvraag. Het IST bestuur laat zich hiervoor adviseren door de 3 betrokken decanen.
üIeder CvB informeert de MEC (meta-evaluatie commissie) over de uitkomsten van een onderzoeksbeoordeling. Indien nodig kan hiervoor afstemming gepleegd worden via het 3TU.IST bestuur.
Stap 14: inbedding in P&C cyclus
Verplicht:
üNa een expliciet verbeter- en veranderplan naar aanleiding van de onderzoeksbeoordeling en een diepgaand gesprek met de RM hierover, wordt de verdere monitoring van de verbeter- en verandermaatregelen ingebed in de reguliere Planning & Control cyclus.
üDat betekent dat de decaan in zijn facultair jaar(meerjaren)plan hierover een paragraaf opneemt en dat het onderwerp expliciet op de agenda staat bij bilaterale overleggen tussen CvB en faculteit.
Format:
üFormat facultair (M)JP en agenda bilateraal.