3 T U - I N S T I T U T E O F S C I E N C E A N D T E C H N O L O G Y
Mei 2008
Protocol onderzoeksbeoordelingen van de drie Technische Universiteiten
1. Inleiding
1.1 Protocol 3 TU
▪ Het protocol van de drie TU’s is de handleiding voor tussentijdse zelfevaluaties en externe onderzoeksvisitaties. Uitgangspunt hierbij is het Standaard Evaluatie Protocol 2003 – 2009, zoals ontwikkeld door VSNU, NWO en KNAW op basis van het rapport ‘Kwaliteit verplicht’ van de werkgroep Kwaliteitszorg Wetenschappelijk Onderzoek dat onder voorzitterschap van Van Bemmel is uitgebracht.
Tevens is er een draaiboek voor externe onderzoeksbeoordelingen en een draaiboek voor midterm reviews (tussentijdse zelfevaluatie) opgesteld. Coördinatoren worden met behulp van de draaiboeken stapsgewijs door het voorbereiding- en beoordelingsproces geleid; de draaiboeken fungeren in aanvulling op dit 3TU.protocol als een praktisch hulpmiddel.
1.2 Tijdschema externe visitaties en interne zelfevaluaties
Zie bijlage tijdschema 2008-2011
1.3 De te beoordelen onderzoekseenheden
▪ Al het onderzoek wordt niet vaker dan eenmaal per zes jaar extern beoordeeld.
▪ De faculteit is de organisatorische eenheid waarbinnen al het onderzoek wordt beoordeeld.
▪ Onderzoek dat organisatorisch buiten de faculteit is ondergebracht (bijvoorbeeld in een onderzoekschool) wordt gelijk met het onderzoek in de faculteit beoordeeld. De resultaten worden ingebracht in de externe beoordelingen van de onderzoekscholen en instituten waarin de faculteit participeert. De resultaten blijven drie jaar geldig. De ECOS heeft in haar Protocol Erkenningsprocedure Onderzoekscholen de bepaling opgenomen dat voor de aanvraag van een vervolgerkenning een evaluatierapport dient te worden overlegd van een externe internationale commissie van deskundigen; het rapport mag niet ouder zijn dan drie jaar.
1.4 Vergelijkbaarheid
▪ Het landelijke protocol biedt universiteiten de mogelijkheid om te kiezen voor een afzonderlijke beoordeling of voor beoordeling in (inter)nationale samenwerkingsverbanden. De drie Colleges stellen voorop dat bij de externe beoordelingen vergelijking met andere onderzoeksgroepen plaats vindt. Internationale vergelijkbaarheid verdient de voorkeur.
▪ De mogelijkheid tot samenwerking tussen de drie TU’s dient steeds als eerste optie te worden onderzocht. Daarnaast kan ook met andere universiteiten of instituten worden samengewerkt. Nadat de samenwerkingsmogelijkheden zijn onderzocht, geven de faculteiten hun voorkeur door aan de Colleges. Indien de voorgestelde samenwerking niet in 3TU-verband plaatsvindt, geven de faculteiten gemotiveerd aan waarom deze samenwerking meerwaarde heeft boven samenwerking in 3TU-verband.
▪ Twee jaar vóór de visitatie melden de faculteiten aan de Colleges met welke universitaire groepen en/of onderzoeksinstituten zij samen de visitatie willen organiseren. Daarbij wordt gezocht naar samenwerkingspartners die vergelijkbare onderzoeksthema’s prioriteit geven. In principe wordt dan al het onderzoek van een faculteit in de beoordeling betrokken; de faculteiten kunnen in specifieke gevallen ervoor kiezen onderdelen van de faculteit met verschillende samenwerkingspartners te laten beoordelen.
▪ Indien de faculteiten geen samenwerkingsmogelijkheden zien, geven zij gemotiveerd aan waarom een afzonderlijke visitatie gewenst is.
▪ De Colleges maken de definitieve keuze over de samenwerkingspartners.
De definitieve keuze over de beoordelingspartner(s) is cruciaal om vervolgens een gezamenlijk plan van aanpak te kunnen produceren. Het 3TU.IST vraagt namens de (2 of) 3 CvB’s aan de betrokken faculteiten per brief in het laatste jaar van de beoordelingsperiode dit gezamenlijke plan van aanpak op te stellen.
2. Uitgangspunten
2.1 Kwaliteitsbeleid onderzoek
▪ De Colleges zetten de onderzoeksbeoordelingen in als instrument voor toetsing en bevordering van de kwaliteit van het wetenschappelijk onderzoek. Dit betreft zowel de kwaliteit van het onderzoek zelf als het onderzoeksklimaat binnen de drie TU’s. Bij de onderzoeksbeoordelingen worden specifieke kenmerken van de wetenschapsdomeinen in acht genomen.
2.2 Doel van de onderzoeksbeoordelingen
▪ Het doel van de onderzoeksbeoordeling is gericht op:
- de externe verantwoording over de geleverde onderzoeksprestaties van de te beoordelen onderzoekseenheid,
- het bieden van feedback door deskundigen in de visitatiecommissie ten behoeve van de te beoordelen eenheid over de positie van het onderzoek, gemeten naar nationale en internationale standaarden van kwaliteit, productiviteit, relevantie en vitaliteit,
-het bieden van toekomstverwachtingen van de wetenschappelijke en maatschappelijke impact van het onderzoek van de eenheid,
-het evalueren van het management van de onderzoekseenheid, in termen van academisch leiderschap en de taken en verantwoordelijkheden in relatie tot de wetenschappelijke excellentie en maatschappelijke betekenis van het onderzoek van de eenheid
2.3 Context van het onderzoek
▪ Bij de beoordeling van het onderzoek wordt ingegaan op de context van de onderzoekseenheid, zoals de inbedding van de eenheid binnen de faculteit, de universiteit als geheel, de nationale en internationale context, en inhoudelijke disciplinaire en interdisciplinaire verbanden.
2.4 Rol- en verantwoordelijkheidsverdeling tussen College en faculteitsbestuur
▪ De verantwoordelijkheid voor de externe kwaliteitsbeoordeling ligt bij de Colleges van Bestuur. Dit sluit aan bij de WHW waarin kwaliteitszorg als een bevoegdheid en verantwoordelijkheid van het instellingsbestuur wordt geregeld. Dit laat onverlet de verantwoordelijkheden en bevoegdheden van de faculteitsbesturen waar het gaat om de inrichting van het onderzoek.
▪ Er wordt onderscheid gemaakt tussen de externe visitatie en de tussentijdse zelfevaluatie. Het primaat van de verantwoordelijkheid voor de externe visitatie ligt bij de Colleges. Het primaat voor de tussentijdse zelfevaluatie ligt ook bij de Colleges, waarbij de organisatie van de evaluatie bij de betreffende (drie) faculteitsbesturen ligt. De Colleges kunnen in deze situatie derden consulteren.
§Het 3TU.IST verzorgt namens de Colleges van Bestuur (de formele opdrachtgevers) de bestuurlijke coördinatie. De decanen/wetenschappelijk directeuren zijn de aannemers van de opdracht en zetten de uitvoering van het beoordelingsproject binnen de eigen gelederen ter uitvoering uit.
2.5 Standaard Evaluatie Protocol
▪ Uitgangspunt is dat de onderzoeksbeoordelingen plaatsvinden overeenkomstig het Standaard Evaluatie Protocol 2003 – 2009.
▪ De Colleges of de faculteitsbesturen kunnen op grond van eigen kwaliteits- en/of
beleidsoverwegingen vragen aan de onderzoeksbeoordelingen toevoegen, in aanvulling op het Standaard Evaluatie Protocol. De extra vragen zijn:
-Wat is de verhouding tussen de eerste, tweede en derde geldstroom binnen de eenheid?
-Wat is het onderzoeksprofiel?
-Wat is de relatie tussen het onderzoeksprofiel en de specialisaties in de opleiding?
▪ Een belangrijke vraag betreft de macrodoelmatigheid van het onderzoek aan de drie TU’s. Zowel het 3TU.IST als de betrokken decanen zullen zich in de bestuurlijke follow-up na afloop van het beoordelingsproces over de beantwoording van de macrodoelmatigheidsvraag buigen. Er kan voor gekozen worden aan de commissies extra vragen dienaangaande te stellen.
▪ De Colleges of de faculteitsbesturen kunnen voorafgaand aan het opstellen van de documentatie t.b.v. de onderzoeksbeoordeling door de eenheid, dan wel naar aanleiding van deze documentatie, nadere (beleids)vragen aan de commissie voorleggen.
2.6 Het Standaard Evaluatie Protocol in de praktijk
▪ Indien bij de voorbereiding van de documentatie t.b.v. de onderzoeksbeoordeling voorzien wordt dat afgeweken moet worden van wijze waarop de gegevens in overeenstemming met het Standaard Evaluatie Protocol dienen te worden aangeleverd, wordt dit in een vroegtijdig stadium door de te beoordelen eenheid verantwoord aan de faculteitsbesturen en vindt onderling overleg plaats. De faculteitsbesturen informeren via het gezamenlijke plan van aanpak de Colleges over het resultaat van dit overleg. De Colleges stemmen al dan niet met een eventuele afwijking ten opzichte van het Standaard Evaluatie Protocol in.
2.7 De visitatiecommissie: onafhankelijkheid, wetenschappelijke kwaliteit en expertise in toegepast onderzoek
▪ De drie TU’s stellen zich ten doel alle onderzoeksbeoordelingen uit te laten voeren door visitatiecommissies bestaande uit (inter)nationaal gerenommeerde wetenschappers die toonaangevend zijn op specialisaties van de te beoordelen discipline(s) binnen de eenheid. De expertise van de visitatiecommissie als geheel dient hierbij alle deelterreinen binnen het te beoordelen vakgebied adequaat te bestrijken. Gelet op de missies van Technische Universiteiten dient de commissie in haar midden over voldoende expertise te beschikken op het gebied van toepassingsgericht onderzoek. De voorzitter en leden van de visitatiecommissie dienen gezaghebbend, maar niet belanghebbend te zijn. De onafhankelijkheid van de commissie moet maximaal gewaarborgd zijn.
▪ Voor de voordracht en selectie van de leden van de visitatiecommissie gelden specifieke
uitgangspunten (en procedures) ten aanzien van onafhankelijkheid, expertise en wetenschappelijke kwaliteit. Deze zijn:
-toonaangevende wetenschappelijke expertise in tenminste één subdiscipline van het te beoordelen vakgebied;
-(inter)nationaal gezag in het vakgebied;
-minstens de helft van de commissieleden dient toonaangevende expertise te hebben in toepassingsgericht onderzoek;
-onafhankelijkheid ten opzichte van de te beoordelen eenheid en onderzoekers binnen de eenheid;
-inzicht in, en zo mogelijk enige expertise in, belendende subdisciplines;
-inzicht in en visie op nationale ontwikkelingen in het vakgebied;
-inzicht in en visie op internationale ontwikkelingen in het vakgebied;
-inzicht in relevante interdisciplinaire ontwikkelingen;
-twee of meer leden van de commissie moeten ook bestuurlijke ervaring hebben als decaan, rector of instituutsdirecteur;
-(enige) bekendheid met de organisatie van het onderzoek in Nederland en het land of de landen van de samenwerkingspartners;
-De commissie bestaat voor minimaal de helft uit leden die niet eerder aan een visitatie van de eenheid hebben deelgenomen.
▪ Ter bepaling van de onafhankelijkheid van de potentiële voorzitter, leden en secretaris van de visitatiecommissie worden in elk geval de volgende vragen in overweging genomen:
-Heeft de beoogde kandidaat in het verleden deel uitgemaakt van de te beoordelen eenheid?
-Heeft de beoogde kandidaat zitting of zitting gehad in adviesraden van de te beoordelen eenheid?
-Is er sprake van intensieve samenwerking tussen de beoogde kandidaat en stafleden uit de te beoordelen eenheid (b.v. veelvuldig samen publiceren, gezamenlijk participeren in langdurige samenwerkingsverbanden, regelmatig deelnemen in promotiecommissies)?
-Heeft de beoogde kandidaat nauwe banden met één of meerdere stafleden van te beoordelen eenheden (b.v. als promotor opgetreden voor een staflid, staflid heeft deel uitgemaakt van dezelfde onderzoeksgroep als de beoogde kandidaat, gezamenlijke redacteurschappen)?
Indien één of meerdere van deze vragen bevestigend beantwoord moeten worden, dan zal dit door het faculteitsbestuur expliciet kenbaar gemaakt worden bij de voordracht van de betreffende kandidaat. Daarbij zal tevens worden aangegeven waarom het faculteitsbestuur van mening is dat de onafhankelijkheid van de voorgestelde kandidaat voldoende kan worden gewaarborgd.
De Colleges van Bestuur behouden zich het recht voor om de lijst van voorgedragen kandidaten vertrouwelijk door externe experts te laten toetsen.
De voorzitter en de leden van de visitatiecommissie wordt bij hun benoeming verzocht een verklaring te tekenen waarin zij aangeven een onafhankelijk oordeel te zullen geven.
2.8 Onderzoekprogramma’s als ankerpunt in beoordeling
▪ Overeenkomstig het Standaard Evaluatie Protocol vormen onderzoeksprogramma’s binnen de eenheden het nader te beoordelen subniveau. Deze onderzoeksprogramma’s worden door de onderzoekseenheid gedefinieerd in overleg met het faculteitsbestuur en, op voorstel van het faculteitsbestuur, uiteindelijk door het College bekrachtigd als het nader te beoordelen subniveau.
▪ De onderzoeksprogramma’s hebben een omvang die kan variëren van circa 5 tot 20 fte wp-onderzoek per jaar. Bij voorkeur worden kleinere programma’s niet zelfstandig ter beoordeling voorgedragen.
▪ In afwijking van een inrichting van het onderzoek in programma’s, zoals voorzien in het Standaard Evaluatie Protocol, kan het onderzoek bij eenheden zijn ingericht in thema’s of clusters. Hoewel er een zekere inhoudelijke gemeenschappelijke noemer kan bestaan, is hierbinnen niet altijd sprake van de samenhang in het onderzoek zoals in het Standaard Evaluatie Protocol onder het begrip programma wordt verstaan. In dergelijke gevallen overlegt de eenheid met het faculteitsbestuur over de wijze van inhoudelijke ordening. Het faculteitsbestuur legt vervolgens een voorstel ter bekrachtiging voor aan de Colleges.
▪ Bij het vaststellen van de betrokken onderzoeker(s) in het te beoordelen onderzoek gaat bijzondere aandacht uit naar eenheden waarbinnen onderzoekers vanuit meerdere faculteiten functioneren of onderzoekers die in meerdere eenheden een rol spelen. Het kan dientengevolge voorkomen dat een onderzoeker in meerdere onderzoeksbeoordelingen is betrokken. Ook kan een samenwerking met een of meer andere instellingen een rol spelen. Uitgangspunt is dat het resultaat van de onderzoeksinspanning wordt gewogen in het verband van de eenheid/eenheden waarbinnen de prestatie heeft plaatsgevonden.
2.9 Onderzoekersopleiding als kwaliteitsindicator
▪ Onderzoekscholen worden in principe niet in de beoordelingen betrokken. Wèl wordt, vanwege het belang dat aan de kwaliteit van de onderzoekersopleiding wordt gehecht, aan de commissie een oordeel gevraagd via een additionele vraag bij de beoordelingsopdracht over het opleidings- en begeleidingsprogramma, de selectieprocedures, de productiviteit en het rendement van de promovendi. Hierbij kan bestaande informatie over onderzoekscholen waarin de promovendi van de betrokken faculteit participeren, worden benut.
2.10 Cijfertoedeling
▪ De beoordeling van het onderzoek van een eenheid wordt, overeenkomstig het Standaard Evaluatie Protocol, voor verschillende criteria (kwaliteit, vitaliteit, e.d.) uitgedrukt in de cijfers 1 tot en met 5.
▪ Indien naar het oordeel van een faculteitsbestuur of een College een te vervlakkende middeling kan optreden bij onderzoekslijnen die in één programma zijn ondergebracht, kan de visitatiecommissie (achteraf) worden gevraagd in de toelichting van haar oordeel specifieke onderzoekslijnen, die excelleren of van mindere kwaliteit zijn, separaat zichtbaar te maken. Ook kan aan de commissie worden gevraagd bepaalde onderzoekslijnen samen te voegen.
2.11 Ontwerpen
In het SEP wordt geen aandacht besteed aan Engineering en Design (incl. ontwerpen). Aan het 3TU-protocol zullen t.z.t. criteria voor het beoordelen van ontwerpprestaties toegevoegd worden.
3. Protocol midterm review (tussentijdse zelfevaluatie)
3.1 Doel van de tussentijdse zelfevaluatie
▪ Het doel van de tussentijdse zelfevaluatie is door middel van een tussenbalans
-de sterke en zwakke kanten van het onderzoek en de onderzoekseenheid te monitoren (momentopname);
-de bestuurlijke afspraken naar aanleiding van de voorafgaande externe evaluatie te toetsen (terugkijken);
-tijdig aanvullende verbeteracties in gang te zetten, voorafgaand aan de externe visitatie die 3 jaar later zal plaatsvinden, en zonodig nadere profielkeuzes en ambities te bepalen (vooruitkijken)
3.2 Berichtgeving over de start van de tussentijdse zelfevaluatie
▪ Op basis van de afspraken over de te beoordelen eenheden en overeenkomstig het vastgestelde tijdschema, berichten de Colleges de faculteitsbesturen per zelfevaluatie minimaal 1 jaar van tevoren schriftelijk over een gewenste start van de midterm review.
3.3 Vergelijkbaarheid
▪ Bij het organiseren van een midterm review verdient samenwerking met andere universiteiten en/of onderzoeksinstituten sterk de voorkeur. Met name zal bij een midterm ervaring kunnen worden opgedaan met samenwerking met buitenlandse instellingen. [zie 1.4]
3.4 Voorwaarden tussentijdse zelfevaluatie
▪ In de berichtgeving van de Colleges aan de faculteitsbesturen zijn tevens de voorwaarden opgenomen m.b.t. de zelfevaluatie, waaronder:
-de productie van een zelfstudie door de onderzoekseenheid, op het niveau van de eenheid als geheel en het niveau van onderzoeksprogramma’s, thema’s of clusters;
-het opstellen door de faculteitsbesturen van een werkwijze voor de tussentijdse zelfevaluatie. Hierbij dient de faculteitsbesturen tevens aan te geven op welke wijze de zelfstudie zal worden beoordeeld;
-het evalueren van de ontwikkelingen in onderzoek en organisatie binnen de onderzoekseenheid en haar omgeving in de laatste 3 jaar;
-het evalueren van de acties en aanbevelingen naar aanleiding van de vorige externe visitatie;
-het vaststellen van ambities en doelstellingen in beleidsmatig en organisatorisch opzicht voor de volgende drie jaar, tot aan de volgende externe evaluatie;
-het rapporteren door de faculteitsbesturen aan de Colleges in de vorm van een beoordelingsrapport
3.5 Beoordelingsrapport
▪ De zelfstudie wordt gemaakt volgens de indeling die in Appendix 3 van “Contents of the documentation” van SEP 2003-2009 is gegeven. Echter niet alle elementen die in appendix 3 genoemd worden zijn verplicht bij een zelfstudie t.b.v. een midterm review. Er kan gekozen worden voor een lichtere variant waarbij de nadruk zowel in deel A het instituutsdeel als in deel B de programma’s ligt op de gepleegde inzet en gerealiseerde output over een periode van 3 jaar sinds de voorgaande externe beoordeling. Ontwikkelingen in de strategie en beleid al dan niet op basis van de resultaten van de externe beoordeling dienen op instituutsniveau toegelicht te worden. In ieder geval dient te worden aangegeven welke maatregelen zijn genomen na de vorige externe visitatie. De studie is in het Engels opgesteld.
▪ De faculteitsbesturen leggen het resultaat van de tussentijdse zelfevaluatie in een beoordelingsrapport aan de Colleges voor. Het beoordelingsrapport van een faculteitsbestuur omvat:
-de zelfstudie van de onderzoekseenheid;
-een beschrijving van de door het faculteitsbestuur gekozen werkwijze van de tussentijdse zelfevaluatie
-beoordelingen en adviezen van geraadpleegde derden;
-en de conclusies van het faculteitsbestuur op het niveau van de eenheid als geheel en op het niveau van de onderzoeksprogramma’s, thema’s of clusters.
▪ De Colleges bespreken de conclusies van de faculteitsbesturen met de decanen (en de samenwerkingspartners).
3.6 Citatie-analyse
Een citatie-analyse maakt onderdeel uit van een zelfstudie ten behoeve van zowel een midterm als een externe beoordeling. Aangezien er periodiek een 3TU brede citatiestudie bij het CWTS wordt georganiseerd is het niet nodig om zelf een studie in te kopen. Een analyse van de resultaten van de 3TU brede citatiestudie specifiek voor de te beoordelen discipline is verplicht; de citatie-impact wordt als een belangrijke indicator gezien.
3.7 Externe presentatie
▪ Het belangrijkste doel van de tussentijdse zelfevaluatie is het bieden van een gelegenheid voor de onderzoekseenheid tot bijsturing. In overeenstemming met het Standaard Evaluatie Protocol berichten de Colleges in hun jaarverslagen over het resultaat van de tussentijdse zelfevaluatie(s), de bijbehorende beoordelingsrapporten zijn echter niet openbaar.
4. Protocol Externe Onderzoeksbeoordeling
Start voorbereiding
4.1 Berichtgeving onderzoeksbeoordeling
▪ Op basis van afspraken tussen de Colleges en de faculteitsbesturen over het aggregatieniveau van de te beoordelen eenheden en overeenkomstig het tussen de Colleges en faculteitsbesturen vastgestelde tijdschema, berichten de Colleges de faculteitsbesturen in het laatste jaar van de beoordelingsperiode schriftelijk over een gewenste start van een specifieke visitatie. Gevraagd wordt een gezamenlijk plan van aanpak op te stellen.
4.2 Instructie aan de faculteitsbesturen t.a.v. het visitatieproces
▪ In de berichtgeving van de Colleges aan de faculteitsbesturen wordt gevraagd gezamenlijk een plan van aanpak op te stellen waarin de volgende elementen aan bod behoren te komen.
-faculteiten en/of instituten in binnen- en buitenland met wie men wil samenwerken;
-het formuleren van een profiel van de commissie;
-de voordracht van de voorzitter;
-overzicht van de te beoordelen onderzoekseenheid en de onderliggende onderzoeksprogramma’s, incl. omvang WP fte en programmaleiders;
-de aard van de gewenste documentatie;
-het organiseren van het visitatiebezoek (programma);
-een begroting van alle te maken kosten
-eventueel gebruik van de diensten van de QANU
-en het opstellen van een tijdsplanning.
▪ Naast de verantwoording over het verrichte onderzoek zal door de Colleges in de berichtgeving aan de faculteitsbesturen bijzondere aandacht worden gevraagd voor in ieder geval:
-de toekomstvisie op het onderzoek en de betrokken eenheid;
-het management van het onderzoek;
-de onderzoekersopleiding;
-en de positie van het onderzoek in nationale en internationale context.
▪ De Colleges verzoeken de faculteitsbesturen voorafgaand aan de samenstelling van de documentatie t.b.v. de zelfstudie de betrokken eenheid eventuele nadere (beleids)vragen voor te leggen, opdat deze in de zelfstudie kunnen worden betrokken. Dit laat onverlet dat nadien, naar aanleiding van de documentatie, door de faculteitsbesturen en/of de Colleges in onderling overleg nog nadere vragen kunnen worden voorgelegd aan de visitatiecommissie.
Commissie
4.3 Profiel
▪ Ten behoeve van de samenstelling van de commissie wordt door de Colleges aan de faculteitsbesturen en de samenwerkingspartners gevraagd eerst een profiel van de commissie op te stellen, dat recht doet aan de verlangde nationale en internationale kwaliteiten en expertise in de onderzoeksgebieden t.b.v. het te beoordelen onderzoek van de eenheid. Het uitgangspunt is een commissie bestaande uit 6 leden, 1 voorzitter en 1 secretaris.
4.4 Voordracht voorzitter
▪ De Colleges vragen de faculteitsbesturen en de samenwerkingspartners bij de eerste berichtgeving een voordracht te doen voor een kandidaat-voorzitter van de commissie. De Colleges kunnen de voordracht vertrouwelijk voorleggen aan externe deskundigen.
▪ In nauw overleg met de beoogd voorzitter stellen de samenwerkingspartners een lijst van kandidaat-commissieleden op.
4.5 Toetsing commissie
▪ De faculteitsbesturen motiveren de voordracht voor de samenstelling van de commissie in termen van wetenschappelijke kwaliteit, expertisegebieden en onafhankelijkheid, inclusief de curricula vitae van de leden. De Colleges kunnen de voordracht vertrouwelijk voorleggen aan externe deskundigen.
▪ De voorzitter en de leden van de visitatiecommissie worden bij hun benoeming verzocht een verklaring te tekenen waarin zij aangeven een onafhankelijk oordeel te zullen geven.
4.6 Benoeming
▪ De persoonskeuze van de voorzitter en de samenstelling van de commissie behoeven de
goedkeuring van de Colleges door middel van een benoemingsbesluit. De Colleges zijn formeel verantwoordelijk voor de benoeming, het 3TU.IST zorgt voor de bestuurlijke coördinatie.
4.7 Secretaris
▪ De Colleges benoemen de secretaris van de commissie (de secretaris kan via de QANU verkregen zijn, maar dat is geen verplichting). De secretaris dient ten opzichte van de onderzoekseenheid in onafhankelijke positie te staan. De secretaris wordt gelijktijdig met de commissie benoemd.
Documentatie
4.8 Vaststelling documentatie
▪ De door de onderzoekseenheid gegenereerde documentatie (waaronder de zelfstudie) ten behoeve van de externe visitatiecommissie wordt door de faculteitsbesturen voor instemming en vaststelling voorgelegd aan de Colleges.
4.9 Aandacht voor prospectieve analyse
▪ De onderzoekseenheid besteedt uitdrukkelijk aandacht aan de prospectieve analyse van het onderzoek en de toekomstvisie op de eenheid.
4.10 Indicatoren onderzoeksoutput
▪ Overeenkomstig het Standaard Evaluatie Protocol is het mogelijk uiteenlopende indicatoren te gebruiken voor het wegen van de onderzoeksoutput. De faculteitsbesturen stellen relevante indicatoren vast. Naast de gebruikelijke indicatoren voor de wetenschappelijke output kan ook worden gedacht aan octrooien, contractonderzoeken, EU- en NWO/STW-projecten, Bsik-programma’s, spin-offs e.d
4.11 Periode onderzoeksoutput
▪ De aan te leveren gegevens over de output van het wetenschappelijk onderzoek bestrijken, overeenkomstig het Standaard Evaluatie Protocol, de voorgaande 6 jaar als de te beoordelen periode, dat wil zeggen tot en met het jaar voorafgaande aan het jaar waarin de visitatie plaatsvindt. Feitelijk omvat de periode daarmee, in retrospectieve zin, de output vanaf de vorige visitatie. De beoordeling dient aldus gebaseerd te zijn op het recente verleden.
▪ Ingeval, naar de mening van de onderzoekseenheid, de impact van wetenschappelijke publicaties in het wetenschapsdomein doorgaans een ruimere periode omvat, kunnen separaat in de documentatie minder recente publicaties worden vermeld om, in prospectieve zin, verwachtingen beter te funderen. De onderzoekseenheid overlegt met het faculteitsbestuur over een begrenzing in de tijd waarover publicaties, langer dan 6 jaar geleden, in de documentatie worden vermeld.
4.12 Output
▪ Voor onderzoekers die naast hun aanstelling bij een TU tevens een aanstelling hebben bij een andere universitaire of niet-universitaire instelling, zal voor de beoordeling worden uitgegaan van de onderzoeksoutput die in het kader van hun aanstelling aan de desbetreffende TU is gegenereerd.
4.13 Citatie-analyse
Een citatie-analyse maakt onderdeel uit van een zelfstudie ten behoeve van zowel een midterm als een externe beoordeling. Aangezien er periodiek een 3TU brede citatiestudie bij het CWTS wordt georganiseerd is het niet nodig om zelf een studie in te kopen. Een analyse van de resultaten van de 3TU brede citatiestudie specifiek voor de te beoordelen discipline is verplicht; de citatie-impact wordt als een belangrijke indicator gezien.
4.14 Vormvereisten documentatie
▪ De zelfstudie voldoet aan de vormvereisten van het Standaard Evaluatie Protocol (Appendix 3).
▪ De zelfstudie is in het Engels opgesteld.
Visitatiebezoek
4.15 Programma visitatiebezoek
▪ Het management van de onderzoekseenheid draagt, onder verantwoordelijkheid van het faculteitsbestuur, in overleg met de voorzitter van de visitatiecommissie zorg voor het programma van het visitatiebezoek (bezoekschema) met in acht neming van de bepalingen in het Standaard Evaluatie Protocol. Het faculteitsbestuur informeert de Colleges over het programma. De Colleges ontvangen de visitatiecommissie aan het begin van het visitatiebezoek.
Rapportage
4.16 Format rapportage
▪ De commissie laat zich inhoudelijk bij de rapportage leiden door het Standaard Evaluatie Protocol 2003 – 2009, en eventuele door de universiteit gestelde aanvullende vragen.
4.17 Verifiëring feitelijke gegevens
▪ De visitatiecommissie legt voor verifiëring van feitelijke gegevens het conceptrapport aan het management van de onderzoekseenheid voor.
4.18 Rapportage aan Colleges en faculteitsbesturen
▪ De visitatiecommissie rapporteert, na verifiëring van feitelijke gegevens, over haar bevindingen in een conceptrapport gelijktijdig aan de Colleges en de faculteitsbesturen.
4.19 Check op vormvereisten
▪ Elk College stelt in overleg met het faculteitsbestuur vast of het concept-visitatierapport volledig en consistent is in relatie tot het Standaard Evaluatie Protocol en de door de universiteit gestelde aanvullende vragen. Ingeval het College dan wel het faculteitsbestuur nadere aanvulling of explicatie op het rapport wenst, vraagt het College via de secretaris van de commissie aan de voorzitter van de commissie deze aanvullingen of verduidelijkingen aan te brengen.
4.20 Aanvaarding of afwijzing van het visitatierapport
▪ De Colleges besluiten, in overleg met de faculteitsbesturen, tot aanvaarding van het visitatierapport indien naar hun inzicht het visitatierapport aan alle vereisten voldoet overeenkomstig het Standaard Evaluatie Rapport, en vereisten die door de universiteit zelf zijn gesteld.
▪ De Colleges kunnen in voorkomende gevallen, in overleg met de faculteitsbesturen, besluiten het visitatierapport af te wijzen. De Colleges maken een dergelijk besluit bekend aan de voorzitter en leden van de visitatiecommissie.
4.21 Wederhoor
▪ Het conceptrapport wordt door het faculteitsbestuur, voor wederhoor voorgelegd aan het management van de beoordeelde onderzoekseenheid met verzoek om inhoudelijk commentaar en reactie op de uitkomsten van de visitatie.
4.22 Vaststelling evaluatierapport
▪ Het rapport van de commissie en de reactie van de onderzoekseenheid vormen gezamenlijk het finale evaluatierapport dat door de Colleges, in overleg met de faculteitsbesturen, wordt vastgesteld.
4.23 Verantwoording College
▪ De Colleges dragen op basis van eigen conclusies, zorg voor verantwoording aan de Raad van Toezicht.
▪ De Colleges stellen in algemene zin vast op welke wijze evaluatierapporten extern zullen worden gepresenteerd en gepubliceerd. Dit omvat de berichtgeving aan de minister van OC&W, VSNU, KNAW, NWO en de zusterinstellingen en publicatie op de website van de universiteiten. Externe verantwoording over de bestuurlijke hantering van de onderzoeksbeoordelingen wordt in de respectieve jaarverslagen opgenomen.
De vereisten die het Standaard Evaluatie Protocol aan het publieke evaluatierapport stelt, worden als uitgangspunt gekozen.
4.24 Management letter
▪ Naast het publieke evaluatierapport wordt de visitatiecommissie gevraagd zonodig een vertrouwelijke managementletter aan de faculteitsbesturen, en in kopie aan de Colleges, uit te brengen. Deze managementletter dient te zijn gebaseerd op gesprekken met het management van de onderzoekseenheid en betreft eventuele gevoelige informatie van personele aard of bedrijfsgevoelige informatie over de (toekomstige) positie van de onderzoekseenheid. Zonodig overlegt het betrokken faculteitsbestuur, na afstemming met het College, mondeling met de voorzitter van de visitatiecommissie over de managementletter.
▪ In de correctiefase (zie 4.18) kan het management van de eenheid, in overleg met het faculteitsbestuur, de visitatiecommissie vragen onderdelen van het rapport te verschuiven naar een management letter ingeval omstandigheden, zoals b.v. contractuele verplichtingen jegens derden, openbaarmaking belemmeren.
Bestuurlijke hantering
4.25 Bestuurlijk oordeel en maatregelen
▪ De Colleges vragen van de faculteitsbesturen een bestuurlijk oordeel over het visitatierapport. Bij gebleken tekortkomingen op basis van het rapport vraagt een College aan het desbetreffende faculteitsbestuur, als verantwoordelijke en bevoegde instantie, welke maatregelen het faculteitsbestuur zich voorneemt om tot verbeteringen te komen. Het faculteitsbestuur kan het evaluatierapport voor advies voorleggen aan de adviesraad van de onderzoekseenheid en/of de facultaire wetenschapscommissie(s). Het faculteitsbestuur bericht aan het College welke maatregelen worden genomen. Het College bespreekt de maatregelen met het faculteitsbestuur, waarbij toetsbare afspraken en de bewaking daarvan worden geformaliseerd.
4.26 Conclusies t.a.v. managementletter
▪ Indien een vertrouwelijke managementletter is uitgebracht, wordt deze door de Colleges besproken met de decaan van de betrokken faculteit. De decaan van de faculteit wordt verzocht de leiding van de onderzoekseenheid in de gelegenheid te stellen tot wederhoor. In onderling overleg beraden de Colleges en de decaan van de faculteit zich over conclusies en eventuele maatregelen.