Agenda onderwerpen

12. Kwaliteitszorg onderzoek (disciplinaire visitatie)



Kenmerk: 365.851


UT-DRAAIBOEK

VOOR DISCIPLINAIRE ONDERZOEKSVISITATIES


15 november 2004






inhoudsopgave


1 Inleiding 2

2 Planning / tijdschema 2

3 Tussentijdse zelfevaluatie 4

3.1 Berichtgeving en Verantwoordelijkheid 4

3.2 Opstelling werkwijze 4

3.3 Uitvoering en uitvoerenden 4

3.4 Zelfevaluatie 5

3.5 Het Beoordelingsrapport 5

3.6 Bestuurlijke hantering en opvolging 6

4 Externe beoordeling 7

4.1 Verantwoordelijkheid / berichtgeving 7

4.2 Onderlinge vergelijkingen 8

4.3 Vaststellen aanvullend protocol 8

4.4 Documentatie 9

4.5 Samenstelling commissie 10

4.6 Zelfstudierapport 11

4.7 Visitatiebezoek 11

4.8 Het evaluatie rapport 11

4.9 Bestuurlijke hantering 12

4.10 Openbaarmaking en opvolging 13

Bijlage 1: Te leveren documentatie 14

Bijlage 2: Te beantwoorden vragen 16

Bijlage 3: Uitgangspunten voordracht en selectie leden evaluatiecommissies. 17

Bijlage 4: Hoofd- en deeltrajecten externe onderzoeksbeoordeling 19

Bijlage 5: Format zelfstudierapport 23

Bijlage 6: Format visitatierapport 26


1 Inleiding



Op het gebied van de externe onderzoeksbeoordeling zijn er inmiddels een aantal rapporten en protocollen verschenen, namelijk:

- Van Bemmel. Uitgewerkt in het SEP.

- 3TU-protocol.

- Algemeen UT-protocol.

- UT-instituutsprotocol.


Deze stukken hebben de kaders voor onderzoeksvisitaties binnen de UT bepaald. In die kaders staat dat er binnen de UT zowel instituuts- als disciplinaire visitaties zullen plaatsvinden. Voor de instituten is dit verder uitgewerkt in een instituutsdraaiboek. Daarnaast is er nog behoefte aan een disciplinair draaiboek. Dat treft u bij deze aan.


Dit draaiboek omschrijft de praktische gang van zaken bij disciplinaire visitaties. De procedures die zijn vastgesteld middels bovengenoemde documenten worden in dit document herhaald, om een totaaloverzicht van procedures te kunnen bieden. Daarbij worden deze procedures nader uitgewerkt en geconcretiseerd. In het hoofddeel worden de procedures geschetst. In de bijlagen worden daar tijdsplanningen en meer concrete invullingen aan gekoppeld. De taken en verantwoordelijkheden van alle betrokkenen, de benodigde documenten, de gang van zaken rond de visitatiecommissie en de visitatie en de rapportage en afhandeling worden uitgebreid toegelicht.

Dit is een werkdocument. Dit document zal na vaststelling worden vertaald in het Engels.
















2 Planning / tijdschema




Tijdspad

Zo mogelijk worden visitaties verricht in samenwerking met de andere TU’s. Voor subfaculteiten die geen counterpart hebben aan de andere TU’s zal vergelijking met zusterfaculteiten aan andere universiteiten plaatsvinden.

In deze opzet maakt het CvB, uiteraard in overleg met faculteiten en instituten en de andere TU’s of andere universiteiten, een planning voor de zelfevaluaties en de externe beoordelingen. De UT dient de visitaties steeds voor een periode van zes jaren vooruit te plannen en de vastgestelde planning openbaar te maken. Voorgesteld wordt dat de eerste zelfevaluatie afgerond dient te zijn uiterlijk drie jaar nadat het laatste beoordelingsrapport is verschenen. Drie jaar later vindt dan de externe beoordeling plaats op basis van een tweede zelfevaluatie.



Tijdschema voor zelfevaluaties en externe beoordelingen


DISCIPLINE

GEVISI-TEERD IN

UT voorstel volgende interne beoordeling

UT voorstel volgende externe beoordeling

3TU of VSNU-voorstel externe vis.






Electrotechniek

2000

2008

2005

Idem

Informatica

2004

2007

2010

2009

(TUE & TUD)

Wiskunde

2004

2007

2010

2008 (TUD)

2009 (TUE)

Natuurkunde

2004

2007

2010

Idem (TUE)

2009 (TUD)

Scheikunde

2003

2007

2010

2008 (TUE)

2010 (TUD)






Werktuigbouwkunde

2000

2004

2007

Idem

Civiele techniek

2001

2004

2007

2006 (TUD)

Industriële vormgeving

2002

2005

2008

2007 (TUD)

2009 (TUE)






Filosofie

2000

2008

2005

Idem

Psychologie

1999

2008

2011

2005 (landelijk)

Communicatiewetenschappen

2003

2005

2008

Idem

Onderwijskunde

2001

2009

2006

Idem






Bestuurskunde

2003

2005

2008

Idem

Technische Bedrijfskunde

2003

2005

2008

Idem

Bedrijfskunde

Nog geen start van dit

gegevens

oz.gebied

voorhanden

aan de UT

ivm recente

Gezondheidswetenschappen

Nog geen start van dit

gegevens

oz.gebied

voorhanden

aan de UT

ivm recente




Toelichting:

In de bovenstaande planning is de laatste kolom toegevoegd om aan te geven waar de UT-planning nog niet in overeenstemming is met de planning van de andere TU’s of de andere universiteiten. Dit om aan te geven waar de UT-planning nog moet worden afgestemd met andere partijen, en waar er dus nog wijziging in op kan treden.


Afwijkingen:

- Waar nodig kan worden afgeweken van de planning.

- Bij de hantering van bovenstaande schema’s zal het voor bepaalde subfaculteiten niet mogelijk blijken om voor de externe evaluatie de gewenste informatie aan te leveren omdat die nog niet bestaat. Met name zullen die subfaculteiten waarvan de externe visitatie al op korte termijn voorzien is, geen tussentijdse zelfevaluatie aan kunnen bieden. Hier zal worden gezocht naar een oplossing.

3 Tussentijdse zelfevaluatie



Het doel van de interne zelfevaluatie is door middel van een tussenbalans de sterke en zwakke kanten van het onderzoek te monitoren (momentopname), de bestuurlijke afspraken naar aanleiding van de voorafgaande externe evaluatie te toetsen (terugkijken), tijdig aanvullende verbeteracties in gang te zetten, voorafgaand aan de externe visitatie die 3 jaar later zal plaatsvinden, en zonodig nadere profielkeuzes en ambities te bepalen (vooruitkijken). In dit hoofdstuk worden de stappen nader omschreven.


3.1 Berichtgeving en Verantwoordelijkheid


Op basis van de afspraken over de te beoordelen eenheden en overeenkomstig het vastgestelde tijdschema, berichten de Colleges de faculteitsbesturen en organisatoren per zelfevaluatie twee jaar van tevoren schriftelijk over een gewenste start van de interne zelfevaluatie. In de berichtgeving zijn tevens de voorwaarden opgenomen m.b.t. de interne zelfevaluatie. In de praktijk zijn deze voorwaarden voor zo ver als mogelijk opgenomen in dit draaiboek.


Conform het SEP is het CvB bestuurlijk verantwoordelijk voor de interne beoordeling. Desondanks ligt het primaat in dit geval meer bij de organisatoren. Verantwoordelijk voor de organisatie van de zelfevaluatie zijn de wetenschappelijk directeuren van die instituten waarin leerstoelhouders uit de discipline werkzaam zijn. In gevallen waarin een decaan verantwoordelijk is voor onderzoek dat niet is ondergebracht in een instituut, is de decaan mede verantwoordelijk voor de organisatie van de onderzoeksbeoordeling. Deze groep van wetenschappelijk directeuren en decanen wordt aangeduid als ‘organisatoren’. Indien mogelijk wijzen de organisatoren één persoon aan als ‘eerste organisator’. Per discipline worden de organisatoren verantwoordelijk gehouden voor het tijdig afronden van de zelfevaluatie (elke drie jaar). De organisatoren zijn verantwoordelijk voor de productie van het zelfevaluatierapport.


3.2 Opstelling werkwijze


Ruim vóór het moment van de tussentijdse zelfevaluatie beschrijven de organisatoren in samenwerking met het faculteitsbestuur de gekozen werkwijze voor deze evaluatie. Hierbij dienen de faculteitsbesturen en organisatoren tevens aan te geven welke aanvullende vragen zij beantwoord willen zien en op welke wijze de zelfstudie zal worden beoordeeld. De organisatoren zenden de beschrijving van de werkwijze aan het CvB.


3.3 Uitvoering en uitvoerenden


Voor het uitvoeren van de zelfevaluatie hoeft niet noodzakelijkerwijze een onafhankelijke externe commissie te worden ingesteld. De uitvoering kan in principe worden gedaan door een door de ‘’eerste organisator’’ aan te wijzen taakgroep. Om toch een enigszins onafhankelijk gezichtspunt toe te voegen, kan gedacht worden aan betrokkenheid vanuit adviesraden en raden van toezicht van faculteiten en instituten.


3.4 Zelfevaluatie


Een groot deel van de informatie/documentatie die voor een externe beoordeling moet worden verzameld, moet ook bij de tussentijdse zelfevaluatie worden aangeleverd, zowel op het (sub)faculteitsniveau, als op het programmaniveau. Hierbij gelden wel een aantal beperkingen. Dit is nader uitgewerkt in bijlage 1.

De basisdocumentatie wordt zoveel mogelijk aangeleverd volgens de indeling in appendix 3 van het SEP 2003-2009. Daarnaast moet ook de documentatie aangeleverd worden die op (3)TU-niveau additioneel gewenst is om specifieke vragen te kunnen beantwoorden. Zo zal bij de interne zelfevaluatie onder andere een citatieanalyse worden ingepast.


De in het tussentijdse evaluatierapport op te nemen beschouwingen dienen op het bovengenoemde doel af te zijn gestemd. Dat wil zeggen dat:

- Het niet vereist is om alle vragen die men omtrent de programma’s, de subfaculteit en hun leiding kan stellen (zie bijlage 2), en die tijdens de externe beoordeling ook inderdaad moeten worden beantwoordt, ook in dit geval geheel opnieuw te beantwoorden.

- Het wel gewenst is om te reflecteren op alle relevante ontwikkelingen die zich sinds de externe beoordeling van 3 jaar eerder hebben voorgedaan. Alle onderwerpen, vragen en antwoorden die tijdens de externe beoordeling aan de orde zijn gekomen, kunnen dus weer aan de orde komen, maar dan alleen voor zover er relevante ontwikkelingen zijn te melden.


Bovenstaande vindt plaats zowel op het (sub)faculteitsniveau, als op het programmaniveau. De leerstoel geeft op maximaal 1 A4 aan welke veranderingen en bijdragen vanuit de leerstoel hebben plaatsgevonden naar aanleiding van de jongste disciplinaire en institutionele visitatie. De (sub)faculteit geeft aan welke veranderingen en bijdragen vanuit de faculteit hebben plaatsgevonden naar aanleiding van de jongste disciplinaire en institutionele visitatie. De beoordeling van de informatie die aangeleverd wordt, geschiedt door de betrokken WD’s en decanen.


3.5 Het Beoordelingsrapport


De organisatoren leggen het resultaat van de interne zelfevaluatie in een beoordelingsrapport aan de Colleges voor. Het rapport is geschreven in de Engelse taal. Het rapport bevat géén gekwantificeerde oordelen. Het beoordelingsrapport omvat:

-een beschrijving van de door de organisatoren gekozen werkwijze van de interne zelfevaluatie

-de zelfstudie van de onderzoekseenheid;

-een evaluatie van de ontwikkelingen in onderzoek en organisatie binnen de onderzoekseenheid en haar omgeving in de laatste 3 jaar;

-een evaluatie van de acties en aanbevelingen naar aanleiding van de vorige externe visitatie;

-de ambities en doelstellingen in beleidsmatig en organisatorisch opzicht voor de volgende drie jaar, tot aan de volgende externe evaluatie;

-beoordelingen en adviezen van geraadpleegde derden;

-de conclusies van het faculteitsbestuur en de organisatoren op het niveau van de eenheid als geheel en op het niveau van de onderzoeksprogramma’s.

Hierin staat beschreven hoe deze informatie geordend moet worden. Mocht het nodig zijn om een managementletter voor het College te maken, dan kan dat.


3.6 Bestuurlijke hantering en opvolging


Na vaststelling van het concept evaluatierapport door de organisatoren en de faculteit vindt bespreking van het rapport plaats met CvB (en eventueel de SOZ), waarna het definitieve rapport wordt vastgesteld. De zelfevaluatie wordt gebruikt in de planning- en controlcyclus en vormt input voor de externe evaluatie. Resultaten worden kort samengevat in het universitaire jaarverslag.




4 Externe beoordeling


Ten behoeve van de externe beoordelingen dienen diverse stappen te worden genomen. Deze stappen worden hieronder globaal beschreven. De stappen worden in bijlage 4 (‘’hoofd- en deeltrajecten externe onderzoeksbeoordeling'') meer gedetailleerd weergegeven en voorzien van een tijdspad.


4.1 Verantwoordelijkheid / berichtgeving


Conform het SEP is het College van Bestuur bestuurlijk eindverantwoordelijk voor de externe beoordeling. Het CvB vult dit onder andere in door middel van:

-initiëren van het visitatieproces;

-instemming profiel en samenstelling externe evaluatiecommissie;

-goedkeuring tijdpad van de evaluatie;

-acceptatie evaluatierapport;

-toetsing en eventuele aanvulling van beleidsbeslissingen op basis van het evaluatierapport;

-publieke bekendmaking.


Verantwoordelijk voor de organisatie van de externe beoordeling zijn de wetenschappelijk directeuren van die instituten waarin leerstoelhouders uit de discipline werkzaam zijn. In gevallen waarin een decaan verantwoordelijk is voor onderzoek dat niet is ondergebracht in een instituut, is de decaan mede verantwoordelijk voor de organisatie van de onderzoeksbeoordeling. Deze groep van wetenschappelijk directeuren en decanen wordt aangeduid als ‘organisatoren’. Indien mogelijk wijzen de organisatoren één persoon aan als ‘eerste organisator’.


Berichtgeving onderzoeksbeoordeling

Op basis van afspraken tussen de Colleges en de organisatoren over het aggregatieniveau van de te beoordelen eenheden en overeenkomstig het tussen de Colleges en organisatoren vastgestelde tijdschema, berichten de Colleges de organisatoren uiterlijk twee jaar van tevoren schriftelijk over een gewenste start van een specifieke visitatie.


Instructie aan de organisatoren t.a.v. het visitatieproces

In de berichtgeving van de Colleges aan de organisatoren is tevens een instructie opgenomen voor het visitatieproces met betrekking tot:

-faculteiten en/of instituten in binnen- en buitenland met wie men wil samenwerken;

-het formuleren van een profiel van de commissie;

-de voordracht van de voorzitter;

-de voorbereiding op het niveau van de onderzoekseenheid en de onderzoeksprogramma’s;

-de aard van de gewenste documentatie;

-het organiseren van het visitatiebezoek (programma);

-en het opstellen van een tijdsplanning.

Naast de verantwoording over het verrichte onderzoek zal door de Colleges in de berichtgeving aan de organisatoren bijzondere aandacht worden gevraagd voor in ieder geval:

-de toekomstvisie op het onderzoek en de betrokken eenheid;

-het management van het onderzoek;

-de onderzoekersopleiding;

-en de positie van het onderzoek in nationale en internationale context.


In de praktijk is genoemde instructie voor zo ver als mogelijk opgenomen in dit draaiboek.

4.2 Onderlinge vergelijkingen


Het landelijke protocol biedt universiteiten de mogelijkheid om te kiezen voor een afzonderlijke beoordeling of voor beoordeling in (inter)nationale samenwerkingsverbanden. De Colleges stellen voorop dat bij de externe beoordelingen vergelijking met andere onderzoeksgroepen plaats vindt. Internationale vergelijkbaarheid verdient de voorkeur. In principe wordt dan al het onderzoek van een subfaculteit in de beoordeling betrokken; de faculteiten kunnen in specifieke gevallen ervoor kiezen onderdelen van de (sub)faculteit met verschillende samenwerkingspartners te laten beoordelen.

Om beoordeling met andere onderzoeksgroepen mogelijk te maken, zal ruim voor de datum dat de externe beoordeling plaats vindt bekend moeten zijn met wie men zich wenst te vergelijken. De 3 TU’s hebben afgesproken zo mogelijk met elkaar de visitaties te organiseren en, afhankelijk van het vakgebied, mogelijk ook met andere partners (in binnen- en buitenland). Onderzoeksgroepen van de TUD en TU/e worden zoveel mogelijk betrokken bij de externe beoordeling. De mogelijkheid tot samenwerking tussen de drie TU’s dient steeds als eerste optie te worden onderzocht. Daarnaast kan ook met andere universiteiten of instituten worden samengewerkt. De organisatoren en de subfaculteit gaan hierover in overleg met de instellingen waar hun voorkeur naar uitgaat en geven hun voorkeur door aan het college. Dit dient circa anderhalf jaar vóór de visitatie te geschieden. Indien de voorgestelde samenwerking niet in 3TU-verband plaatsvindt, geven de organisatoren gemotiveerd aan waarom deze samenwerking meerwaarde heeft boven samenwerking in 3TU-verband. Indien de organisatoren in het geheel geen samenwerkingsmogelijkheden zien, geven zij gemotiveerd aan waarom een afzonderlijke visitatie gewenst is. Het college maakt, in overleg met de andere betrokken colleges, de definitieve keuze over de samenwerkingspartners. Na instemming van het college gaan de organisatoren hierover (verder) in overleg met de instellingen waar hun voorkeur naar uitgaat.


4.3 Vaststellen aanvullend protocol


Het landelijke (SEP)protocol, het 3TU-protocol en dit UT-protocol dienen voordat de visitatie plaats kan vinden te worden gecompleteerd met een aanvullend specifiek protocol dat de door genoemde protocollen gestelde kaders concreet uitwerkt voor de betreffende discipline.

Dit protocol zal met name ingaan op:

-Mogelijke additionele vragen van de organisatoren aan de visitatiecommissie.

-Toespitsing van de documentatie, criteria, en indicatoren op het wetenschapsterrein.

-Nadere invulling van de cijfertoekenning binnen de SEP-normering.

-Additionele aan te leveren documentatie, zoals bijvoorbeeld de resultaten van evaluaties van UT-instituten die het terrein van de faculteit (gedeeltelijk) overlappen.

-De concreet te beoordelen programma’s.

-De concrete gang van zaken rondom het visitatiebezoek.

-Eventuele afwijkingen van SEP, 3TU-protocol en UT-protocol.

-Het profiel van de evaluatiecommissie.


Het concept-disciplineprotocol wordt voorbereid door de organisatoren. Zij stellen in overleg met de andere instellingen die bij de beoordeling betrokken zijn een concept-disciplineprotocol vast. Door dit concept door de organisatoren zelf te laten vaststellen, wordt verzekerd dat de specifieke kenmerken van elk wetenschapsdomein in acht worden genomen bij de beoordelingen. Het college stelt het protocol in overleg met de andere betrokken instellingen vast.


Overeenkomstig het SEP vormen onderzoeksprogramma’s binnen de eenheden het nader te beoordelen subniveau. Onder onderzoeksprogramma’s worden in dit draaiboek de leerstoelprogramma’s van een subfaculteit verstaan. In elk specifiek protocol worden zowel de faculteit als geheel als de leerstoelprogramma’s als te beoordelen eenheden vastgesteld en worden de te beoordelen programma's en leerstoelen concreet opgesomd. De onderzoeksprogramma’s hebben een omvang die kan variëren van circa 5 tot 20 fte wp-onderzoek per jaar. Kleinere programma’s worden niet ter beoordeling voorgedragen.

Deze onderzoeksprogramma’s worden op voorstel van de organisatoren, uiteindelijk door het College bekrachtigd als het nader te beoordelen subniveau.


Er kunnen in specifieke situaties redenen zijn om af te willen wijken van de geldende protocollen. Daarover dient in een vroegtijdig stadium overleg te worden gevoerd met het College van Bestuur, die al dan niet instemt met een voorgestelde afwijking.


4.4 Documentatie


Het vorige disciplinaire visitatierapport, een tweetal zelfstudierapporten en de instituutsvisitatierapporten op het terrein van de discipline behoren altijd tot de documentatie.

De nieuw aan te leveren documentatie kan worden ingedeeld naar 3 niveau’s:


Niveau 1: landelijk verplicht gestelde vragen.

Het eerste niveau omvat de landelijk door het SEP verplicht gestelde basis-documentatie (zie bijlage 1), die is benodigd ter beantwoording van de conform het SEP verplicht te beantwoorden vragen (zie bijlage 2).


Niveau 2: UT/3TU-aandachtspunten bij elke UT-visitatie:

Het SEP laat ruimte om naast de basisvragen additionele vragen te stellen aan de visitatiecommissie. De UT en de TU’s maken hiervan gaarne gebruik om aan de verschillende visitatiecommissies vragen mee te geven in het verlengde van het onderzoeksbeleid en de strategische instellingsdoelen, zoals onder andere beschreven in het Instellingsplan en de Onderzoeksbeleidsnota van de UT en het Sectorplan Wetenschap en Techniek op 3TU-niveau. Deze vragen zijn aanvullend ten opzichte van het SEP, maar standaard binnen de UT/3TU’s.

Deze vragen staan concreet beschreven in bijlage 2 en de ter beantwoording van de vragen aan te leveren documentatie is omschreven in bijlage 1.


Elementen van de concrete invulling van niveau 2:

Bij de beoordeling van het onderzoek wordt ingegaan op de context van de onderzoekseenheid, zoals de inbedding van de subfaculteit binnen de faculteit als geheel, de instituten waaraan de subfaculteit deelneemt, de universiteit als geheel, de nationale en internationale context, en inhoudelijke disciplinaire en interdisciplinaire verbanden.

De onderzoekseenheid besteedt uitdrukkelijk aandacht aan de prospectieve analyse van het onderzoek en de toekomstvisie op de eenheid.

Een citatie-analyse wordt standaard aan de documentatie toegevoegd, onder de voorwaarde dat als met andere instellingen wordt samengewerkt, voor deze instellingen ook een citatie-analyse wordt uitgevoerd. Bij de citatie-analyse wordt de methode van het CWTS gevolgd. De aan te leveren gegevens over de output van het wetenschappelijk onderzoek bestrijken in principe de voorgaande 6 jaar als de te beoordelen periode, dat wil zeggen de output vanaf de vorige visitatie. De beoordeling dient aldus gebaseerd te zijn op het recente verleden. Ingeval, naar de mening van de onderzoekseenheid, de impact van wetenschappelijke publicaties in het wetenschapsdomein doorgaans een ruimere periode omvat, kunnen separaat in de documentatie minder recente publicaties worden vermeld om, in prospectieve zin, verwachtingen beter te funderen. De onderzoekseenheid overlegt met het faculteitsbestuur over een begrenzing in de tijd waarover publicaties, langer dan 6 jaar geleden, in de documentatie worden vermeld.


Niveau 3: per visitatie te bepalen aanvullende vragen

Het 3TU-voorzittersoverleg, de afzonderlijke Colleges, de organisatoren of faculteitsbesturen kunnen op grond van eigen kwaliteits- en/of beleidsoverwegingen of naar aanleiding van een zelfstudie of actuele omstandigheden vragen aan een specifieke onderzoeksbeoordeling toevoegen, in aanvulling op de standaardvragen van niveau 1 en 2. Deze vragen worden per visitatie bepaald en zijn dus niet in dit draaiboek opgenomen.


Voorts

Voor onderzoekers die naast hun aanstelling bij de UT tevens een aanstelling hebben bij een andere universitaire of niet-universitaire instelling, zal voor de beoordeling worden uitgegaan van de onderzoeksoutput die in het kader van hun aanstelling aan de UT is gegenereerd.

Indien bij de voorbereiding van de documentatie t.b.v. de onderzoeksbeoordeling voorzien wordt dat afgeweken moet worden van wijze waarop de gegevens overeenkomstig de verschillende protocollen (inclusief het onderhavige) dienen te worden aangeleverd, wordt dit in een vroegtijdig stadium door de te beoordelen eenheid verantwoord aan de faculteitsbesturen en vindt onderling overleg plaats. De faculteitsbesturen informeren de Colleges over het resultaat van dit overleg. De Colleges stemmen al dan niet in met een eventuele afwijking.

De door de onderzoekseenheid gegenereerde documentatie (waaronder de zelfstudie) ten behoeve van de externe visitatiecommissie wordt door de faculteitsbesturen en de organisatoren voor instemming en vaststelling voorgelegd aan de Colleges. Naar aanleiding van de documentatie kunnen door de faculteitsbesturen, de organisatoren en/of de colleges in onderling overleg nog nadere vragen worden voorgelegd aan de visitatiecommissie.


4.5 Samenstelling commissie


De UT stelt zich ten doel alle onderzoeksbeoordelingen uit te laten voeren door evaluatiecommissies bestaande uit (inter)nationaal gerenommeerde wetenschappers die toonaangevend zijn op specialisaties van de te beoordelen disciplines binnen de eenheid. De expertise van de commissie als geheel dient hierbij alle deelterreinen binnen het te beoordelen vakgebied adequaat te bestrijken. Het CvB zal letten op de benodigde breedte van de commissie, omdat het onderzoek aan de Universiteit Twente vooral multidisciplinair is. De leden van de commissie dienen gezaghebbend, maar niet belanghebbend te zijn. De onafhankelijkheid van de commissie moet maximaal gewaarborgd zijn. In bijlage 3 is dit nader uitgewerkt.


Ten behoeve van de samenstelling van de commissie wordt door de Colleges aan de

organisatoren en de samenwerkingspartners gevraagd eerst een profiel (benodigde expertises, ervaring en competenties, omvang commissie) van de commissie op te stellen, dat recht doet aan de verlangde nationale en internationale kwaliteiten en expertise in de onderzoeksgebieden t.b.v. het te beoordelen onderzoek van de eenheid.

De Colleges vragen de organisatoren en de samenwerkingspartners bij de eerste berichtgeving tevens een voordracht te doen voor een kandidaat-voorzitter van de commissie. De Colleges kunnen de voordracht van de voorzitter vertrouwelijk voorleggen aan externe deskundigen. De CvB's in onderling overleg maken een keuze voor een voorzitter van de commissie en benoemen hem. De voorzitter wordt bij zijn benoeming verzocht een verklaring te tekenen waarin hij aangeeft een onafhankelijk oordeel te zullen geven.

Vervolgens worden samen met of namens die voorzitter de overige leden van de commissie aangezocht. In nauw overleg met de (beoogd) voorzitter stellen de samenwerkingspartners een lijst van kandidaat-commissieleden op. De samenwerkingspartners motiveren de voordracht voor de samenstelling van de commissie in termen van wetenschappelijke kwaliteit, expertisegebieden en onafhankelijkheid, en sturen de curricula vitae van de kandidaat-leden mee. Gestreefd wordt naar twee kandidaten voor elke positie in het profiel. In tegenstelling tot de tussentijdse evaluatie is een volstrekt onafhankelijke commissie noodzakelijk. De faculteiten leggen het voorstel voor aan de betrokken CvB’s. De Colleges kunnen de voordracht vertrouwelijk voorleggen aan externe deskundigen. Intern kan het CvB van de UT zich laten adviseren door de SOZ. De CvB's nemen een formeel instellingsbesluit en maken dit besluit extern bekend. De leden van de visitatiecommissie worden bij hun benoeming verzocht een verklaring te tekenen waarin zij aangeven een onafhankelijk oordeel te zullen geven.

Daarnaast worden afspraken gemaakt over de ambtelijke ondersteuning van de commissie. Hierbij kan zowel gedacht worden aan inschakeling van een secretaris van de Qanu of anderszins, of een lokale ambtelijke ondersteuning waarbij één van de betrokken universiteiten als penvoerder optreedt, of het onderbrengen van enkele ondersteunende taken bij een faciliterende eenheid op 3TU-niveau. Tegelijkertijd met de commissie, benoemden de Colleges de secretaris van de commissie. De secretaris dient ten opzichte van de onderzoekseenheid in onafhankelijke positie te staan. Daarnaast worden afspraken gemaakt over de ambtelijke ondersteuning van de commissie.

In overleg met de secretaris wordt een werkprogramma voor de commissie opgesteld. De colleges maken de benoeming van de commissie openbaar. De CvB’s geven instructies aan de commissie en de secretaris.


4.6 Zelfstudierapport


Tegen het einde van de 6-jaars periode dient er een zelfstudierapport te worden opgesteld, ter voorbereiding van de externe evaluatie. De organisatoren dragen zorg voor deze zelfevaluatie. Het format voor dit rapport is beschreven in bijlage 5. De concept-evaluatie dient tijdig bij het CvB te worden aangeleverd, zodat het mogelijk is hierover overleg met de organisatoren aan te gaan en, indien gewenst, de zelfevaluatie aan te passen. Alvorens de zelfevaluatie naar de externe evaluatiecommissie wordt gezonden, stelt het CvB de zelfevaluatie vast. Dit rapport zal ook als basis worden gebruikt voor de interne zelfevaluatie.


4.7 Visitatiebezoek


Minimaal vier weken voor het visitatiebezoek ontvangt de commissie al het relevante materiaal, waaronder de zelfevaluatie documenten, de protocollen, de additionele vragen en het programma van het visitatiebezoek.

Het management van de onderzoekseenheid draagt, onder verantwoordelijkheid van de organisatoren, in overleg met de voorzitter van de visitatiecommissie zorg voor het programma van het visitatiebezoek (bezoekschema) met in acht neming van de bepalingen in het SEP. De organisatoren informeren de Colleges over het programma. De Colleges ontvangen de visitatiecommissie aan het begin van het visitatiebezoek.

Het rapport van de externe evaluatie moet telkens on site in draft versie af zijn. Na de laatste externe visitatie in 3TU-verband moet de totale draft on site opgeleverd kunnen worden.


4.8 Het evaluatie rapport


De evaluatiecommissie produceert een evaluatierapport op basis van haar bevindingen, waarbij de vereisten uit alle protocollen in acht worden genomen. Het format van het rapport is weergegeven in bijlage 6. De commissie drukt het te kwantificeren deel van haar oordeel bij voorkeur uit in hele cijfers, desnoods in halve cijfers, maar niet in kleinere cijfers of plussen en minnen. De oordelen over management en beleid worden niet gekwantificeerd. Indien het rapport het eerste rapport is conform het nieuwe visitatiestelsel, wordt het cijfermatige oordeel zowel volgens de ‘’oude’’ VSNU-normering weergegeven, als volgens de ‘’nieuwe’’ SEP-normering. Dit om de vergelijkbaarheid met de vorige visitatie te bevorderen.

De visitatiecommissie brengt binnen twee maanden na het visitatiebezoek een conceptrapport uit. De betrokken subfaculteit en de organisatoren krijgen twee weken de mogelijkheid om feitelijke onjuistheden te corrigeren.

De commissie kan op eigen initiatief besluiten om bepaalde informatie niet in het openbare rapport te zetten maar in een management-letter aan het CvB. In de correctiefase kunnen de faculteit en/of de organisatoren de visitatiecommissie vragen onderdelen van het rapport te verschuiven naar een vertrouwelijke management letter ingeval omstandigheden, zoals b.v. contractuele verplichtingen jegens derden, eventuele gevoelige informatie van personele aard, of bedrijfsgevoelige informatie over de (toekomstige) positie van de onderzoekseenheid openbaarmaking belemmeren. Zonodig overleggen het betrokken faculteitsbestuur en/of de organisatoren, na afstemming met het College, mondeling met de voorzitter van de visitatiecommissie over de managementletter.


Na eventuele correctie wordt het conceptrapport aangeboden aan de betrokken decaan, de organisatoren en aan de Colleges van Bestuur. Zij controleren in overleg of het rapport aan de daaraan gestelde vereisten voldoet. Decaan, organisatoren en CvB(s) kunnen vervolgens om een drietal mogelijke aanpassingen verzoeken

- Het rapport wordt door het CvB beoordeeld op compleetheid, correctheid en consistentie. Ingeval het College dan wel de faculteit of de organisatoren nadere aanvulling of explicatie op het rapport behoeven, vraagt het College via de secretaris van de commissie aan de voorzitter van de commissie deze aanvullingen of verduidelijkingen aan te brengen.

- Het College kan aan de commissie vragen om delen van het rapport te verschuiven naar een vertrouwelijke management letter.

- Indien naar het oordeel van de organisatoren of het College een te vervlakkende middeling kan optreden bij onderzoekslijnen die in één programma zijn ondergebracht, kan de visitatiecommissie worden gevraagd in de toelichting van haar oordeel specifieke onderzoekslijnen, die excelleren of van mindere kwaliteit zijn, separaat zichtbaar te maken. Ook kan aan de commissie worden gevraagd bepaalde onderzoekslijnen samen te voegen.


Na eventuele aanpassing besluit het College van Bestuur om het rapport te aanvaarden of af te wijzen en brengt de visitatiecommissie van het besluit op de hoogte.



4.9 Bestuurlijke hantering


Na aanvaarding is het evaluatierapport definitief en wordt het voor een inhoudelijke reactie (inclusief beleidsbeslissingen) aangeboden aan de (sub)faculteit en de organisatoren. Na vaststelling van het definitieve rapport verzoekt het college de faculteit en de organisatoren, als verantwoordelijke en bevoegde instanties, conclusies te trekken over de toekomst van het onderzoek van de subfaculteit en het college te informeren over de maatregelen die men aan de hand van deze conclusies voor ogen heeft. Het faculteitsbestuur en de organisatoren berichten aan het College welke maatregelen worden genomen. Over de conclusies en de voorgenomen maatregelen vindt overleg plaats tussen het college en de organisatoren en betrokken decaan, waarbij toetsbare afspraken en de bewaking daarvan worden geformaliseerd. Het college stelt hierbij zijn eigen conclusies op. Het zelfevaluatierapport, het definitieve rapport en de reactie van het college vormen samen de openbaar te maken slotdocumenten van de externe evaluatie, die daarmee beëindigd wordt.


Indien een vertrouwelijke managementletter is uitgebracht, wordt deze door de Colleges besproken met de decaan en de wetenschappelijk directeuren. De decaan van de faculteit wordt verzocht de leiding van de onderzoekseenheid in de gelegenheid te stellen tot wederhoor. In onderling overleg beraden de Colleges, decanen en WD’s zich over conclusies en eventuele maatregelen.




4.10 Openbaarmaking en opvolging


Openbaarmaking resultaten

De zelfevaluatie, het evaluatierapport en de conclusies die de organisatoren en het college hebben getrokken naar aanleiding van beide rapporten vormen tezamen het resultaat van de externe evaluatie. Vervolgens wordt het resultaat bekend gemaakt. Dit omvat berichtgeving aan de minister van OC&W, VSNU, KNAW, NWO en de zusterinstellingen en publicatie op de website van de universiteit. Externe verantwoording over de bestuurlijke hantering van de onderzoeksbeoordelingen wordt in de respectieve jaarverslagen opgenomen. Het college draagt zorg voor bekendmaking van de resultaten van de externe evaluatie en rapporteert hierover in het jaarverslag. In het jaarverslag worden zowel de resultaten van evaluaties als de conclusies van het college opgenomen.


Opvolging

De in overleg vastgestelde maatregelen vormen onderdeel van de bestuurlijke agenda van de organisatoren.


Daarnaast worden het rapport en de maatregelen op verschillende momenten besproken tussen verschillende partijen:

- De conclusies zijn inzet voor afspraken tussen decaan en wetenschappelijk directeur over inzet en omvang leerstoel in het instituut.

- De zelfevaluatie en de externe evaluatie spelen een rol in de planning- en controlcyclus. Uit de conclusies komen doelen voort die, voorzover actueel, zullen worden besproken tijdens voor- en najaarsoverleggen tussen college en faculteiten en instituten.

- De Colleges dragen op basis van eigen conclusies, zorg voor verantwoording aan de Raad van Toezicht.

- Het visitatierapport zou eventueel een functie kunnen verkrijgen bij de afstemming en taakverdeling van het onderzoek aan de drie TU’s.


Uitgangspunt is dat de informatie die deze disciplinaire evaluaties bieden ook zal worden benut als basismateriaal (‘’bouwblokken’’) voor andere beoordelingen die plaatsvinden. De resultaten worden ook gebruikt voor de beoordeling van onderzoekscholen en instituten. Dit betekent dat voor de beoordeling van onderzoekscholen en UT-instituten dezelfde informatie niet nogmaals hoeft te worden aangeleverd. Wel zal voor deze beoordelingen additionele informatie worden gevraagd.


Bijlage 1: Te leveren documentatie


Links in de tabel staat alle standaard-informatie opgesomd die in de 6-jaars cyclus geleverd moet worden. Rechts in de tabel staat aangegeven bij welke gelegenheid (zelfstudie en/of externe evaluatie) en op welk niveau (programma- en/of subfaculteitsniveau) deze informatie moet worden aangeleverd en op welke wijze.

Per wetenschapsterrein kan de documentatie enigszins verschillen, afhankelijk van de situatie in het betreffende veld. Dit wordt dan in het specifieke disciplinaire aanvullende protocol (zie paragraaf 4.3) weergegeven. Het kan zijn dat er naast de informatie die in de tabel is opgenomen nog andere specifieke aanvullende informatie moet worden geleverd om incidentele vragen (zie 4.4 en bijlage 2, vragen op het derde niveau) te beantwoorden.


Aan te leveren informatie

Interne zelfevaluatie

Externe beoordeling

Progr.-niveau

Sub-faculteit

Progr.-niveau

Sub-faculteit

BASISINFORMATIE,

VERPLICHT CONFORM SEP





ZIE SEP, APPENDIX 3, GENOEMD ONDERDEEL VOOR DE EXACTE INVULLING





Mission statement

Niet nodig

SEP

App. 3

A.1

Niet nodig

SEP

App. 3

A.1

Leadership

Indien gewijzigd

B.1

A.2

Strategy and policy

Indien gewijzigd

B.2

A.3

Researchers and other personel

B.7

A.3

B.7

A.3

Resources, funding and facilities

B.8

A.5

B.8

A.5

Processes in research, internal and external collaboration

Indien gewijzigd

B.3

A.6

Academic reputation

Nakijken in SEP

B.4

A.7

Internal evaluation

Nakijken in SEP

B.5

A.8

External validation

Nakijken in SEP

B.6

A.9

Overview of the results

B.9

A.10

B.9

A.10

Analysis, perspectives and expectations for the institute/ research programme

B.10

A.11

B.10

A.11






3TU/UT STANDAARDAANVULLINGEN

OP DE BASISINFORMATIE





Informatie over specialisaties in de opleiding in relatie tot het onderzoeksprofiel:

- …….

- …….

- ………

Neen

Indien

gewij-zigd

Neen

Ja

Informatie over onderzoekersopleidingen:

- Gevolgde selectieprocedures

- Promotieduur

- Promotierendement

- Opleidings- en begeleidingsprogramma

Neen

Indien

gewij-zigd

Neen

Ja

Citatie- en impactscores:

- Citaties.

- Citaties per publicatie.

- De impact van de tijdschriften waarin wordt gepubliceerd.

- Veldgenormeerde citatie-impactscore.

Ja

Ja

Ja

Ja

Informatie betreffende kennisutilisatie:

- Octrooien.

- Spin-offs.

Ja

Ja

Ja

Ja

Nadere uitsplitsing tweede en derde geldstroom naar de verschillende geldschieters, zoals EU, Bsik, NWO, STW, enz.

Ja

Ja

Ja

Ja






SPECIFIEKE

ZELFEVALUATIE-INFORMATIE





het evalueren van de ontwikkelingen in onderzoek en organisatie binnen de onderzoekseenheid en haar omgeving in de laatste 3 jaar

Ja

Ja

Neen

Neen

het evalueren van de acties en aanbevelingen naar aanleiding van de vorige externe visitatie

Ja

Ja

Neen

Neen

het vaststellen van ambities en doelstellingen in beleidsmatig en organisatorisch opzicht voor de volgende drie jaar, tot aan de volgende externe evaluatie

Ja

Ja

Neen

Neen






DE SUBFACULTEIT DIENT TER ONDERBOUWING HIERVAN EEN SWOT-ANALYSE TE VERRICHTEN:





Strengths:

a recapitulation of the strongest aspects that emerge from the documentation

Slechts beantwoorden voor zover er wijzigingen zijn opgetreden ten opzichte van de situatie drie jaar eerder. Bepalen in hoeverre de SWOT-analyse van drie jaar eerder nog geldig is.

Slechts beantwoorden voor zover er wijzigingen zijn opgetreden ten opzichte van de situatie drie jaar eerder. Bepalen in hoeverre de SWOT-analyse van drie jaar eerder nog geldig is.

Ja, maar beperkt

Ja

Weaknesses:

A recapitulation of the weakest aspects that emerge from the documentation

Ja, maar beperkt

Ja

Opportunities:

An analysis of developments in science and in society in large that may affect the institute’s or group’s research in a postive way.

Ja, maar beperkt

Ja

Threats:

An analysis of developments in science and in society in large that may affect the institute’s or group’s research in a negative way.

Ja, maar beperkt

Ja

Analysis:

Conclusions drawn from the SWOT analysis with respect to the necessity for a change in research objectives and strategy

Ja, maar beperkt

Ja

Adjusted goals:

(if applicable) a new set of goals for the medium and longer term that meet the SWOT analysis.

Ja, maar beperkt

Ja

Adjusted strategy:

(if applicable) the outline of an adjusted strategy that will replace the existing one outlined in the documentation

Ja, maar beperkt

Ja


Bijlage 2: Te beantwoorden vragen


Deze bijlage bevat een nadere uitwerking van de in paragraaf 4.4 beschreven vragen die bij evaluaties moeten worden beantwoordt.


Niveau 1: landelijk verplicht gestelde vragen

Het Standard Evaluation Protocol stelt aandacht voor de volgende vragen verplicht:

For the past performance:

- What are the quality and relevance of the institute?

- What is the quality of the leadership, management, strategy and research programmes of the institute, its (human) resources, organisation and infrastructure and how can they be improved?

- To what extent has the institute/research programme achieved its mission and goals formulated for the period under review?

For the future plans:

- Is the mission of the institute well chosen and phrased in view of the actual developments in the relevant research field(s)?

- How do you assess the institute’s research plans and is there sufficient coherence in the research portfolio of the institute?

- What is the quality of the leadership, management and strategy of the institute, its (human) resources, organisation and infrastructure and how can they be improved?

- Which of these aspects has room for improvement and how could that be accomplished?


Niveau 2: vragen op UT/3TU-niveau

ØHoe zijn de tweede en derde geldstroom opgebouwd uit b.v. contractonderzoeken, EU- en NWO/STW-projecten, Bsik-programma’s?

ØWat is het onderzoeksprofiel?

ØWat is de relatie tussen het onderzoeksprofiel en de specialisaties in de opleiding?

ØHoe zijn de citatie- en impactscores van de (leerstoel)programma’s ? Wat is de impact van de programma’s?

ØOnderzoekscholen worden niet in de beoordelingen betrokken. Wèl wordt, vanwege het belang dat aan de kwaliteit van de onderzoekersopleiding wordt gehecht, aan de commissie een oordeel gevraagd over het opleidings- en begeleidingsprogramma, de selectieprocedures, de productiviteit en het rendement van de promovendi. Hierbij kan bestaande informatie over onderzoekscholen waarin de promovendi van de betrokken faculteit participeren, worden benut. Wat is de kwaliteit van de onderzoekersopleidingen van de onderzoekscholen?

Øde vraag hoe om te gaan met kennisvalorisatie. Hiertoe worden indicatoren voor utilisatie (zoals octrooien en spin-offs) standaard aan de documentatie toegevoegd. Wat is de kwaliteit van de kennisutilisatie binnen de betreffende eenheid? Hoe kan de kennisvalorisatie in de toekomst worden verbeterd?

ØEen belangrijke additionele vraag aan de visitatiecommissies betreft de macrodoelmatigheid van het onderzoek aan de drie TU’s. In concreto zal aan de commissies advies worden gevraagd hoe de afstemming van het onderzoek, indien gewenst, verder verbeterd kan worden. Hoe kan de afstemming van het onderzoek op 3TU-niveau, indien gewenst, verder verbeterd worden?


Niveau 3: vragen ter gelegenheid van een specifieke disciplinaire visitatie

Daarnaast blijft het ook mogelijk om onafhankelijk hiervan additionele oftewel specifieke vragen te stellen, die bijvoorbeeld gebaseerd zijn op actuele omstandigheden of een zelfstudie. De afzonderlijke Colleges, organisatoren, faculteitsbesturen of het 3TU-voorzittersoverleg kunnen voorafgaand aan het opstellen van de documentatie t.b.v. de onderzoeksbeoordeling door de eenheid, dan wel naar aanleiding van deze documentatie, nadere (beleids)vragen aan de commissie voorleggen.

Bijlage 3: Uitgangspunten voordracht en selectie leden evaluatiecommissies.



De visitatiecommissie: onafhankelijkheid, wetenschappelijke kwaliteit en expertise in toegepast onderzoek

De drie TU’s stellen zich ten doel alle onderzoeksbeoordelingen uit te laten voeren door

visitatiecommissies bestaande uit (inter)nationaal gerenommeerde wetenschappers die

toonaangevend zijn op specialisaties van de te beoordelen discipline(s) binnen de eenheid. De expertise van de visitatiecommissie als geheel dient hierbij alle deelterreinen binnen het te beoordelen vakgebied adequaat te bestrijken. Gelet op de missies van Technische Universiteiten dient de commissie in haar midden over voldoende expertise te beschikken op het gebied van toepassingsgericht onderzoek. De voorzitter en leden van de visitatiecommissie dienen gezaghebbend, maar niet belanghebbend te zijn. De onafhankelijkheid van de commissie moet maximaal gewaarborgd zijn.


Voor de voordracht en selectie van de leden van de visitatiecommissie gelden specifieke

uitgangspunten (en procedures) ten aanzien van onafhankelijkheid, expertise en

wetenschappelijke kwaliteit. Deze zijn:

-toonaangevende wetenschappelijke expertise in tenminste één subdiscipline van het te beoordelen vakgebied;

-(inter)nationaal gezag in het vakgebied;

-minstens de helft van de commissieleden dient toonaangevende expertise te hebben in toepassingsgericht onderzoek;

-onafhankelijkheid ten opzichte van de te beoordelen eenheid en onderzoekers binnen de eenheid;

-inzicht in, en zo mogelijk enige expertise in, belendende subdisciplines;

-inzicht in en visie op nationale ontwikkelingen in het vakgebied;

-inzicht in en visie op internationale ontwikkelingen in het vakgebied;

-inzicht in relevante interdisciplinaire ontwikkelingen;

-twee of meer leden van de commissie moeten ook bestuurlijke ervaring hebben als decaan, rector of instituutsdirecteur;

-(enige) bekendheid met de organisatie van het onderzoek in Nederland en het land of de landen van de samenwerkingspartners;

-De commissie bestaat voor minimaal de helft uit leden die niet eerder aan een visitatie van de eenheid hebben deelgenomen.


Ter bepaling van de onafhankelijkheid van de potentiële voorzitter, leden en secretaris van de visitatiecommissie worden in elk geval de volgende vragen in overweging genomen:

-Heeft de beoogde kandidaat in het verleden deel uitgemaakt van de te beoordelen eenheid?

-Heeft de beoogde kandidaat zitting of zitting gehad in adviesraden van de te beoordelen eenheid?

-Is er sprake van intensieve samenwerking tussen de beoogde kandidaat en stafleden uit de te beoordelen eenheid (b.v. veelvuldig samen publiceren, gezamenlijk participeren in langdurige samenwerkingsverbanden, regelmatig deelnemen in promotiecommissies)?

-Heeft de beoogde kandidaat nauwe banden met één of meerdere stafleden van te beoordelen eenheden (b.v. als promotor opgetreden voor een staflid, staflid heeft deel uitgemaakt van dezelfde onderzoeksgroep als de beoogde kandidaat, gezamenlijke redacteurschappen)?


Indien één of meerdere van deze vragen bevestigend beantwoord moeten worden, dan zal dit door het faculteitsbestuur expliciet kenbaar gemaakt worden bij de voordracht van de betreffende kandidaat. Daarbij zal tevens worden aangegeven waarom het faculteitsbestuur van mening is dat de onafhankelijkheid van de voorgestelde kandidaat voldoende kan worden gewaarborgd.

De Colleges van Bestuur behouden zich het recht voor om de lijst van voorgedragen kandidaten vertrouwelijk door externe experts te laten toetsen.

De voorzitter en de leden van de visitatiecommissie wordt bij hun benoeming verzocht een verklaring te tekenen waarin zij aangeven een onafhankelijk oordeel te zullen geven.



Opmerking:

Er is een format voor de onafhankelijkheidsverklaring.





Bijlage 4: Hoofd- en deeltrajecten externe onderzoeksbeoordeling


TIJDSTIP /

WANNEER

ACTIE / STAP

ACTOR(EN)

To – 104 weken

Brief start visitatieproces aan organisatoren en decaan. Het CvB verzoekt aan betrokken organisatoren om het interne proces t.b.v. de externe beoordeling op te starten (zelfstudie) en geeft de vereisten door. Verzoek tot advies omtrent:

- domeinspecifieke invulling protocollen (opstelling specifiek protocol).

- Profiel commissie (zie ook deeltraject C).

- Tweevoudige voordracht voorzitter / groslijst commissieleden

- Samenwerkingspartners buiten de UT.

- Samen te vatten in een plan van aanpak.



Voorbereiding zelfstudies. De organisatoren ondernemen de volgende acties: ze zoeken eerst samenwerkingspartners bij andere universiteiten.


To – 78 w

Ze leggen de samenwerkingspartners voor aan het CvB


To – 75 w

CvB stemt in met de samenwerkingspartners.



De organisatoren bespreken met de partner(s):

- Opstellen van een tijdpad voor de externe evaluatie

- Voorstel voor profiel en samenstelling commissie

- Voordracht voorzitter(s)

En leggen dit vast in een concept-evaluatieprotocol. Opstellen van een specifiek protocol



Toetsing bereidheid voorzitters door organisatoren.


To – 40 w

Voorstel organisatoren plus zusterinstitu(u)t(en) aan CvB's inzake profielschets VC, tijdschema en procedure.

- Concept Plan van aanpak bij CvB’s

- Adviezen, voordracht groslijst



Eventueel: verzoek extern advies voorzitters door CvB’s aan externen


To - 38 w

Voorlopige besluitvorming CvB(s) over plan van aanpak/concept-evaluatieprotocol (voorzitter, profiel en omvang commissie, voorlopig tijdschema).



Vaststelling opdracht, profiel en groslijst.



Formele aanwerving voorzitter en benoeming voorzitter



Voorzitter en organisatoren bereiden samen een definitief plan van aanpak voor (voordracht commissie en secretaris, specifiek protocol)



Maar ook (zie ook deeltraject documentatie (D):

- De indeling en vorm van de documentatie.

- De concept-aanvullende beleidsvragen.


To - 50 w

Definitief uitgewerkt plan van aanpak bij CvB(s)


To – 52 w

Goedkeuring van conceptprotocol, definitieve goedkeuring specifiek protocol. Definitieve besluitvorming CvB(s) over:

- commissiesamenstelling.

- ondersteuning commissie. Keuze door de betrokken CvB's voor het beleggen van de ambtelijke ondersteuning van de commissie bij de VSNU of één van de betrokken universiteiten.

- eventuele additionele vragen aan de commissie.

- exacte documentatie.

- eventuele afwijkingen van SEP, 3TU en TU-protocollen.



Werving en benoeming secretaris



Werving leden commissie op basis van groslijst


To – 39 w

Benoeming commissie en vaststelling tijdpad


To – 24 w

Indiening concept- zelfstudie door organisatoren bij CvB.



Beoordeling zelfstudie door CvB.



p.m. aanvullingen zelfstudie


To – 16 w

Besluitvorming CvB(s) mbt zelfstudies

Accoord zelfstudie


To – 20 w

Zelfstudie, protocollen, eventuele additionele vragen en de overige documentatie naar commissie



De voorzitter van de visitatiecommissie vraagt zonodig aanvullende informatie van de (sub)faculteiten of de CvB(s)



De organisatoren, de faculteit en de voorzitter van de commissie stellen in overleg een programma voor de site-visit op.



Ontmoeting van beoordelingscommissie en (leden) CvB voorafgaand aan de site-visit;



de commissie beslist in een besloten sessie over de werkprocedure voor site-visit en rapportage.


To – 26 w

Site-visit. De commissie ontmoet de decaan, de WD’s die (mede) verantwoordelijk zijn voor het onderzoek van de faculteit, en de faculteitsraad.



Opstellen concept-beoordelingsrapport, versie 1. Zie ook deeltraject Rapportage (R).


To – 18 w

Aanbieden concept, versie 1, door commissie aan organisatoren en sub-faculteit voor feitelijke controle



Eventuele aanpassingen n.a.v. feitelijke controle.


To – 20 w

Aanbieding conceptrapport, versie 2, aan decaan, organisatoren en CvB



Controle op volledigheid en consistentie van het rapport

- De CvB(s) besluiten het beoordelingsrapport te accepteren dan wel de commissie te verzoeken de tekortkomingen te verbeteren

- CvB, organisatoren of faculteit vragen zonodig nadere aanvulling of explicatie op het rapport.



Eventueel: aanbrengen van verbeteringen in het rapport

Opstellen definitief beoordelingsrapport, versie 3, en (eventuele) vertrouwelijke management letter


To – 16 w

Formele aanbieding concept-rapport plus eventuele management-letter aan de CvB(s), organisatoren en faculteiten.



De CvB(s) verzoeken de betrokken faculteiten/organisatoren binnen 4 weken te reageren op de aanbevelingen in het beoordelingrapport. Zie ook deeltraject bestuurlijke hantering (B).


To – 14 w

De CvB(s) besluiten het rapport te accepteren of af te wijzen. In het laatste geval wordt aan de commissie bericht op welke gronden het besluit tot afwijzing heeft plaatsgevonden.



Decharge commissie


To – 12 w

Inhoudelijke reactie faculteit/organisatoren op het rapport



Bestuurlijk overleg tussen college en faculteit/organisatoren over rapport plus eventuele management-letter.



CvB legt het rapport voor aan de SOZ, met het verzoek te adviseren over aanbevelingen in het rapport en mogelijke maatregelen



CvB(s) trekken op basis van het beoordelingsrapport en de verkregen adviezen conclusies m.b.t. de toekomst van het onderzoek van de faculteit


To

Publicatie rapport en reactie faculteit/organisatoren.

To = het moment dat het rapport moet verschijnen.



Verantwoording in jaarverslag, Rapportage aan RvT.



Deeltraject Commissie (C)


C1.Beoordeling profielschets VC door CvB's.

C2.Beoordeling voordracht VC door CvB's (groslijst)

C3.Externe toetsing voordracht VC (bij voorkeur standaard)

C4.De betrokken CvB's maken keuzen uit de groslijst.

C5.Aanzoeken voorzitter VC (vz-VC) door de CvB's

C6.Aanzoeken leden VC door vz-VC

C7.Vaststellen definitief bezoekschema VC

C8.Beoogde commissieleden tekenen onafhankelijkheidsverklaring

C9.Benoemen VC door CvB's

C10.Vaststellen instructies en algemene beleidsvragen door organisatroen/CvB's

C11.Voorbereiding visitatiebezoek

C11a. vaststellen werkwijze door VC en inhoudelijke voorbereiding uitvoering

door VC (zie ook Deeltraject D)

C11b. organisatorische voorbereiding

C12.Visitatiebezoek incl. ontvangst door CvB en organisatoren/faculteit

C13.Rapportage commissie (zie Deeltraject R)

C14.Ontbinden commissie



Deeltraject Documentatie (D)


D1.Vaststellen van gezamenlijk te beoordelen eenheden

D2.Vaststellen peildata te beoordelen periode

D3.Vaststellen subindeling te beoordelen (sub)faculteit

D4.(Indien gewenst): Verbijzonderen en/of aanvullen van het basisformat voor

documentatie door organisatoren/faculteit in overleg met CvB op basis van evt. aanvullende beleidsvragen

D5.Vergaren van gegevens binnen de (sub)faculteit

D6.Opstellen van concept-zelfevaluatierapport door faculteit/organisatoren

D7.Toetsing concept-zelfevaluatierapport door CvB

D8.(Indien gewenst): Op basis van zelfevaluatie formuleren van aanvullende beleidsvragen door CvB en organisatoren/faculteit richting de VC

D9.(Indien relevant): Aanleveren van additionele documentatie aan de VC

D10.Verstrekken van documentatie aan de VC


Deeltraject Rapportage (R)


R1.VC stelt conceptrapport op

R2.Verificatie van feitelijke gegevens door faculteit

R3.Gelijktijdige rapportage van concept aan organisatoren, faculteit en CvB

R4.Check conceptrapport op consistentie en volledigheid door CvB en faculteit en organisatoren

R5.(indien gewenst): CvB vraagt via de secretaris van de commissie aan de vz-VC aanvullingen en/of verduidelijkingen aan te brengen

R6.(indien gewenst): organisatoren of faculteit vraagt VC om onderdelen van het rapport te verschuiven naar een management letter

R7.(Indien gewenst): VC richt managementletter aan CvB

R8.CvB vraagt faculteit/organisatoren om reactie

R7. CvB stelt VC-rapport + reactie faculteit vast als finaal rapport VC

R8. Publicatie en tevens rapportage aan RvT


Deeltraject Bestuurlijke hantering (B)


S1.CvB vraagt faculteit/organisatoren om bestuurlijk oordeel inzake visitatierapport (evt. verbeterplan)

S2.Faculteit en organisatoren rapporteren aan CvB (evt. verbeterplan)

S3.CvB en faculteit en organisatoren bespreken bestuurlijke rapportage

S4.(Indien van toepassing):

CvB en faculteit/organisatoren bespreken managementletter

Faculteit en organisatoren spreken mogelijk tevens met de vz- VC

S5.CvB bepaalt voorlopig standpunt en vraagt hierover advies aan SOZ.

S6.CvB stelt haar standpunt vast.

S7.(Indien van toepassing):

Implementeren verbeterplan

Controle implementatie d.m.v. planning en control cyclus universiteit.


Bijlage 5: Format zelfstudierapport


Toelichting: dit is het format voor het zelfstudierapport dat kort voor de externe evaluatie verschijnt, en dus niet het format voor de tussentijdse zelf-evaluatie.


Titelblad:


Naam onderzoeksbeoordeling

(bijv. Assessment of Research Quality Life Sciences, UT)

Datum gereedkoming



1 General information

Een beschrijving van de door de organisatoren in overleg met faculteitsbestuur gekozen werkwijze van de interne zelfevaluatie.


Introduction

short introduction explaining the current Dutch assessment system of research quality, including the way the University of Twente manages its quality assessment.


Scope of the assessment, assignment to the committee

Short explanation of the protocols that were used (The Twente protocol + additional questions of the board + the assignment to the committee + the list of programmes that are to be assessed)


The persons that performed the self-evaluation

Composition of the group of persons who performed the self-evaluation and a listing of the persons they consulted for the self-evaluation.


Input for the research assessment

Additional information has to be mentioned here


Working procedure

The working procedure that was followed by the persons that performed the self-evaluation.



2 Review of the entire (sub)faculty


2.1 Leadership, strategy and policy of the Institute

2.2 Quality of the resources, funding policies and facilities

2.3 The academic reputation of the Institute

2.4 The societal relevance of the Institute

2.5 The strengths and weaknesses of the Institute

2.6 Past performance (quality and relevance of the institute/leadership,

strategy, human resources / missions achieved)

2.7 Future plans (mission/coherence/improvement of management/

other improvements)

2.8 Optional: additional issues that were added as additional questions and cannot be answered under headings 2.1-2.7).

De antwoorden op de op UT/3TU-niveau geformuleerde aanvullende vragen (zie bijlage 2) kunnen als volgt aan bovengenoemde indeling worden toegevoegd:

-Toevoegen aan 2.1: Wat is het onderzoeksprofiel?

-Toevoegen aan 2.2: Hoe zijn de tweede en derde geldstroom opgebouwd uit b.v. contractonderzoeken, EU- en NWO/STW-projecten, Bsik-programma’s?

-Toevoegen aan 2.3: Hoe zijn de citatie- en impactscores van de (leerstoel)programma’s?

-Toevoegen aan 2.4: Wat is de kwaliteit van de kennisutilisatie binnen de betreffende eenheid?

-Toevoegen aan 2.7: Hoe kan de kennisvalorisatie in de toekomst worden verbeterd?

-Toevoegen aan 2.8: Wat is de relatie tussen het onderzoeksprofiel en de specialisaties in de opleiding? Wat is de kwaliteit van de onderzoekersopleidingen van de onderzoekscholen?



3 Research Programs


3.1 Program 1

short description of the program, including possible division in subprograms


3.1.1A short qualitative assessment of the quality, productivity, relevance, vitality & feasibility of the research programme

3.1.2 A short explanation for this assessment, containing:

-A reflection on the leadership, strategy and policy of/for the research programme

-An assessment of the quality of the research staff, (human) resources, funding policies and facilities

-An assessment of the quality and quantity of the publications and of the publication strategies

-An assessment of the academic reputation of the group/programme

-An assessment of the relevance of the programme from an academic perspective and from a broader social perspective

-An assessment of the future perspectives of the group/programme.

3.1.3. Conclusion

concluding remark about the research quality in one sentence


Het merendeel van de op UT/3TU-niveau geformuleerde (ten opzichte van het SEP) aanvullende vragen (zie bijlage 2) is ook op programmaniveau relevant, en kan als volgt aan bovengenoemde indeling worden toegevoegd:

-Toevoegen aan 2.2: Hoe zijn de tweede en derde geldstroom opgebouwd uit b.v. contractonderzoeken, EU- en NWO/STW-projecten, Bsik-programma’s?

-Toevoegen aan 2.3: Hoe zijn de citatie- en impactscores van de (leerstoel)programma’s?

-Toevoegen aan 2.4: Wat is de kwaliteit van de kennisutilisatie binnen de betreffende eenheid?

-Toevoegen aan 2.7: Hoe kan de kennisvalorisatie in de toekomst worden verbeterd?



3.2 Program 2

Etc.


3.3 Program 3

Etc.


4Advices

Beoordelingen en adviezen van geraadpleegde derden;



5 General Conclusions

- Short summary of the overall quality of the research within the (sub)faculty.

- evaluatie van de ontwikkelingen in onderzoek en organisatie binnen de onderzoekseenheid en haar omgeving in de laatste 6 jaar.

- evaluatie van de uitvoering van de acties en aanbevelingen naar aanleiding van de vorige externe visitatie.

- een formulering van ambities en doelstellingen in beleidsmatig en organisatorisch opzicht voor de volgende 6 jaar (tot aan de volgende externe evaluatie).



6 Comment of the Board of the Faculty and the Scientific Directors.

The final evaluation report will be sent to the institute’s advisory board for advice on all relevant matters arising in the report. On the basis of the report, the advisory board’s advice and preceding discussion with the institute, the board will draw conclusions for the future of the institute.


References

References tot for example the SEP, the former research evaluation , etc.


Appendices


Bijlage 6: Format visitatierapport


Opmerking: moet nog worden afgestemd in 3TU-verband, of met andere universiteiten indien de visitatie in ander verband geschiedt.


Titelblad:

Naam onderzoeksbeoordeling

(bijv. Assessment of Research Quality Life Sciences, UT, TUD, TUE)

Datum gereedkoming



Report of the International Peer Review Committee


1 General information


1.1Introduction

short introduction explaining the current Dutch assessment system of research quality, including the way the University of Twente manages its quality assessment (moet standaard geschreven worden, kan ook op de website)


1.2Scope of the assessment, assignment to the committee

Short explanation of the protocols that were used by the committee (The Twente protocol + additional questions of the board, verwijzen naar appendix A), + the assignment to the committee + the list of programmes that are to be assessed (gedeelte kan standaard geschreven worden, kan ook op de website)


1.3The review committee

Composition of the committee (verwijzen naar Appendix B voor procedures rondom het tot standkomen van de commissie en de waarborging van hun onafhankelijkheid, verwijzen naar Appendix C voor CV’s commissie)


1.4Input for the research assessment

Apart from the selfevaluation reports additional information requested by the committee has to be mentioned here (for example bibliometric analysis)


1.5Working procedure of the Committee

The committee will meet in a closed session before the site visit, after being formally installed by a representative of the board. In that closed session, the committee decides on their working procedure for the visit and for writing the draft report. (verwijzen naar de criteria voor beoordeling incl. de uitleg behorende bij de te geven cijfers in Appendix D). Includes who reads what, who is present where, who talks to who. Do all members generate a separate judgement to discuss it afterwards, did they consult outside expertise etc.


1.6 The site visit

Includes the program of the site visit. During the visit, the committee meets with:

-The director (or board) of the institute;

-The research leaders of the institute;

-The advisory committee of the institute;

-Any (group of) person(s) of the institute asking to be heard by the committee.


2 Review of the entire (sub)faculty


2.1 Leadership, strategy and policy of the Institute

2.2 Quality of the resources, funding policies and facilities

2.3 The academic reputation of the Institute

2.4 The societal relevance of the Institute

2.5 The strengths and weaknesses of the Institute

2.6 Past performance (quality and relevance of the institute/leadership,

strategy, human resources / missions achieved)

2.7 Future plans (mission/coherence/improvement of management/

other improvements)

2.8 Optional: additional issues that were added as additional questions and cannot be answered under headings 2.1-2.7).

De antwoorden op de op 3TU-niveau geformuleerde aanvullende vragen (zie bijlage 1) kunnen als volgt aan bovengenoemde indeling worden toegevoegd:

-Toevoegen aan 2.1: Wat is het onderzoeksprofiel?

-Toevoegen aan 2.2: Hoe zijn de tweede en derde geldstroom opgebouwd uit b.v. contractonderzoeken, EU- en NWO/STW-projecten, Bsik-programma’s?

-Toevoegen aan 2.3: Hoe zijn de citatie- en impactscores van de (leerstoel)programma’s?

-Toevoegen aan 2.4: Wat is de kwaliteit van de kennisutilisatie binnen de betreffende eenheid?

-Toevoegen aan 2.7: Hoe kan de kennisvalorisatie in de toekomst worden verbeterd?

-Toevoegen aan 2.8: Wat is de relatie tussen het onderzoeksprofiel en de specialisaties in de opleiding? Wat is de kwaliteit van de onderzoekersopleidingen van de onderzoekscholen?



3 Research Programs


3.1 Program 1

short description of the program, including possible division in subprograms

3.1.1The quantified assessment of the quality, productivity, relevance, vitality & feasibility of the research programme

3.1.2 An explanation for this quantified assessment, containing:

-A reflection on the leadership, strategy and policy of/for the research programme

-An assessment of the quality of the research staff, (human) resources, funding policies and facilities

-An assessment of the quality and quantity of the publications and of the publication strategies

-An assessment of the academic reputation of the group/programme

-An assessment of the relevance of the programme from an academic perspective and from a broader social perspective

-An assessment of the future perspectives of the group/programme.

3.1.3. Conclusion

concluding remark about the research quality in one sentence


Het merendeel van de op UT/3TU-niveau geformuleerde (ten opzichte van het SEP) aanvullende vragen (zie bijlage 2) is ook op programmaniveau relevant, en kan als volgt aan bovengenoemde indeling worden toegevoegd:

-Toevoegen aan 2.2: Hoe zijn de tweede en derde geldstroom opgebouwd uit b.v. contractonderzoeken, EU- en NWO/STW-projecten, Bsik-programma’s?

-Toevoegen aan 2.3: Hoe zijn de citatie- en impactscores van de (leerstoel)programma’s?

-Toevoegen aan 2.4: Wat is de kwaliteit van de kennisutilisatie binnen de betreffende eenheid?

-Toevoegen aan 2.7: Hoe kan de kennisvalorisatie in de toekomst worden verbeterd?


3.2 Program 2

Etc.


3.3 Program 3

Etc.

4 Conclusions regarding 3TU-coordination

Hoe kan de afstemming van het onderzoek op 3TU-niveau verder verbeterd worden?


5 General Conclusions

Short summary of the overall quality of the research within the (sub)faculty



6 Comment of the Board of the Faculty (en/of van het CvB???)

The final evaluation report will be sent to the institute’s advisory board for advice on all relevant matters arising in the report. On the basis of the report, the advisory board’s advice and preceding discussion with the institute, the board will draw conclusions for the future of the institute. Together, the self-evaluation document, the final evaluation report and the conclusions made by the board form the results of this external evaluation.


References

References tot for example the SEP, the former research evaluation , etc.


Appendices

A: The UT Evaluation Protocol (Main Part)

B: The protocol for the composition of the committee and the guarantee for independency of its members

C: Curricula vitae of the peer review committee

D1: Assessment criteria used by the committee (kan rechtstreeks worden overgenomen uit SEP)

D2: The descriptions of the five-point scales for the present and for the previous evaluation (kan rechtstreeks worden overgenomen uit SEP)

E: List of abbreviations