Agendapunten

UR 08-373 Instellingskwaliteitszorgsysteem


















Inleiding


De Universiteit Twente heeft een naam hoog te houden als het gaat om de kwaliteit van haar opleidingen. Niettemin is deze positie geen gegeven. Investeren in kwaliteit is en blijft noodzakelijk. Kwaliteit staat bij de UT centraal bij alle opleidingen. Het systeem dat in dit plan beschreven staat, zal opleidingen ondersteunen die kwaliteit te handhaven en verbeteren.

Bij opleidingsvisitaties gaat veel goed. Opleidingen schrijven gedegen zelfevaluaties, commissies beoordelen de meeste facetten als voldoende (voldoen aan basiskwaliteit), het aantal onvoldoendes is erg laag en de UT scoort regelmatig goed en soms zelfs excellent. Vooralsnog is geen van de opleidingen accreditatie onthouden.

Dat betekent niet dat er geen risico’s zijn (geweest) en dat alles goed zal blijven gaan. Om de kwaliteit van opleidingen te borgen, de transparantie te vergroten, de verbeterfunctie goed tot zijn recht te laten komen en om waar nodig tijdig bij te kunnen sturen is een systeem van kwaliteitsborging gewenst.

De UT streeft er dan ook naar een goed functionerend integraal kwaliteitszorgsysteem op te zetten, dat de kwaliteit van haar opleidingen structureel borgt. In het Instellingsplan is dat als volgt verwoord:

Het beleid voor de interne kwaliteitzorg onderwijs van de UT zal gebaseerd zijn op de principes van een sluitend kwaliteitszorgmodel, gericht op het zichtbaar maken van de excellente kwaliteit van het aanbod volgens internationaal aanvaarde kwaliteitsnormen. Een bruikbaar aangrijpingspunt voor een dergelijk systeem vormt de zogenaamde Deming-cirkel, ook wel de PDCA-cirkel genoemd. Deze cirkels geven de opleidingen voldoende vrijheid om een op de eigen situatie toegesneden systeem voor kwaliteitszorg op te zetten, onder behoud van een voldoende UT-gemeenschappelijke noemer. Het kwaliteitszorgmodel zal in eerste instantie de eigen interne kwaliteit van de UT-opleidingen bewaken, maar heeft tevens een externe functie. Immers, de NVAO hecht bij het afgeven van een accreditatie sterk aan het kunnen waarborgen van toekomstige kwaliteit. Een soortgelijke aanpak hanteren ook de internationale accreditatieorganen. Bij een accreditatie moet de UT aan kunnen tonen dat zij ook voor de toekomst de, op dat moment gemeten, kwaliteit kan handhaven en kan uitbouwen. Derhalve dient de UT te beschikken over procedures die deze ontwikkelingen nu en in de toekomst bewaken en daar waar nodig is bijstellen, kortom een sluitend intern kwaliteitszorgmodel.

In de periode 2005-2010 heeft de UT een expliciet kwaliteitszorgbeleid onderwijs geïmplementeerd, gestoeld op PDCA-cirkels. Een beleid dat het mogelijk maakt efficiënt aan verschillende externe accreditaties te voldoen.



De UT-visie op kwaliteitszorg is vertaald naar een instellingskwaliteitszorgsysteem (IKS) dat in deze notitie wordt beschreven. Het College van Bestuur heeft op 2 juni 2008 het volgende besluit genomen:

Gezien het voorstel voor een Instellingskwaliteitszorgsysteem voor UT-opleidingen

Gehoord de discussie in het CvB-D en het Opleidingsdirecteurenoverleg

Overwegende:

· het belang van een systeem dat op instellingsniveau de opleidingskwaliteitszorg borgt en dat zorgdraagt voor een gestructureerde manier om de follow up van visitaties vorm te geven;

· het huidige gebrek aan zichtbaarheid van opleidingskwaliteitszorg op instellingsniveau en de toenemende verantwoordingsvragen vanuit VBI’s en NVAO;

· de wens best practices inzichtelijker te maken voor de hele instelling;

· het belang van een commissie van externe deskundigen voor het uitvoeren van een onafhankelijke, gezaghebbende en kwalitatief goede evaluatie tijdens de Mid Term Review;

Het College van Bestuur besluit het Instellingskwaliteitszorgsysteem voor UT-opleidingen conform het voorstel vast te stellen en dit besluit voor te leggen aan de Universiteitsraad ter instemming.


Doel en randvoorwaarden instellingskwaliteitszorgsysteem (IKS)


Het IKS is nadrukkelijk neergezet als groeimodel: het richt zich nu vooral op opleidingskwaliteitszorg die op instellingsniveau wordt geborgd. Zie figuur 1.


Figuur 1: Doelstellingen en randvoorwaarden IKS


Het IKS zou idealiter kunnen doorgroeien naar een systeem dat ook andere domeinen een plaats geeft, zoals ENQA-normen, BKO, minoren, internationale coaccreditaties. Deze zijn nu niet opgenomen. De gedachte hierachter is dat het IKS zoals dat nu voorligt gemakkelijker kan worden geïmplementeerd en sneller het primair gewenste resultaat oplevert dan meteen te proberen een complexer IKS op te zetten. Bovendien dient het IKS rekening te houden met toekomstige wijziging van het accreditatiestelsel, wat er ook voor pleit niet nu al een ingewikkelder en meer in details uitgewerkt IKS op te zetten.

In 2007 zijn al belangrijke stappen gezet om de kwaliteitszorg van de UT-opleidingen op instellingsniveau te borgen: de kwaliteit van de opleidingen is jaarlijks onderwerp van gesprek in de najaarsoverleggen van CvB met faculteitsbesturen, en alle zelfevaluaties, VBI-rapporten en NVAO-besluiten worden in het CvB besproken. Daarnaast bespreekt de Rector Magnificus per 2008 de VBI-rapporten met de decaan en de opleidingsdirecteur. Het IKS doet daar nog een schepje bovenop door in de periode tussen twee visitaties, onder verantwoordelijkheid van de opleidingen, een Mid Term Review te accommoderen. De Mid Term Review controleert het facultaire kwaliteitszorgsysteem en voorkomt dat er in die tussenliggende jaren weinig urgentie wordt gevoeld om problemen aan te pakken.

De kern van het voorstel staat in Figuur 2. Het IKS poogt zoveel mogelijk gebruik te maken van gegeven, bestaande kaders. In het visitatie- en accreditatiestelsel wordt iedere opleiding elke zes jaar beoordeeld. Zelfevaluaties en visitatierapporten zijn daarbij gegeven grootheden. Aan die cyclus wordt in het IKS een Mid Term Review toegevoegd, die eventueel kan worden opgevolgd door een Extensive Review. Daarnaast is het mogelijk dat er een beoordeling in een VBI-rapport staat die om actie vraagt, of kunnen er andere signalen zijn die niet onbeantwoord kunnen blijven. Ook daarvoor heeft het IKS een mechanisme.


Figuur 2: Kern van het IKS-voorstel


De keuzes die vooralsnog gemaakt zijn bij het concept-IKS staan in Figuur 3. Beheersing van de basiskwaliteit staat voorop, omdat dit noodzakelijk is voor het behoud van accreditatie van opleidingen. Daarnaast heeft de UT de ambitie om boven de basiskwaliteit uit te stijgen en kan het IKS best practices blootleggen. Dat soort functies kan later verder en meer structureel worden ontwikkeld (groeimodel). Het IKS is compatibel, zodat de komst van een nieuw accreditatiestelsel (zie verderop) geen nieuw of geheel ander IKS zal vergen. Essentieel in dit voorstel is dat het IKS complementair is aan het facultaire kwaliteitszorgsysteem (FKS). Het IKS stelt eenduidige vragen aan het FKS, dat er niet voor iedere faculteit hetzelfde uit hoeft te zien. Het FKS voedt het IKS bottom up. Een faculteit die een goed draaiend FKS heeft kan zonder veel extra werk ook bij het IKS aanhaken. Het gaat dan met name om het zichtbaar maken van de werking van het FKS en de PDCA-cycli in de al genoemde Mid Term Review (MTR, zie ook Figuur 4). Het IKS schrijft voor dat een faculteit een FKS moet hebben, maar het IKS schrijft niet voor hoe het FKS eruit moet zien.



Figuur 3: Keuzes binnen het IKS


De IKS-Mid Term Review behandelt slechts een beperkt aantal criteria en vraagt niet van de faculteiten dat zij op ieder moment de volledige dwarsdoorsnede van de opleidingen kunnen maken. Wel mag van een FKS verwacht worden dat er op ieder criterium (facet) binnen een beperkte tijd desgevraagd een update beschikbaar is; dat speelt bij de rode bullet in Figuur 2 (bestuurlijk initiatief, zie ook Figuur 5).

Als laatste wordt het idee van een elektronisch kwaliteitszorg­systeem genoemd. Er vindt een studie plaats naar nut en noodzaak

van zo’n systeem voor de UT. Een elektronisch kwaliteitszorgsysteem kan helpen om op ieder moment de balans op te kunnen maken en alarmbellen én best practices bij specifieke opleidingen inzichtelijk te maken. Bovendien is het een handig middel om documenten overzichtelijk te beheren, processen inzichtelijk te houden, om het zelfevaluatierapport op te stellen en om de Mid Term Review en eventuele Extensive Review efficiënter te kunnen accommoderen.




Kwaliteitscontrole per opleiding in het IKS


Figuur 4: IKS per opleiding: hoe ziet dat er uit?


Zie Figuur 4 (kleuren komen overeen met die in de andere figuren). Het FKS – hoe dat er ook uitziet – is binnen het IKS een gegeven. In de PDCA-cycli van het facultaire kwaliteitszorgsysteem worden verbeteracties geïmplementeerd en (binnen IKS) jaarlijks besproken in het najaarsoverleg. Het visitatierapport is een maat voor de werking van IKS en FKS. De Mid Term Review zorgt voor controle van de PDCA-cycli van het FKS. De Extensive Review (ER) is optioneel en komt na de MTR. “Rood” Bestuurlijk initiatief (BI) staat los van MTR en ER en kan worden ingegeven door een kritische passage in een VBI-rapport of door andere signalen (niet noodzakelijkerwijs in jaar 6). Idealiter hebben de meeste opleidingen intern geen ER- en/of “rode” BI-fase. Zie Figuur 4.

In Figuur 5 zijn de niveaus van kwaliteitscontrole per opleiding verder uitgewerkt.

Allereerst zijn er de terugkoppeling en daaruit voortvloeiende verbeteracties naar aanleiding van het verschenen VBI-rapport. Zie Figuur 6. Dit vindt zijn beslag in het FKS en wordt in de jaarlijkse P&C-cyclus geagendeerd. Best practices en excellente scores worden hier gesignaleerd, besproken en waar zinvol verder gecommuniceerd de instelling in. Bovendien bespreekt de Rector Magnificus het visitatierapport met de decaan en de opleidingsdirecteur en neemt het CvB een besluit over het aanvragen van accreditatie op basis van het VBI-rapport. Het CvB neemt dus ook initiatief (BI) als er geen “fase rood” is, namelijk bij iedere opleiding wanneer het VBI-rapport beschikbaar is. Ook als het zelfevaluatierapport (ZER) beschikbaar is wordt dat geagendeerd in het CvB (≈ jaar 5). Mocht in deze “groene” fase blijken dat er problemen zijn dan komt de opleiding alsnog in een “rode” fase terecht, zoals beschreven in Figuur 9.


Figuur 5: Niveaus van kwaliteitscontrole per opleiding




Figuur 6: Bestuurlijk initiatief wanneer VBI-rapport of ZER beschikbaar is


Ongeveer drie jaar na het beschikbaar komen van het VBI-rapport volgt de Mid Term Review (MTR, zie Figuur 7). Daarin wordt gekeken naar de follow-up van de vorige visitatie (zijn kritieken VBI-rapport afdoende geadresseerd?) en wordt getoetst hoe de opleiding ervoor staat op facet 11: beoordeling en toetsing en op facet 20: gerealiseerd niveau. Deze facetten zijn volgens de voorzitter van de NVAO de belangrijkste in het accreditatiekader; in het nieuwe wetsvoorstel is een onvoldoende op facet 11 zelfs niet te compenseren en leidt dit tot verlies van accreditatie. Het derde punt in de MTR is een steekproef van maximaal drie andere facetten (overigens wel in overleg met de opleidingsdirecteur). Omdat bij het eerste punt vaak al op een aantal facetten dieper is ingegaan is bij het derde punt verificatie van drie extra facetten niet altijd nodig. De MTR is een eigen verantwoordelijkheid van de opleiding. De opleiding schrijft een zelfevaluatie over de facetten uit Figuur 7, vraagt daarbij desgewenst advies aan Onderwijskundige Dienst, en kan verbeteracties gaan implementeren. De opleiding stuurt de zelfevaluatie naar S&C (staf CvB), dat de organisatie van het bezoek door een MTR-panel (zie verderop) ter hand neemt.

Figuur 7: Mid Term Review (MTR)


Wanneer in de MTR volgens de beoordelaar blijkt dat de opleiding de zaken op de geverifieerde facetten goed op orde heeft, wordt er binnen het IKS van uitgegaan dat de opleiding op alle facetten aan de maat is (aanname). De opleiding kan zich dan op eigen houtje verder voorbereiden op de komende visitatieronde en het schrijven van het zelfevaluatierapport (ZER), desgewenst ondersteund door de OD.

Wanneer in de groene fase van de MTR blijkt dat zaken nog niet goed op orde zijn kan de oranje fase van de Extensive Review volgen (ER, Figuur 8). De beoordelaar (zie verderop) doorloopt in de Extensive Review kritisch alle 21 QANU-facetten5 met de opleiding. Het is bij een ER raadzaam voor een opleiding om de OD om hulp te vragen. Verbeteringen worden in gang gezet en er worden actieplannen voor kritische zaken opgesteld. De uitvoer van verbeteracties wordt periodiek geverifieerd en de opleiding begint tijdig met het schrijven van het zelfevaluatierapport, waarin geconstateerde gebreken genoemd kunnen worden met daarbij de ingezette verbeteracties en de status daarvan. Het oordeel van extern aangetrokken peers kan deze fase versterken. Van de ER wordt door de opleiding een verslag opgesteld, dat de basis kan zijn voor het later te schrijven zelfevaluatierapport. Het verslag wordt naar S&C gestuurd ten behoeve van de P&C-cyclus. Wanneer de beoordelaar constateert dat de opleiding aan het eind van de ER nog steeds grote risico’s loopt bij een volgende visitatie wordt een gesprek gearrangeerd tussen CvB (RM), OLD en decaan.


Figuur 8: Extensive Review (ER)


De beoordeling van de MTR (en de ER) zou bij verschillende partijen (in- of extern) belegd kunnen worden. Voorop zou moeten staan dat de beoordeling onafhankelijk en deskundig is. De Onderwijskundige Dienst (OD/S&OB) zou zeker in staat zijn een gedegen verificatie per opleiding uit te voeren, maar de OD-rol als adviseur en trainer laat zich niet goed combineren met een rol als beoordelaar. Het is wenselijk deze taken gescheiden te houden en een alternatieve beoordelaar te zoeken.

Het wordt wellicht wat zwaar om een andere onderwijskundige dienst van een HO-instelling te vragen voor deze taak, of om een VBI te vragen. Een alternatief zou Operational Audit kunnen zijn, al is OA (nog) niet inhoudelijk bekend met accreditatie van opleidingen. Een andere gedachte zou kunnen zijn een brede UT-commissie in te stellen, met daarin studenten, docenten, kwaliteitszorgmedewerkers uit faculteiten, iemand van S&OA en iemand van S&C, en de beoordeling van de MTR en eventuele ER door (een doorsnede van) deze commissie te laten doen. Echter, doordat deelname aan zo’n commissie vrij veel tijd zou kosten zou het waarschijnlijk lastig zijn om mensen te vinden voor zo’n commissie.

Het IKS gaat daarom uit van de vorming van een panel ten behoeve van de MTR, waarin een onderwijskundige en twee externe hoogleraren – inhoudelijk deskundigen – de Mid Term Review uitvoeren. De hoogleraren zouden niet aan de opleiding verbonden moeten zijn en kunnen door de opleiding zelf worden aangedragen. Het onderwijskundige lid van het panel krijgt een auditorentraining. S&C (staf CvB) zal de secretarisrol op zich nemen. De opleiding kan ervoor kiezen de commissie uit te breiden met een docent/onderzoeker, een student of iemand uit het afnemende beroepenveld.


Zoals vermeld stelt de opleiding zelf een kort verslag op voor de MTR (dit betreft dus de MTR-zelfevaluatie, eventueel ondersteund door een OD-advies) en stuurt dat naar S&C ten behoeve van de P&C-cyclus. De beoordelingscommissie beoordeelt of de MTR voldoende is, of dat een ER nodig is.

Bestuurlijk initiatief (BI) kan plaatsvinden bij negatieve in- of externe signalen (bijvoorbeeld een stuk in de krant, een vraag van de Inspectie, een vraag van de VBI of de NVAO) en bij een negatief VBI-rapport (bij een onvoldoende op facetniveau, maar ook bij een zeer kritische passage in een rapport die niet meteen tot een onvoldoende facetbeoordeling leidde). Zie Figuur 9. Zoals gezegd vindt daarnaast ook (“groen”) bestuurlijk initiatief plaats wanneer het zelfevaluatierapport beschikbaar is en wanneer het VBI-rapport voorhanden is (zie Figuur 6). In tegenstelling tot het preventieve “groene” BI, de MTR en de ER is “rood” bestuurlijk initiatief reactief.


Figuur 9: Bestuurlijk initiatief op basis van kritisch VBI-rapport of andere signalen


In de BI-fase wordt het probleem geïnventariseerd (Figuur 9) en er wordt een eerste reactie voorbereid, waarna actieplannen worden opgesteld met de opleiding. Aandachtspunt hierbij is de bestuurlijke borging in de faculteit. Plannen worden uitgevoerd en zeer kritisch gevolgd. Er wordt gelet op goede communicatie, op openheid waar dat kan en op stilte waar dat even nodig is. Paniekvoetbal moet zoveel mogelijk vermeden worden. Tot het (dreigende) probleem is opgelost is regelmatig contact tussen CvB (RM) en decaan en OLD noodzakelijk.




Planning


In Figuur 10 wordt een mogelijke planning van agendering, besluitvorming en routering van het IKS weergegeven.

Binnenkort wordt een voorstel voor de planning van mid term reviews rondgestuurd aan opleidingsdirecteuren en decanen. Die planning gaat uit van de volgende visitatie en rekent daar vandaan terug.

Figuur 10: Planning besluitvorming en routering



Toekomst: nieuw accreditatiestelsel


Het IKS is als groeimodel neergezet en is aan te passen aan het voorziene nieuwe accreditatiestelsel. In Figuur 11 staat de kern van het wetsvoorstel. Dit najaar zijn vijf pilots voorzien; het nieuwe accreditatieregime zou per 01-01-2010 in moeten gaan.


Figuur 11: IKS: rekening houden met uitgangspunten nieuwe accreditatiestelsel


De NVAO heeft inmiddels twee van de drie kaders beschikbaar gesteld (StOA 21 mei 2008), te weten het conceptkader voor de instellingsaudit (zie Figuur 12) en het conceptkader voor de beperkte opleidingsbeoordeling (zie Figuur 13). De 21 facetten worden vervangen door zes standaarden voor de instellingsaudit en drie voor de beperkte opleidingsaudit. De algemene conclusie (over het 'in control' zijn van de instelling over de kwaliteit van de opleidingen) bij de instellingsaudit kent drie mogelijkheden:

(a) vertrouwen (voor zes jaar goedgekeurd);

(b) conditioneel vertrouwen (geen goedkeuring, maar herstelperiode van twee jaar, waarin de opleidingen - tot goedkeuring is verkregen - via het uitgebreide regime worden beoordeeld); of

(c) geen vertrouwen (onthouding van goedkeuring voor ten minste drie jaar; uitgebreide opleidingsbeoordelingen).

In tegenstelling tot de huidige kaders resulteert de beperkte opleidingsbeoordeling in een eindoordeel op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent); een duidelijke verbetering dus en een prikkel om een kwaliteitsslag te blijven maken.

Hoe het kader voor de uitgebreide opleidingsbeoordeling eruit zal zien is nog ongewis. Bij de eerste conceptversie verschilde het beperkte kader weinig van het uitgebreide kader (en leek er weinig reden om een instellingsaudit te gaan aanvragen).

Bij de toets nieuwe opleidingen 'ligt het in de rede dat gebruik gemaakt zal worden van een beperkte opleidingsbeoordeling bij een positieve instellingsaudit', aldus de NVAO.

De definitie van een 'kwaliteitscultuur' (zie standaard 1, Figuur 12) ontbreekt. Of en hoe de bureaucratische lasten verminderd worden (een expliciet doel van het nieuwe accreditatiestelsel) is nog niet duidelijk. De pilots zullen hier inzicht in moeten geven.


Figuur 12:conceptkader NVAO instellingsaudit


Figuur 13: Conceptkader NVAO beperkte opleidingsbeoordeling




Figuur 14: Bottlenecks bij instellingsaudit volgens Karl Dittrich

In Figuur 14 staan de bottlenecks van een instellingsaudit, zoals in januari verwoord door de voorzitter van de NVAO. De inrichting van het beoordelingspanel ten behoeve van de mid term review sluit goed aan bij de derde bullet.

In Figuur 15 tenslotte is weergegeven hoe het hier beschreven IKS aangepast dient te worden bij de implementatie van het nieuwe accreditatiestelsel. Een slag om de arm is nodig, omdat de politiek kan

besluiten dat het stelsel er anders uit komt te zien dan in de huidige concepten is weergegeven. Het IKS is echter flexibel genoeg om – gebruik makend van facultaire kwaliteitszorgsystemen – ook bij een nieuw accreditatiestelsel de kwaliteit van de UT-opleidingen te borgen, transparantie te garanderen, verbeterfuncties zichtbaar te maken en bureaucratische lasten zoveel mogelijk te beperken.


Figuur 15: Eisen en aanpassingen IKS bij implementatie nieuw accreditatiestelsel


Bijlage: gebruikte afkortingen


BI = bestuurlijk initiatief

BKO = basiskwalificatie onderwijs

Certiked = VBI

ER = Extensive Review

FKS = facultair kwaliteitszorgsysteeem

IKS = instellingskwaliteitszorgsysteem

KS = kwaliteitszorgsysteem

MTR = Mid Term Review

Najo = najaarsoverleg

NVAO = Nederlands Vlaamse accreditatie organisatie

OA = operational audit

OD = onderwijskundige dienst

OLD = opleidingsdirecteur

P&C cyclus = planning & controlcyclus

PDCA cirkel = plan do check act cirkel

RM = rector magnificus

S&C = concerndirectie strategie en communicatie

S&O = student en onderwijs service centrum

TNO = toets nieuwe opleiding

QANU = VBI

VBI = visiterende en beoordelende instantie

ZER = zelfevaluatierapport