Verslag UT-bijeenkomst 3 december 2015



Op donderdagmiddag 3 december 2015 vond op de UT een discussie- en uitwisselingsmiddag plaats naar aanleiding van het Inspectierapport Verdere Versterking examencommissies. speciale gast was drs. Martine Pol-Neefs, inspecteur Hoger Onderwijs en projectleider van het onderzoek naar het functioneren van examencommissies.
De bijeenkomst startte met een inleidende presentatie van de onderwijsinspecteur. Vervolgens werden een aantal thema’s besproken. Per thema werd door Martine Pol ingezoomd op specifiekere uitkomsten van het onderzoek en van rondetafelgesprekken in het land. Enkele UT-medewerkers waren gevraagd bij de thema’s praktijkvoorbeelden te presenteren of vraagpunten uit de praktijk voor te leggen.

Verslag presentatie van de inspecteur hoger onderwijs

Ramses Wessel, decaan onderwijsvernieuwing en dagvoorzitter, heette een ieder van harte welkom waarna Martine Pol een toelichting gaf op het onderzoek naar het functioneren van examencommissies in het hoger onderwijs. Tijdens de presentatie werden punten verhelderd aan de hand van voorbeelden die bij de ‘rondetafelgesprekken’ met examencommissies in het hele land naar voren waren gekomen.

Thema’s die in de presentatie van de inspecteur gedurende de middag aan de orde kwamen waren: wettelijke kaders, taken en verantwoordelijkheden, richtlijnen voor examinatoren, steekproeven van tentamens, het aanwijzen van examinatoren en de borging van het eindniveau. Hiernavolgend een samenvatting . Voor de gehele PPT-presentatie, klik <hier>.

Welke wettelijke kaders gelden er? De examinator stelt de uitslag vast (WHW art. 7.12c), de examencommissie borgt kwaliteit van het tentamen (WHW art. 7.12b onder a) en de examencommissie stelt vast dat de student aan de vereisten voor het krijgen van een graad voldoet (WHW art. 7.12).

Door praktijksituaties wordt duidelijker hoe de wet te interpreteren is. Martine Pol gaf wat voorbeelden. Zo blijkt uit jurisprudentie dat de examencommissie het cijfer zelf niet mag vaststellen, ook niet bij probleemsituaties. Bij probleemsituaties mag de examencommissie de examinator zijn/haar aanwijzing ontnemen en een Onderwijs- en examenregeling mag ‘tijdens de rit’ gewijzigd worden.


Over het ongeldig verklaren van tentamens is geen jurisprudentie beschikbaar, een dergelijke beslissing is de eigen verantwoordelijkheid van de examencommissie. Dit valt onder het borgen van de kwaliteit van tentamens. Martine Pol merkt op dat het goed is om met het ongeldig verklaren van tentamens terughoudend te zijn. Het is belangrijk de nadelen voor de student te beperken. Tegen het ten onrechte toekennen van een voldoende kan de examencommissie op het moment zelf weinig uitrichten, wel kan de examencommissie preventieve maatregelen nemen voor de toekomst.
In de OER dienen studenten vooraf geïnformeerd te zijn over de mogelijkheden van de examencommissie in een bijzondere (nood)situatie.

Over mandateren geeft Martine Pol aan dat er wettelijk gezien niets op tegen is. Alles mag, maar wat is verstandig? De examencommissie blijft zelf wel verantwoordelijk. Het tekenen van getuigschriften mag gemandateerd, maar dit is bij uitstek een taak waarbij de rol van de examencommissie sterk naar voren komt en dit mandateren lijkt daarom minder wenselijk.

Het onderscheid in wettelijke taken tussen het bestuur/management en de examencommissie, licht Martine Pol toe aan de hand van het schema van Jaspers en Van Zijl*. Voor het bestuur/het management liggen de taken vooral op het gebied van de OER, het toetsprogramma, het budget voor professionalisering en het personeelsbeleid. De examencommissie heeft tot taak beslissingen te nemen over compensaties en de borging van de kwaliteit van toetsing en het eindniveau.
Belangrijke middelen voor een examencommissie om in te zetten zijn: ‘communicatie’ (dit bovenal), het jaarverslag en de aanwijzing van examinatoren. Een goede wijze van communiceren over en weer werkt verhelderend voor alle betrokkenen.

In vergelijking met een eerder onderzoek naar het functioneren van examencommissies, blijken tegenwoordig vrijwel alle examencommissies richtlijnen voor toetsing en beoordeling voor examinatoren te verstrekken. Waar de richtlijnen aandacht aan besteden, verschilt wel (zie slide). Een beperkte set richtlijnen is van belang, maar zonder overmatige detaillering.

In totaal 89% van de examencommissies onderzoekt periodiek de kwaliteit van tentamens. Of laat dit onderzoeken; vaak wordt deze taak door anderen (zoals een toetscommissie) uitgevoerd. De verantwoordelijkheid voor de conclusies blijft bij de examencommissies liggen.
Bij het bekijken van steekproeven van tentamens gaat het om de kwaliteitsborging en niet over de herbeoordeling van de individuele student.

Een taak van de examencommissie is het aanwijzen van examinatoren. Door 97% van de examencommissies wordt deze taak uitgevoerd, maar de vraag is wel in hoeverre deze taak als een formaliteit of echt als een mechanisme voor borging wordt opgevat. Zo blijkt dat 30% van de commissies alle docenten aanwijst. Daarnaast geldt dat: 70% niet naar vak/tijd specificeert en 50% geen profiel voor examinatoren hanteert. Uit het onderzoek komt ook naar voren dat over dit punt er redelijk vaak verschil is van taakopvatting tussen het management en een examencommissie en examinatoren zelf lang niet altijd op de hoogte zijn van de ‘aanwijzing’.

Voor wat betreft de borging van het eindniveau blijkt uit het onderzoek dat 88% van alle examencommissies periodiek de kwaliteit van eindwerken onderzoekt. De examencommissie zelf trekt de uiteindelijke conclusie, maar de uitvoering wordt vaak aan anderen overgelaten. Het nagaan of alle eindkwalificaties worden getoetst, inclusief attitudes en vaardigheden, gebeurt (nog) niet overal.

Samenvattend, somde de inspecteur een ontwikkelpad op, gericht op 10 kerntaken, zie bijgaande slide. Het rapport ‘Verdere Versterking’, dat de weerslag vormt van het onderzoek, wordt vooral gezien als een startpunt naar de volgende fase.
In een vervolgpublicatie over de kwaliteit van toetsing, zijn aandachtspunten opgenomen die in de zijlijn van het onderzoek naar voren kwamen en een bredere invalshoek hebben dan alleen het functioneren van de examencommissies. Bij de zorg voor toetskwaliteit zijn tenslotte veel actoren betrokken; de examencommissies zijn hier zeker niet alleen voor verantwoordelijk. Ze zijn bij hun werkzaamheden afhankelijk van hoe een en ander bij de opleidingen geregeld is en de deskundigheid van alle betrokken examinatoren. De uit het nieuwe rapport voortvloeiende aandachtspunten en aanbevelingen, zijn eveneens van groot belang om de kwaliteit van toetsing in het hoger onderwijs te kunnen verhogen en garanderen**.

Verslag van de themabesprekingen

Op verschillende thema’s is wat meer ingezoomd. Navolgend het verslag van de bijdragen van een vijftal UT-medewerkers en punten uit de discussies die in groepjes werden gevoerd.


Van opleidingscommissie naar faculteitscommissie. Wat moet de examencommissie kennen, kunnen en doen (en laten)?

Bij EWI heeft een overstap plaatsgevonden van examencommissies per opleiding, naar een facultaire examencommissie met subcommissies per opleiding. Examencommissievoorzitter Arend Rensink (EWI) gaf een presentatie over deze ontwikkeling en illustreerde dit met bovenstaande schematische voorstellingen (NB. Opleidingscommissie wil hier zeggen: de sub[examen]commissies per opleiding.).
Arend Rensink gaf aan dat afstemming tussen examencommissies duidelijk meerwaarde heeft.

In kleine groepjes werd over de vraag gediscussieerd welke onderwerpen die met de taken van examencommissies te maken hebben, beter centraal, facultair en op opleidingsniveau kunnen worden behandeld.

Uit de groepjes kwam o.a. naar voren dat een toetskader en de organisatie rond tentaminering goed op centraal niveau geregeld kan worden. Toetsbeleid kan op facultair niveau worden vastgesteld door de decaan. Het specifiek formuleren van eindtermen is aan de opleiding, maar voor de examencommissie van groot belang om haar taken goed te kunnen uitvoeren.

Het vormgeven van een examencommissie op facultair niveau kan betekenen dat je met minder leden in totaal toe kan. alleen in de ‘centrale commissie’ hoeft een extern lid opgenomen. Naast subcommissies voor de opleidingen, zou je ook kunnen denken aan een dubcommissie voor algemenere, brede thema’s.

Vanuit de groepjes zijn de volgende punten op post-its geschreven aangaande vragen en aandachtspunten die er rond dit thema leven:

·

Juridisering. Hoe de balans krijgen/houden? Rol decanen?

·

Geldigheidsduur tentamencijfers. Reglement van orde (tijdens tentamen). Zak/slaagregeling en dan in het bijzonder compensatie, cum laude regeling.

·

Keuze tussen toetscommissies per faculteit/opleiding of examencommissie.

·

Alle docenten extra kennis OER.

·

Continue reflecteren en plannen in plaats van alleen in het jaarverslag het e.e.a. vermelden.

·

OER is centraal door het CvB vastgesteld. Gebrek aan communicatie?


Goed beoordelen is (g)een kunst. Iedereen kan het (leren)?
Tom Mulder, medewerker S&B en nauw betrokken bij de invoering van TOM, bracht enkele aandachtspunten naar voren in verband met de Onderwijs- en Examenregeling.
De opleiding maakt de OER om studenten duidelijkheid te geven over regels rond het onderwijs en examinering. Regels en richtlijnen zijn voor examinatoren. Het geeft ook aan hoe het examineren is geborgd. Het interpreteren van individuele gevallen doet de examencommissie, daar is de OER niet voor. Soms is het echter onduidelijk waar nu wat thuishoort, zoals de zak-/slaagregels voor modules.
Wettelijk is dit niet precies voorgeschreven.
Belangrijker dan alles in regels vastgelegd te hebben (bureaucratie) is het om examinatoren goed geïnformeerd en toegerust te hebben voor hun taken.

Kwaliteit van toetsing: keur je het goed?
Gerben Westerhof, opleidingsdirecteur Psychologie, gaf een presentatie over hoe bij zijn opleiding de borging van de kwaliteit van toetsen is georganiseerd. Bij Psychologie (zowel als bij de opleiding Communicatiewetenschappen, beide opleidingen trokken op dit gebied voor een groot deel gemeenschappelijk op) waren de examencommissies al een aantal jaren actief op het gebied van de screening van toetsen. In 2014/2015 is een pilot uitgevoerd waarbij een “toetscommissie” een steekproef van toetsen heeft gescreend. Voor het proces, zie hiernaast de schematische voorstelling.
In het kader van de pilot, is een instrument ontwikkeld: een checklist annex format voor het screenen van de toetsen en het rapporteren van de resultaten. Het al langer gebruikte “Stappenplan Toetsing en beoordeling”, een handreiking voor examinatoren, is bijgesteld. Komend jaar zal de werkwijze worden voortgezet.

Door de aanwezigen zijn de volgende punten op post-its geschreven aangaande vragen en aandachtspunten rond dit thema:

·

Kwaliteit transparanter maken.

·

Transparantie in toetsing?

·

Vakevaluatie-gegevens over toetsing moet ook naar de examencommissie.

·

Vakdeskundige is geen onderwijsdeskundige!

·

Hoe ga je om met toetsing van kleine specialistische gebieden?

·

Cesuur interdisciplinair.

·

Zessen-sessie.

·

TOM geeft een piek bij examinatoren van bacheloropdrachten.

·

Hoe meer vertrouwen in kwaliteit van toetsing hoe minder controle door examencommissie nodig.

·

Doet de opleiding / examinator aan toetsanalyse voorafgaande aan de bepaling van het eindcijfer (eventueel opnemen van richtlijnen examencommissie)?

·

Aandachtspunt: kwaliteit / toetsbekwaamheid examinatoren.

·

Steekproeven blijven nemen (inclusief klachten over toetskwaliteit en ‘ rare’ slag/zak percentages).

·

Streven: regels en richtlijnen examencommissies op elkaar afstemmen.

·

OKC rapport is een signaal naar de examencommissie.

·

Uitwisseling eindverslagen (bijv. met TUE/TUD).

·

Vakdossier en peer review. De examencommissie kijkt of peer review gebeurt. Wie stuurt dit aan?

Hoe wijs ben je met de examinatoren die je aanwijst?
Jos de Lange, docent bij Industrieel Ontwerpen, beschreef op bevlogen wijze zijn ervaringen met het gebruik van ene toetsmatrijs. Door deelname aan het BKO-traject was hij in aanraking gekomen met deze methode om leerdoelen en ‘wat en hoe je toets’ inzichtelijk en aantoonbaar met elkaar te verbinden. In plaats van vooraf, paste hij de toetsmatrijs achteraf toe op een onderwijsonderdeel en de daarbij behorende toets. Op basis daarvan werd duidelijk dat niet alle leerdoelen goed waren afgedekt en de criteria niet helder waren. Dit sloot aan bij een wat onbevredigend gevoeld van de betrokken docenten zelf over de kwaliteit van de producten van de studenten. De toetsmatrijs gaf indicaties voor verbetermogelijkheden en bleek een nuttig instrumentarium.

Aan de aanwezigen werden een aantal vragen voorgelegd: Hoe kan de deskundigheid van de examinatoren worden gestimuleerd en geborgd? Hoe ga je dit procedureel regelen? En wat voor soort examinatoren wil je eigenlijk?

De volgende vraag- en aandachtspunten zijn op de post-its naar voren gebracht:

·

BKO noodzakelijk? Moet de examencommissies dit controleren?

·

Is het wel een eer om examinator te zijn?

·

Hoe / wanneer ontneem je de examinator zijn rol?

·

Probleem: niet zoveel keuze qua wie je benoemt. Zeker niet in de master.

·

Aantal criteria opstellen bij aanwijzen van examinatoren. BKO en met name BKE zegt iets over aantoonbare toetsbekwaamheid. Belangrijker dan ‘zoveel jaar ervaring’ .

·

Kun je docenten dwingen om BKO kennis te gebruiken?

·

Profiel van een examinator: BKO (in opleiding); zwaarte inhoudelijk (inhoudelijk competent).

·

Deskundigheid: intervisie, BKO, expliciet onderwerp in groep.

·

Profiel: vakdeskundig (inhoud), wisselend qua onderwijs expertise.

·

Zo lang de keten niet op orde is, heeft persoonlijk aanwijzen van examinatoren geen zin.


De weg en het einddoel. Eind goed, alles goed?
Als laatste gaf Pieter-Tjerk de Boer, als lid van de examencommissie Informatica (EWI), een presentatie over de opzet van en ervaringen met de “eindverslagen-carrousel”.
De “eindverslagen-carrousel” heeft tot doel te onderzoeken of de beoordeling van eindverslagen betrouwbaar en valide gebeurt. Een aantal verslagen wordt daarvoor door een tweede beoordelaar bekeken. Voor de steekproef wordt uitgegaan van: 1 verslag per type per leerstoel, gespreid over cijfers. Elke leerstoel levert een herbeoordelaar en elke herbeoordelaar beoordeelt 1 verslag van elk type. Vervolgens worden het oorspronkelijke en nieuwe oordeel vergeleken en bij verschil wordt onderzoek gedaan naar de reden hiervoor.
Uit de carrousel-ronde kwam naar voren dat er geen gevallen waren waarin de herbeoordelaar het bekeken werk onvoldoende acht. In ca. de helft van de gevallen stemden de oordelen overeen. Bij grote verschillen bleek de eerdere beoordelaar hier duidelijk redenen voor te hebben, maar dit kwam niet altijd uit het verslag bij de beoordeling naar voren. Inmiddels zijn beoordelings-formulieren ingevoerd die de motivatie voor het cijfer beter aantonen.
Als mogelijkheden voor de toekomst wordt gedacht om het onderzoek periodiek te herhalen (bijv. eens per visitatie, of jaarlijks) of om te zoeken naar een andere manier om betrouwbaarheid & validiteit te borgen.

* Uit: Samenwerken aan toetskwaliteit. Fontys Hogescholen. Dienst Onderwijs en Onderzoek. Mieke Jaspers & Els van Zijl, 2014. Zie ook het item in deze nieuwsbrief hierover. Klik <hier>

** Dit rapport is 2 maart 2016 verschenen, zie item Inspectierapport De kwaliteit van toetsing in het hoger onderwijs in deze nieuwsbrief.