Toetsanalyse en dan? Wat kun je als docent met de resultaten?

Sander Schenk schrijft blogs onder de noemer “Toetsen, leren, nullen en enen”. Diverse interessante blogs en nuttige verwijzingen naar links zijn via zijn site te vinden. De nadruk ligt op digitaal toetsen, maar de onderwerpen behandelen toetsing ook in bredere zin. Op 31 oktober 2011 plaatste hij de volgende blog over toetsanalyse. (http://www.sanderschenk.nl/2011/toetsanalyse-ontvangen-wat-nu).

Er is een toets afgenomen en je ontvangt hiervan als docent een rapportage met een toets- en itemanalyse. Help! Wat nu?

Sowieso zul je er iets mee moeten doen. Ongelezen naast je neerleggen is géén optie. Marcel Penners van Hogeschool van Arnhem en Nijmegen legt in deze video kort uit waarom.

http://www.youtube.com/watch?feature=player_embedded&v=xLs00LXm6zY

Ik kreeg onlangs de vraag of je verplicht iets moet doen met de uitkomsten van een toetsanalyse. Mijn antwoord daarop is dat je maar een ding écht moet doen: interpreteer de uitkomsten en kies zelf of je wel of geen acties nodig acht. Laat je in ieder geval nooit door de toetsanalyse zelf voorschrijven wat je moet doen. Altijd zelf blijven nadenken.

Een toets- en itemanalyse dient slechts om signalen te geven van zaken die cijfermatig (psychometrisch) gezien opmerkelijk zijn in een toets. Die signalen an sich zeggen echter nog niets over de ernst en de oorzaak ervan. Er is dus altijd verder onderzoek en interpretatie vereist. Pas dan kun je ervoor kiezen om wel of geen actie te ondernemen.

Enkele voorbeelden:

§

De toetsanalyse geeft aan dat de betrouwbaarheid van een summatieve toets laag is. Bijvoorbeeld een Cronbachs alpha van 0,65. Moet je de resultaten van deze toets ongeldig verklaren? Niet per se. Misschien is de toets wel door een groep studenten gemaakt die allemaal ongeveer even goed of slecht zijn. De betrouwbaarheid zal dan laag uitvallen, maar dat zegt op zich nog niets over de kwaliteit van je toets.
 

§

Een vraag is door vrijwel niemand goed beantwoord. Moet je deze dan verplicht uit de toets verwijderen? Of uit coulance maar bij iedereen goed rekenen? Nee, ook hier geldt weer: ga op onderzoek uit en probeer er achter te komen waarom dit zo is. Was het goede antwoord wel echt goed? Was de vraagstelling wel duidelijk? Is het onderwerp waar de vraag over ging tijdens de colleges wel voldoende aan bod gekomen? Zo ja, dan kun je misschien niet anders dan accepteren dat je niet weet waarom de vraag slecht gemaakt is. Bij een volgende toetsafname nog maar eens kijken wat er gebeurt.

Uit deze voorbeelden blijkt hopelijk dat, ondanks de precieze cijfertjes die een toetsanalyse oplevert, dit nooit tot kant-en-klare antwoorden leidt over wat te doen. En om de zaken nog wat verder te compliceren: ook in een toetsanalyse zitten onzekerheidsmarges. Die goede Rit-waarde is dus misschien wel minder goed dan het lijkt, of andersom. Zeker als je toetsanalyse gebaseerd is op een relatief klein aantal toetsafnames, is de betrouwbaarheid van de toetsanalyse zelf ook lager.

Tot slot. Als je dit bericht leest als lid van een toets- of examencommissie, realiseer je dan dat het altijd de docent zélf is die verantwoordelijk is voor de interpretatie van een toets- en itemanalyse. Zij moeten er net zoveel vanaf weten als jij. Het mag dus niet zo zijn dat een docent de verantwoordelijkheid voor het analyseren van een toets probeert af te schuiven op een toetscommissie.