Verslag van de themabijeenkomst Toetsbeleid (24 juni 2010) + materialen

academic,alphabets,characters,letters,symbols,t

Op donderdag 24 juni organiseerde de Onderwijskundige Dienst de themabijeenkomst Toetsbeleid. Aanleiding hiervoor vormde o.a. de verscherpte aandacht van de NVAO voor het onderwerp toetsing bij accreditaties en de wijzigingen in de WHW, waardoor de rol van de examencommissie is veranderd (versterkt). Daarnaast vingen wij signalen op dat diverse opleidingen of faculteiten op dit moment bezig zijn met of geïnteresseerd zijn in de ontwikkeling van toetsbeleid.

Aanwezigen
In totaal waren er 22 aanwezigen. Een kleine vragenronde liet zien dat de groep opleidingsdirecteuren en de groep onderwijskundigen goed vertegenwoordigd waren. Daarnaast waren er o.a. enkele leden van Examencommissies, een student, een vertegenwoordiger van S&C en van BSP aanwezig. Van iedere faculteit waren er wel enkele medewerkers aanwezig.
Een groot deel van de aanwezigen gaf aan op dit moment actief te zijn op het gebied van toetsbeleid.

Het toetskader

Waardoor is de aandacht voor toetsing de laatste tijd zo toegenomen? Waarom dienen opleidingen toetsbeleid te ontwikkelen? Helma Vlas gaf in haar presentatie antwoord op deze vragen. Belangrijke invloedsfactoren vormen de wijziging van de WHW en de nieuwe accreditatievereisten (zie bijgevoegde PP-presentatie). Het op basis van behaalde studiepunten bepalen of iemand al dan niet zijn of haar studie mag vervolgen, zoals bij de invoering van een BSA gebeurt of geldt voor internationale studenten, legt eveneens een grote druk op de kwaliteit van toetsing.
Maar er zijn niet alleen externe redenen; op dit moment speelt zowel landelijk als binnen de UT duidelijk de wens om het onderwijs in al haar facetten te verbeteren. De kwaliteit van toetsing is in het verleden bij discussies over het verhogen van onderwijskwaliteit vaak wat onderbelicht gebleven, maar krijgt nu - mede ook in het kader van het nieuwe instellingsbrede kwaliteitszorgsysteem - volop aandacht.

Om een gezamenlijk kader te hebben voor het denken over toetsing, is kort de zogenaamde “didactische driehoek” toegelicht. Met dit onderwijskundige basismodel wordt de relatie geschetst tussen: eindtermen – het curriculum - examinering (examinering in de betekenis van de totaalverzameling aan toetsing om aan te tonen dat de student aan de eindtermen voldoet). Ieder van de onderdelen dient op orde te zijn, maar essentieel is ook de onderlinge samenhang: de eindtermen vormen het uitgangspunt, het curriculum zorgt er voor dat de studenten onderwijs kunnen volgen dat ze helpt deze eindtermen te behalen en met de examinering wordt nagegaan of de studenten de eindtermen ook daadwerkelijk behaald hebben.
Op vakniveau is soortgelijke driehoek op te stellen, waarbij de termen veranderen in: leerdoelen –

onderwijs – toetsing.

De rol van het opleidingsmanagement is het onderwijs van een opleiding (bachelor of master) zodanig te organiseren dat alle onderdelen in het model kwalitatief op orde zijn en een samenhangend geheel vormen.

De rol van de examencommissie is het waarborgen dat de examinering (inclusief de organisatie ervan) op orde is en het waarborgen dat gediplomeerde studenten aan de eindtermen voldoen. Het laatste kan, zoals naar aanlei-ding van vragen en reacties tijdens de bijeenkomst naar voren kwam, o.a. door bij je alumni na te vragen of zij het idee hebben dat ze daadwerkelijk beschikken over alle kennis, vaardigheden en houdingsaspecten die in de eindtermen zijn aangegeven. Ook de kwaliteit van afstudeerwerk kan een beeld geven of studenten aan gestelde eindkwalificaties voldoen.

Toetsbeleid concentreert zich op de examinering en toetsing, maar dit is onlosmakelijk verbonden met eindtermen/leerdoelen en het curriculum/onderwijs.

Format voor het opstellen van toetsbeleid
Lisa Gommer inventariseerde welke beelden bij de toehoorders naar boven komen bij de term “toetsbeleid”. De reacties werden door Cornelise Vreman–De Olde verzameld op flipovervellen (zie
fig. 3).

Uit de reacties werd duidelijk dat toetsbeleid heel wat verschillende facetten kent. Aan de hand van een tijdens de bijeenkomst gepresenteerde format voor het opstellen van toetsbeleid, zijn deze facetten nader toegelicht (zie fig. 2. en bijlage).

Het format Toetsbeleid laat zien dat je bij het opstellen van toetsbeleid op opleidingsniveau rekening dient te houden met het “toetskader”. Dit kader bestaat uit een landelijk kader (zoals de WHW, accreditatievereisten), een UT kader (bijvoorbeeld een UT brede onderwijsvisie en het instellingsbrede kwaliteitszorgsysteem) en een facultair en/of opleidingsspecifiek kader (o.a. de onderwijs-visie van de opleiding, de visie van de opleiding op toetsing).

Het toetsbeleid op opleidingsniveau bestaat in dit format uit drie samenhangende onderdelen:

1) Visie, uitgangspunten en strategie

2) Organisatie

3) Kwaliteitsborging


In de uitgedeelde papieren versie van het “format” (zie bijlage) zijn per facet aandachtspunten en vragen aangegeven. Door de vragen te beantwoorden krijgt het toetsbeleid vorm. De aangegeven reeks vragen zijn zeker niet uitputtend, maar hiermee kom je al wel een heel eind. Aan het einde van de themabijeenkomst is een checklist uitgedeeld. Met behulp van deze checklist kan nagegaan worden in hoeverre een opleiding het eigen toetsbeleid al op orde heeft.

Maar dan de praktijk…

Als je nu voor je opleiding toetsbeleid wilt opstellen, wat komt er dan allemaal op je af? Hoe ga je te werk? Waar zitten de probleempunten? Klaas Sikkel, voorzitter van de Examencommissie van BIT (behorend bij de faculteit MB), zette tijdens de bijeenkomst op zeer aansprekende wijze uiteen hoe bij MB en bij BIT gewerkt wordt aan het opstellen en invoeren van toetsbeleid.
Uit zijn presentatie kwam naar voren dat je in de praktijk tegen meerdere lastige punten aanloopt, zoals:

·

een goed overzicht verkrijgen van eindtermen versus leerdoelen versus toetsvormen. Als basis om na te gaan of met alle leerdoelen de eindtermen ‘gedekt’ zijn, de toetsvormen aansluiten bij de leerdoelen en de toetsvormen gevarieerd genoeg zijn. Een dergelijk overzicht opstellen is een enorm karwei, dat weliswaar tot betere inzichten leidt, maar ook betekent dat bij ‘gaten’ naar een oplossing gezocht moet worden. Naar de mening van Klaas is een “toetsplan” op curriculumniveau vooral zinvol indien het als werkdocument wordt beschouwd; probeer zwakke punten niet te verdoezelen maar zie ze als een aanleiding om op een geëigend moment verbeteringen door te voeren.

·

de behoefte aan menskracht. Toetsbeleid opstellen en de implementatie begeleiden kost inzet en tijd en daarvoor heb je wel (extra) menskracht nodig. Doordat bij MB een beleidsmedewerker (Riet Martens) zich hiermee bezig kon houden, kon er een grote slag gemaakt worden. Voor lidmaatschap van een examencommissie wordt lang niet altijd tijd of resources beschikbaar gesteld, terwijl het wel veel tijd kost (ca. 100 uur op jaarbasis voor de voorzitter, de helft voor een commissielid, schat Klaas desgevraagd in).

·

De stap maken van ‘papier’ naar ‘praktijk’. Bij toetsbeleid is het belangrijk dat beleid niet alleen beleid op papier wordt, maar dat wat er is vastgelegd en afgesproken breed in de faculteit of opleiding wordt gecommuniceerd en ook in de praktijk tot uitvoering wordt gebracht. Daar wordt bij MB nog hard aan gewerkt.

·

Alle docenten bereiken. Met ondersteunende middelen, zoals jobaids voor de docenten, help je de goede docenten om het beter te doen, maar je bereikt er niet de ‘onwillige’ docenten mee.

·

een complete borging voor de kwaliteit van toetsing is wat eigenlijk verlangd wordt, maar dit blijkt moeilijk, zeker op korte termijn. Je kunt wel al wat stappen doen, en dan is het voorlopig nog onvolledige borging, maar je bent in ieder geval op weg in de goede richting. De faculteit MB hanteert het uitgangspunt dat docenten competent zijn; er is geen controle vooraf op de kwaliteit van de toetsen, alleen achteraf en steekproefsgewijs.

·

een goed werkend systeem opzetten om signalen over problemen op te vangen. Wat je zeker wilt is misstanden bij toetsing en beoordeling signaleren en aanpakken, maar daarvoor moet er wel een systeem zijn dat de signalen oppikt en terugkoppelt. Uit de levendige discussie die volgde kwam naar voren dat bij signalering – en dit geldt ook voor vakevaluaties – opgepast moet worden voor ‘blame & shame’ acties. Het is beter om ruimte te scheppen voor “blame-free reporting”.

Naar aanleiding van een vraag van een van de toehoorders over het nut van toetsbeleid, gaf Klaas aan dat de ervaring bij BIT is dat het op deze wijze bezig zijn met toetsbeleid en toetskwaliteit de kwaliteit van je opleiding ten goede komt. Een van de aanwezige opleidingsdirecteuren voegde daar aan toe dat hij uit eigen ervaring heeft gemerkt dat een actie zoals het eens kritisch bekijken van de beoordeling van afstudeerverslagen, je aardig aan het denken kan zetten en zeker kan leiden tot het op gang brengen van verbeteracties. Het ontbreken van klachten of van signalen dat er iets niet goed zit, geeft nog geen garantie dat het qua kwaliteit dan wel goed zit.
Klaas vatte de betekenis van toetsbeleid voor kwaliteitsverbetering helder samen in een afsluitende uitspraak: “Het toetsbeleid zoals dat uit de nieuwe WHW voortkomt lijkt in eerste instantie een hoop bureaucratie in te houden. En in zekere zin is dat ook zo, het past in een algemene maatschappelijke trend waarin overal meer transparantie verlangd wordt. Maar de hamvraag is hoe je ermee omgaat. Als het doel is om je bureaucratisch in te dekken, dan is dat een onnutte besteding van resources; als je er pragmatisch mee om gaat kun je het daadwerkelijk gebruiken voor kwaliteitsverbetering.”

Wat is er nog aan ondersteuning gewenst?

Aan de aanwezigen is gevraagd een formulier in te vullen waarop zij konden aangeven wat zij nog aan ondersteuning vanuit “centraal” en/of de Onderwijskundige Dienst noodzakelijk achten. De volgende behoeften zijn aangegeven (* = meermaals genoemd):

}

een UT kader (Wat wordt centraal gedefinieerd? Van belang wanneer je naar een instellingsaccreditatie toegaat.)

}

afstemming leerdoelen op eindtermen

}

expertise over goed toetsen

}

(pool van) externe deskundigen *

}

cursussen (bijscholing) voor examencommissies *

}

toelichting op nieuwe rol examencommissie en nut en noodzaak van toetsbeleid door OD’er bij ex.com. vergadering of bij docentenlunch (draagvlak)

}

coördinerende ondersteuning om het proces te initiëren en de voortgang en helpen afronding te stimuleren (door iemand anders als bredere vraag geformuleerd: Is of komt er op centraal niveau iemand die zich hier mee bezig houdt?)

}

tijd & resources (voor examencommissieleden) om gewenste verbeteringen door te voeren (blijft nu “vrijwilligerswerk”)

}

check op geformuleerd toetsbeleid

}

cursussen

}

job aids

}

een goed voorbeeld van toetsbeleid en de uitvoering daarvan, ter info

}

website is prima. Zorg dat ook “alles” daar op staat! (en gestructureerd) misschien ook wel met “nieuws” of een nieuwsbrief over dit onderwerp.

}

gewenst is ondersteuning en gebruiken van de kennis en ervaring van de werkvloer, geen richtlijnen van bovenaf opgesteld door mensen die geen ervaring in opleidingen hebben.

Of en hoe aan al deze behoeften voldaan kan worden zal nog nagegaan dienen te worden. Voor een van de genoemde behoefte is al wel een aanzet gegeven. De OD introduceerde aan het einde van de bijeenkomst een nieuw opgezette nieuws- annex kennissite geheel gewijd aan toetsing en beoordeling. De site dient nog verdere invulling te krijgen, met behulp van allen die met dit onderwerp bezig zijn, maar het begin is gemaakt.

Bijlage / download:

1) PP-presentatie Themabijeenkomst Toetsbeleid 24 juni 2010

2) Format Toetsbeleid

3) Checklist en actiepuntenlijst toetsbeleid

Bij de voorbereiding van de bijeenkomst en materialen is o.a. dankbaar gebruik gemaakt van de volgende bronnen:

·

Presentatie van Adèle Meijer, 28 januari 2010 (NVAO): Toetsing in het nieuwe accreditatiestelsel

·

Stappenplan Toetsplanontwikkeling. Ontwikkeld in het kader van DU-projecten. Bron: Fontys Hogescholen. Te vinden onder: SURFgroepen – Toetsplanontwikkeling.

·

Notitie Evaluatie toetsbeleid en toetsing faculteiten. RUG, 2007.