Tips & trucs: Het opzetten van een vakevaluatie in 10 stappen

Wanneer je zelf onderwijs verzorgt is het goed om op regelmatige basis na te gaan hoe het met de kwaliteit daarvan gesteld is. Is er bijvoorbeeld aanleiding voor verbetering van het vak? Of zijn er het afgelopen jaar wijzigingen doorgevoerd en wil je zien wat de effecten hiervan zijn? Door (jaarlijks) een vakevaluatie uit te voeren, kun je waardevolle informatie verzamelen die je kunt gebruiken ter verbetering van je vak en je eigen functioneren als docent.

Bij sommige opleidingen is de evaluatie standaard geregeld en wordt gebruik gemaakt van algemene evaluatievragenlijsten waaraan je zelf vragen kunt toevoegen. Bij andere opleidingen is er niet zoiets geregeld en zul je zelf initiatief tot een evaluatie moeten nemen. In beide gevallen is het van belang om goed na te denken over de vragen die je beantwoord wilt hebben en de manier waarop je gewenste informatie zou kunnen achterhalen. De volgende 10 stappen voor het opzetten van een vakevaluatie(plan) helpen je hierbij.

Stap 1. Wat is het object van evaluatie?

Bepaal wat het “stuk onderwijs” (object) is dat je wilt gaan evalueren. Is dit een bijvoorbeeld een vak, een project of een bepaald onderdeel van een vak? Welke contextfactoren zijn van invloed op het object? Denk hierbij bijvoorbeeld aan: voorkennisvakken.


Stap 2. Met welk doel wil je dit gaan evalueren?

Bij evaluatie gaat het vooral om verbetering van de onderwijskwaliteit. Soms echter speelt verantwoording ook een belangrijke rol (bijvoorbeeld bij een zelfevaluatie van een opleiding).

Met welk doel of doelen evalueer je?

-Bij verantwoording: verantwoording aan wie? Wat wil diegene weten?

-Bij verbetering: zijn er aanwijzingen voor probleem- of verbeterpunten?


Stap 3. Wat wil je te weten komen over het object van evaluatie?

Formuleer je hoofdvraag of hypothese; dé vraag die je aan de hand van je evaluatieresultaten wilt kunnen beantwoorden. Formuleer deze hoofdvraag zo concreet mogelijk.


Bijvoorbeeld:

§Voorbeeldvraag 1. Zijn de leerdoelen van het vak “Sociologie” behaald door de studenten en op welke wijze kunnen de resultaten van het vak nog worden verhoogd?

§Voorbeeldvraag 2. Hoe wordt het vak “Materiaalkunde” door de betrokken docenten en studenten gewaardeerd en op welke onderdelen kan het vak worden verbeterd?


Denk bij het formuleren van je hoofdvraag ook aan de volgende vraag: Wat is de aard van de evaluatie? Is het een proces- of een productevaluatie? Of een combinatie van beide?

-Productevaluatie is gericht op onderwijsresultaten en -prestaties. Wat zijn de leerresultaten van de studenten in relatie tot de doelstellingen van de cursus? Dit kan worden vastgesteld in objectieve zin (slagingspercentages / tentamencijfers) en in subjectieve zin (wat vinden de studenten zelf dat ze geleerd hebben?). Zie voorbeeldvraag 1.

-Procesevaluatie is gericht op de evaluatie van het onderwijs(leer)proces. Is de cursus uitgevoerd volgens plan? Was de opbouw van de cursus passend? Was de cursus studeerbaar? Hoe worden de verschillende onderdelen (docent, leermaterialen, werkvormen, toetsing, etc.) beoordeeld? Zie voorbeeldvraag 2.

In veel gevallen wordt gekeken naar een combinatie van zowel proces als product. Het is echter wel goed vooraf te bedenken wat je over proces en/of product wilt weten, omdat dit bepaalt welke vragen je gaat stellen en welke informatiebronnen je gebruikt.


Stap 4. Wat zijn je evaluatievraagstellingen?

De hoofdvraag of hypothese kan worden opgesplitst in verschillende deelvragen waarin steeds één aspect van het onderwijs dat je wilt evalueren aan de orde komt. In deze deelvragen wordt een keuze gesteld waarover, mede (en niet uitsluitend) op basis van de evaluatiegegevens, moet worden beslist, bijvoorbeeld:

§Zijn de gebruikte werkvormen geschikt voor het bereiken van de leerdoelen van het vak?

§Komt de feitelijke studiebelasting overeen met de studielast die voor het vak staat?

§Is de inhoud van het vak voldoende uitdagend voor de studenten?

§Zijn de gebruikte studiematerialen geschikt voor het vak?

Voor alle vragen geldt: zo nee, wat kan er dan gedaan worden om dit te verbeteren?

Criteria voor evaluatievraagstellingen:

-ze zijn gesteld in de vragende vorm

-ze bieden een keuze uit twee of meer realistische alternatieven (denk bijv. aan: boek behouden of eigen reader samenstellen)

-ze richten zich op reëel veranderbare aspecten in het onderwijs

-ze zijn zo geformuleerd dat ze met de praktisch mogelijke evaluatiemethoden kunnen worden onderzocht

-ze richten zich niet op aspecten waarvan de verandering al vaststaat


Stap 5. Hoe ga je evalueren?

Bepaal welke methoden je gaat gebruiken om de informatie te verzamelen die je nodig hebt voor het beantwoorden van je evaluatievragen. Vaak wordt gebruik gemaakt van een schriftelijke of online vragenlijst, maar voor het achterhalen van sommige typen informatie zijn andere methoden (of een combinatie van methoden) geschikter. Via een vragenlijst krijg je bijvoorbeeld vaak alleen een globale indruk van dingen waar men niet tevreden over is. Via een panelgesprek kun je dan doorvragen naar achterliggende oorzaken.



Enkele mogelijkheden:

-observatie van het onderwijs, vastgelegd in een logboek (door jou zelf uitgevoerd of door bijvoorbeeld een mededocent)

-interviews met een beperkt aantal studenten

-een evaluatiepanel van studenten

-analyse van toetsgegevens

-een schriftelijke of online vragenlijst

-analyse van loggegevens van websites (bijv. aantal keren dat een artikel op Blackboard bekeken is)

-etc …



Stap 6. Wie / wat zijn je informatiebronnen?

Bepaal welke bronnen je gaat gebruiken voor het verzamelen van je informatie? Wie ga je bevragen bijvoorbeeld? In eerste instantie wordt vaak alleen aan studenten gedacht. Echter ook mededocenten, opleidingsmanagers of alumni kunnen waardevolle bronnen van informatie zijn.


Stap 7. Wie gaat de evaluatie uitvoeren?

Doe je dit zelf als docent van het vak? Wordt dit gedaan door studenten of collega-docenten? Of wordt de evaluatie door een onafhankelijke evaluatiecommissie uitgevoerd?

Bij sommige opleidingen is het gebruikelijk dat na afloop van een vak er een standaardvragenlijst wordt afgenomen door een aparte evaluatiecommissie (die weer onderdeel is van de opleidingscommissie). Vaak kun je hier als docent eigen vragen aan toevoegen. Wanneer de evaluatie niet standaard geregeld is, kun je als docent besluiten zelf een vakevaluatie te doen. Het is ook mogelijk om iemand van de Onderwijskundige Dienst te vragen je hierbij te helpen.


Stap 8. Wanneer (en hoe) wordt de evaluatie uitgevoerd?

Maak een plan van aanpak voor de praktische uitvoering van de evaluatie (evaluatieprocedure). Op welk moment ga je bijvoorbeeld de vragenlijsten afnemen en hoe ga je deze dan onder de respondenten verspreiden? En hoe zorg je vervolgens voor een zo hoog mogelijke respons?

§Online vragenlijsten zijn bijvoorbeeld gemakkelijk bij de verspreiding en het verwerken van de resultaten, maar geven een lagere respons dan papieren evaluaties die tijdens het college worden uitgedeeld.

§Een evaluatie na afloop van de toetsing heeft als voordeel dat je de toetsing ook kunt evalueren. Nadeel is dat de manier waarop de toets is gemaakt van invloed kan zijn op de waardering die een student aan het vak geeft.


Stap 9. Hoe zien de resultaten van de evaluatie eruit?

In welke vorm ga je de evaluatieresultaten opleveren? Wordt het een evaluatierapport? Wie mag de evaluatieresultaten inzien? Hoe worden deze onder de belanghebbenden verspreid? Gelden hier regels voor binnen de opleiding?


Stap 10. Wat ga je met de resultaten van de evaluatie doen?

Wie neemt aan de hand van de evaluatieresultaten een beslissing? En op basis waarvan gebeurt dit (streefwaarden of kwaliteitsindicatoren)?
Follow-up: Wie formuleert vervolgens concrete verbeteracties? En wanneer / door wie worden deze uitgevoerd?

Na het opstellen van een evaluatieplan …

… vinden er nog een aantal stappen plaats die niet vergeten mogen worden.

Allereerst natuurlijk de daadwerkelijke uitvoering van de evaluatie volgens het opgestelde plan. Daarna gaat het erom wat je met de resultaten gaat doen. Vaak blijft het bij het trekken van conclusies over mogelijke verbeteringen. Echter kwaliteitsverbetering vindt pas plaats als er daarna iemand is die deze actiepunten ook echt oppakt.

Tenslotte is het van belang dat op regelmatige basis opnieuw wordt geëvalueerd, zodat continue kwaliteitsverbetering gewaarborgd wordt.


Activiteiten na het maken van een evaluatieplan:

§Constructie van evaluatie-instrumenten (vragenlijsten, interviewschema’s, analyse-instrumenten, etc.) op basis van de evaluatievraagstellingen en de gekozen methoden (stap 4 – 6).

§Uitvoering van de evaluatie volgens het opgestelde plan (stap 7 – 8).

§Analyse van de evaluatieresultaten.

§Trekken van conclusies.

§Oplevering rapportage (stap 9).

§Beslissing over te nemen acties en planning uitvoering hiervan (stap 10).

§Voorbereiding nieuwe uitvoering van het onderwijs.

§Uitvoering van het onderwijs in vernieuwde / verbeterde vorm.

§Evaluatie van de nieuwe uitvoering.

§Etc …



Lisa Gommer

S&O, Onderwijskundige Dienst


Bronvermelding:

-Artikel: Oriëntatie op Evaluatie (B. Camstra, Universiteit van Amsterdam, 1977)

-Artikel: Evaluatieplan (E.B. Smuling, Universiteit Twente, 2003)

-Presentatie: Hoe maakt je een evaluatieplan? (J. van den Berg, Universiteit Twente, 2007)

-Boek: Leren en doceren (Kallenberg e.a., 2000)