Een geslaagd experiment: twee tijdbesparende maatregelen ingevoerd bij Inleiding Modelleren

Rien Kolkman (docent CiT) en Koos Winnips (adviseur ICT en Onderwijs, ITBE) hebben het bij het voor veel studenten moeilijke vak Inleiding Modelleren B voor elkaar gekregen: het bieden van goede feedback bij opdrachten, zonder dat het de docent extra tijd heeft gekost! Lees meer over de wijze waarop zij te werk zijn gegaan.

Tijd bespaard op het geven van feedback

Wat doe je als docent als je de student-assistenten die feedback geven in je vak niet meer kunt inzetten? Het blijkt verder nog eens dat de tijd die je graag zelf zou besteden aan het vak niet meer beschikbaar is. Wat doe je? Geen feedback geven? Niet handig. Minder stof aanbieden? Dat nooit. Leerdoelen verwijderen? Vergeet het. Misschien kunnen studenten elkaar feedback geven? Mmh, misschien is dat wat. Dan leren ze gelijk beter werken met de criteria van het vak.

Het wegvallen van student-assistenten was de aanleiding om het vak Inleiding Modelleren B van CiT te gaan veranderen. Het doel was om wel goede feedback te blijven aanbieden, maar er tegelijkertijd voor te zorgen dat de docent niet te veel tijd kwijt zou zijn aan het ondersteunen van studenten. Voorwaarde was dat de kwaliteit van het vak op peil zou blijven.

Het vak Inleiding Modelleren B

In een paar gesprekken hebben adviseur Koos Winnips en de docent Rien Kolkman de structuur van het vak en de plek die het vak heeft in het curriculum van de opleiding CiT doorgesproken. In Inleiding Modelleren B (IMOD-B), leren studenten modellen gebruiken om de beleidsontwikkelingcyclus te ondersteunen. Studenten leren hoe beslissingen genomen worden bij projecten zoals de aanleg van een nieuw type waterkering (de Ijsseldelta bij Kampen) of het zuiveren van het water in een meer. Verder leren studenten dat deze beslissingen niet altijd de modellen uit het boekje volgen (bijvoorbeeld door politieke invloed). Het vak wordt gegeven in het derde jaar van de bachelor Civiele Techniek. Er doen gemiddeld zo’n 40 studenten aan mee.

Analyseprocedure

Er zijn 5 stappen doorlopen om het vak en de tijdsbesteding van docent en studenten te analyseren:

1.Inventarisatie basisgegevens: doelen van het vak, plaats in curriculum, aantal studenten, gegevens uit studentevaluaties, gebruikte werkvormen, gebruiksduur van de huidige inhoud.

2.Inventarisatie tijdsbesteding: waar zit tijd in? (Welke activiteiten, hoeveel tijd, wiens tijd?)

3.Kiezen wat er weg kan (Overlap met andere vakken? Herhalingen weglaten?).

4.Kiezen wat er anders kan (Andere vorm? Andere persoon? Andere pedagogiek?).

5.Controle: Is het probleem nu opgelost? Zo nee, terug naar stap 2 of 3.


Voor het vak IMOD-B resulteerde de analyse in het volgende:


1. Inventarisatie basisgegevens: de inhoud van het vak is relatief stabiel, waardoor een verandering in dit jaar een volgend jaar weer gebruikt kan worden. De “investering” die gedaan wordt in het veranderen van het vak, kan zich zo terugverdienen.


2. Inventarisatie tijdsbesteding: bij de tweede stap is een overzicht gemaakt waarin de bestede uren van de docent, studentassistenten en studenten – op basis van een inschatting – zijn opgenomen. Vooral het geven van feedback op de verschillende tussenproducten bleek veel tijd te kosten; de student-assistenten besteedden hier samen zo’n 320 uur aan.

Verder zat er een herhaling in de feedback en beoordeling, doordat eerst met een oefencase wordt gewerkt (die ook wordt beoordeeld), waarna het geleerde wordt toegepast in een eindopdracht.


3. Kiezen wat er weg kan: Twee van de workshops in het vak konden worden weggelaten uit het vak omdat deze overlap hadden met andere vakken. Verder is een leerdoel aangepast: in plaats van het opzetten van een eigen kwaliteitsoptiek krijgen studenten nu een door de docent uitgeschreven model van een kwaliteitsoptiek.

Citaat uit de TeleTOP site: “Dit vak is gebaseerd op zelfstudie. Zelfstudie wordt ondersteund door het leerproces te structureren m.b.v. schriftelijk materiaal dat via het Rooster in Teletop 'just-in-time' aangeboden wordt. Per hoofdstuk is er één opstart-hoorcollege. Studenten wisselen ervaringen uit en discussiëren over hun interpretatie van de leerstof en uitwerking daarvan in de opdracht tijdens wekelijkse workshops. Feedback wordt in dit project zoveel mogelijk vooraf klaargemaakt en via het Rooster in Teletop op de juiste momenten aan de studenten aangeboden. Docentfeedback wordt beperkt tot de workshops, waar tevens verwezen wordt naar het beschikbare feedbackmateriaal. Het is de verantwoordelijkheid van de student om daar gebruik van te maken. Er vindt geen beoordeling plaats door de docent van de verslagen over de oefencase, deze feedback vindt plaats via Peerassessment en de verdediging daartegen in de workshop in week 46.”


4. Kiezen wat er anders kan: In IMOD-B zijn twee werkvormen veranderd. De eerste is het vervangen van feedback van studentassistenten door peer-assessment. De tweede is het vervangen van ad-hoc feedback door de docent door “ingeblikte” feedback, waarbij de docent selecteert en doorverwijst.


Peer-assesment

Bij peer-assessment beoordelen studenten elkaars werk volgens de criteria van het vak. Peer-assessment kan tijdsbesparing opleveren voor de docent en heeft daarnaast het voordeel dat de studenten veel van elkaar leren. Feedback wordt gegeven via een scoreformulier met de criteria van het vak.
Problemen bij het gebruiken van peer-assessment kunnen zijn:

1.studenten geven elkaar niet altijd een goede (leerzame) beoordeling of passen “vriendjespolitiek” toe;

2.als je als student zelf geen beoordeling krijgt (bijvoorbeeld door het uitvallen van een andere groep), ben je ook niet geneigd om een ander feedback te geven;

3.peer-assessment heeft een lange doorlooptijd. Er wordt een serie van stappen gevolgd, waarbij geen stap mag missen. Er gaan een aantal weken overheen voor alle opdrachten zijn ingeleverd en feedback is gegeven. Pas hierna kan het werk worden verdedigd.

Deze mogelijke problemen zijn ondervangen door:

1.af te spreken dat de studenten elkaar beoordelen, maar dat de docent zich het recht voorbehoudt om het (deel)cijfer aan te passen. Door een reviewsessie te organiseren kunnen studenten hun eigen werk kort presenteren, gegeven feedback uitleggen, en hun werk verdedigen naar aanleiding van de ontvangen feedback. De docent kan via de reviewsessie snel en efficiënt een beeld krijgen van de kwaliteit van het werk.
Daarnaast geldt dat het vak in twee delen is opgedeeld: de eerste ronde is een oefenronde rondom een case-study. In deze oefenronde wordt peer-assessment gebruikt. Deze telt voor 4/10 van het totaalcijfer mee. In de tweede ronde wordt het eindverslag beoordeeld door de docent. Deze beoordeling telt voor 6 tiende mee in het eindcijfer;

2.de feedback zo te organiseren dat één groep feedback geeft op twee andere groepen;

3.het inleveren van opdrachten en feedback zeer goed in te plannen. Er is voldoende speling gelaten om groepsproblemen en anderen problemen op te lossen. Verder is afgesproken om slechts één keer peer-assessment te organiseren. In de oude versie van het vak werd wekelijks feedback gegeven, in de nieuwe versie is dit verzameld in één ronde van peer-assessment. De inschatting was dat dit wel de onderwijskwaliteit enigszins zou verminderen, maar niet in ernstige mate.


Ondersteuning voor zelfstudie

De tweede verandering was het gebruik van ondersteuning voor zelfstudie. Als er voorheen (in de oude versie van het vak) vragen van studenten kwamen, gaf Rien Kolkman mondeling uitleg of hij zocht ondersteunend materiaal op en maakte dit beschikbaar. Heel veel hulpmateriaal was hierdoor al beschikbaar op papier en als bestanden “ergens op de computer”. Omdat de meest voorkomende problemen en valkuilen van de studenten tijdens dit vak bekend waren, is dit hulpmateriaal gedigitaliseerd en in TeleTOP gezet.

Deze werkwijze is bij meer vakken bruikbaar. Als docent stel je tijdens een vak (een practica bijvoorbeeld) de diagnose welke problemen de studenten ondervinden. Stellen van zo’n diagnose gaat vaak heel snel en intuïtief: waar de lopen studenten vast, welke vragen worden er gesteld? Op basis van deze diagnose wordt doorverwezen naar hulpmateriaal dat is klaargezet in Teletop. Het ‘klaarzetten’van hulpbronnen kost wel tijd bij de voorbereiding van een vak, maar deze tijd verdien je weer terug bij de uitvoering van het vak (doorverwijzen bij vragen in plaats van ter plekke uitleggen of terugzoeken van materiaal). Bij iedere volgende keer dat je het vak aanbiedt kan dit materiaal opnieuw worden gebruikt.


5. Controle: na een eerste ronde van schrappen, bleek er nog niet genoeg tijd bespaard te zijn. Er konden nog enkele workshops geschrapt worden (al beschreven onder punt 3).


Na het nemen van deze beslissingen zijn de materialen op TeleTOP gezet en is een deel van een reader herschreven. Extra aandacht is besteed aan het plannen van de peer-assessment en de reviewsessie en het op de goede manier in het rooster zetten hiervan.


Reviewsessie

Als slot van het peer-assessment proces is een reviewsessie georganiseerd. In deze sessie vond een aanval en verdediging plaats op basis van het geleverde werk en de feedback daarop.
Vlak voor de review steeg het stressniveau bij de studenten aanzienlijk. Een paar groepen hadden hun feedback niet ingeleverd, waardoor andere groepen hun verdediging slecht konden voorbereiden De docent hield hier rekening mee en stelde zo nodig de cijfers bij van de groep die te laat had ingeleverd en van de groep die zich niet goed kon voorbereiden. Eén groep draaide niet lekker, waardoor ze het werk niet af kregen. De docent moedigde deze groep aan om toch door te blijven gaan. Uiteindelijk hadden alle 9 groepen voldoende werk ingeleverd om mee te kunnen doen aan de reviewsessie.


Tijdens de sessie had iedere groep een paar minuten om het eigen werk kort toe te lichten, waarna de twee groepen die feedback gegeven hadden de aanval konden openen. Tijdens de sessie is hard meegeschreven door de jury (Rien Kolkman en Koos Winnips). Zo ontstond een beeld van de prestaties van de verschillende groepen. Het gemiddelde cijfer van de twee groepen is genomen als eindcijfer voor de peer-assessment, bij twijfel is het werk van de studenten opnieuw bekeken en beoordeeld door de docent.

review

Reviewsessie in IMOD-B met de “verdedigende” groep links, de twee “aanvallende” groepen rechts en de jury rechtsonder.


Er is vooraf en tijdens de reviewsessie hard gewerkt door de studenten om alles op tijd af te krijgen. Verder is het ‘aanvallen’ van andermans werk en verdedigen van je eigen werk een goede vaardigheidsoefening. De feedback die studenten elkaar gaven was van goede kwaliteit, hoewel het soms teveel om de vorm ging en te weinig om de inhoud. Een volgende keer moet duidelijk zijn dat de reviewsessie een tweede kans is om het ingeleverde werk te verbeteren en te verduidelijken.

Uit de evaluatie kwam naar voren dat de studenten behoeften hadden gehad aan meer duidelijkheid over de procedure van het aanpassen van het cijfer en het verloop van de middag. Verder kwamen zij met het idee de sessie in twee delen te splitsen zodat je je niet ‘verveelt’ als je eigen verdediging is geweest. Dit wordt meegenomen in de volgende versie van dit vak.

Rol van student en docent

De rol van de docent is veranderd in het vak: de docent was nu alleen beschikbaar voor vragen van studenten tijdens de hoorcolleges en workshops. Voor feedback waren de studenten dus vooral aangewezen op die momenten en moesten meer zelfstandig werken. Hierdoor word je als docent meer een procesbegeleider. Kolkman vond het omschakelen soms wel lastig: “Je krijgt soms opeens een inhoudelijke vraag, het is dan wennen om om te schakelen van je rol als procesbegeleider naar je rol als inhoudelijk deskundige”.

De docent geeft aan dat studenten (nog) drukker aan het werk zijn geweest dan in voorgaande jaren. In voorgaande jaren was de docent soms (te) hard bezig met helpen en geven van uitleg aan de studenten. Deze werkdruk is nu voor een deel verschoven van de docent naar de studenten.

Overwegingen en verbeteringen

De peer-assessment heeft gewerkt, in de zin dat het tijd heeft bespaard en studenten toch feedback hebben gekregen. De reviewsessie bleek een goed middel om alle werkstukken op tijd binnen te krijgen en om extra uitleg te kunnen geven bij het werk dat in TeleTOP was ingeleverd.

De docent was blij met de bespaarde tijd, waarbij de belangrijkste leerdoelen van het vak en de kwaliteit van het vak toch in stand gehouden werden. De docent gaf wel aan dat het leerresultaat van het vak niet minder was dan voorgaande jaren. Maar, het is erg moeilijk dit te vergelijken omdat de groep studenten anders is. De docent moest erg wennen aan de rol als procesbegeleider (“Je wilt uitleggen hoe het zit, maar je hebt niet de tijd om alles te kunnen vertellen.”).

Het klaarzetten en het geven van ondersteuning via TeleTOP werkt wel, maar er was zoveel ondersteunend materiaal dat de docent het zelf niet altijd terug kon vinden. De TeleTOP omgeving wordt daardoor dan erg rommelig.

Een moeilijk punt was het wel of niet voorbereiden van studenten op problemen die komen gaan. Je weet als docent dat studenten bepaalde fouten zullen gaan maken (“Ze maken ieder jaar dezelfde fouten.”), maar daar kan en wil je ze als docent niet altijd op voorbereiden. Het klaarzetten van ondersteunend materiaal in TeleTOP is niet voldoende om het maken van fouten te voorkomen, maar het is wel handig als je op tijd naar de juiste materialen kunt doorverwijzen.

Een lastig punt in het veranderingsproces van de onderwijsvorm voor het vak op zich, was het houden van focus. Door grondig aandacht te besteden aan een vak, zie je als vanzelf allerlei zaken die verbeterd kunnen worden en de verleiding bleek groot om toch de kwaliteit van het vak te willen verbeteren. Op zich positief, maar het gevaar was nu dat er steeds meer ideeën bijkwamen die tijd zouden gaan kosten, in plaats van tijd besparen. In het kader van dit ‘experiment’ was het nou net begonnen om die tijdsbesparing. Door niet alle mogelijke aanpassingen door te voeren, werd met de nieuwe werkwijze (peer-assesment, ondersteuning zelfstudie) duidelijker dat het daadwerkelijk tijdsbesparing oplevert.



Auteurs: Rien Kolkman (docent CIT) en Koos Winnips (adviseur ICT en Onderwijs, ITBE)