UR 09-204 Evaluatiecriteria Richtlijn Bindend Studieadvies

Evaluatiecriteria Richtlijn Bindend Studieadvies


Doelstellingen


De doelstellingen van de richtlijn Bindend Studieadvies (BSA) worden als volgt geformuleerd:

De hoofddoelstelling van het BSA is:

§studenten sneller ‘ op de juiste plek’ te krijgen


Daarnaast bestaan er twee subdoelstellingen; het BSA moet:

§studenten uitdagen om vanaf het begin hoge studieprestaties te leveren

§Geen bedreiging vormen voor extra-curriculaire activiteiten


Nadrukkelijk is gesteld dat de evaluatie van de pilot de bedoeling heeft na te gaan of de beoogde doelstellingen daadwerkelijk gerealiseerd zijn. De evaluatie van de pilot zal twee jaar na invoering worden geëvalueerd (najaar 2011) met een eventuele tussentijdse evaluatie na één jaar. In het navolgende worden de criteria van de evaluatie gepresenteerd.


Allereerst komt de invloed van het BSA op de prestaties van studenten in het eerste jaar aan de orde, de selectieve functie in het eerste jaar en het studietempo. Aan de hand van de analyses van studiegegevens wordt het studieverloop verduidelijkt van vier cohorten studenten, waarvan er twee onder het BSA systeem vallen (cohorten: 2007/2008; 2008/2009; 2009/2010; 2010/2011).Verder wordt geëvalueerd hoe omgegaan wordt met studenten met een negatief BSA’s en met studenten die door persoonlijke omstandigheden in hun studievoortgang belemmerd worden. Vervolgens wordt gemeten welke personele inzet het uitbrengen van een BSA vergt. Tevens wordt geëvalueerd of de noodzakelijke randvoorwaarden voor het BSA systeem voldoende aanwezig waren.


Op basis van deze gegevens moet kunnen worden vastgesteld of het BSA in deze pilot haar doelen heeft bereikt.


Evaluatiecriteria


Randvoorwaarden


Voor een goede uitvoering van de pilot BSA moeten de randvoorwaarden op orde zijn. Tijdens en aan het eind van het eerste jaar wordt een enquête afgenomen bij het studenten van de aan de pilot BSA deelnemende opleidingen. In het vervolg van dit stuk wordt dit kortweg ‘enquête’ genoemd. De enquête wordt afgenomen bij studenten met een positief BSA, een negatief BSA en studenten die de opleiding voortijdig hebben verlaten. In de enquête zullen de randvoorwaarden worden meegenomen. De faciliteiten, de voorlichting en de studiebegeleiding zullen in ieder geval deel uit maken van de enquête.


In de enquête wordt de student over de kwaliteit van de studiebegeleiding, de faciliteiten en de voorlichting bevraagd, de opleidingen zullen in de evaluatie aangeven op welke manieren de studiebegeleiding en de voorlichting heeft plaats gevonden. Daarnaast zullen de beschikbare faciliteiten in kaart worden gebracht.

Randvoorwaarden

 

 

 

Indicatoren

 

Enquête na het 1ste jaar:

 

 

Studiebegeleiding

Gesprekken met studieadviseur e.d.

(aantal)

 

Tevredenheid studiebegeleiding

(kwalitatief)

Faciliteiten

Beschikbaarheid

(kwalitatief)

 

Kwaliteit

(kwalitatief)

Voorlichting

Kwaliteit

(kwalitatief)

Algemene gegevens randvoorwaarden

 

Studiebegeleiding

Aantal gesprekken met studieadviseur

(kwantitatief)

 

Aantal contacturen met studieadviseur

(kwantitatief)

Faciliteiten

Beschikbare faciliteiten per opleiding

(kwantitatief)

 

Beschikbaarheid faciliteiten

(kwantitatief)

Voorlichting

Ingezette middelen

(kwantitatief)


Doelstelling: Studenten sneller op de ‘juiste’ plek krijgen


Om de effecten van een negatief advies te analyseren zal er een enquête gehouden worden onder het gehele cohort en daarnaast zullen de studenten met een negatief BSA geïnterviewd worden. Het doel van de enquête en de interviews is om te achterhalen:

a.Waar studenten na het negatieve BSA terecht zijn gekomen

b.De reden waarom zij een positief/negatief BSA hebben gekregen

c.De mening van studenten over de BSA-pilot

d.De begeleiding bij nieuwe studiekeuze



Effecten van negatief advies

 

 

 

Indicatoren

 

Enquête gehele cohort

Tevredenheid over BSA

(kwalitatief)


Cijfer eerste jaar totaal

(1-10)


Mogelijkheden kunnen benutten

(kwalitatief)


tijdens eerste jaar

 

Exit-interviews studenten

 

 

Opleiding (CW; ST; TN)

Redenen voor negatief BSA

(kwalitatief)

Opleiding (CW; ST; TN)

Vervolg (studie)loopbaan en

(aantal UT)

 

tevredenheid nieuwe opleiding

(aantal HBO)

 

 

(aantal elders)

 

 

(aantal werken)

 Opleiding (CW; ST; TN)

Begeleiding bij (vervolg)studiekeuze

(kwalitatief)


Doelstelling: studenten uitdagen om vanaf het begin hoge studieprestaties te leveren


Er zal hier vooral gekeken worden naar of de doelstelling, zoals hierboven geformuleerd, bereikt is. Om de resultaten van het uitbrengen van een BSA te achterhalen worden gegevens geanalyseerd van studenten in de cohorten 2007 t/m 2011. Er zal op een aantal punten een vergelijking worden gemaakt tussen de cohorten met een BSA (cohorten 2009 t/m 2010) en cohorten die geen BSA kenden (cohorten 2007 t/m 2009).


Algemene gegevens studieverloop I (algemeen)

 

 

 

Indicatoren

 

Resultaat na 1 jaar

Cohortgrootte (Instroom)

(aantal, percentage)

 (cohort 2007/2008; 2008/2009)

Bachelor 1 af na 1 jaar

(aantal, percentage)

 (geen BSA)

Gestopt voor 1 februari

(aantal, percentage)

 

Uitval na 1 jaar

(aantal, percentage)

 

Uitval na 2 jaar

(aantal, percentage)

BSA resultaat na 1 jaar

Cohortgrootte (Instroom)

(aantal, percentage)

 (cohort 2009/2010; 2010/2011)

Bachelor 1 af na 1 jaar

(aantal, percentage)

 (met BSA)

Uitval na 1 jaar

(aantal, percentage)

 

Positief BSA na 1 jaar

(aantal, percentage)

 

Negatief BSA na 1 jaar

(aantal, percentage)

 

Opschorting BSA wegens

(aantal, percentage)

 

persoonlijke omstandigheden

 

 

Gestopt voor 1 februari

(aantal, percentage)

 

Uitval na 2 jaar

(aantal, percentage)


Door de uitval na 1 jaar en na 2 jaar, voor de cohorten zonder en met een BSA, te vergelijken wordt gekeken of de studenten sneller op de juiste plek zitten.


Algemene gegevens studieverloop (persoonlijke omstandigheden)

 

Indicatoren

 

Opschorting BSA wegens

ziekte/handicap

(aantal, percentage)

persoonlijke omstandigheden

bijzondere familieomstandigheden

(aantal, percentage)

(WHW uitvoeringsbesluit WHW

zwangerschap

(aantal, percentage)

2008, artikel 2.1)

bestuurslidmaatschap

(aantal, percentage)

Opschorting BSA wegens andere

Aantal meldingen

(aantal, percentage)

persoonlijke omstandigheden

BSA norm gehaald

(aantal, percentage)

 

Advies: uitstel BSA

(aantal, percentage)

 

Advies: geen uitstel BSA

(aantal, percentage)


Algemene gegevens studieverloop III (behaalde ECTS)

 

 

Indicatoren

 

Gemiddeld behaald aantal ECTS

Cohort zonder BSA

(gemiddelde, aantal)

1ste studiejaar totaal opleiding

Cohort met BSA

(gemiddelde, aantal)

Gemiddeld behaald aantal ECTS

Cohort met BSA

(gemiddelde, aantal)

1ste studiejaar studenten met

 

 

negatief BSA

 

 

Gemiddeld behaald aantal ECTS

Cohort met BSA

(gemiddelde, aantal)

1ste studiejaar studenten met

 

 

positief BSA

 

 

 Algemene gegevens studieverloop na 1 jaar

 

 

Gemiddeld behaald aantal ECTS

Cohort zonder BSA

(gemiddelde, aantal)

2de studiejaar totaal opleiding

Cohort met BSA

(gemiddelde, aantal)

Gemiddeld behaald aantal ECTS

Cohort met BSA

(gemiddelde, aantal)

2de studiejaar studenten met

 

 

positief BSA

 

 


De privacybescherming van studenten is gewaarborgd. Alle gegevens in de pilot zullen geanonimiseerd worden gebruikt.


Beroep bij het College van Beroep voor de Examens (CBE)

 

 

Indicatoren

 


Zaaknummer

Datum beroepschrift

 

 

Ingetrokken

 

 

Minnelijk geschikt

 

 

Uitspraak

 

 

Oordeel


Algemene gegevens studieverloop I (curriculumopbouw)

 

 

Indicatoren

 


1ste semester

(vakken, HC/WC/P/Pj)

 

2de semester

(vakken, HC/WC/P/Pj)


Doelstelling: Geen bedreiging vormen voor extra-curriculaire activiteiten


Om de effecten van een negatief advies te analyseren zal er een enquête gehouden worden onder het gehele cohort en daarnaast zullen de studenten met een negatief BSA geïnterviewd worden. Het doel van de enquête en de interviews is om te achterhalen:

a.Waar studenten na het negatieve BSA terecht zijn gekomen

b.De reden waarom zij een positief/negatief BSA hebben gekregen

c.De mening van studenten over de BSA-pilot

d.De begeleiding bij nieuwe studiekeuze

e.Mogelijkheden voor extra curriculaire activiteiten


Effecten van negatief advies

 

 

 

Indicatoren

 

Enquête gehele cohort

Tevredenheid over BSA

(kwalitatief)


Cijfer eerste jaar totaal

(1-10)


Mogelijkheden kunnen benutten

(kwalitatief)


tijdens eerste jaar

 

Exit-interviews studenten

 

 

Opleiding (CW; ST; TN)

Redenen voor negatief BSA

(kwalitatief)

Opleiding (CW; ST; TN)

Vervolg (studie)loopbaan en

(aantal UT)

 

tevredenheid nieuwe opleiding

(aantal HBO)

 

 

(aantal elders)

 

 

(aantal werken)

 Opleiding (CW; ST; TN)

Begeleiding bij (vervolg)studiekeuze

(kwalitatief)


Extra curriculaire activiteiten

 

 

 

Indicatoren

 

Enquête gehele cohort

 

 

Extra curriculaire activiteiten

% studenten met extra curriculaire

(kwantitatief)

 (cohort 2007/2008; 2008/2009)

activiteiten

 

 (geen BSA)

Soort

(kwalitatief/kwantitatief)

 

Tijdsbesteding

(kwantitatief)

Extra curriculaire activiteiten

% studenten met extra curriculaire

(kwantitatief)

 (cohort 2009/2010; 2010/2011)

activiteiten

 

 (met BSA)

Soort

(kwalitatief/kwantitatief)

 

Tijdsbesteding

(kwantitatief)


Inzet personeel


De inzet van personeel bij de pilot BSA zal in de evaluatie worden opgenomen. Er zal een overzicht gemaakt worden voor de cohorten met een BSA (cohorten 2009 t/m 2010) wat betreft de extra inzet van personeel ten behoeve van het BSA.


De inzet van personeel is zoals blijkt uit ervaringen elders goed te meten, eenvoudig door een urenregistratie door de bij de uitvoering van het BSA direct betrokken medewerkers van de opleidingen in de pilot. De indicator “inzet van personeel” relateert niet aan de doelstellingen van de pilot BSA, maar is wel een factor van afweging bij de uiteindelijke kosten/baten analyse die bij iedere pilot een rol speelt.


Inzet personeel

 

 

 

Indicatoren

 

Inzet personeel

jaarlijks aantal werkuur besteed

Studieadviseurs

 

aan BSA

Studentendecanen

 

 

Examencommissie

 

 

Beleidsmedewerker

 

 

Programmacoordinator

 

 

Diversen



Conclusie


De pilot BSA wordt zowel kwalitatief als kwantitatief geëvalueerd. De belangrijkste doelstelling van de pilot is om studenten sneller ‘op de juiste plek’ te krijgen. De criteria die zijn opgesteld moeten leiden tot een goede evaluatie. Op basis van de gegevens die in de evaluatie naar voren komen moet besloten worden of er een substantiële verbetering is opgetreden op de hoofddoelstelling. Een vergelijking met gegevens uit eerdere jaren wordt gemaakt. Die gegevens en de gegevens van de pilot BSA zullen worden vergeleken.