Handleiding voor het laten nakijken van tentamens en het analyseren van de resultaten met Tentam

Inleiding

Binnen de dienst ICTS (ICTS/ISA) van de UT is er een service voor het nakijken van tentamens en het analyseren van de resultaten. Hiervoor wordt gebruik gemaakt van het software-programma Tentam.
Tentamens worden verwerkt op verzoek van docenten. Kosten voor deze service worden jaarlijks doorberekend aan de faculteiten die van deze service gebruikmaken.


In deze handleiding wordt beknopt aangegeven voor welke doeleinden u van deze service gebruik kunt maken, bij wie u terecht kunt en welke stappen u moet ondernemen om van deze service optimaal te kunnen profiteren. Tevens toegevoegd een overzicht van de type data die Tentam u kan leveren.

Waarvoor is de Tentam-service te gebruiken?

De service kan gebruikt worden voor het nakijken van tentamens en/of analyseren van de resultaten bij:

-

summatieve toetsing; om een eindoordeel te geven ter afsluiting van een onderwijseenheid of voor selectiedoeleinden,

-

formatieve toetsing: een toets bedoeld als oefening (met feedback) voor de student en om de docent en student zicht te geven op het beheersingsniveau,

-

of bij tussentijdse opdrachten of vragen die al dan niet meetellen voor bijvoorbeeld een bonuspunt.

Mogelijke vraagtypen zijn:

Ø

meerkeuzevragen,

Ø

ja/nee-vragen

Ø

open vragen/opdrachten waarvoor scores zijn aangegeven.

Bij open vragen of opdrachten dienen op een antwoordformulier de punten per vraag te worden aangeleverd. De service levert dan alleen de analyse van de tentamenresultaten.

Bij de afname van een tentamen dient te worden gewerkt met standaard antwoordformulieren (zie bijlage 1). Studenten vullen hierop hun persoonsgegevens (o.a. studentnummer) en hun antwoorden in.

De docent vult de goede antwoorden op een eigen antwoordformulier in. Tevens dient de docent een tentamen begeleidings- of verwerkingsformulier (bijlage 2) in te vullen. Hierop worden een aantal gegevens aangegeven die noodzakelijk zijn voor de tentamenverwerking.

De antwoordformulieren worden na inlevering bij de contactpersonen gescand en verwerkt met het softwareprogramma Tentam.

Als resultaat van de verwerking worden overzichtsrapporten geleverd met daarop o.a. studentnamen, tentamencijfers en tentamenanalysegegevens. De analysegegevens kunnen gebruikt worden voor controle en verbetering van de kwaliteit van het tentamen. Op basis van de analyse kunt u als docent bijvoorbeeld besluiten een bepaalde vraag niet mee te laten tellen.
De resultaten worden op papier of elektronisch (Excel) geleverd.

Waar kan ik hiervoor terecht?

Jan van Zijll (SPIEGEL 222, Tel: 2194) verzorgt de verwerking van de tentamens en Jan de Goeijen (SPIEGEL 319, Tel:2637) is de coördinator van de service.

Voor nadere informatie, met vragen of met specifieke verzoeken, kunt u telefonisch contact opnemen met genoemde personen.

Ik wil dit wel. Hoe ga ik nu te werk?

Hieronder wordt in 5 stappen aangegeven hoe u te werk gaat als u van de service gebruik wilt maken.

1.

Neem het tentamen af via de daarvoor bestemde formulieren. De formulieren kunt u zelf uitprinten – zie bijlage 1.
NB. Als u na het tentamen de formulieren wilt kopiëren, zodat u ook zelf exemplaren heeft, houd er dan rekening mee dat voor de verwerking van de tentamenformulieren alleen ‘correcte’ formulieren verwerkt kunnen worden. Scheef gekopieerde formulieren kunnen door het systeem niet gelezen/verwerkt worden.

2.

Vul de goede antwoorden in op een antwoordformulier met als studentnummer 0000000. Vul het verwerkingsformulier in.

3.

Breng de ingevulde antwoordformulieren en een ingevuld tentamenverwerkingsformulier (zie bijlage 2) naar J. van Zijll (SPIEGEL 222).
De verwerking van het tentamen zal/kan een aantal dagen duren. Een snellere verwerking kan plaatsvinden als dit van te voren is aangegeven/afgesproken.

4.

U ontvangt na enkele dagen per email de resultaten in Excel.

5.

U dient vervolgens zelf de formulieren weer op te halen. Het (persoonlijk) wegbrengen en ophalen in plaats van per post is noodzakelijk om problemen rond de postverzending of ontoelaatbare inzage te voorkomen.

Welke overzichten en analyseresultaten krijg ik straks?

Tentam kan naar keuze in Excel verschillende resultaatoverzichten opleveren en verschillende analyses voor de docent uitvoeren:

Gegeven antwoorden per student
Dit zijn de ruwe data. De gegeven antwoorden per student. Dit bestand kan gebruikt worden om zelf (bijv. in SPSS) analyses uit te voeren.

Per student wordt aangegeven: naam, studentnummer, antwoord per vraag, totaalscore en cijfer.

Naam

Studentnummer

MK 1 Ant

MK 2 Ant

MK 3 Ant

MK 4 Ant

MK 5 Ant

MK 6 Ant

MK 7 Ant

MK 28 Ant

MK 29 Ant

MK 30 Ant

Totaal Score

Cijfer

Vrolijk J.P.

01232888

A

A

B

A

A

C

B

C

A

B

20

6

Bestand met resultaten
In dit overzicht staat de score en het cijfer per student; het resultaat van het tentamen.

Naam

Studentnummer

Cijfer

Score

 

 

 

 

BAAN, A..P.

0126909

6

20

BLAAKMAN, M.G.

0579007

7

23

Bestand met de tentamenanalyse
met daarin opgenomen de vraag-tentamen-correlatie, vraag-rest-correlatie en Cronbachs alfa
Het percentage goede antwoorden, gegeven antwoorden per alternatief en de standaarddeviatie wordt aangegeven ( * geeft het goede antwoord aan).

De vraag-tentamen-correlatie, ook wel item-test-correlatie genoemd, berekent de samenhang tussen de vraagscore (item) en de eindscores (total score) door de correlaties ertussen uit te rekenen. De eindscore is de optelling van afzonderlijke vraagscores per toetsdeelnemer.
Wanneer een toets uit minder dan 25 vragen bestaat is de correlatie eigenlijk te hoog, omdat de vraag waarvan men de item-test-correlatie wil berekenen, deel uitmaakt van de eindscore. In dat geval dient de eindscore gecorrigeerd te worden door de score van de vraag waarvan men de item-test-correlatie wil berekenen ervan af te trekken. In dat geval spreekt men van item-rest-correlatie.

Cronbachs alfa is een maat voor de interne consistentie van vragen/items in een tentamen. Hiermee is de stabiliteit van de toets te berekenen op basis van een enkele afname van de toets. De lengte van de toets speelt hierbij een belangrijke rol; doorgaans geldt: hoe meer vragen worden gesteld, des te betrouwbaarder is de toets.

 

 

Weeg

Gem.

Rel.

Percentages

 

 

 

Type

Nr.

factor

score

score

A

 

B

 

C

 

D

 

Vrg tent

corr.

Vrg rest corr.

Std dev.

MK

1

1

0.60

0.60

0.60

*

0.20

 

0.00

 

0.20

 

0.95

0.91

0.55

MK

2

1

0.80

0.80

0.20

 

0.80

*

0.00

 

0.00

 

0.74

0.59

0.45

MK

3

1

0.80

0.80

0.00

 

0.00

 

0.80

*

0.20

 

0.43

0.20

0.45

MK

4

1

0.60

0.60

0.00

 

0.20

 

0.20

 

0.60

*

0.45

0.17

0.55

MK

5

1

0.60

0.60

0.60

*

0.20

 

0.20

 

0.00

 

0.95

0.91

0.55

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Cronbach Alfa : 0,76

Bestand met frequentieverdeling van het cijfer
Per cijfer wordt de frequentie, de cumulatieve frequentie en het percentage studenten dat dit cijfer behaalde gegeven.

 

 

Cumulatief

Freq.

 

 

 

Frequentie

 

Perc.

Cijfer

Frequentie

0

 

0

0

1

 

0

 

0

0

2

 

1

 

1

3

3

*

4

 

5

17

4

****

3

 

8

27

5

***

10

 

18

60

6

**********

7

 

25

83

7

*******

4

 

29

97

8

****

1

 

30

100

9

*

0

 

30

100

10

 

 

 

Gemiddelde :

 

6,13

 

 

 

Standaarddeviatie :

 

1,43

 

Bestand met de correlatiematrix
Dit bestand geeft de correlatie aan tussen de items/vragen.

MK->

1

2

3

4

5

25

26

27

28

29

30

1

1,00

0,18

0,09

-0,03

-0,04

0,12

0,13

-0,27

-0,31

-0,23

0,20

 

 

 

 

 

 

 

 

 

 

 

 

30

0,18

1,00

0,28

-0,16

-0,13

0,33

-0,03

0,12

-0,26

-0,22

-0,21

Cijferbestand voor OSIRIS

Een administratief bestand met cijfers dat rechtstreeks in OSIRIS kan worden ingelezen. Wordt vaak bij omvangrijke tentamens gebruikt.

Score-cijfer overzicht
Een overzetting van een score in een cijfer. Dit overzicht wordt zelden aangevraagd.

Minimale score

 

Cijfer

0

 

1

9

 

2

11

 

3

14

 

4

16

 

5

19

 

6

22

 

7

24

 

8

27

 

9

29

 

10