Het lijkt op een ranglijst en zo wordt het vaak ook gelezen. Toch klopt dat beeld niet. Om te beginnen doet niet elk land elke ronde mee, dus een kop ‘we zakten van plaats tien naar twaalf’ vergelijkt twee verschillende gezelschappen. Bovendien liggen de uitkomsten van landen soms zo dicht bij elkaar dat een paar plekken verschil binnen de foutmarge valt.
Het Nederlandse rapport zelf is juist voorzichtig en serieuze media namen die nuance over. Bij de vorige meting kopte de NOS dat de leesvaardigheid ‘verder achteruit’ ging, met de kanttekening dat landen lastig te vergelijken zijn. In de doorvertaling ging vooral één cijfer rondzingen. Nederland was toen gezakt van de 26e naar de 34e plaats op leesvaardigheid en dat cijfer reist makkelijker dan de nuance eromheen.
Martina Meelissen is projectleider van het Nederlandse PISA-onderzoek aan de Universiteit Twente. Volgens haar staat in het rapport uitgelegd wat je wel en niet uit de cijfers mag afleiden. “Een nummer op een wereldwijde ranglijst hoort daar niet bij”, zegt ze.
Hoe meet je hetzelfde in tientallen landen?
Als het geen ranglijst is, wat dan wel? PISA probeert dezelfde vaardigheden op dezelfde manier te meten, in tientallen landen en talen tegelijk. Dat is een lastig meetprobleem, en precies daarin is de UT voor Nederland gespecialiseerd. Onderwijsonderzoekers van de UT werken al sinds de jaren zeventig mee aan dit soort internationale onderzoeken.
Zorgvuldig meten begint bij de steekproef. PISA kiest eerst willekeurig scholen en daarbinnen willekeurig leerlingen, zodat geen enkel land zijn beste leerlingen naar voren kan schuiven en de uitkomsten representatief zijn. Speciaal getrainde toetsleiders nemen de toets af. Een internationale controleur bezoekt steekproefsgewijs scholen in elk land om te zien of de toetsafnames in elk land hetzelfde verlopen.
Als de antwoorden binnen zijn, worden ze nagekeken. “Eigenlijk mogen we het zo niet noemen”, vertelt Jolien Valk, een van de onderzoekers bij de onderzoeksgroep CoDE. “PISA bepaalt uiteindelijk of antwoorden goed of fout zijn.” Elk antwoord krijgt een code uit een vaste lijst, zodat hetzelfde antwoord in Nederland precies zo telt als in Japan. Studentassistenten van de UT beoordelen de ingewikkelde open opgaven met de hand. Onze studenten natuurkunde en wiskunde zien de nuance die een computer mist.
De waarde zit in de trend over jaren
Een kleine daling of stijging in prestaties ten opzichte van de vorige meting zegt weinig; pas over meerdere rondes zie je of een daling toeval was of een echt patroon. Meelissen coördineert al ruim twintig jaar het verwante onderzoek TIMSS en kijkt daarom liever naar de trend op langere termijn. Maar soms is de daling in prestaties zo groot, zoals in PISA-2018 en -2022 voor lezen, dat dit wel serieus moet worden genomen.
Zo’n trend maakt de vergelijking met andere landen juist nuttig. Gaat een land, bijvoorbeeld Engeland, over meerdere rondes gestaag omhoog, dan loont het om te bekijken hoe ze daar hun onderwijs inrichten. Daar zijn onderzoeken zoals m PISA eigenlijk voor bedoeld.
Meer dan lezen en rekenen
Een plek op een lijst laat trouwens maar een fractie zien van wat PISA meet. Naast de toetsen vullen leerlingen uitgebreide vragenlijsten in over hun school en zichzelf. In PISA-2025 bijvoorbeeld over het leven en leren in een digitale wereld. Jolien en haar collega Nathalie Maassen doken in het welbevinden van Nederlandse vijftienjarigen. Hoe voelen ze zich op school en hangt dat samen met hun prestaties? “Zo zagen we dat jongens meer tevreden zijn met hun leven dan meisjes. Jongens hebben ook meer het gevoel erbij te horen op school.”
Die cijfers sturen ook beleid. Onlangs zette de staatssecretaris taalonderwijs voortaan boven rekenen, mede door de tegenvallende leesvaardigheid. Juist daarom loont het om te weten hoe zorgvuldig die cijfers tot stand komen. De volgende keer dat PISA voorbijkomt, kun je dus iets anders doen dan de ranglijst afspeuren. Kijk naar de lijn over de jaren en naar wat er onder de cijfers zit. Daar zit het echte verhaal.
