ySkills: Alexander van Deursen en Ester van Laar en hun rapport over het meten van digitale vaardigheden
De meeste onderzoeken naar digitale vaardigheden gebruiken zelfinschattingen, waarbij respondenten wordt gevraagd te beoordelen hoe goed ze presteren. Hoe goed iemand denkt te presteren levert echter geen nauwkeurige schatting op. Zelfinschattingenserieuze zijn onderhevig aan diverse validiteitsproblemen. Een meer valide manier om digitale vaardigheden te meten is het uitvoeren van prestatiemetingen waarbij deelnemers hun vaardigheden daadwerkelijk demonstreren. Deze methode berust op het uitvoeren van taken.
Het aantal onderzoeken waarbij prestatiemetingen worden toepast is relatief schaars, vooral omdat het een dure en tijdrovende methode is. Bestaande prestatiemetingen richten zich vooral op het meten van technische en informatievaardigheden. Een breder perspectief waarbij ook informatienavigatie en -verwerking, communicatie en interactie, en het creëren en produceren van inhoud wordt meegenomen ontbreekt. Omdat prestatiemetingen (gebaseerd op taken) ook contextafhankelijk zijn, is het moeilijk om ze in verschillende landen te kunnen toepassen. Vergelijkingen tussen landen grotendeels ontbreken dan ook.
Om de lacunes in de literatuur op te vullen, hebben onderzoekers van het ySKILLS-project een taakgebaseerd meetinstrument ontwikkeld voor een breed scala aan digitale vaardigheden voor jongeren tussen 12 en 17 jaar. Nadat rekening is gehouden met de lessen die tijdens de ontwikkelings- en eerste testfasen zijn geleerd, is de uiteindelijke prestatiemeting toegepast in zes Europese landen (Estland, Finland, Duitsland, Italië, Polen en Portugal). Op basis van onze ervaringen hebben we belangrijke lessen getrokken uit de procedures voor de ontwikkeling en uitvoering van tests. Bijvoorbeeld:
1. Betrek kinderen vroeg in het proces van het ontwerpen van prestatiemetingen en neem hun niveau van begrip en ervaring als uitgangspunt in het ontwerpproces. Bovendien moeten de onderwerpen geschikt zijn voor kinderen van een breed leeftijdsbereik. Het is belangrijk universele thema's te kiezen (bijvoorbeeld klimaatverandering of COVID-19) om de onderwerpen van de zoektaak transnationaal en voor alle leeftijdsgroepen toepasbaar te maken.
2. Voer cognitieve interviews in alle betrokken landen bij de uitvoering van prestatiemetingen, aangezien elk land unieke ervaringen en perspectieven meebrengen waarmee rekening moet worden gehouden. Er bestaan grote verschillen in de mate waarin informatie online beschikbaar is in de verschillende talen van de bestudeerde landen. Aangezien prestatiemetingen cognitief veeleisend zijn, is het voorts een verzachtende strategie om taken op een interactieve manier te presenteren (kinderen kunnen bijvoorbeeld woorden zien verschijnen terwijl ze worden getypt).
3. Gebruik bij het analyseren van prestatiemetingen een gestandaardiseerd codeerschema met bijbehorende training/uitleg, wanneer u met een team van onderzoekers werkt om ervoor te zorgen dat iedereen op één lijn zit. Beperk bovendien het aantal codeurs per land tot één of twee, en zorg ervoor dat alle codeurs op dezelfde manier worden geïnstrueerd. Al met al is het ontwikkelen van prestatiemetingen een iteratief proces met regelmatige feedback en overleg door het onderzoeksteam en de kinderen.
Geïnteresseerd in meer geleerde lessen of in een Nederlandse versie van het instrument? Het rapport met de uiteindelijke prestatiemeting is beschikbaar als onderdeel van het ySKILLS-project. Dit rapport bespreekt alle overwegingen en geleerde lessen bij het ontwikkelen van prestatiemetingen, en presenteert het uiteindelijke taakgebaseerde meetinstrument dat in zes Europese landen is gebruikt.
