6 | Welke gegevens zijn beschikbaar en hoe spelen die een rol?
De gegevensverzameling is primair opgezet om een technisch normeringsadvies te kunnen uitbrengen. Toch speelt de beschikbare informatie ook een rol bij het wegen
van eventualiteiten en inhoudelijke commentaren. Vooral bij de eerste tijdvakexamens is de gegevensverzameling en -verwerking sterk gestructureerd. Welke verschillende
gegevens worden systematisch verzameld en betrokken bij het nemen van de normeringsbeslissingen?
Voor de eerste-tijdvakexamens dienen alle scholen de scores van een bepaald aantal kandidaten aan het Cito te zenden. Het streven is om een steekproef van minimaal
tweeduizend kandidaten te krijgen. Bij vakken met veel kandidaten lukt dat vrij makkelijk. Bij vakken met minder kandidaten zijn ook meestal gegevens beschikbaar van
een paar honderd kandidaten. Enkele vakken hebben landelijk soms minder dan honderd kandidaten.
Toets- en itemanalyse Cito
Van de leerlingen in de steekproef zijn de scores per vraag en de totaalscore bekend. Cito analyseert deze gegevens en rapporteert aan het CvTE per totaalscore:
- het aantal leerlingen dat die score gehaald heeft;
- het cumulatief percentage leerlingen dat die score of een lagere score heeft gehaald.
Overzicht N-termen
Daarnaast kan het CvTE beschikken over een overzicht waarin voor alle N-termen tussen 0,0 en 2,0 wordt weergegeven wat:
- het bijbehorende gemiddeld cijfer is;
- het gemiddeld percentage onvoldoenden is.
Aan de hand van deze gegevens kan bij iedere waarde van N het bijbehorende percentage onvoldoenden en het gemiddeld cijfer worden afgelezen. Jaarlijks wordt gecontroleerd
of het gemiddeld cijfer in de steekproef overeenkomt met het gemiddeld cijfer zoals dat feitelijk behaald is. Dat blijkt bij vrijwel alle vakken goed te kloppen.
Verschillen van meer dan 0,1 cijferpunt zijn zeer zeldzaam.
De toets- en itemanalyse geeft ook een indruk van de mate waarin de toets onderscheid tussen de kandidaten weet te maken (standaard deviatie) en in welke mate de toets
dat op een consistente manier doet (toetsbetrouwbaarheid).
Verschillen in moeilijkheidsgraad
De toets- en itemanalyse geeft ook een beeld van de verschillen in moeilijkheidsgraad tussen vragen en maakt het mogelijk om te wegen of een geformuleerde kritiek
op een bepaalde vraag kandidaten al dan niet ernstig belet heeft om op de desbetreffende vraag een redelijke score te behalen.
Reacties uit het veld
Op vrijwel alle examens wordt gereageerd. Belangrijk zijn vooral de gebundelde reacties die via de vakinhoudelijke verenigingen bij het CvTE komen. Daarnaast worden ook
de reacties die via de CvTE-examenlijn zijn ontvangen, betrokken bij de normering. Voor de normeringsvergadering voor het eerste tijdvak vindt er altijd een gesprek plaats
tussen CvTE-leiding en vertegenwoordigers van het LAKS. Het LAKS verzamelt landelijk de commentaren van kandidaten op de examens.
Cito verzamelt via het programma WOLF via enkele korte vragen een oordeel van docenten over het examen. In sommige gevallen wordt deze 'quickscan' gevolgd door een digitale
vragenlijst. Deze informatie is primair bedoeld voor de verdere ontwikkeling van examens en niet als ondersteuning van de normering.
Meer informatie
>> Website van het LAKS
>> Programma WOLF van Cito
Datum: 21 februari 2017
|
