Normering met een vaardigheidsschaal

5 | Van score naar vaardigheid

Als de moeilijkheden van alle opgaven of items in een examenperiode geschat zijn, wordt een beste schatting van de vaardigheid van een kandidaat gemaakt aan de hand van de items die daadwerkelijk aan de kandidaat zijn voorgelegd *).

Van alle antwoorden die een kandidaat geeft, wordt eerst de ruwe score berekend, ofwel het aantal behaalde punten. In het geval van een digitale toets met uitsluitend automatisch scoorbare vragen, bepaalt de examensoftware de ruwe score. In combinatie met de itemkenmerken waarop deze ruwe score behaald is, wordt de vaardigheid geschat. Dit gebeurt per examenvariant voor iedere ruwe score apart. Zie hieronder het voorbeeld van een gedeelte van de omzettingstabel van score naar vaardigheid bij COE Nederlands 2F 2012, versie 2. De relatie tussen score en vaardigheid hoeft niet rechtlijnig te zijn. Dit hangt af van de onderlinge verschillen in moeilijkheid tussen de opgaven.

Variant	Score	Vaardigheid
...	...	...
V2	30	66,5
V2	31	70,0
V2	32	73,7
V2	33	77,8
V2	34	82,3
V2	35	87,3
V2	36	93,0
...	...	...

Voorbeeld van een omzettingstabel van score naar vaardigheid

Deze methode levert per examenvariant een tabel op met achter iedere mogelijke ruwe score een vaardigheidsschatting. De ruwe score loopt van 0 tot en met de maximale score. De vaardigheidsschatting is niet overal even nauwkeurig. Bij de allerlaagste en allerhoogste scores is deze het minst nauwkeurig. De exacte score waarbij de meetnauwkeurigheid het hoogst is, hangt af van de moeilijkheid van de opgaven in de examenvariant.

Geneutraliseerde items
Als er opgaven in een examenvariant zitten, waarvan de normeringsvergadering beslist dat zij niet meewegen bij de beoordeling van een kandidaat, dan noemen we dit geneutraliseerde items. Met deze technische term maken we onderscheid in items die wel en niet meetellen. Alle kandidaten krijgen voor een geneutraliseerd item het maximale aantal te behalen punten. Bij de schatting van de itemparameters doen de geneutraliseerde items niet mee, alleen de antwoorden op de overige items worden gebruikt voor het vaststellen van de vaardigheidsschaal. Bij de schatting doen we net of de geneutraliseerde items niet bestaan.

De vaardigheid van de kandidaat wordt geschat aan de hand van de antwoorden op een verkorte examenvariant, waarin de geneutraliseerde items niet opgenomen zijn. Hieronder staat een voorbeeld van de omzettingstabel van score naar vaardigheid als er in een variant, waarop maximaal 54 punten behaald kunnen worden, drie geneutraliseerde items van ieder maximaal 1 punt zijn. De schatting van de vaardigheid gaat uitsluitend over de verkorte variant, met scores 0 tot en met 51. De rapportage gaat over de gehele range 0 tot en met 54. De geneutraliseerde punten worden bij de verkorte score opgeteld om tot de score op de volledige variant te komen. In de rapportage-tabel staat achter de scores 0, 1 en 2 dezelfde vaardigheid als bij de laagst mogelijke score 3, namelijk vaardigheid 75. In de praktijk komen deze scores niet voor omdat iedere kandidaat minimaal 3 punten scoort, namelijk op de geneutraliseerde items.

Schatting		Rapportage
Score verkorte variant	Vaardigheid	Score volledige variant	Vaardigheid
Nvt	Nvt	0	75
Nvt	Nvt	1	75
Nvt	Nvt	2	75
0	75	3	75
1	83	4	83
2	86	5	86
...	...	...	...
51	212	54	212

Vaardigheidsscores bij een examenvariant met 3 geneutraliseerde items van ieder 1 punt

*) De gebruikte schatting is een weighted maximum likelihood (WML) schatter bij de ongewogen score. Verhelst en Engelen (1999) tonen aan dat dit een veralgemenisering is van de WML-schatter bij gewogen scores (Warm, 1989).

Lees verder: 6 | Van vaardigheid naar cijfer

Datum: 9 april 2013