Hvor stor er usikkerheden om de nationale test?

Jeg har kigget i kontrakten med COWI om de nationale test, og her kan jeg se, at der ikke er tale om en fejl, og heller ikke om en nyhed. De nationale test har ikke på noget tidspunkt været designet til at have en sikkerhed på 0,3.

Faktisk står der i kontraktens løsningsbeskrivelse at: ”Der vælges derfor et stopkriterium der indebærer, at der enten skal være besvaret 20 items på et profil- eller test-område før der kan gives en tilbagemelding, eller der skal være opnået en SEM på mindre end 0,6 i det pågældende testforløb.”

Hvordan myten om en SEM på under 0,3 er opstået, ved jeg ikke. Den lave SEM værdi er dog blevet nævnt ved utallige lejligheder ved lanceringen af testene i 2009, men det er ikke i overensstemmelse med virkeligheden nu eller dengang.

SEM og udsving i testresultater

I Folkeskolens artikel, kan man se, hvad forskellige SEM værdier indebærer. Det kræver, at man kigger på de vedlagte grafer fra Uni-Cs rapporter. Det statistiske sikkerhedsinterval er cirka 0,6 logit-tal ved en SEM-værdi på 0,3, og stiger til 1,1 logit-tal ved en SEM-værdi på 0,5 (Aflæst ved måling). I Uni-C’s rapport kan man oversætte disse tal til resultater i de nationale test.

Ved en SEM-værdi på 0,3 ville eleven i Uni-Cs rapport have fået et resultat på 60, og dette resultat var temmelig sikkert. Den statistiske usikkerhed viser, at han måske kunne have en reel dygtighed på 50 til 70 – altså inden for et temmelig snævert område.

Ved en SEM-værdi på 0,5, ville eleven også have fået et resultat på 60. Men nu ville der være betydeligt større statistisk usikkerhed. Den reelle dygtighed kunne være under 40 eller næsten 80!

Hvordan ville dette se ud i praksis ved SEM 0,3?

Hvis de nationale test havde en SEM på under 0,3, så ville der ikke være tale om ret store udsving i elevresultater ved nærtliggende testninger. En elev, der har været heldig, og scoret 60 ved test nummer 1, hvor han egentlig burde have fået 50, vil måske score 45 ved test nummer 2.

#Fil 2Jeg har lavet en simulation, hvor jeg har beregnet score ved test 2, ud fra den lille usikkerhed ved SEM 0,3 og på det grafiske billede er det muligt at se et mønster, der viser, at der er sammenhæng mellem resultatet ved test 1 og test 2.

Hvordan ser det ud i praksis ved SEM 0,5?

Her ville det være muligt, at samme elev viste store udsving i testresultater ved nærtliggende testninger. En elev, der havde været heldig at få 60 i test 1, hvor han egentligt havde fortjent 40, er måske ikke så heldig i test 2 og scorer måske 25. Der kan opstå udsving på 35 i de nationale test, ved to nærtliggende testninger, alene på grund af den statistiske usikkerhed. Uden at det har noget som helst med udsving i elevens dygtighed at gøre!

#Fil 3Jeg har modtaget et eksempel på sådanne udsving i en klasse, fra en lærer i en anden landsdel, der havde testet sin 6. klasse i matematik to gange i samme uge. Her er tale om virkelige resultater, hvor SEM er under 0,6.

Resultaterne viser med al tydelighed, at der kan være tale om temmelig store udsving i de nationale test i praksis. De nationale test er meget usikre på elevniveau.