Debat
De nationale test 2016 - hvor galt står det til? (5)
Mine tidligere indlæg har vist, at nogle af problemerne med de nationale test kan knyttes til testenes adaptive virkemåde. Den adaptive virkemåde indebærer, at elever kan risikere at møde testenes mest vanskelige og berygtede opgaver allerede ved fjerde opgave i et profilområde. Det betyder også, at jagten må fortsætte på opgaver, der er så vanskelige, at selv den dygtigste elev ikke kan svare rigtigt.
Bemærk
Denne artikel er flyttet fra en tidligere version af folkeskolen.dk, og det kan medføre nogle mangler i bl.a. layout, billeder og billedbeskæring, ligesom det desværre ikke har været teknisk muligt at overføre eventuelle kommentarer under artiklen.
Den adaptive virkemåde i kontrakten om de nationale test
Baggrunden for valget af denne krævende adaptive testmetode er beskrevet i kontrakten om de nationale test i Bilag 3A - Løsningsbeskrivelse. Her kan man læse om den adaptive virkemåde, der blev foreslået af tjenesteyder (COWI). Ministeriet havde selv foreslået en anden model, men lod sig overbevise af tjenesteyders argumenter.
Testudviklerne hos COWI forklarer i kontraktens bilag, at ministeriets model for de adaptive algoritme er kendetegnet ved meget grove udsving omkring personens dygtighed.
Begrundelsen for den adaptive virkemåde
Testudviklerne mener, at deres model er bedre. De begrunder deres valg af adaptiv algoritme sådan:
”Brugen af den adaptive algoritme kan mere konkret begrundes med, at den adaptive algoritme søger hen i mod de items, som har en sværhed, der svarer til, at eleven har lige stor chance for at svare rigtigt eller forkert, dvs. man får mest mulig information om elevens standpunkt (mindst usikkerhed (SEM)).”
Den adaptive virkemåde hedder Benjamin D. Wright og G. A. Douglas’ adaptive algoritme. Når man bruger denne adaptive algoritme i en test, så vil man hurtigere nå frem til opgaver på elevens dygtighedsniveau, hvor eleven kan svare rigtigt på 50 % af opgaverne, forklarer testudviklerne.
Man finder ikke belæg for denne begrundelse i praksis
Men er det sådan, det ser ud i praksis - finder testene frem til de opgaver, hvor eleven har lige store chancer for at svare rigtigt eller forkert?
Øverst i denne artikel har jeg lavet en optælling på de elever i anden klasse, der besvarede mindst 15 opgaver. Jeg har kigget på svarmønsteret på opgaver 6 og frem - for at se, om testene finder frem til det niveau, hvor eleverne har lige stor chance for at svare rigtigt og forkert.
Testene lever ikke op til det lovede i kontrakten
Hvis testene levede op til det lovede i kontrakten, ville man finde overbevisende tegn på, at eleverne har lige stor chance for at svare rigtigt og forkert på disse opgaver sidst i prøveforløbet. Men ser det sådan ud? Mange kan ikke svare rigtigt på 40 % af opgaverne og nogle svarer rigtigt på over 60 % af opgaverne.
Det er svært at få øje på, at testene har fundet frem til de opgaver, der passer til eleverne. Egentligt ser det hele temmelig tilfældigt ud.
