Senest levede omkring 80 procent af opgaverne op til kravene. Dermed er der håb for matematikopgaven om et spisebord, hvis udvikling fra ide til test, fagbladet Folkeskolen har fået lov at følge.

Folkeskolen tester opgaveudvikling: Lang vej fra tanke til test

I efteråret er denne opgave og alle de andre nyproducerede opgaver til de nationale test blevet afprøvet af klasser rundt om i Danmark. Opgaverne har været pakket i sæt a 30 opgaver inden for et fag svarende til, hvad en elev kan besvare i løbet af en lektion. Computeren har stillet de 30 opgaver i tilfældig rækkefølge til hver enkelt elev. I alt er hver opgave blevet afprøvet af mellem 700 og 800 elever.

I Styrelsen for It og Læring (STIL/Stil, tidligere Uni-C) kan statistikerne se, hvis en elev for eksempel har besvaret alle 30 opgaver på et øjeblik. Så vurderer man, at eleven ikke har taget afprøvningen seriøst, og så bliver resultaterne kasseret. Men det er ikke erfaringen, at det er et problem, mener analysechef Jesper Lund.

Rasch-modellen

I løbet af foråret skal de mange opgavebesvarelser så bruges til at teste, om de nye opgaver til de nationale test lever op til Rasch-modellen. Modellen stiller det krav, at hvis elevens dygtighed matcher opgavens sværhedsgrad, så skal der være 50 procents sandsynlighed for, at eleven besvarer opgaven rigtigt. Blandt de dygtigste elevgrupper skal de fleste have svaret rigtigt, og blandt de svageste skal der være flest, der har svaret forkert. Som udgangspunkt helt logisk. Men alligevel har man i de nationale tests første år smidt flere opgaver i skraldespanden, end man har kunnet bruge.

"Når vi sammen med opgavekommissionen kigger på de kasserede opgaver, kan vi som regel godt se, hvad der er galt", fortæller statistiker, chefkonsulent i Stil, Claus Jensen.

"For eksempel blandt de kasserede multiple choice-opgaver, hvor vi kan se, at mange elever - også de dygtige - har gættet sig frem. Enten fordi opgaven er for svær, eller fordi der er problemer med formuleringerne af de forskellige valgmuligheder, så eleverne har svært ved at vælge", fortæller Claus Jensen. Det betyder også, at opgavekommissionen ofte efterfølgende kan rette opgaven til. Så kommer den igennem afprøvningen en gang til i stedet for at blive kasseret.

Ud over at tjekke, om opgaverne overhovedet kan Rasch-godkendes, fastlægger statistikerne også opgavens sværhedsgrad ud fra prøve-elevernes besvarelser. Og så tjekker de for det, der kaldes Dif (differential item functioning) - det vil sige om opgaverne fungerer ens for drenge og piger. Sandsynligheden for at svare rigtigt må kun afhænge af elevens dygtighed. Hvis den også afhænger af for eksempel køn eller af om man bor på landet eller i byen, må opgaven kassereres.

"Det duer ikke i en adaptiv test, hvor man ikke ved, hvem der får hvilke opgaver - så skal alle opgaver fungere ens for alle", forklarer Jesper Lund.

Nationale test: Klasse havde kæmpe udsving på tre dage 

Stil har også arbejdet med at forbedre den statistiske sikkerhed i de nationale test. Det er blandt andet sket ved at ændre en smule på testforløbet. Tidligere fik eleven fem opgaver i hvert profilområde, før testen ved hjælp af en adaptive algoritme tilpasser sig elevens niveau og kun udtrækker opgaver inden for en passende sværhedsgrad. Men statistikerne har konstateret, at tre opgaver er nok, og det giver mere tid til at fintune og præcisere bedømmelsen af elevens niveau. Der skal omkring 15-20 opgaver til, som er tilpasset elevens niveau, for at give en statistisk valid bedømmelse, og derfor har Kvalitets- og Tilsynsstyrelsen også ændret sin udmelding, så alle elever som udgangspunkt skal blive siddende og besvare testopgaver, til lektionen er slut.