Kan man stole på, at de nationale test giver en vurdering af eleven, der ikke er præget af tilfældigheder?
Der har været store tekniske problemer med de nationale test, men dette er ikke genstanden for mit indlæg. Jeg skriver om problemer med resultaternes troværdighed: Kan man stole på, at de nationale test giver en vurdering af eleven, der ikke er præget af tilfældigheder?
Som bekendt er det nationale test adaptive, det vil sige at testen tilpasses den enkelte elevs svarmønster undervejs i testforløbet. Dermed er elevens testforløb individuel designet, og efter testen må resultatet udregnes på basis af de tilbudte opgavers sværhedsgrad og elevens svar på disse opgaver.
Men hvordan har disse opgaver fået tildelt deres sværhedsgrad? Undervisningsministeriet oplyser, at omkring 500-700 børn har afprøvet opgaverne for at give opgaverne deres sværhedsgrad. Det er ikke muligt at få oplyst nærmere hvordan denne afprøvning er sket. Jeg har fået oplyst "Der indgår 20-36 opgaver i et opgavesæt til afprøvning afhængigt af deres tidskrav. En afprøvning er planlagt til at tage ca 30 min. Opgaverne præsenteres tilfældigt overfor respondenten. En opgave består af et eller flere items - normalt ikke flere end 5-7."
Det er ikke muligt at få at vide, hvordan ubesvarede opgaver er blevet vurderet, når der er udregnet opgavesværhed på basis af svarmønsteret i afprøvningsfasen. Det er derfor tænkeligt, at nogle elever ikke nåede alle opgaver, og at nogle opgaver derfor blev vurderet som meget svære – alene fordi de stod sidst i opgavesættet.
Georg Rasch har fortalt, at opgavernes rækkefølge kan have betydning for deres oplevede sværhedsgrad. Noget af den berømte forskers banebrydende arbejde et tilknyttet udviklingen af forsvarets intelligenstest BPP, og her skriver Børge Prien om Georg Rasch’ statistiske analyser:
”Det viste sig, at en opgaves løsningsfrekvens var afhængig af opgavens plads i forhold til andre opgaver. Det var, som om hver opgave befandt sig i et opgavemiljø, og blev den flyttet ud af det, skiftede den karakter. Vi prøvede i et af opgavesættene at sætte samme opgave ind 2 forskellige steder; den fik vidt forskellig løsningsfrekvens. Løsningsfrekvensen var langt mindre, når opgaven blev placeret langt henne i sættet; man havde da åbenbart indstillet sig på, at nu var det svært. Det var ikke fordi, man ikke nåede så langt; vi gav nemlig ubegrænset tid.”
I de nationale test er opgavernes rækkefølge individuelt bestemt. Derfor er det vigtigt at vide, om der er taget hensyn til den mulige effekt i opgavernes rækkefølge ved fastlæggelse af sværhedsgrad. Desværre er det ikke muligt at få oplyst, hvordan opgaverne har været grupperet og i hvilken rækkefølge, de er blevet præsenteret for eleverne i afprøvningsfasen. Det ville være et spændende emne at tage op i et kommende forskningsreview af testene
Som bekendt er det nationale test adaptive, det vil sige at testen tilpasses den enkelte elevs svarmønster undervejs i testforløbet. Dermed er elevens testforløb individuel designet, og efter testen må resultatet udregnes på basis af de tilbudte opgavers sværhedsgrad og elevens svar på disse opgaver.
Men hvordan har disse opgaver fået tildelt deres sværhedsgrad? Undervisningsministeriet oplyser, at omkring 500-700 børn har afprøvet opgaverne for at give opgaverne deres sværhedsgrad. Det er ikke muligt at få oplyst nærmere hvordan denne afprøvning er sket. Jeg har fået oplyst "Der indgår 20-36 opgaver i et opgavesæt til afprøvning afhængigt af deres tidskrav. En afprøvning er planlagt til at tage ca 30 min. Opgaverne præsenteres tilfældigt overfor respondenten. En opgave består af et eller flere items - normalt ikke flere end 5-7."
Det er ikke muligt at få at vide, hvordan ubesvarede opgaver er blevet vurderet, når der er udregnet opgavesværhed på basis af svarmønsteret i afprøvningsfasen. Det er derfor tænkeligt, at nogle elever ikke nåede alle opgaver, og at nogle opgaver derfor blev vurderet som meget svære – alene fordi de stod sidst i opgavesættet.
Georg Rasch har fortalt, at opgavernes rækkefølge kan have betydning for deres oplevede sværhedsgrad. Noget af den berømte forskers banebrydende arbejde et tilknyttet udviklingen af forsvarets intelligenstest BPP, og her skriver Børge Prien om Georg Rasch’ statistiske analyser:
”Det viste sig, at en opgaves løsningsfrekvens var afhængig af opgavens plads i forhold til andre opgaver. Det var, som om hver opgave befandt sig i et opgavemiljø, og blev den flyttet ud af det, skiftede den karakter. Vi prøvede i et af opgavesættene at sætte samme opgave ind 2 forskellige steder; den fik vidt forskellig løsningsfrekvens. Løsningsfrekvensen var langt mindre, når opgaven blev placeret langt henne i sættet; man havde da åbenbart indstillet sig på, at nu var det svært. Det var ikke fordi, man ikke nåede så langt; vi gav nemlig ubegrænset tid.”
I de nationale test er opgavernes rækkefølge individuelt bestemt. Derfor er det vigtigt at vide, om der er taget hensyn til den mulige effekt i opgavernes rækkefølge ved fastlæggelse af sværhedsgrad. Desværre er det ikke muligt at få oplyst, hvordan opgaverne har været grupperet og i hvilken rækkefølge, de er blevet præsenteret for eleverne i afprøvningsfasen. Det ville være et spændende emne at tage op i et kommende forskningsreview af testene
Kommentarer
Man skal være registreret bruger for at skrive kommentarer på folkeskolen.dk. Som registreret bruger får du også mulighed for at tilmelde dig nyhedsbreve m.m.
Tilmeld dig her>Undervisningsministeriets forklaringsproblkemer
Undervisningsministeriets forklaringsproblemer tårner sig op i denne sag. Det er mildest talt ikke betryggende, at saglige spørgsmål vedrørende de nationale test besvares med en mur at tavshed, henvisninger til bestemmelser om fortrolighed, rene goddag-mand-økseskaft-svar el... Vis hele teksten
Præsenteres opgaverne tilfældgt?
En vågen læser har kontaktet mig for at pointere, at undervisningsministeriet faktisk skrev; "Opgaverne præsenteres tilfældigt overfor respondenten." Mon ikke undervisningsmininsteriets svar betyder, at alle 700 børn, der har deltaget i afprøvningen af et opgav... Vis hele teksten
Et politisk løfte, der tilsyneladende vil blive overholdt
Flere fremtrædende politikere i den tidligere opposition har lovet mig, at de nationale test vil blive evaluering ved et grundigt forsker-review. De meldinger jeg har fået, tyder på, at dette løfte vil blive overholdt.
Derfor vil jeg lægge en serie af indlæg her og på... Vis hele teksten
Kontraktbrud eller fejlinformation?
Ved henvendelse til ministeriet er det muligt at få udleveret kontrakten om de nationale test. I denne kontrakt er det beskrevet, hvordan afprøvningen af opgaverne skal foregå. Efter at have kigget i kontrakten, har jeg svært ved at forstå, hvordan ministeriets svar om at "... Vis hele teksten
Kommentar til testresultaternes troværdighed
Kan man stole på, at de nationale test giver en vurdering af eleven, der ikke er præget af tilfældigheder, lyder spørgsmålet.
En test kan vel være utroværdig flere måder.
Hvis testen gentages efter et par dage og de to resultater ikke ligner hinanden - om tor... Vis hele teksten