fr. 4. mar. 2016 kl. 15:14

Nationale test: 12 procent af eleverne svinger overraskende fra test til test

  • Eksempler på elever i 6. klasse på Ørum Skole, som tog den samme test med en uges mellemrum - og med vidt forskellige resultater.
    Eksempler på elever i 6. klasse på Ørum Skole, som tog den samme test med en uges mellemrum - og med vidt forskellige resultater.
Af: Karen Ravn

Undervisningsministeriet har netop offentliggjort en undersøgelse af elevernes resultater i de nationale test, når de tager de samme test med kort mellemrum. Undersøgelsen blev sat i gang, efter at fagbladet Folkeskolen havde skrevet om voldsomme udsving i en klasse på Norddjurs Kommune. Data på landsplan viser, at omkring 12 procent har større udsving fra test til test, end man ville forvente.

Når elevresultaterne i dansk/læsning svingede så voldsomt i 6. klasse på Ørum Skole, da de tog den frivillige test to gange med en uges mellemrum, var det formentlig fordi elevernes testadfærd anden gang "ikke var optimal", som det formuleres. På landsplan klarer elever sig gennemsnitligt bedre anden gang, de tager testen, men det gjorde 6. klasse på Ørum Skole ikke - her fik eleverne i gennemsnit en dårligere score anden gang. Ministeriets gennemgang viser, at en stor del af Ørum-eleverne i andet forsøg besvarede langt flere opgaver uden at bruge længere tid.

"For at opnå et sikkert testresultat i enhver form for test er det vigtigt, at eleverne er koncentrerede og gør sig umage", hedder det i notatet.

Inviterer eksperter

Folkeskolens artikel om Norddjurs-resultaterne fik De Radikales Lotte Rod til at stille spørgsmål til undervisningsminister Ellen Trane Nørby, som bad ministeriet om en undersøgelse. Det er den, som nu ligger klar. Den viser, at selvom Ørum Skole altså oplevede noget andet, så er der generelt statistisk signifikant sammenhæng mellem elevernes resultater første og anden gang, de gennemfører den samme test.

Gennemsnitligt går det en smule bedre anden gang end første gang, og jo flere dage, der går i mellem de to test, i jo højere grad er der fremgang. Men også i den store population er der for mange elever, der har større udsving fra test til test, end man ville forvente. Styrelsen for It og Læring har set på de elever, der tog den samme frivillige test to gange i efteråret 2014, og særligt i 2. klasses læsetest var der mange elever - omkring en femtedel - der klarede testen markant bedre eller dårligere anden gang. Samlet set havde 12 procent af eleverne  større udsving - mod forventet omkring 5 procent. 

"Det er ikke muligt at afgøre, om det skyldes opgavernes faglige indhold, testadfærden eller andre forhold. Ministeriet vil invitere en række eksperter til en drøftelse af undersøgelsens resultater", oplyser uvm.dk

At eleverne generelt klarer testen bedre anden gang end første gang skyldes tilsyneladende ikke, at de har lært opgaverne at kende. Fordi testen er adaptiv, får eleverne ikke automatisk de samme opgaver anden gang. Men det kan godt ske, at de samme opgaver dukker og, og i gennemsnit fik eleverne gennemsnit 25 procent af de samme opgaver anden gang som de fik første gang. Men ifølge notatet er der ingen statistisk signifikant sammenhæng mellem elevens dygtighed i andet forsøg og graden af genbrug af de samme opgaver. 

folkeskolen@folkeskolen.dk

Kommentarer

Man skal være registreret bruger for at skrive kommentarer på folkeskolen.dk. Som registreret bruger får du også mulighed for at tilmelde dig nyhedsbreve m.m.

Tilmeld dig her
fr. 4. mar. 2016 kl. 16:35 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Er der en fejl i linkene? Jeg kan ikke finde frem til analysen på landsplan?

Klag
fr. 4. mar. 2016 kl. 16:44 Karen Ravn

webredaktør

Så skulle det virke!
Tak!
mange hilsner
Karen Ravn
folkeskolen.dk

Klag
lø. 5. mar. 2016 kl. 09:25 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

En væsentlig mangel i undersøgelsen
Lærere, skoleledelser og forvaltninger har adgang til testresultater på 100-skalaen, og det er disse resultater, der forekommer upålidelige og utroværdige. I mange tilfælde er der tvivl om, hvorvidt en elev vil kunne opnå samme resultat ved to testninger, der ligger tæ... Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 10:51 Jeppe Bundsgaard

Professor

Tankevækkende
Marina, jeg er ret overbevist om at pearson-korrelationen vil vise det samme uanset om det er logit- eller percentilværdier. Percentil er beregnet direkte fra logit. (og man burde aldrig have "oversat" til percentil, men måske til en skala ligesom dem man bruger i PISA, TIMMS, PIR... Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 11:22 Jeppe Bundsgaard

Professor

Se evt. mit indlæg der viser ret tydeligt hvor slemt det står til...
http://www.folkeskolen.dk/583103/sa...

Klag
ma. 7. mar. 2016 kl. 13:37 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Resultater på 100-skalaen og på logit-skalaen er forskelligt fordelt. På logit-skalaen ligger resultaterne mellem 35 og 65 meget tæt, og der er stor afstand mellem resultaterne 80 og 90.

Her ville jeg gerne henvise til ministeriets notat om den adaptive algoritme, men den er tils...

Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 13:46 Jeppe Bundsgaard

Professor

Ja, de er forskelligt fordelt, men der er en direkte oversættelse fra den ene til den anden. Så hvis der er en given korrelation for den ene, så vil der være den samme for den anden.

Der findes et notat om algoritmen her: http://www.uvm.dk/Uddannelser/Folke...

Klag
ma. 7. mar. 2016 kl. 14:35 Pernille Kepler

Sving eller forudsigelige afgangsprøveresultater
Hvordan hænger denne artikels overskrift (og delvist indhold) sammen med artiklen fra samme dag, hvor der "garanteres" en god afgangsprøve, hvis national test har givet godt resultat.

http://www.folkeskolen.dk/583035/kl...

En sådan følge kan man vel ikke slutte, hvi...



Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 15:00 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Hej Pernille

Jeg synes bestemt heller ikke, at der er god sammenhæng mellem resultater i de nationale test og ved afgangsprøven, men der er en vis sammenhæng. Denne sammenhæng er dog slet ikke stærk nok til, at elever, der scorer god ved de nationale test, er sikre på a...

Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 15:04 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

I den første og anden udgave indeholdt notatet om den adaptive algoritme i de nationale test eksempler på sammenhænge mellem logit-tal og percentiler. Det er slettet i den nuværende udgave (fra jan 15).

Klag
ma. 7. mar. 2016 kl. 15:12 Jeppe Bundsgaard

Professor

Pernille, der er korrelation - dvs. at i gennemsnit så måler NT og afgangsprøve det samme. Men da der er så stor usikkerhed på det enkelte NT-resultat, så vil man ikke kunne regne med det for den enkelte elev. Så du har helt ret.

Marina, du kan se tre eksempler på...

Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 16:21 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Hej Jeppe

Jeg kan lave en udregning på Jørgen Damgaards resultater i matematik ved to testninger i samme uge - både som logittal og percentiltal. Og se, om det har nogen betydning for den udregnede korrelation.

Min oplevelse er, at det har stor betydning, om udregningerne foregå...



Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 20:50 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Jeg er ved at få dannet en graf/funktion over sammenhænge mellem percentilværdi og logittal for de nationale test i matematik i 6. klasse. Hvert profilområde har sine egne parameterværdier, som jeg tilfældigvis har liggende. Det kommer til at tage et par dage, men må... Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 20:59 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Fejl i rapporten?
Kigger man på den grafiske afbildning af korrelationen mellem første og anden testning (side 11), så er der tilsyneladende sket en ombytning mellem x og y akse. Skal man tage graferne for pålydende, så viser tendenslinjen, at eleverne bliver dårligere ved anden testning.... Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 21:28 Niels Christoffersen

Aftalen om ... et fagligt løft af folkeskolen
Side 23
Målene for elevernes faglige udvikling vil blive opgjort på baggrund af elevernes resultater i de nationale test. Det gør det muligt årligt at følge progressionen i det faglige niveau i dansk på 2., 4., 6. og 8. klassetrin og i matematik på 3. og 6. klassetr...
Vis hele teksten

Klag
ma. 7. mar. 2016 kl. 23:44 Jeppe Bundsgaard

Professor

Niels, det er en interessant tekst du har fundet der - og jo derfor interessant hvor ministeriet har sine skæringspunkter fra. Måske bruger de "bare" almindelige regler for cronbach's alpha, som jo tit bruges til at sige noget om hvorvidt items i en faktor korrelerer tilstræ... Vis hele teksten

Klag
ti. 8. mar. 2016 kl. 06:26 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Jeg er ikke sikker på, at Niels' artikel er relevant i forhold til de nationale test. Der er jo ingen elever, der får tildelt samtlige opgaver, og derfor er det sandsynligvis ikke relevant med mål for intern sammenhæng i form af Chronbachs Alfa.

Ministeriet foretog gennemgrib...

Vis hele teksten

Klag
ti. 8. mar. 2016 kl. 18:25 Niels Christoffersen

Ja, min henvisning til An Instructor’s Guide to Understanding Test Reliability
var sådan set bare, at gøre opmærksom på, at resultaterne i de nationale test har fået tillagt en rolle, de slet ikke er i stand at løfte sammenlignet med, hvad man kræver i af testredskaber i det store udland.

Klag
ti. 8. mar. 2016 kl. 18:48 Niels Christoffersen

Marina - fejl i rapporten?
Nu har siddet og kukkeluret på side 11 i notatet - Hvor ligger fejlen, hvis ikke den ligger i, at man bruger Pearson korrelationen?

There are five assumptions that are made with respect to Pearson's correlation:

1) The variables must be either interval or ratio measurements (see our Types ...



Vis hele teksten

Klag
ti. 8. mar. 2016 kl. 19:17 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Jeg fandt to fejl på side 11 - den første fejl er en entydig fejl, den anden fejl er en smagssag (eller et spørgsmål om fortolkning af begrebet "resultat i de nationale test")

Den første fejl består i, at der er byttet rundt på x og y akse. Det er en und...

Vis hele teksten

Klag
ti. 8. mar. 2016 kl. 21:21 Niels Christoffersen

1-100 skalaen
1- 100 skalaen er en percentilskala. Og percentiler er ikke noget man kan lave beregninger med, der giver mening.
Der er tale om placeringer på en rangliste - eleverne får hængt et nummer om halsen i stil at sætte en nummerplade på en bil. Derfor giver det ikke mening at lav...
Vis hele teksten

Klag
on. 9. mar. 2016 kl. 06:22 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

Præcis - 100 skalaen giver i sig selv mange problemer, som denne rapport ikke belyser. Det er slet ikke sikkert, at brugerne af de nationale test vil kunne genfinde de svage sammenhænge, der er mellem testresultat og fx afgangsprøver, fordi det eneste resultat, lærere har adgang t... Vis hele teksten

Klag
on. 9. mar. 2016 kl. 06:31 Marina Norling

Master i læsning fra Århus Universitet, uddannet læsevejleder og lærer.

En almindelig test på 50 opgaver ville være langt at foretrække, for så havde lærere mulighed for at forstå det bagvedliggende resultat og kunne fortælle deres elever "Du havde 35 opgaver rigtige og det placerer dig på et gennemsnitligt niveau i forhold ti... Vis hele teksten

Klag
ma. 14. mar. 2016 kl. 14:54 Niels Christoffersen

Ang side 11 ff - diagrammerne - har UVM begået fejl?
Ved beregningen af korrelationen har UVM åbenbart fremstillet et punktdiagram (XY-punkt fx i EXCEL) med de to testresultater. De har valgt, at der skal være en tendenslinje af formen y=ax+b, altså en ret linje. R i anden er ”forklaringsgraden”. Den er et mål for i hvor høj gr... Vis hele teksten

Klag