Nu kan nationale test bruges til at forudsige Pisa

Hovedkonklusionen er, at det faktisk kan lade sig gøre - med udgangspunkt i resultater fra de nationale test i dansk og matematik - at forudsige, hvor eleverne vil klare sig i Pisa, når de er 15 år. Og det kan gøres endnu mere præcist, hvis man inddrager en stribe baggrundsfaktorer. Den vigtigste er, om eleven er startet i skole til tiden. Sene skolestartere går nemlig kun i 8. klasse, når de bliver testet i Pisa og mangler derfor et års skolegang. Dernæst om de har en anden baggrund end dansk og om det er drenge eller piger. Endelig kan man også inddrage familiens socioøkonomiske baggrund.

Professor emeritus Svend Kreiner er kendt som en skarp kritiker af Pisas brug af den statistiske Rasch-model, og han har påpeget at Pisa ikke i tilstrækkelig grad tager højde for, at nogle opgaver for eksempel er sværere for englændere end for kinesere og omvendt.

Alligevel har han påtaget sig opgaven og er nået frem til, at der er en så klar sammenhæng mellem testresultater i de nationale test og testresultater i Pisa, at det er muligt - med en vis grad af usikkerhed - at forudsige resultater i Pisa ud fra resultaterne i de nationale test, selvom de nationale test og Pisa ikke måler færdigheder i læsning og matematik på fuldstændig samme måde.

Gælder kun Danmark

"Vi har reanalyseret Pisas data, men vel at mærke kun for Danmark. Og i den tekniske rapport kan man så se, at vi har udarbejdet en tilpasset statistisk model, en generaliseret Rasch-model, som tager højde for forskellige ting - herunder opgaver, der fungerer forskelligt for drenge og piger og opgaver, som rummer mange forskellige spørgsmål med udgangspunkt i den samme tekst, som derfor bliver indbyrdes afhængige. Det er noget, som faktisk betyder temmelig meget", forklarer Svend Kreiner og påpeger, at den model, som nu ligger offentliggjort på uvm.dk sandsynligvis ikke vil kunne bruges i andre lande, fordi fx kønsforskelle er meget kulturelt forskelligt. En opgave kan godt være sværere for danske piger end for danske drenge og samtidig lettere for kinesiske piger end for kinesiske drenge.

Statistik-guru: Pisa holder ikke

Det betyder samtidig, at modellen kun fungerer til Pisa 2012. Hvis der kommer mange og anderledes opgaver i Pisa 2015, hvor det er et nyt firma, der har overtaget styringen og der er planlagt en række ændringer, så kan det tænkes, at modellen alligevel ikke passer til Pisa 2015.

"Det er vilkårene i Pisa - der er forskelle fra år til år. Og det er spændende, om det lykkes den nye organisation at håndtere de forskelle, så data bliver sammenlignelige fra år til år", siger Svend Kreiner.

Baseret på ægte opgavebesvarelser

Svend Kreiner har også tidligere rettet en skarp kritik imod, at Pisa tildeler eleverne scorer i fag, de slet ikke har besvaret opgaver i ved simpelthen at estimere deres score ud fra, hvordan de har svaret i andre fag og andre opgaver. I den model, han nu har været med til at udvikle for Undervisningsministeriet, har man kun anvendt elevernes ægte opgavebesvarelser.

Pisa-elever får en læsescore uden at have taget læseopgaver

Eksperterne har haft danske 15-åriges Pisa-besvarelser fra 2012 og de samme elevers resultater fra matematik i 6. klasse i 2010 og læsning i 8. klasse i 2011 at arbejde med. Fordi man ikke har haft nationale test-resultater fra 2009, har man i matematik kun haft mulighed for at se på den fjerdedel, som er startet så sent i skole, at de blev Pisa-testet, da de gik i 8. Dem der tog Pisa i 9. har man ingen matematiktest på. Alligevel mener Svend Kreiner, at modellen er solid, også i matematik:

"De sene skolestartere har haft et års mindre undervisning. Effekten af det kan estimeres på to måder, og i matematik har vi så kun den ene måde til rådighed. Men fordi vi i vores analyse på læsning kan se, at begge måder giver det samme resultat, er jeg forholdsvis tryg ved metoden", siger han og tilføjer:

"Da jeg sagde ja til opgaven, lagde jeg vægt på, at jeg fik lov at dokumentere og forklare alt, hvad jeg lavede, og derfor kan man nu i den tekniske rapport se, præcis hvordan vi har konverteret resultaterne i de nationale test til en skala, der svarer til Pisas skala". (se link til højre, red.)