Hvor misvisende var det danske Pisa-resultat? Nyt studie tyder på, at det kan være rigtig meget

Den svenske uddannelsesminister Anna Ekström kaldte det ”en glædens dag” og et bevis på, at de ”svenske skoler står stærkt”, da hun en decemberdag i 2019 præsenterede de dengang nyeste Pisa-resultater.

Fremgang inden for alle tre områder – læsning, matematik og naturfag. Præstationerne var nu endelig tilbage på sporet efter årevis med svensk tilbagegang.

Succesen skulle dog siden blive anklaget for at være en decideret skandale.

En skandale, der nu kan vise sig at være en indikation på, at de helt nye danske Pisa-resultater dækker over et betydeligt større fald i færdigheder end først antaget.

For kritikken gik den gang på, at Sverige var det land i verden, der havde fritaget flest elever fra Pisa-målingen. I alt var den svenske fritagelse den gang på 11,09 procent. Langt flere end de 5 procent, OECD tillader – men faktisk en smule lavere end den danske fritagelse i den nyeste Pisa-runde, hvor vi havde en 11,55 procent af de 15-årige blev undtaget fra testen.

Verden over udtrækkes en stikprøve af 15-årige til at deltage i Pisas test i læsning, matemaik og naturfag. Stikprøven udgøres af et repræsentativt udsnit af 15-årige, der går i skole – i Danmark altså både elever i 8., 9. og 10. klasser på både folke- og friskler, elever i 1.g og på erhvervsskoler. Skolen kan vælge at fritage udtrukne elever, fx hvis de er nyankomne til landet og derfor ikke kan sproget, eller hvis de har funktionsnedsættelser, der vanskeliggør deltagelse. Op til 5 procent af eleverne kan fritages efter OECD’s regler. Men Danmark fritog ved testen i 2022 11,55 procent af de udtrukne elever fra deltagelse. Kun krigsramte Ukraine har fritaget flere. Af den internationale Pisa-rapport fremgår det, at de 15-årige i høj grad blev fritaget på grund af ordblindhed, da man ikke kan bruge de it-hjælpemidler, som danske ordblinde normalt anvender, i Pisa-testen.

Et nyt internationalt studie er nemlig for nylig gået grundigt ind i en undersøgelse af, hvad det havde af betydning for det svenske resultat, at man undtog så mange elever. Og deres svar er entydigt: i virkeligheden var det svenske 15-åriges færdigheder blevet ringere endnu engang. Hele fremgangen var altså en illusion.

Opbakning fra OECD, kritik fra rigsrevision

Men før vi går videre nærmere ind i det nye studie, er der behov for en kort opsummering af det svenske Pisa-drama.

Skolverket, som er en styrelse under det svenske Uddannelsesministerium, og som står for den svenske pisa-deltagelse, forklarede den høje fritagelse med, at man havde fritaget de elever, der var kommet til landet under flygtningekrisen i 2015, på grund af deres begrænsede svenskkundskaber.

Den heftige kritik fik dog uddannelsesministeren til at bede OECD gennemgå den svenske deltagelse. Herfra blev der givet grønt lys til de svenske resultater. OECD regnede sig desuden frem til, at de mange fritagelser måske havde ført til, at det svenske resultat fremstod 4 Pisa-point for højt.

Siden blev sagen også undersøgt af den svenske rigsrevision, og her var der til gengæld massiv kritik af regeringen, Skolverket og også OECD.

Ifølge rigsrevisorerne medførte flygtningestrømmen kun, at man efter reglerne ville kunne fritage 0,5 procent flere elever end tidligere. Revisionen kritiserede regeringen og Skolverket for ikke at have gjort nok for at undersøge den svenske deltagelse ordentligt, og dommen fra revisionen var også, at OECD ikke kunne ”anses for at have foretaget en uafhængig og troværdig gennemgang”.

Et fald svarende til et helt skoleår

Nu kan der så føjes et helt nyt og afgørende kapitel til den svenske Pisa-føljeton.

Danmarks Pædagogiske Universitet (DPU) og senest Det Nationale Forsknings- og Analysecenter for Velfærd (Vive) har herhjemme haft opgave med at gennemføre de danske Pisa-test. I Sverige står en styrelse under Uddannelsesministeriet, Skolverket, for Pisa-målingerne.

I Pisa 2018 havde Sverige verdens højeste andel fritagne elever. Herom kunne det i den svenske Pisa-rapport læses, ”at det kan have betydet en vis overvurdering af resultaterne (…) Det er dog ikke sandsynligt, at det øgede frafald har nogen afgørende betydning for mønstrene i resultaterne over tid”.

Men efter det svenske medie Expressen efterfølgende præsenterede en massiv kritik af fritagelserne, bad den svenske uddannelsesminister OECD gennemgå den svenske deltagelse en ekstra gang. Herfra var der ikke andre anmærkninger end, at det svenske resultat var 4 point for højt på grund af den høje fritagelse – beregnet ud fra en forudsætning om, at alle af de fritagne elever ville have præsteret på det laveste niveau i Pisa.

De konklusioner blev siden kraftigt modsagt af den svenske rigsrevision. Dommen herfra var, at hverken regeringen eller Skolverket havde ”gjort nogen overbevisende indsats for at undersøge spørgsmålet”.

”OECD fik ganske vist til opgave at gennemgå den svenske Pisa-statistik endnu en gang, men kan ikke anses for at have foretaget en uafhængig og troværdig gennemgang. OECD’s konklusioner er baseret på forkerte antagelser om, hvordan svenske skoler fungerer”, skrev Rigsrevisionen i sin rapport.

Revisionen afviste desuden, at der var en gyldig grund at fritage så mange elever. Ifølge revisionen burde Sverige kun kunne have undtaget et halv procentpoint flere efter kriteriet om manglende sprogkundskaber i 2018 end 2015 – det var ellers hovedbegrundelsen for den store stigning.

Rigsrevisionen understregede samtidig, at det er helt afgørende, at man kan stole på Pisa-resultaterne, da Pisa bruges som en måleindikator i mange politiske sammenhænge, bl.a. finanslovsforhandlinger.

Det er en gruppe på tre forskere, som på baggrund af en analyse af en række data om det faglige niveau for netop den årgang af 15-årige svenskere, der blev testet i 2018, nu vurderer, at det svenske resultat dengang var 20-30 point for højt.

Det svarer nogenlunde til den nedgang, rigtig mange lande oplevede i den nyeste Pisa-runde, hvor nedgangen hovedsageligt blev forklaret med corona-pandemien. Og et resultat, som radikalt forandrer fortællingen om den svenske skoles tilstand.

”En nedgang i den størrelsesorden svarer til, hvad OECD mener, at elever i gennemsnit lærer på et helt skoleår. Så det er massivt”, forklarer en af de tre forskere bag analysen, dr. Rolf Strietholt fra Institut for skoleudviklingsforskning på Dortmund Universitet.

Hvor sikker er du på, at I har ret i jeres estimat?

”Det er jeg ret sikker på”, slår Rolf Strietholt fast over for Folkeskolen.

Første gang med empirisk bevis

De tre forskere har fået adgang til en række data, der har bidraget til et billede af, hvor biased det svenske resultat må have været.

De har blandt andet fået adgang til data, der giver et billede af i hvor høj grad, eleverne der deltog i Pisa-målingen, kan formodes at være repræsentative for den samlede gruppe af svenske 15-årige.

For forskerne har fået indsigt i data for de deltagende elevers generelle faglige resultater i skolen baseret på deres karakterer og resultater i de svenske nationale test. Resultaterne har de så sammenlignet med resultater for den samlede population af svenske 15-årige fra samme årgang.

Sammenligningen viser, at eleverne, der deltog i Pisa, generelt klarede sig markant bedre end gennemsnittet af landets 15-årige.

”Det var første gang, at vi har et empirisk bevis. Indtil nu har man set, at OECD og Skolverket har forsvaret resultatet, mens Rigsrevisionen har kritiseret det. Men i sidste ende har det været spekulationer”, siger Rolf Strietholt.

Forsker: Danske resultater bør granskes

Den tyske skoleforsker understreger, at han ikke har analyseret på det nye danske resultat, som altså er præget af endnu højere fritagelse. Men han mener, at der er god grund til at være skeptisk overfor vurderingerne fra både OECD og det danske Pisa-konsortium.

Hovedområdet ved den seneste Pisa-runde var matematik, hvor Danmark gik 20 point tilbage. Men OECD estimerer, at den danske tilbagegang i virkeligheden dækker over en nedgang i de 15-åriges præstationer, der kan op til 11 point større, mens det danske Pisa-konsortium kun vurderer, at det drejer sig om op til 6 point.

”Jeg vil forholde mig kritisk til det resultat, og jeg mener, at der er brug for, at man får det undersøgt nærmere. Jeg vil desuden være meget kritisk over for begge kilder, der står bag de estimater. Det sker ofte, at man hører Pisa-vurderinger som: ’Vi kan ikke vide det, men biasen er sikkert ikke for stor’. Jeg mener, at vi med vores analyse kan se, at man bør sætte spørgsmålstegn ved sådanne nogle udsagn”, siger Rolf Strietholt.

Flere lande har fritaget under 1 procent

Han peger på, at selvom der er en række lande, der overskrider OECD’s grænse på en fritagelse på 5 procent, så er der også en række eksempler på lande, der har en fritagelse på under 1 procent.

”Så forskellige lande som Belgien, Mexico, Frankrig, Tjekkiet, Japan og Colombia ekskluderede under 1 procent af elevere”, siger han.

De store forskelle er en meget alvorlig udfordring i forhold til brugbarheden af Pisa som sammenligningsgrundlag, som Pisa gerne skulle være, påpeger Rolf Strietholt.

”Hvordan kan vi lave nogen form for sammenligning, når nogle lande har ekskluderet 2-3 elever pr. klasse og andre har ekskluderet 1 ud af 100 elever? Det må siges at være svært”, siger han.

Udfordringen gør sig også gældende for resultaterne for samme land over tid.

”Hvis Danmark konstant ekskluderede 10 procent af de svageste elever, så var det en nogenlunde homogen gruppe af elever, man målte på. Men det er ikke nødvendigvis sådan det er, og man kan aldrig vide, hvordan de ekskluderede ville have klaret sig. Og sidste gange var den danske eksklusion halvt så høj som denne gang. Så bliver det svært at sammenligne med tidligere resultater”, siger han.

Den tyske skoleforsker understreger, at der generelt er meget godt at sige om Pisa-målingerne, men han mener, at Pisa bør tage udfordringen med mange ekskluderede elever langt mere seriøst end i dag.

”Pisa har nogle strikse kvalitetsstandarder, men det er et problem, at der ikke sker noget for de lande, der ikke overholder kvalitetsstandarderne”, siger han.

Dansk Pisa: Svensk og dansk eksklusion kan ikke sammenlignes

Folkeskolen har spurgt børne- og undervisningsminister Mattias Tesfaye (S), om det nye studie får ham til at betvivle estimatet fra de danske Pisa-konsortium om, at det danske resultat kan være overvurderet med op til 6 point.

Ministeriet oplyser til redaktionen, at ministeren ikke har mulighed for en kommentar.

Redaktionen har også spurgt leder af det danske Pisa-konsortium, seniorforsker Vibeke Tornhøj Christensen, om hun ser et behov for at genoverveje konsortiets estimering.

I et mailsvar kalder hun det nye studie for ”interessant”, men hun peger på, at årsagerne til de høje eksklusionsrater i de to lande ikke er de samme.

”Hvis vi skal sammenholde med resultaterne af det svenske studie, er det afgørende, om det er samme type elever med samme faglige niveau, der er ekskluderet i Danmark og i Sverige. Det ser ikke umiddelbart ud til, at det er de samme kategorier for eksklusion, der er på spil i Danmark i 2022 og Sverige i 2018”, skriver hun og henviser til, at de især er antallet af elever med ord- og talblindhed, der er blevet undtaget i Danmark.

Hun tilføjer, at det danske Pisa-konsortium har forsøgt at beregne effekten af den danske eksklusion ved at sammenholde med resultaterne for de elever med ord- og talblindhed, som har deltaget i PISA.

”De angivne estimater er vores bedste umiddelbare bud på en effekt”, forklarer Vibeke Tornhøj Christensen.

Dansk forsker: Helt relevant med ny beregning

Den danske skoleforsker og ansvarlig for den danske del af Timss-undersøgelsen, som hvert fjerde år globalt måler 4.-klasserne i matematik og naturfag, Christian Christrup Kjeldsen, mener derimod, at det er helt oplagt med en lignende analyse af de danske resultater.

”Det er ikke et tilstrækkeligt argument, at det kan have været forskellige eksklusionsårsager af elever, der er blevet fritaget i de to lande. Beskrivelsen af de danske kategorier er udvalgt af det danske konsortium, og der kan godt være overlap, da eleverne i begge tilfælde falder i ekskluderet 'for other reasons'", forklarer han og fortsætter.

"Samtidig antager de, at dem der blev undtaget på grund af ord- eller talblindhed, ville have klaret sig på samme niveau som dem med ord- eller talblindhed, der faktisk endte med at deltage. Problemet er, at de så holder nogle elever op, som netop ikke er blevet ekskluderet uagtet deres vanskeligheder, og de vil systematisk være anderledes, end dem som endte med at blive ekskluderet ”, forklarer han.

Christian Christrup Kjeldsen har selv læst det nye studie, som han finder troværdigt. Han fortæller, at man i Danmark har tilstrækkelig med data til at lave en lignende analyse.

”Det nye studie giver os en langt mere grundig tilgang til at undersøge en eventuel bias. Det kan godt være, at det ikke har den videnskabelige interesse for det danske Pisa-konsortium på nuværende tidspunkt, men jeg mener, at det vil være helt relevant at lave den samme analyse på de danske data", siger han.

Han mener ikke, at der er grundlag for at kritisere, at det danske Pisa-konsortium ikke har brugt en lignende metode i deres Pisa-rapport.

"Den metode, de har brugt, har formentlig været det, der var tid til inden offentliggørelsen af Pisa-resultaterne. Det nye studie var desuden ikke kendt for konsortiet, da de skrev rapporten”.

Mens Sverige havde verdens højeste fritagelsesandel i Pisa 2018, var det Danmarks tur i den nyeste Pisa. Eller næsten i hvert fald – flere blev fritaget i Ukraine, men her angiver OECD krigen som årsag til den høje fritagelse.

I Danmark lyder forklaringen fra det danske Pisa-konsortium, at der sammenlignet med 2018 denne gang var tre gange så mange, der blev fritaget på grund af tal- og/eller ordblindhed.

OECD har ikke foretaget en konkret vurdering af, hvad den store danske fritagelse kan forventes at have betydet for det danske resultat, men angiver at en fritagelse i den størrelsesorden kan forventes at medføre, at et land scorer mellem 6 og 11 point for højt.

Det danske Pisa-konsortium har til gengæld foretaget en konkret beregning. Her er vurderingen, at det danske resultat kan være mellem 3 og 6 point for højt.

Det bygger på, hvordan de elever med ordblindhed, som faktisk deltog, klarede matematikopgaverne i Pisa. De viste sig at trække det nationale gennemsnit ned med 2 point, og da der var tre gange så mange med ordblindhed, der ikke deltog i Pisa, er det konsortiets vurdering, at det nationale gennemsnit kunne have været trukket 6 point ned, hvis de alle havde deltaget.