Den svenske uddannelsesminister Anna Ekström kaldte det ”en glædens dag” og et bevis på, at de ”svenske skoler står stærkt”, da hun en decemberdag i 2019 præsenterede de dengang nyeste Pisa-resultater.

Fremgang inden for alle tre områder - læsning, matematik og naturfag. Præstationerne var nu endelig tilbage på sporet efter årevis med svensk tilbagegang.

Succesen skulle dog siden blive anklaget for at være en decideret skandale. 

En skandale, der nu kan vise sig at være en indikation på, at de helt nye danske Pisa-resultater dækker over et betydeligt større fald i færdigheder end først antaget.

For kritikken gik den gang på, at Sverige var det land i verden, der havde fritaget flest elever fra Pisa-målingen. I alt var den svenske fritagelse den gang på 11,09 procent. Langt flere end de 5 procent, OECD tillader – men faktisk en smule lavere end den danske fritagelse i den nyeste Pisa-runde, hvor vi havde en 11,55 procent af de 15-årige blev undtaget fra testen.

Et nyt internationalt studie er nemlig for nylig gået grundigt ind i en undersøgelse af, hvad det havde af betydning for det svenske resultat, at man undtog så mange elever. Og deres svar er entydigt: i virkeligheden var det svenske 15-åriges færdigheder blevet ringere endnu engang. Hele fremgangen var altså en illusion. 

Opbakning fra OECD, kritik fra rigsrevision

Men før vi går videre nærmere ind i det nye studie, er der behov for en kort opsummering af det svenske Pisa-drama.

Skolverket, som er en styrelse under det svenske Uddannelsesministerium, og som står for den svenske pisa-deltagelse, forklarede den høje fritagelse med, at man havde fritaget de elever, der var kommet til landet under flygtningekrisen i 2015, på grund af deres begrænsede svenskkundskaber.

Den heftige kritik fik dog uddannelsesministeren til at bede OECD gennemgå den svenske deltagelse. Herfra blev der givet grønt lys til de svenske resultater. OECD regnede sig desuden frem til, at de mange fritagelser måske havde ført til, at det svenske resultat fremstod 4 Pisa-point for højt.

Siden blev sagen også undersøgt af den svenske rigsrevision, og her var der til gengæld massiv kritik af regeringen, Skolverket og også OECD.

Ifølge rigsrevisorerne medførte flygtningestrømmen kun, at man efter reglerne ville kunne fritage 0,5 procent flere elever end tidligere. Revisionen kritiserede regeringen og Skolverket for ikke at have gjort nok for at undersøge den svenske deltagelse ordentligt, og dommen fra revisionen var også, at OECD ikke kunne ”anses for at have foretaget en uafhængig og troværdig gennemgang”.

Et fald svarende til et helt skoleår

Nu kan der så føjes et helt nyt og afgørende kapitel til den svenske Pisa-føljeton.

Det er en gruppe på tre forskere, som på baggrund af en analyse af en række data om det faglige niveau for netop den årgang af 15-årige svenskere, der blev testet i 2018, nu vurderer, at det svenske resultat dengang var 20-30 point for højt.

Det svarer nogenlunde til den nedgang, rigtig mange lande oplevede i den nyeste Pisa-runde, hvor nedgangen hovedsageligt blev forklaret med corona-pandemien. Og et resultat, som radikalt forandrer fortællingen om den svenske skoles tilstand.

”En nedgang i den størrelsesorden svarer til, hvad OECD mener, at elever i gennemsnit lærer på et helt skoleår. Så det er massivt”, forklarer en af de tre forskere bag analysen, dr. Rolf Strietholt fra Institut for skoleudviklingsforskning på Dortmund Universitet.

Hvor sikker er du på, at I har ret i jeres estimat?

”Det er jeg ret sikker på”, slår Rolf Strietholt fast over for Folkeskolen.

Første gang med empirisk bevis

De tre forskere har fået adgang til en række data, der har bidraget til et billede af, hvor biased det svenske resultat må have været.

De har blandt andet fået adgang til data, der giver et billede af i hvor høj grad, eleverne der deltog i Pisa-målingen, kan formodes at være repræsentative for den samlede gruppe af svenske 15-årige.

For forskerne har fået indsigt i data for de deltagende elevers generelle faglige resultater i skolen baseret på deres karakterer og resultater i de svenske nationale test. Resultaterne har de så sammenlignet med resultater for den samlede population af svenske 15-årige fra samme årgang.

Sammenligningen viser, at eleverne, der deltog i Pisa, generelt klarede sig markant bedre end gennemsnittet af landets 15-årige.

”Det var første gang, at vi har et empirisk bevis. Indtil nu har man set, at OECD og Skolverket har forsvaret resultatet, mens Rigsrevisionen har kritiseret det. Men i sidste ende har det været spekulationer”, siger Rolf Strietholt.

Forsker: Danske resultater bør granskes

Den tyske skoleforsker understreger, at han ikke har analyseret på det nye danske resultat, som altså er præget af endnu højere fritagelse. Men han mener, at der er god grund til at være skeptisk overfor vurderingerne fra både OECD og det danske Pisa-konsortium.

Hovedområdet ved den seneste Pisa-runde var matematik, hvor Danmark gik 20 point tilbage. Men OECD estimerer, at den danske tilbagegang i virkeligheden dækker over en nedgang i de 15-åriges præstationer, der kan op til 11 point større, mens det danske Pisa-konsortium kun vurderer, at det drejer sig om op til 6 point.

”Jeg vil forholde mig kritisk til det resultat, og jeg mener, at der er brug for, at man får det undersøgt nærmere. Jeg vil desuden være meget kritisk over for begge kilder, der står bag de estimater. Det sker ofte, at man hører Pisa-vurderinger som: ’Vi kan ikke vide det, men biasen er sikkert ikke for stor’. Jeg mener, at vi med vores analyse kan se, at man bør sætte spørgsmålstegn ved sådanne nogle udsagn”, siger Rolf Strietholt.

Flere lande har fritaget under 1 procent

Han peger på, at selvom der er en række lande, der overskrider OECD’s grænse på en fritagelse på 5 procent, så er der også en række eksempler på lande, der har en fritagelse på under 1 procent.

”Så forskellige lande som Belgien, Mexico, Frankrig, Tjekkiet, Japan og Colombia ekskluderede under 1 procent af elevere”, siger han.

De store forskelle er en meget alvorlig udfordring i forhold til brugbarheden af Pisa som sammenligningsgrundlag, som Pisa gerne skulle være, påpeger Rolf Strietholt.

”Hvordan kan vi lave nogen form for sammenligning, når nogle lande har ekskluderet 2-3 elever pr. klasse og andre har ekskluderet 1 ud af 100 elever? Det må siges at være svært”, siger han.

Udfordringen gør sig også gældende for resultaterne for samme land over tid.

”Hvis Danmark konstant ekskluderede 10 procent af de svageste elever, så var det en nogenlunde homogen gruppe af elever, man målte på. Men det er ikke nødvendigvis sådan det er, og man kan aldrig vide, hvordan de ekskluderede ville have klaret sig. Og sidste gange var den danske eksklusion halvt så høj som denne gang. Så bliver det svært at sammenligne med tidligere resultater”, siger han.

Den tyske skoleforsker understreger, at der generelt er meget godt at sige om Pisa-målingerne, men han mener, at Pisa bør tage udfordringen med mange ekskluderede elever langt mere seriøst end i dag.

”Pisa har nogle strikse kvalitetsstandarder, men det er et problem, at der ikke sker noget for de lande, der ikke overholder kvalitetsstandarderne”, siger han.

Dansk Pisa: Svensk og dansk eksklusion kan ikke sammenlignes

Folkeskolen har spurgt børne- og undervisningsminister Mattias Tesfaye (S), om det nye studie får ham til at betvivle estimatet fra de danske Pisa-konsortium om, at det danske resultat kan være overvurderet med op til 6 point.

Ministeriet oplyser til redaktionen, at ministeren ikke har mulighed for en kommentar.

Redaktionen har også spurgt leder af det danske Pisa-konsortium, seniorforsker Vibeke Tornhøj Christensen, om hun ser et behov for at genoverveje konsortiets estimering.

”Vi skal være bekymrede, vi skal ikke være alarmerede”

I et mailsvar kalder hun det nye studie for ”interessant”, men hun peger på, at årsagerne til de høje eksklusionsrater i de to lande ikke er de samme.

”Hvis vi skal sammenholde med resultaterne af det svenske studie, er det afgørende, om det er samme type elever med samme faglige niveau, der er ekskluderet i Danmark og i Sverige. Det ser ikke umiddelbart ud til, at det er de samme kategorier for eksklusion, der er på spil i Danmark i 2022 og Sverige i 2018”, skriver hun og henviser til, at de især er antallet af elever med ord- og talblindhed, der er blevet undtaget i Danmark.

Hun tilføjer, at det danske Pisa-konsortium har forsøgt at beregne effekten af den danske eksklusion ved at sammenholde med resultaterne for de elever med ord- og talblindhed, som har deltaget i PISA.

”De angivne estimater er vores bedste umiddelbare bud på en effekt”, forklarer Vibeke Tornhøj Christensen.

Dansk forsker: Helt relevant med ny beregning

Den danske skoleforsker og ansvarlig for den danske del af Timss-undersøgelsen, som hvert fjerde år globalt måler 4.-klasserne i matematik og naturfag, Christian Christrup Kjeldsen, mener derimod, at det er helt oplagt med en lignende analyse af de danske resultater.

”Det er ikke et tilstrækkeligt argument, at det kan have været forskellige eksklusionsårsager af elever, der er blevet fritaget i de to lande. Beskrivelsen af de danske kategorier er udvalgt af det danske konsortium, og der kan godt være overlap, da eleverne i begge tilfælde falder i ekskluderet 'for other reasons'", forklarer han og fortsætter. 

"Samtidig antager de, at dem der blev undtaget på grund af ord- eller talblindhed, ville have klaret sig på samme niveau som dem med ord- eller talblindhed, der faktisk endte med at deltage. Problemet er, at de så holder nogle elever op, som netop ikke er blevet ekskluderet uagtet deres vanskeligheder, og de vil systematisk være anderledes, end dem som endte med at blive ekskluderet ”, forklarer han.  

Christian Christrup Kjeldsen har selv læst det nye studie, som han finder troværdigt. Han fortæller, at man i Danmark har tilstrækkelig med data til at lave en lignende analyse.

”Det nye studie giver os en langt mere grundig tilgang til at undersøge en eventuel bias. Det kan godt være, at det ikke har den videnskabelige interesse for det danske Pisa-konsortium på nuværende tidspunkt, men jeg mener, at det vil være helt relevant at lave den samme analyse på de danske data", siger han.

Han mener ikke, at der er grundlag for at kritisere, at det danske Pisa-konsortium ikke har brugt en lignende metode i deres Pisa-rapport.

"Den metode, de har brugt, har formentlig været det, der var tid til inden offentliggørelsen af Pisa-resultaterne. Det nye studie var desuden ikke kendt for konsortiet, da de skrev rapporten”.