Kan man regne med konklusionen på en rapport, der bygger på data fra nationale test?

”Måske”, lyder svaret fra professor emeritus og testekspert Svend Kreiner, der for nylig har skrevet en grundig skriftlig gennemgang af fire forskningsrapporter.

Igennem flere år har Svend Kreiner kritiseret flere forskningsprojekter, der baserer deres undersøgelser på elevers besvarelser på de nationale test i folkeskolen. Forskernes analysemodeller er ikke gode nok til at håndtere testdata, og kvaliteten af data fra de nationale test er i flere tilfælde alt for dårlig til, at man kan basere sin forskning på dem, lyder hans kritik. 

De resultater, som flere forskere når frem til, bør ifølge Svend Kreiners præsenteres med et forbehold, der er så stort, at man ikke kan regne med rapporternes konklusioner.

Hundredvis af forskningsprojekter bygger på testdata, men: Kan man stole på forskning, der bygger på nationale test?

“Man kan ud fra rapporterne ikke vide, hvor pålidelige resultaterne er, og der er ikke noget der tyder på, at forfatterne selv ved det”, siger Svend Kreiner. Hans skriftlige gennemgang fylder 27 sider, og konklusionerne bliver bakket op af flere personer med indgående viden om psykometri, som Folkeskolen har bedt om at vurdere notatet.

Forsker: Vigtigt at undersøge problemets omfang

De fire gennemgåede rapporter er alle en slags statistiske analyser, der forsøger at måle forskellige faktorers indflydelse på elevers faglige udvikling. En af rapporterne blev i sin tid bestilt af Undervisningsministeriet til at afgøre effekten af to-lærer-ordninger, og resultaterne kan derfor have haft indflydelse på politiske beslutninger om resurser og metoder i folkeskolen.

Bag om sagen

Igennem flere år har Svend Kreiner kritiseret flere forskningsprojekter, der baserer deres undersøgelser på elevers besvarelser på de nationale test i folkeskolen. Forskernes analysemodeller er ikke gode nok til at håndtere testdata, og kvaliteten af data fra de nationale test er i flere tilfælde alt for dårlig til, at man kan basere sin forskning på dem, lyder hans kritik.

Forskere bag artiklerne har tidligere afvist Svend Kreiners kritik, og i starten af året førte Folkeskolen Svend Kreiner (th.) og Rockwool Fondens chef for forskning i uddannelse og familie Rasmus Landersø (tv.) sammen, for at parterne kunne komme til bunds i diskussionen. Interviewet varede to timer, men førte ingen klare svar med sig.

Svend Kreiner har på opfordring fra Folkeskolen efterfølgende foldet sine argumenter ud på skrift. Resultatet er blevet et notat på 27 sider, hvor han gennemgår fire forskningsartikler, der netop er baseret på nationale testdata. Notatet er vurderet af flere eksperter i psykometri, der over en bred kam giver Svend Kreiner medhold, men de kritiserede forskere afviser i et fælles svar kritikken.

Daniel Bergh, der er lektor på Göteborgs Universitet, har læst Svend Kreiners notat, og han mener, at kritikken bør sætte tanker i gang hos de skole- og uddannelsesforskere, der har benyttet data fra de nationale test i deres forskning.

“Som forsker må jeg jo være interesseret i at vide, om det resultat jeg kommer frem til, er korrekt. Her drejer det sig jo om data om børns kundskaber, og resultaterne kan få konsekvenser i forskellige sammenhænge. For forskning om præstationer i skolen leder til politiske beslutninger, som påvirker børnene, og det er derfor vigtigt, at man får undersøgt det her og får afdækket, hvor store de her problemer er”, siger Daniel Bergh.

Psykolog, ph.d. og ekspert i psykometri Tine Nielsen, der til daglig forsker på professionshøjskolen UCL har også gennemgået Svend Kreiners notat. I en skriftlig vurdering af notatet skriver hun:

“At opdage at der var forhold, der kunne have betydning for resultaterne af min forskning, ville bestemt gøre mig nysgerrig på at undersøge om det var tilfældet ved at genanalysere og evt. korrigere resultaterne. Jeg mener, at vi er nødt til at arbejde sådan – det er den måde vi udvider videnskaben og skaber reel viden”.

Ekspert: Data fra test er noget særligt

Svend Kreiner kritiserer i sit notat to overordnede problemer, som forfatterne bag de undersøgte analyser støder på, når de arbejder med data fra nationale test. Det første problem er, at flere forskere bruger analysemetoder, der ikke tager højde for den type data, som testdata er.

Eller som Tine Nielsen formulerer det i sin vurdering af Svend Kreiners notat:

“Jeg mener i princippet, at forskere skal vælge de analysemetoder, de finder egnede til at besvare de forskningsspørgsmål eller hypoteser, som de undersøger. Men arbejdes der med testresultater er det særligt vigtigt at validiteten og objektiviteten af testresultaterne ikke smides ud med badevandet, og at det er muligt at tolke resultaterne meningsfuldt og brugbart”. 

Rockwool-forsker: Kritik ændrer ikke min holdning

Forskningsprofessor Rasmus Landersø er chef for forskning i uddannelse og familie i Rockwool Fondens forskningsenhed, og ansvarlig for en af de rapporter, som Svend Kreiner kritiserer i sit notat.

Han afviser kritikken, og understreger, at forskerne fra fonden gør sig meget umage med at vælge de rette metoder.

Rockwool-forsker kalder kritik substansløs

”Vi er enige om, at man skal gøre sig umage, når man analyserer data, og at man skal sikre sig, at man benytter den rette metode, og det er jo noget, som ligger til grund for alt det arbejde, vi laver herinde hos Rockwool Fonden”.

Har du ændret holdning til jeres brug af data fra de nationale test, efter at du har læst Svend Kreiners notat?

”Nej. Det har jeg ikke. For de ting, som Svend Kreiner påpeger, er lige præcis de ting, som vi er meget opmærksomme på i vores brug af data. Ikke kun i forbindelse med nationale test, men helt generelt”, siger Rasmus Landersø.

Sammen med otte andre forskere har han skrevet et svar til Svend Kreiners kritiske notat.

Flere hundrede projekter har fået adgang til tvivlsomme data

Det andet problem, som Svend Kreiner peger på, er, at nogle rapporter bruger testdata, der er behæftet med målefejl, som ifølge ham er med til at gøre forskernes analyseresultater usikre.

Styrelsen for It og Læring (Stil) administrerer data om elevernes testresultater i de nationale test. Og da Svend Kreiner og en forskerkollega i 2019 pegede på, at der var målefejl i testdata i nogle prøver, undersøgte Stil sagen nærmere. 

Det viste sig, at der var målefejl i alle test, og styrelsen lavede året efter nye beregninger af elevernes resultater for at løse problemet. Styrelsen undlod dog af forskellige årsager at genberegne testresultater fra perioden 2010-2014.

Det betyder, at al data fra før 2015 er behæftet med målefejl. Det betyder også, at analyser foretaget før 2020 per definition er baseret på fejlbehæftet data. 

Vil forskere benytte data fra nationale test til forskning, skal de søge om adgang hos Styrelsen for It og Læring (Stil).

En opgørelse, som Stil har lavet for Folkeskolen, viser, at 227 forskningsprojekter har fået adgang til den omdiskuterede testdata fra 2015 og frem til i dag. Folkeskolen har ikke gennemgået alle projekterne på listen, og ved derfor ikke, om de alle er blevet til virkelighed, eller hvordan de i givet fald har brugt data fra de nationale test.

“227 er jo vældig mange projekter”, lyder Daniel Berghs reaktion, da Folkeskolen oplyser ham om antallet.

“Det gør det jo endnu vigtigere, at man får løst det her problem”, siger han.

Opgørelsen viser også, at 153 projekter fik udleveret data inden 2020, inden at målefejlene blev rettet, men i hvilket omfang den udleverede data har ført til rapporter, har Folkeskolen ikke undersøgt.

"Det bør slås fast, om de kan stå til troende"

Spørger man Tine Nielsen, mener hun, at forskerne bør kigge nærmere på publicerede rapporter og artikler, som er baseret på de fejlbehæftede data.

“Jeg mener at det mest alvorlige i Svend Kreiners kritik er, at der er publicerede forskningsresultater, som er baseret på, hvad vi ved er fejlagtige (både usystematisk og systematisk fejlagtige) målinger af elev-dygtigheder. Disse resultater bør undersøges for om genberegningerne gør en forskel, således at de ikke fortsat kan have politiske, bevillingsmæssige eller faglige konsekvenser i samfund og forskning, hvis det er tilfældet. Det bør slås fast, om de kan stå til troende”, siger Tine Nielsen.

Rapporten fra Rockwool Fonden benytter de data, som Svend Kreiner og Tine Nielsen kalder for fejlagtige. Men spørger man Rasmus Landersø kunne de to eksperter i psykometri sparer sig bekymringerne, hvis de havde læst Rockwool Fondens studier lidt grundigere.

”Den statistiske usikkerhed er jo rapporteret i rapporterne”, siger Rasmus Landersø, og understreger, at studierne ikke var blevet publicerede, hvis resultaterne ikke var statistisk signifikante.

”Den kritik, som Svend Kreiner fremfører omkring, hvordan usikkerhed bliver beregnet, tager det pågældende studie om skilsmisse bestemt højde for. Og det står også eksplicit i studiet for enhver at læse i ved stort set samtlige tabeller og figurer”, siger Rasmus Landersø.

Professor: Data med målefejl gør ingen praktisk forskel

Professor i statskundskab ved Aarhus Universitet Simon Calmar Andersen er en af de forskere, som  bliver kritiseret i Svend Kreiners notet. 

Forsker forsvarer brug af data med målefejl

Han har benyttet sig af ikke-genberegnet data i sit arbejde, og har i forbindelse med et af sine studier haft anledning til lave den samme analyse med både genberegnede og ikke-genberegnede data, fortæller han.

Og resultatet er "praktisk talt det samme", har han tidligere udtalt til folkeskolen.

”Der er så tæt på 100 procent korrelation (sammenfald, red.) mellem de to resultater, at jeg må konkludere, at det ikke har det store praktiske betydning”, siger han til Folkeskolen.