Man kan ikke nødvendigvis stole på forskningsresultater, der bygger på data fra nationale test.

Sådan lød advarslen forleden i fagbladet Folkeskolen fra professor emeritus Svend Kreiner, der har gennemgået fire forskningsrapporter, som ifølge ham og en række eksperter i psykometri drager nogle “usikre konklusioner” på baggrund af netop data fra nationale test. 

Én af grundene til, at mange forskere kommer på glatis, når de kaster sig ud i at analysere testdata, er, at elevers testresultater fra perioden 2010-2014, som forskerne kan få adgang til hos Styrelsen for It og Læring (Stil), er meget usikre og er beregnet på en anden måde end senere data. Det gør det blandt andet umuligt at sammenligne med senere testresultater, forklarer Svend Kreiner i sin skriftlige gennemgang af rapporterne. 

Spørger man Svend Kreiner, mener han, at Stil enten burde rette fejlene i elevernes testdata ved at lave en genberegning, eller simpelthen lukke for adgangen til de data, der volder forskerne ekstra store problemer.

“Hvis ministeriet samtidig havde besluttet også at rette testresultaterne fra 2010 til 2014 eller helt havde slettet resultaterne fra før 2014, ville vi have været fri for den sidste tids diskussion af resultaterne fra Holm et.al. (2023). Det er desværre ikke tilfældet”, skriver Svend Kreiner i det notat, hvor han gennemgår en række forskningsrapporters “problematiske” brug af data fra de nationale test.

Anklagede forskere afviser kritik

Med “den sidste tids diskussion” henviser han til en artikel på folkeskolen.dk fra januar, hvor Svend Kreiner og hans forskerkollega Jeppe Bundsgaard kritiserer forskerne bag en rapport fra Rockwool Fondens forskningsenhed for at bruge de fejlbehæftede data. Rockwool Fondens chef for forskning i uddannelse og familie, Rasmus Landersø, afviste for nylig kritikken.

”De ting, som Svend Kreiner påpeger, er lige præcis de ting, som vi er meget opmærksomme på i vores brug af data. Ikke kun i forbindelse med nationale test, men helt generelt”, siger Rasmus Landersø, der ikke er bange for at stå inde for troværdigheden af forskningsenhedens resultater de seneste ti år, hvor han har været ansat.

Professor i statskundskab på Aarhus Universitet Simon Calmar Andersen har også brugt den omdiskuterede data og bliver kritiseret for det i Svend Kreiners notat. Han afviste forleden overfor Folkeskolen, at fejlene i data har nogen praktisk betydning for hans forskningsresultater.

 “Svend Kreiner skriver selv, at han ikke kan sige, hvor meget det betyder for resultaterne om data er genberegnede eller ikke er. Jeg vil sige, at den der genberegning ikke har nogen praktisk betydning”, siger Simon Calmar Andersen.

Testekspert: Data burde kunne korrigeres

Svend Kreiner bekymring omkring den fejlbehæftede data bliver delt af Daniel Bergh, der er lektor på Gøteborg Universitet og har mange års erfaring med psykometri.

Han har læst Svend Kreiners notat og siger:

”Jeg forstår godt, at det er problematisk at tage data væk, fordi man efterlader et hul i registreringen. Men det er ikke godt, hvis der findes data, som er fejlbehæftet. Jeg tænker stadig, at data burde kunne korrigeres”.

Folkeskolen har spurgt Stil, hvorfor styrelsen ikke genberegner de gamle data.

Den korte version af styrelsens svar er, at det ikke kan lade sig gøre at lave genberegninger, der ville kunne gøre de gamle data sammenlignelige med senere data. Blandt andet fordi, at flere af de 45 spørgsmål, som en test i dansk læsning eller matematik består af, blev udskiftet i 2015.

Det betyder, at elevens samlede pointscore i testen skal beregnes på færre opgaver end de 45, og det giver et alt for usikkert resultat, forklarer styrelsen i et svar til Folkeskolen.

Stil: Data kan hverken fjernes eller rettes

Psykolog, ph.d. Tine Nielsen, der forsker i bl.a. test ved professionshøjskolen UCL, har ligesom Daniel Bergh læst Svend Kreiners notat, og hun mener, at Stil burde undlade at give forskerne adgang til den problematiske data.

“At der ikke er sket en genberegning af testresultaterne fra før 2015, er naturligvis uheldigt. Der er, for mig at se, dog ikke noget der forhindrer ministeriet i at råde bod på dette ved at undlade at udlevere data fra før 2015”, skriver Tine Nielsen i sin vurdering af Svend Kreiners notat.

Det forslag ser det dog heller ikke ud til, at Stil har planer om at følge.

Til  Folkeskolen skriver styrelsen:

“STIL vurderer dog samlet set, at data fra nationale test 2010-2014 kan have selvstændig værdi og interesse i analyse- og forskningssammenhæng, og har derfor ikke fundet anledning til at slette disse data. Dette også i lyset af, at STIL ved evt. udlevering af disse data gør opmærksom på, at testresultater fra 2010-2014 ikke direkte kan sammenlignes med testresultater fra 2015-2022".

Styrelsen gør dog ikke bare forskerne opmærksom på, at testresultaterne ikke er sammenlignelige. De forsøger også at anspore forskerne til ikke at sammenblande de to datasæt, lyder forklaringen fra Stil.

“Når forskere ansøger om udlevering af data fra de nationale test, udleveres som udgangspunkt udelukkende de genberegnede elevdygtigheder fra 2015 og frem. STIL gør tydeligt opmærksom på, at testresultater fra 2010-2014 ikke direkte kan sammenlignes med testresultater fra 2015-2022. Dette fremgår også af den datadokumentation, der medfølger ved udlevering”, skriver styrelsen i mailen.