Egelunds vrag af en model

I Folkeskolens leder i sidste uge citeres jeg for at have sagt, at »det er ren fup og fidus, han (Niels Egelund) har ikke overholdt simple krav om at diskutere sine egne konklusioners rigtighed«. For at læserne ikke skal få den opfattelse, at »fup og fidus« er en normal del af forskningens cirkusartisteri, føler jeg mig kaldet til at præcisere, hvad jeg mente med de to ord.

Resultater, der formidles ved hjælp af statistiske analyser af empiriske data, har rod i nogle delfaser, som kræver, at man holder hovedet koldt og ikke blander tingene sammen. I det diskuterede Pisa-datamateriale handler én af disse faser om at skabe en (matematisk) model for sammenhængen mellem matematikpræstationer i Pisa og skolestørrelse, elevens socioøkonomiske baggrund, elevens køn, og om eleven er tosproget eller ej. En anden, nyttig fase er brugen af den statistiske model til at foretage hypoteseprøvninger med. For nu at starte med det sidste - hvor der sker noget, synes de fleste - kan man jo for eksempel køre direkte løs på at undersøge, om skolestørrelsen »betyder noget for matematikpræstationerne«. Det er »fup og fidus«, hvis dette forsøges undersøgt, uden at man er sikker på at have en model at undersøge det i. Eller endnu værre - ja næsten som kejserens manglende klæder - hvis man oven i købet ved, at man ingen model har! Bag ved Niels Egelunds »signifikante sammenhæng mellem skolestørrelse og elevpræstationer« ligger der et »vrag« af en model, der ikke kan bruges til at beskrive de analyserede data med; skolestørrelsen forklarer kun 0,5 procent af variationen i elevpræstationerne! Det er »fup og fidus«, hvis man vænner brugere af statistiske »signifikante test« til at tro, at det er ligegyldigt, om man har en velkontrolleret model at foretage hypoteseprøvningen i.