Pisa fortæller ikke den fulde sandhed om skoleelevers færdigheder i læsning, matematik og naturfag i 32 lande, erkender to af de danske forskere, der har været med til at foretage undersøgelsen.

Det er generelt en svaghed ved store internationale undersøgelser, at de kan blive så komplicerede, at det er vanskeligt at overskue resultaterne, og der gemmer sig da også mange fejlkilder og 'usikkerhedsmomenter' i Pisa-undersøgelsen, som kan have trukket testresultaterne i skæve retninger.

For nu at tage et oplagt usikkerhedsmoment: Selve testsituationen. De 15-årige elever besvarede opgaver i syv timer i træk, kun afbrudt af korte pauser. 40 procent af opgaverne var udformet som åbne spørgsmål, der krævede en skriftlig udredning. Resten var spørgeskemaer, hvor eleverne skulle sætte et kryds ud for det rigtige svar.

Favoriserer den situation ikke skolesystemer, der i højere grad er organiseret omkring skriftlige prøver og test, forstået på den måde, at de elever er mere vant til at løse en skriftlig opgave inden for en bestemt tidsramme?

'Man kan se det på den måde, at danske elever ikke har svaret på helt så mange opgaver, som nogle af eleverne i andre lande', siger forskningsleder Torben Pilegaard Jensen, Amternes og Kommunernes Forskningsinstitut. I Pisa-projektet har han været med til at undersøge elevernes sociale og familiemæssige baggrund

Det er kompliceret

'Man har så statistisk set på, om det kunne spille en rolle, og det har vi diskuteret en del, og det har ingen betydning med de test, man har anvendt, og med de statistiske metoder, man har behandlet. Det er ikke enkelt, det her, det er kompliceret, det vil jeg så gerne sige', fortsætter Torben Pilegaard Jensen.

'Men det er da klart, at nogle lande tester mere jævnligt og intensivt med standardiserede prøver'.

Adjunkt ved Danmarks Pædagogiske Universitet Elisabeth Arnbak tilføjer: 'Alt andet lige burde det selvfølgelig spille en rolle. Det kan vi godt blive enige om. Det er klart, for vi ved jo, at man kan lære at tage test'.

Elisabeth Arnbak har blandt andet været med til at undervise de danske lærere, der skulle bedømme elevernes besvarelser efter et bestemt Pisa-karaktersystem.

I test-psykologien er det et velbeskrevet fænomen, at personer, der bliver udsat for mange test, som regel udvikler såkaldte test-skills, det vil sige særlige færdigheder i, hvordan man klarer en test.

Når man så tester dem i for eksempel læsning eller matematik, er det måske slet ikke deres færdigheder i læsning eller matematik, man får et billede af, men deres testfærdigheder.

Den, der skal bruge testen, ved så ikke med sikkerhed, om testpersonen er dygtig til matematik og læsning, eller om han bare er dygtig til test.

Vil I medgive, at elever med test-skills har kunnet score højere i en undersøgelse som Pisa?

'Man har testet for, om det havde betydning i Danmark, og der har man ikke kunnet se nogen effekt af det', siger Torben Pilegaard Jensen.

'Men vi kan ikke udelukke, at der kan være en mindre barriere omkring, at i nogle af de lande, der har deltaget, er eleverne mere test-vante end danske elever'.

'Det vil jeg sige, og det vil jeg også godt stå inde for: Vi kan ikke udelukke, at der er en eller anden mindre effekt af det her. Jeg ved så ikke, hvor meget mere de andre nordiske lande tester'.

De uegnede var ikke med i testen

En anden oplagt kilde til skævvridning af undersøgelsens resultater er en præmis i selve undersøgelses-designet. Klasselæreren på de skoler jorden rundt, der er blevet testet, har således haft ret til at fritage de elever fra testen, han vurderede som uegnede til at deltage i den syv timer lange seance.

Det har altså været et subjektivt skøn, der har bestemt, hvilke elever der skulle deltage i testen, og hvilke der ikke skulle?

'Det har været et skøn', siger Elisabeth Arnbak. 'Og det er jo en usikkerhedsfaktor'.

'Og hvis jeg skal føre det diskret videre, så kan man forestille sig, at de kriterier, man bruger til at bedømme elever efter i for eksempel Island, er anderledes end dem i Danmark'.

'Du kan sige, at det niveau, man lægger til basis, er anderledes i Island end her i landet. Det er da klart, at det er et usikkerhedsmoment'.

Torben Pilegaard Jensen: 'Så siger vi, det er et usikkerhedsmoment, men er det et usikkerhedsmoment, der indebærer, at resultaterne er invalide - altså så de ikke kan bruges?'

'Det synes jeg er to ting, der er meget forskellige. Man kan godt tale om, at der et eller andet sted er en usikkerhed, men et andet spørgsmål er, om den usikkerhed overhovedet har nogen statistisk betydning. Fordi en ting må jo være klart, at selvfølgelig er der usikkerheder i sådan nogle undersøgelser her'.

'Det kan jo ikke nytte noget, at man går ud og siger, at der har været usikkerhed med hensyn til, hvem der blev betragtet som egnet og ikke egnet, og at det er et forhold, der gør, at man må sætte grundlæggende spørgsmålstegn ved Pisa-undersøgelsen. Sådan kan man jo ikke konkludere'.

'Derfor synes jeg bare, at det er så vigtigt at vide, om de der typer af usikkerhed er noget, der overhovedet er værd at bide mærke i. Altså, man kan jo sige, at vi kan komme ud i at pege på nogle forhold, som ud fra en statistisk betragtning er fuldstændig ligegyldige. Hvorfor så nævne det? Kan du se det?'

'Der er usikkerhed i alt af den slags ting. Der er ikke nogen simpel erkendelse, der er ikke nogen 100 procents sikkerhed'.

'Det, jeg synes er problemet nu - det er, at vi taler om nogle typer af usikkerheder, som er betydningsløse, og derfor er der ikke noget perspektiv i at pege på, at der er den usikkerhed'.

Resultaterne er vanskelige at overskue

Efter den store internationale læseundersøgelse i begyndelsen af 1990'erne, der skandaliserede det danske skolevæsen, skrev læseforskeren Jan Mejding med flere i rapporten 'Nordlæs', at svagheden ved store internationale undersøgelser er, at de 'kan blive så komplicerede, at resultaterne vanskeligt kan overskues'.

Kan I skrive under på det synspunkt?

'Det kan jeg da godt skrive under på', siger Elisabeth Arnbak.

'Problemet er: Hvad er undersøgelsens formål? Hvis undersøgelsens formål er at rangordne, så er det et ekstremt stort problem'.

'Men hvis undersøgelsens formål er at se på faktorer, der kunne have en eller anden betydning for læsefærdigheder eller matematikfærdigheder eller naturfaglige færdigheder'.

'Dér er det vel okay, at man forsøger at afdække forholdene med henblik på at se på, om der er mønstre, man skal gå længere ned i. Hvad er det, vi skal forske videre i? Hvor er det, vi kunne lære noget af en bestemt måde at organisere vores skole på her i Danmark'.

Torben Pilegaard Jensen: 'Når vi ikke kan sammenligne, skyldes det ikke statistiske forhold og usikkerheder. Det skyldes de kulturelle forskelle, der er, og de forskelle, der er i uddannelsesstruktur og -kultur, som gør, at det kan være uhensigtsmæssigt at sammenligne'.

'Hvorimod de nordiske lande - og i øvrigt nogle af de lande, vi i øvrigt er glade for at have forbindelse til og også har kulturel forbindelse til, USA, Tyskland og Frankrig for eksempel - jamen, der er problemet med sammenligninger jo ikke det store'.

'Vi arbejder nu med en dybdeborende sammenligning mellem de nordiske lande, hvor vi også får beskrevet de forskelle, der er i skolesystemerne, men det ændrer jo ikke på, at vi i de nordiske lande er nogle såkaldte velfærdsstater, vi har nogenlunde samme levevilkår generelt, og vi har en enhedsskole, og derfor er der da nogle tætte paralleller i det her'.

'Men nu vil vi altså gå videre og se på, hvad forskelle i skolesystemer i nordiske lande kan være med til at forklare'.

PISA i hovedstyrelsen

Forskningsleder Torben Pilegaard Jensen, Amternes og Kommunernes Forskningsinstitut, og adjunkt Elisabeth Arnbak, Danmarks Pædagogiske Universitet, fortalte i sidste uge DLF-hovedstyrelsen om Pisa-undersøgelsen, som de begge har været med til at foretage, og som blev offentliggjort kort før jul.

Elisabeth Arnbak fremhævede, at undersøgelsen har et 'validitetsproblem'. De 15-årige elever fra 32 lande har fået målt deres færdigheder i læsning, matematik og naturfag i forhold til de færdigheder, de får brug for i 'det virkelige liv'.

'Men vi ved ikke, hvilke færdigheder de får brug for. Det har vi ikke undersøgt, og det er et etisk problem i undersøgelsen', sagde Elisabeth Arnbak.