Skal man finde en slags mad, som børn i hele verden kender, må det være burger og cola. Pisa-undersøgelserne svarer til at undersøge, hvad børn ved om burger og cola - og ikke andet. Det siger Stefan Hopmann, professor i sammenlignende pædagogik ved Universität Wien i Østrig.

»Pisa er undersøgelsen om kendskabet til burger og cola, ikke om viden om sushi, tafelspitz (østrigsk nationalret) og røde pølser. Derfor kan resultaterne ikke bruges til sammenligninger og slet ikke til konklusioner af den slags, Pisa gør. Elementer som sprog, kultur, økonomi, familie og livsforløb spiller ind«, siger professoren.

Stefan Hopmann har arbejdet sammen med mange Pisa-forskere, men er kritisk over for Pisas undersøgelsesmetoder, fordi der ifølge ham ikke ligger nogen forskning til grund for den måde, Pisa bruger sine data på.

»Pisa mangler selvkritik. Det er uanstændigt, at Pisa-folkene ikke går ud og siger: 'Vores data kan ikke bedømme, om et skolesystem er godt eller dårligt'«.

Ifølge Hopmann erkender hans kolleger i Pisa-gruppen i privat regi, at der ikke er videnskabeligt belæg for de sammenlignende tabeller.

»OECD har skabt Pisa med et politisk formål og har brug for den omtale, tabellerne giver. Det glemmer folk«.

Ingen definerede niveauer

De gængse regler for forskning dikterer, at man skal tjekke, om man nu også måler det, man vil måle. Altså om andre ting kan spille ind, så man ikke får rene resultater. Det mener Hopmann ikke, Pisa gør i tilstrækkelig grad. Han siger, at de fleste spørgsmål kommer fra engelsksprogede lande og lande som Holland. Det finder han kritisabelt, fordi Pisa derved prioriterer en bestemt type spørgsmål og svar, som er lettere forståelige i nogle lande end andre.

»Jeg har spurgt kolleger i flere lande, om Pisa spørger efter det, de underviser i. Ja lidt, svarer de, men i det store hele rammer den noget, vi ikke beskæftiger os med«, refererer Hopmann, som melder klart ud:

»Pisa måler, hvor Pisa-egnet du er«.

Han angriber også Pisa for ikke at have fastlagte niveauer. Det er ikke på forhånd defineret, at elever på et niveau kan så meget, elever på det følgende niveau knap så meget og så videre.

»Niveauet bliver fastlagt efter undersøgelserne og varierer således fra gang til gang. Selv om alle skoler knoklede for at blive bedre til at svare på Pisa-spørgsmålene, så ville niveauet stadig blive lagt efter, at halvdelen ligger under gennemsnittet, altså er en katastrofe«, siger Stefan Hopmann og giver begrundelsen:

»Det er smart gjort. OECD vil jo fortælle medlemslandene, at de skal blive bedre«.

Tavse Pisa-folk

Stefan Hopmann fortæller, at han flere gange har forsøgt at få Pisa-folkene til at stå frem og gøre rede for deres metoder, men det er ikke lykkedes. De deltog ikke på et symposium i foråret, da internationale forskere gik i dybden med Pisa, ligesom Pisa heller ikke ville medvirke i hans bog om Pisa.

»Pisa forsvarer sig og siger 'vi måler life-skills' og det, eleverne skal kunne i fremtiden, men det er der ikke forsket i. Pisa påstår, at det lille udsnit, undersøgelsen får fat i, er repræsentativt. Men det er der heller ikke dokumentation for«, siger Hopmann.

Han nævner videre, at Pisa-folkene fremhæver, at de måler kompetencer, ikke enkelte færdigheder.

»Det betyder, at der skal være en kompetence, du kan måle, uafhængig af hvor og hvormed du måler den. Det forudsætter, at ting er lige vanskelige i alle kulturer, og det er de ikke. Kompetence forholder sig til et bestemt sprog, en kultur og til sociale forhold. Derfor er Pisa nødt til at konstruere sine egne kompetenceskalaer - ved at sløjfe alt det, der ikke er ens i alle lande«.

Han nævner et spørgsmål formuleret i England. Her blev ordet hemisfære brugt, et ord, børn i de lande, der bruger dagligdags udtryk om naturfænomener, har svært ved.

»Testen bruger ofte fagudtryk. Forklarer du danske børn, hvad de betyder, så ved de godt, hvad det er«.

Børn med sprog- og læreproblemer bliver sorteret fra undersøgelsen, men ifølge Hopmann bliver der ikke brugt samme kriterier i alle lande. Han siger også, at Pisa er begyndt at betale elever i for eksempel USA, England og Holland for at bruge tid på Pisa for at få en tilstrækkelig deltagelse.

Flere test fremover

Mens Stefan Hopmann og hans kolleger trin for trin piller Pisa-undersøgelsens videnskabelige grundlag og sammenlignende konklusioner fra hinanden, afviser han ikke alle sammenlignende undersøgelser. Han kalder for eksempel, Pirls (Progress in International Reading Literacy Study), hvis nye resultater viser, at danske elever har gode læsefærdigheder, for mere fornuftig end Pisa.

»Den er langt mere upolitisk og tester mere en bestemt evne«.

»Pisa har størst succes med den del af undersøgelsen, der er mest uholdbar, nemlig de sammenlignende tabeller. De giver omtale, og hvis Pisa ikke får det, hvem skal så betale?« spørger Hopmann og fortsætter:

»Der findes ingen beviser på, at den type test forbedrer skole, lærere eller elever. De lande, der har haft den slags i mange år, klarer sig stort set værre, end danskerne gør«.

»Hverken i USA eller i Storbritannien får Pisa-undersøgelserne den omtale, vi kender fra Danmark. I USA har man haft test i mere end 50 år og er vant til dem«.

Han mener, at Danmark i stedet for at ligge under for diverse test skulle satse på uddannelsesforskning.

»Danmark er det land i Norden, der bruger færrest resurser på uddannelsesforskning. Der er brug for at vide, hvad der er godt, og hvad der ikke er - og ændre det«, siger han og kommer med et råd:

»Tro på skoler og lærere og giv dem frihed til at flytte resurserne derhen, hvor der er brug for dem«.

Savner højlydte lærere

Lærerne giver han det råd at tage Pisa-resultaterne med ro:

»Prøv ikke at indrette din undervisning efter Pisa eller andre undersøgelser. Fortæl forældrene, at Pisa er spændende, men fortæl dem så om dine og skolens mål og pædagogik«, siger han og forbereder lærerne på stor kritik de kommende år:

»Jeg er overbevist om, at der vil blive stillet flere spørgsmål ved læreruddannelserne, -dueligheden og -privilegierne. Når eleverne ikke er, som man ønsker, så kommer der fokus på lærerne«.

Han mener, at lærerne i for høj grad lader medierne om at diskutere elevernes duelighed, test og resultater:

»Hvis sorteper skal være der, hvor den hører hjemme, så må I selv være mere højlydte over for forældre og politikere: I skal være synlige, højlydte og stærke. Det er ikke længere nok at være en flink lærer inde i klasselokalet. I skal ikke argumentere for højere løn, det danske skolesystem er blandt verdens dyreste, men for forskning og for lokale bevægelsesmuligheder«, siger Stefan Hopmann.

Professor i historisk sammenlignende pædagogik ved Universität Wien, Østrig, 53 år.

Har haft forskningssamarbejde med alle nordiske lande, blandt andet Roskilde Universitetscenter og andre danske institutioner.

Har blandt andet gennemført internationalt sammenlignende undersøgelser af læseplaner og skoleudvikling, undersøgt kvalitetsudviklingen af uddannelses- og andre sociale systemer samt sammenlignende didaktik set ud fra et historisk perspektiv.

Pisa står for Programme for International Student Assessment. Det er OECD, der står bag.

Læs mere på www.pisa.oecd.org