Når danske elever klarer sig bedre i den seneste Pisa-undersøgelse end i den forrige, siger det ikke noget om, hvordan det går med kundskaberne i den danske folkeskole. Eller med dannelsen. Vi ved heller ikke, om eleverne faktisk er blevet dygtigere til det lille felt, som Pisa tester, eller om spørgsmålene denne gang bare passede bedre til typisk dansk undervisning. Det eneste, elevernes fremgang i Pisa viser, er, at eleverne har opnået fremgang - i Pisa.

Sådan udtrykker den østrigske forsker Stefan Hopmann et af problemerne ved Pisa-undersøgelserne. Han påpeger, at for at sammenligne skoleresultater, i det omfang Pisa påberåber sig retten til, kræves et langt bredere perspektiv end Pisas alt for snævre test, der ifølge Hopmann er ubrugelige som grundlag for nationale sammenligninger.

Som professor i uddannelsesforskning ved Wiens universitet har han sammen med Gertrude Brinek og Martin Retzl udgivet bogen "Pisa zufolge Pisa - Pisa According to Pisa".

Bogen består af 15 artikler af forskere fra syv europæiske lande, og igennem 420 siders saglig og overbevisende analyse og kritik - noget på tysk, mest på engelsk - dissekeres hele processen omkring Pisa for at undersøge, om Pisa holder, hvad Pisa med sine analyser og rapporter lover at kunne .

Konklusionerne er mange, og de fleste temmelig forstemmende: Pisa-resultaterne er ifølge forskerne behæftet med så mange svagheder og fejlkilder, at både de populære internationale sammenligningstabeller og mange af de nationale tillægsanalyser slet og ret ikke holder. Resultaterne kan ikke på videnskabelig forsvarlig vis bære hverken de konklusioner eller de omfattende skolepolitiske konsekvenser, de har fået. Og hvad der måske er nok så væsentligt: De kan med de anvendte redskaber heller aldrig komme til det.

Ikke fordi det er dårlig forskning. Tværtimod fremhæves Pisa som en landvinding inden for komparativ uddannelsesforskning. Men problemet opstår, når resultaterne af få testede områder blottet for nationalt særpræg bliver gjort til den hele sandhed. Som Hopmann selv udtrykker det:

"Det afgørende er, at man ikke må forklare helheden ud fra enkelte informationer og dermed reducere verden til det lille felt, som testene kan fortælle om".

Der er således ikke tale om en aversion mod test generelt, og bogens skarpe kritik går da også mere på tolkningen og anvendelsen af Pisa-resultaterne end på selve Pisa-undersøgelserne.

Det er svært at se bogens svagheder. Det skulle da lige være de læsesvære forskningseksempler og det til tider temmelig tekniske sprog. Men den videnskabelige tyngde er selvsagt nødvendig og forpurrer ikke behaget ved at læse en velargumenteret og sagligt overbevisende og metodekritisk undsigelse af brugen af Pisa - heller ikke for en menig læser uden ekspertviden om både Pisa i almindelighed og sammenlignende forskning i særdeleshed.

Vi lader eksperten få det sidste ord:

"Skolen er ikke en pølsefabrik eller en fodboldkamp. Skolen er langt mere kompleks, så hvis du orienterer dig primært eller udelukkende efter resultater fra Pisa-undersøgelser, så løber du risikoen for at tilpasse dig noget, som ikke passer til dig".

Professor Stefan Hopmann i P1 formiddag, 4. december 2007.