"I den første runde af Pisa-undersøgelsen havde vi problemer med at finde et tilstrækkeligt antal opgaver. Derfor kom der flere opgaver med fra angelsaksiske lande, der har en større testkultur. Men denne gang har 19 lande med ni forskellige sprog bidraget med spørgsmål til Pisa-undersøgelsen", siger formanden for det danske Pisa-konsortium, Niels Egelund, som kommentar til den østrigske forsker Stefan Hopmanns påstand om, at de fleste Pisa-spørgsmål er lavet i engelsksprogede lande.
Niels Egelund understreger, at Pisa-spørgsmålene er under en helt anden kvalitetskontrol end tidligere. Først oversætter to uafhængige oversættere spørgsmålene individuelt fra en engelsk og en fransk version til dansk, hvorefter danske fagfolk læser opgaverne igennem for at se, om de rigtige betegnelser bruges. Opgaverne bliver derefter sendt til OECD, hvor dansk-sprogede fagfolk kontrollerer opgaverne.
"Dernæst har vi en kvalitetssikring i de enkelte OECD-lande, hvor faglærere vurderer, om hver opgave er relevant for det pågældende land, eller om den omhandler et kulturelt sensitivt emne. Det kunne for eksempel være abort i et muslimsk land. Hvis det er tilfældet, bliver opgaven pillet ud", forklarer Niels Egelund. Cirka to ud af tre opgaver bliver kasseret i kvalitetssikringen.
Sidste led af kvalitetssikringen er en pilotafprøvning af spørgsmålene, hvor man registrerer om nogle opgaver er lettere for nogle lande end andre.
Pisas kompetencer forudsiger elevers fremtid
Niels Egelund mener, at kritikken af Pisas målte kompetencer, de såkaldte 'life-skills', er upassende, fordi de giver en idé om, hvordan eleverne klarer sig længere hen i livet. Det dokumenterer den såkaldte Pisa Longitudinal-undersøgelse, hvor Danmark i 2004 kiggede nærmere på, hvordan det var gået eleverne, der blev testet i 2000.
"Det viste sig faktisk, at Pisa-resultaterne havde meget stor forudsigelsesværdi, om de unge gik ind i en ungdomsuddannelse, og om de gennemførte den. Kritikken passer altså ikke på de danske resultater. Derfor har vi også planer om i 2008 eller 2009 at gentage den for at se, hvad eleverne er blevet til", siger Niels Egelund.
Han giver den østrigske forfatter ret i, at det ikke har været muligt at se spørgsmålene.
"Det skyldes, at vi gerne vil genbruge nogle af opgaverne, så vi kan sammenligne resultaterne. Ellers havde vi for eksempel ikke kunnet konkludere, at Danmark var gået frem i naturfag", siger han. Han understreger, at det indsamlede datamateriale til gengæld er offentligt tilgængeligt i Danmark i modsætning til Tyskland.
"Vi kan jo kun være interesseret i, at så mange forskere som muligt kan kontrollere og analysere, om vi har gjort vores arbejde godt nok", siger Niels Egelund.
Tidligere har Pisa-konsortiet måttet indrømme fejl i undersøgelserne. I 2000 havde de danske elever svaret på en anden udformning af et spørgsmål. I 2005 havde konsortiet byttet om på tal i Pisa-København-undersøgelsen. Og i efteråret måtte de trække en konklusion tilbage fra Pisa Etnisk undersøgelsen.
"Det er umuligt at garantere sig fuldstændigt mod fejl, men vi gør vores bedste blandt andet med kvalitetssikringen", siger formanden for det danske Pisa-konsortium, Niels Egelund.
Pisa-konsortiets formand afviser kritik
Velkommen til debatten. Tjek eventuelt vores retningslinjer.