Dansk forsker stiller spørgsmålstegn ved Pisa

Sammen med to andre står han bag et projekt, der undersøger valideringen af Pisa-testen i naturfag.

Pisa-testen er en kompliceret størrelse, der er meget svært opbygget rent teknisk. Det gør den vanskelig at undersøge, og det gør det svært at formidle undersøgelserne videre til andre bagefter, fordi der kommer så mange forbehold ind, konstaterer han.

"Den enkelte opgave ligger forskelligt fra gang til gang. Den er i den lette afdeling den ene gang og i den svære en anden gang. Det betyder, at opgaven får en forskellig vægt. Det er også professor Peter Allerups store kritik af Pisa, og det betyder, at Pisa ikke er et stabilt måleinstrument fra gang til gang. Flere lande er denne gang gået op eller ned i forhold til sidste test", siger Jens Dolin.

Han understreger, at sammenligninger mellem lande kræver en meget enkelt opbygget test, men Pisa-testen er meget kompliceret opbygget teknisk og svær at gennemskue selv for eksperter. Og spørgsmålet er, om man overhovedet kan bruge den til de sammenligninger, man bruger den til. Et andet spørgsmål er, hvorfor man ønsker disse sammenligninger?

Hvorfor klarer elever sig bedre nu?

Jens Dolin undrer sig over, at danske elever klarer sig bedre i naturfag i 2006 end de gjorde i 2003.

"Jeg havde egentlig forestillet mig, at resultatet denne gang ville blive magen til 2003, for jeg kan ikke tro, at der er sket noget undervisningsmæssigt, der kan forklare forskellen. Måske ligger de danske elever simpelt hen bedre, fordi der er flere dårlige lande med denne gang".

Han henviser til den østrigske forsker Stefan Hopmann, der siger, at hvis udsvingene er så store, som de er, så er pålideligheden i Pisa ikke god nok.

Som tingene står lige nu, vil Jens Dolin ikke gå ind i, om de danske elever er blevet bedre eller om måleinstrumentet er for ustabilt. Men det er blandt andet dét, de tre forskere arbejder på at finde ud af.

Måler ikke viden

Måske er de mest interessante opgaver i virkeligheden dem, der er blevet smidt ud af testen, fordi de "ikke virker". Det betyder, at man ikke kan skalere dem - de falder skævt ud i nogle lande, og så bliver de kasseret. Men måske kan netop de opgaver sige noget om et land. Noget, som er mere værdifuldt for landet at få at vide end en sammenligning mellem lande.

"Hvad har vi tilfælles med Argentina, Brasilien og Aserbajdjan"))), spørger han. "Hvis vi for eksempel skal slå Kina på nogle fælles præmisser, så går det rigtig galt. Men er det dét, vi skal gå efter? Skulle vi ikke hellere sige, at i Danmark går vi efter dét, vi er gode til".

"Det betyder ikke, at vi ikke skal være dygtige til basale færdigheder, men de er for mig at se kun et afsæt til de mere avancerede kompetencer, og dem kan man ikke måle".

"Hvis vi vil have kreative, innovative, samarbejdende elever, der er gode til at formulere problemstillinger, så er det også dét, vi skal teste, om de er. Og det kan man ikke gøre med Pisa-testen", siger Jens Dolin.

Han mener ikke, det er en normal situation at sidde to timer alene med et stykke papir foran sig, som eleverne gør til Pisa-testen.

"I Danmark tror vi på, at viden skabes gennem dialog mellem mennesker. Det er diskussionen, der gør os dygtigere, og det er også den vej, man skal vise sin viden på".

Forskere skal diskutere

Jens Dolin kritiserer Pisa-testens opbygning, hvor man udarbejder en model-elev, som man sammenligner med andre model-elever. Hver enkelt elev udfylder en test på to timer med indlagt pause. Men en model-elev er testet i seks timer. Fordi forskellige elever får forskellige opgaver med overlapninger, sammensætter man model-elever, der er testet i seks timer. Men al denne modellering er også svær at gennemskue.

Desuden undrer Jens Dolin sig over, at en forsker kan affærdige andre forskeres kritik, sådan som Pisa-konsortiets formand, professor Niels Egelund har gjort overfor de 15 forskere, der har skrevet en bog sammen med østrigeren Stefan Hopmann.

"Dér vil jeg gerne rose Bertel Haarder, der sagde, at det er en god ide, at forskere diskuterer dette".

Opgaver kan misforstås

Jens Dolin har set alle opgaver på engelsk og de danske opgaver, der er blevet valgt ud til brug. Han synes, at det er ok at stille eleverne de opgaver, som man gør i Pisa-testen. De kan godt stilles til en dansk folkeskoleelev. Men han synes egentlig ikke at opgaverne er specielt gode.

"Mange af opgaverne kan misforstås, og nogle indeholder deciderede fejl. Ind imellem spørger man sig, hvad vil man egentlig vide her, hvad spørger man om", siger Jens Dolin.

"Når man oversætter, går noget mening tabt eller en formulering bliver knudret. Det er svært, og det kan ske i alle opgaver. Jeg tror ikke, at disse opgaver er specielt dårligere end andre, det går nok bare lidt hurtigt ind imellem. Men hvis man teknisk vil sammenligne så mange elever, så kan man nok ikke gøre det anderledes. Det er jo dygtige folk, der står bag opgaverne".

Projektet om validering af Pisa Science er finansieret af Undervisningsministeriet, og Jens Dolin og de to andre forskere bruger desuden egen forskningstid på projektet. De er altså ikke betalt af Pisa.