Leverer de obligatoriske nationale test troværdige resultater på elevniveau?
En test kan vel være utroværdig flere måder.
Hvis testen gentages efter et par dage og de to resultater ikke ligner hinanden - om torsdagen fik eleven karakteren 3 og om tirsdagen ugen efter blev karakteren 2 – så er testen næppe troværdig.
Testen kan også være utroværdig, hvis den ikke måler det eleven burde have lært - testen handler om division og multiplikation, men på den pågældende skole er der ikke tradition for at behandle disse emner grundigt i undervisningen før eleverne er meget sikre i addition og subtraktion.
Testen kan også være utroværdig i den forstand, at elevernes resultater ikke stemmer med lærerens og elevernes opfattelse af hvad man skal kunne i fagene. Der er sikkert flere muligheder, fx om testens resultater svarer til resultaterne af andre test. Men lad dette være nok.
I pjecen BRUG TESTRESULTATERNE (skolestyrelsen 2011) er der gengivet en række eksempler på hvordan testresultaterne kan bruges. Hovedindtrykket af disse anekdoter er, at lærerne og skolelederne ikke er særligt overraskede over resultaterne. Så hvis disse anekdoter er repræsentative, så kan testen vel godt overordnet opleves som troværdig.
Hvis man ser på test - gentest problematikken, så er der mig bekendt ingen data på området - de bidrager ikke til troværdigheden.
Hvis man ser på problemet om testen måler det eleven burde have lært, så er der flere kilder, som kommer ind på emnet.
Af rejseholdets anbefalingsrapport fra 2010 fremgår det (side 20), at man ingen steder kan tjekke, hvad man kan forvente, at eleverne kan i fagene på de enkelte klassetrin. Det betyder, at testkonstruktøren har måttet konstruere opgaverne lidt ud i det blå. Det er derfor meget sandsynligt, at en del af opgaverne formentlig rammer ved siden af hvad skolerne hver for sig mener eleverne bør kunne, og hvordan man afgør om eleverne kan det.
VK regeringens udspil til en bedre folkeskole er inde på den samme problematik. Det hedder på side 26 - om modernisering af afgangsprøverne og de obligatoriske nationale test - at der vil være tale om ændringer i både prøveform og indhold, så det sikres, at der er overensstemmelse mellem, hvad fagenes indhold er, og hvad prøverne tester.
Det der testes og fagenes indhold er altså ikke overensstemmende i dag!
OECD rapporten fra 2011 er inde på samme emne - fx side 13:
It is important to continue efforts to validate and further develop the national tests.
Man skal fortsætte indsatsen for at validere testen, altså er testen ikke valideret.
Side 119 med overskriften:
Establishing the validity of the national tests for monitoring purposes
Jeg gengiver det ministerielle notat - side 13:
OECD’s review-team beskriver tre store udfordringer, der er forbundet med at få udnyttet de nationale tests store monitoreringspotentiale:
- Fejlagtig opfattelse af, hvad testene rent faktisk tester
- Den private skolesektor er ikke omfattet af de obligatoriske test
- Den potentielle risiko for, at resultaterne ikke reflekterer rigtig fremgang i resultaterne.
Som det fremgår, så er der altså åbenbart problemer med testens validitet - gyldighed. Det er ikke til at se om problemerne handler om, at testen ikke overholder modelbetingelserne - kontrol af testdata i forhold til modellen - eller om testen ikke stemmer overens med, hvad fagenes indhold er, og hvad der testes. Men i begge tilfælde må man forvente, at der fremkommer testresultater, som virker tilfældige og derfor er uforklarlige. Testen kan derfor virke utroværdig og den er det måske også.
Ministeriets gentagne “ikkesvar” på spørgsmål, der i alt væsentligt drejer sig om indsigt i og forståelse af testens funktion og virkemåde er derfor helt hen vejret. Det er også i modstrid med følgende fra OECD’s review-team om vejledning omkring de nationale test:
(...). Vejledningen kan med fordel fremadrettet ske i samarbejde med DLF og KL for at sikre, at lærerne forstår og kan formidle testenes adaptive princip til eleverne.
Kommunerne må sikre, at lærerne forklarer både elever og forældre, hvad testenes formål er, og hvordan de virker.
Så, hvad siger de praktiske erfaringer mon?
Hvis testen gentages efter et par dage og de to resultater ikke ligner hinanden - om torsdagen fik eleven karakteren 3 og om tirsdagen ugen efter blev karakteren 2 – så er testen næppe troværdig.
Testen kan også være utroværdig, hvis den ikke måler det eleven burde have lært - testen handler om division og multiplikation, men på den pågældende skole er der ikke tradition for at behandle disse emner grundigt i undervisningen før eleverne er meget sikre i addition og subtraktion.
Testen kan også være utroværdig i den forstand, at elevernes resultater ikke stemmer med lærerens og elevernes opfattelse af hvad man skal kunne i fagene. Der er sikkert flere muligheder, fx om testens resultater svarer til resultaterne af andre test. Men lad dette være nok.
I pjecen BRUG TESTRESULTATERNE (skolestyrelsen 2011) er der gengivet en række eksempler på hvordan testresultaterne kan bruges. Hovedindtrykket af disse anekdoter er, at lærerne og skolelederne ikke er særligt overraskede over resultaterne. Så hvis disse anekdoter er repræsentative, så kan testen vel godt overordnet opleves som troværdig.
Hvis man ser på test - gentest problematikken, så er der mig bekendt ingen data på området - de bidrager ikke til troværdigheden.
Hvis man ser på problemet om testen måler det eleven burde have lært, så er der flere kilder, som kommer ind på emnet.
Af rejseholdets anbefalingsrapport fra 2010 fremgår det (side 20), at man ingen steder kan tjekke, hvad man kan forvente, at eleverne kan i fagene på de enkelte klassetrin. Det betyder, at testkonstruktøren har måttet konstruere opgaverne lidt ud i det blå. Det er derfor meget sandsynligt, at en del af opgaverne formentlig rammer ved siden af hvad skolerne hver for sig mener eleverne bør kunne, og hvordan man afgør om eleverne kan det.
VK regeringens udspil til en bedre folkeskole er inde på den samme problematik. Det hedder på side 26 - om modernisering af afgangsprøverne og de obligatoriske nationale test - at der vil være tale om ændringer i både prøveform og indhold, så det sikres, at der er overensstemmelse mellem, hvad fagenes indhold er, og hvad prøverne tester.
Det der testes og fagenes indhold er altså ikke overensstemmende i dag!
OECD rapporten fra 2011 er inde på samme emne - fx side 13:
It is important to continue efforts to validate and further develop the national tests.
Man skal fortsætte indsatsen for at validere testen, altså er testen ikke valideret.
Side 119 med overskriften:
Establishing the validity of the national tests for monitoring purposes
Jeg gengiver det ministerielle notat - side 13:
OECD’s review-team beskriver tre store udfordringer, der er forbundet med at få udnyttet de nationale tests store monitoreringspotentiale:
- Fejlagtig opfattelse af, hvad testene rent faktisk tester
- Den private skolesektor er ikke omfattet af de obligatoriske test
- Den potentielle risiko for, at resultaterne ikke reflekterer rigtig fremgang i resultaterne.
Som det fremgår, så er der altså åbenbart problemer med testens validitet - gyldighed. Det er ikke til at se om problemerne handler om, at testen ikke overholder modelbetingelserne - kontrol af testdata i forhold til modellen - eller om testen ikke stemmer overens med, hvad fagenes indhold er, og hvad der testes. Men i begge tilfælde må man forvente, at der fremkommer testresultater, som virker tilfældige og derfor er uforklarlige. Testen kan derfor virke utroværdig og den er det måske også.
Ministeriets gentagne “ikkesvar” på spørgsmål, der i alt væsentligt drejer sig om indsigt i og forståelse af testens funktion og virkemåde er derfor helt hen vejret. Det er også i modstrid med følgende fra OECD’s review-team om vejledning omkring de nationale test:
(...). Vejledningen kan med fordel fremadrettet ske i samarbejde med DLF og KL for at sikre, at lærerne forstår og kan formidle testenes adaptive princip til eleverne.
Kommunerne må sikre, at lærerne forklarer både elever og forældre, hvad testenes formål er, og hvordan de virker.
Så, hvad siger de praktiske erfaringer mon?
Kommentarer
Man skal være registreret bruger for at skrive kommentarer på folkeskolen.dk. Som registreret bruger får du også mulighed for at tilmelde dig nyhedsbreve m.m.
Tilmeld dig her