Debat
44   4

Hvad måler DNT og hvad har indflydelse på et testresultat?

Her på sitet kommer med jævne mellemrum historier, der angiveligt beviser, at de nationale test ikke måler præcist og at man derfor ikke kan stole på resultaterne. Det må jo være ligetil - når eleverne scorer forskelligt på den samme test afviklet to gange indenfor kort tid, så må det jo være testen der måler forkert . . . . . eller hvad?

Erfaringer fra Distrikt Ørum

Det lyder som en helt enkel problemstilling – men som de fleste andre problemstillinger øges kompleksiteten når man dykker ned i det. Et af de mest omdiskuterede eksempler herpå kommer fra Norddjurs Kommune, hvor en klasse fra Ørum skole indenfor den samme uge tog den samme nationale test to gange. Resultaterne af de to testforløb faldt noget forskelligt ud, hvilket skolen efterlyste en forklaring på, se Testresultater svinger som vinden blæser 

Artiklen fortsætter under banneret

Da sagen rullede tilbød vi kommunen og skolen at foretage en analyse af testresultaterne og forskellene fra gang til gang - en analyse som også eksperterne efterlyste: se Eksperter dumper de nationale test

Både kommunen og skolen var interesseret heri og der blev indgået en aftale, således at formalia for et mini-aktionsforskningsprojekt var på plads. Vi brugte to halve dage på skolen hvor vi dels indhentede data og dels diskuterede hvordan man kan læse og fortolke testresultater. På grundlag af de samtaler, diskussioner og observationer vi gjorde, foretog vi forskellige analyser og skrev en rapport, som er blevet sendt til både skolen og kommunen og som er vedlagt dette indlæg.#Fil 1

Skolens konklusion af processen var at de nationale test, efter at have fået mere viden på området, var blevet et både nyttigt og anvendelig redskab i det pædagogiske arbejde.  Karsten Refsgaard (skolens leder) formulerede det således: ”Vi arbejder med Hattie her på Norddjurs – men vi synes ikke, vi har de rigtige tal at regne effekter på. Vi har et ønske om at kunne lave valide effektberegninger på f.eks. nationale test. Men vi finder ikke de ”rå data” (kriterie- og normscorer, red.) er gode nok til at lave disse effektberegninger. De Nationale test, brugt på den rigtige måde, er det vi har brug for”.

Hvad er en test og hvad kan den bruges til?

Helt overordnet kan test benyttes til to formål:

  1. Analyse af elevens dygtighed (mest til brug for pædagogiske formål)
  2. Kontrol og styring (mest til brug for ledelse, policy-formulering og -implementering)

Det er relevant at diskutere begge forhold, men i den offentlige debat har punkt 2 det med at løbe med al opmærksomheden, og diskussionen bliver naturligt ofte meget holdningsbaseret og ofte følelsesladet.

I denne sammenhæng vil jeg rette fokus mod punkt 1, og forsøge at holde mig til det spor i den debat, som jeg er forberedt på nok kommer.

Hvad påvirker et testresultat?

Der er principielt to typer af forhold, der spiller en rolle for forskelle i hvordan klassens elever klarer sig i en given test på et givet fagligt niveau, ligegyldig hvilken test man benytter:

  1. Elevernes dygtighed i det som testes (opgaverne, faget, emnet)
  2. Elevernes indsats på dagen, som igen afhænger af en række forskellige forhold, herunder elevens incitament til at score højt.

(Læs mere herom i Kautz, T., Heckman, J. J., Diris, R., Ter Weel, B., & Borghans, L. (2014). Fostering and measuring skills: Improving cognitive and non-cognitive skills to promote lifetime success (No. w20749). National Bureau of Economic Research.)

Hvad er en test?

Helt grundlæggende kan en test beskrives som en serie opgaver, som eleverne besvarer. Testresultatet beregnes som en matematisk analyse af opgavernes egenskaber og elevernes svar herpå. Forudsætningen for en test er, at en elev kan antages at have en underliggende dygtighed – en ikke observerbar færdighed i det emne man ønsker at få et mål på – og at der kan formuleres opgaver, der afprøver netop denne færdighed. I daglig tale siger man at testen måler læsning – det vil være mere præcist at sige at testen opgør elevens svar på de udvalgte opgaver på dagen, og at dette resultat antages at samvariere med elevens læseforståelse.

Hvordan kan DNT vise noget forkert?

Hvis testen giver et forkert resultat kan problemet været opstået fire steder:

  1. Opgaverne duer ikke, fordi de ikke passer til modellen (at de ikke afprøver det de skal)
  2. Opgaverne er udvalgt forkert (enten så svære at eleverne ikke har en chance eller så lette at de ikke udfordrer eleven)
  3. Elevernes svar passer ikke med deres dygtighed (fx at de ikke har gjort sig umage eller har snydt)
  4. Den matematiske scoringsmodel er forkert.

Ad a. Opgaverne i DNT er afprøvet på et meget stort antal elever og udvalgt så de passer til den såkaldte Rasch-model – de opgaver som ikke passer, er blevet kasseret. Dette er den bedst kendte metode til at sikre en at en test er valid og reliabel.

Ad b. Den adaptive mekanisme er konstrueret for at sikre optimal udvælgelse af opgaverne ud fra et målingsperspektiv. Testen udtrækker opgaver, der er så svære, at eleven svarer skiftevis rigtigt og forkert. Dette bringer eleverne ud på kanten af hvad de kan, og det kan opleves frustrerende, især hvis de ikke er forberedt på denne oplevelse.

Ad c. Forudsætning for et retvisende testresultat er at eleverne har besvaret nok opgaver og har gjort deres bedste hele vejen igennem testen. For at få dem til det, må man give eleverne den rigtige information om testen og de rette incitamenter. Her kan læreren gøre en forskel (jf. Mislevy’s model i rapporten om Ørum). Men der vil altid være elever der ikke præsterer op til deres normale niveau – ikke mindst når der er tale om en Low-Stakes test som DNT må klassificeres, og slet ikke i et samfund med selvbevidste og selvstændige elever, der ikke altid gør hvad læreren siger, især ikke hvis de ikke er enige eller kan se formålet heri.

Ad d. Den scoringsmodel der er anvendt i DNT (Maksimum Likelihood Estimation) er en af de to der anvendes i international forskning og er anerkendt til formålet.

Ud fra ovenstående argumentation er langt den væsentligste kilde til usikkerhed punkt c. Dette bekræftes af modelberegninger (en simulation) som Ministeriet har foretaget (hvor man sætter en maskine til at simulere elever der besvarer konsistent). Her måler testene en langt højere reliabilitet end når der er tale om virkelige elever af kød og blod med gode og dårlige dage og med forskellige instruktioner og incitamenter.

Hvad kan skolerne selv gøre for at få retvisende resultater?

Alle undersøgelser af læreres brug af og viden om DNT viser at kun et fåtal af lærerne har den fornødne viden om hvordan DNT virker, hvordan eleverne skal instrueres, hvordan resultaterne kan fortolkes og - som en konsekvens heraf - hvordan testene kan bruges i det pædagogiske arbejde, herunder benyttes til feed-back til elever og forældre, se fx Rapport om DNT og Tidligere debatindlæg og Indlæg fra forsker

For at få retvisende resultater kræves først og fremmest at eleverne er ordentligt forberedt til besvarelsen og at læreren har gjort sit bedste for at motivere eleverne til at besvare på den måde som giver gode data.

Der er nogle basale spilleregler som man skal kende som lærer og disse er (for så vidt angår læsning) beskrevet her: Vejledning i at gennemføre test i læsning

Præsentation af testresultater

For at testene kan levere bedst muligt feed-back til skolen og læreren på elevens og skolens indsats, kræver det endvidere at resultaterne præsenteres på den rette måde. Men når lærere har forstået hvordan man kan få data serveret og formidlet på en fornuftig måde (og det kan gøres på ½ dag) er der fuld parathed til at bruge DNT til det de rettelig kan anvendes til. For fx at bruge dem til at følge progression på samme skala, har vi udviklet en elektronisk omsætningstabel (Beregneren, se beskrivelsen her: Nyt redskab - Københavns lærere kan følge elevernes udvikling i de nationale test) som pt. er stillet til rådighed for den halvdel af landets kommuner, der har henvendt sig herom. Standardudgaven, som kun kan bruges internt på skolerne, er helt gratis for kommunerne at anskaffe og anvende og kan bruges til at vurdere progression med i DNT i læsning på tværs af test og klassetrin. Andre udgaver af Beregneren, som bruges ved formidling til elever og forældre, stilles også gratis til rådighed, men kun for de kommuner hvor vi indgår professionelt samarbejde om efteruddannelse af medarbejdere.

Desuden har Ministeriet i løbet af de sidste år offentliggjort en række nye spændende visninger af bl.a. elevens testforløb og har også udbudt uddannelse (Webinarer) om testene og de nye redskaber, men tilslutningen hertil fra skolerne har været begrænset.  Visningerne i testsystemet er stadig under udvikling, men der er stadig langt til at lærerne af sig selv henter den nødvendige information ud af systemet.

Datainformeret praksis er ikke langt væk

I den danske folkeskoletradition er evaluering med udgangspunkt i test og data et forholdsvist nyt og kulturfremmed krav. Undervisning i hvordan man evaluerer, fortolke resultater og analyserer sådanne data har stort set været forbeholdt de samfundsvidenskabelige uddannelser. Undervisning i evaluering fylder stadigvæk meget lidt på læreruddannelserne, måske fordi den statistiske og praktiske viden, der skal til, hverken er UCC’ernes spidskompetence eller primære interesseområde.

Men lærerne har noget, som er meget vigtigere – den pædagogisk-psykologiske forståelse af læringsmekanismer kombineret med det nære og konkrete kendskab til egne elever. Så når data om den enkelte lærers egne elever bliver gjort tilgængelig i en forståelig form, har vi stort set alle steder vi har været, oplevet en stor appetit på at få den ”second opinion” på elevernes niveau og fremgang som de nationale test kan levere – datainformeret praksis er ikke langt væk fra skolerne, men det kræver (som det meste andet) en indsats at komme i gang.


Kommentarer

Man skal være registreret bruger for at skrive kommentarer på folkeskolen.dk. Som registreret bruger får du også mulighed for at tilmelde dig nyhedsbreve m.m.

OPRET PROFIL
{{ comment.author.name }} {{ '(' + comment.author.jobTitle + ')' }}
{{ comment.likeCount }}

{{ comment.title }}

Klag
Kommentaren er slettet

MERE OM EMNET

Når du er logget ind, kan du vælge de emner du ønsker at abonnere på, og få nyt direkte på email. Login

LÆS OGSÅ