Kære interessent i grundskolen i Danmark

Vi er i Danmark glade for at lave forskning og undersøgelser i grundskolesystemet. Især de offentlige folkeskoler er i vælten. Og gudskelov er vi glade for forskning og undersøgelser, da det giver os det bedste grundlag for at evaluere praksis. Det fører til sagens kerne. Hver undersøgelse kræver respondenter, og respondenterne skal bruge tid på at besvare undersøgelserne. Desværre har respondenterne begrænset tid til at deltage i undersøgelser. Tid brugt på en undersøgelse vil føre til, at der ikke er tid til en anden undersøgelse under antagelse af, at man ikke tager tiden fra andre aktiviteter (fritid, undervisningstid eller forberedelsestid). Det fører til, at deltagelses-/svarprocenten i undersøgelsen går ned. Det er et problem for undersøgelsen.

Vi vil i dette åbne brev gennemgå mekanismerne og incitamenterne i stikprøvedesignet og implikationerne af dette. Selve undersøgelsesdesignet med dets formater til at undersøge det interessante fænomen er ikke i dette åbne brevs sigte.

Vi vil betragte problematikken fra flere vinkler: undersøgelsens forskere, dem med deres dagligdag på skolen og offentligheden som helhed.

En, to, mange undersøgelser

Vi starter med undersøgelsens forskere: Det er alment kendt, at undersøgelser bliver mere solide, desto flere respondenter der deltager i en undersøgelse. Inden for den statistiske verden betyder flere respondenter mere pålidelige estimater (en mindre standardfejl), og derudover sikrer flere respondenter en større sandsynlighed for en repræsentativ stikprøve (stikprøven ligner populationen). Forskerne kan i skolesektoren opnå disse fordele ved at spørge flere skoler eller flere lærere på de enkelte skoler. Den hyppigste metode er at spørge flere skoler, om de vil deltage. Det allernemmeste for undersøgelsens forskere er derfor at spørge alle landets skoler om at deltage i undersøgelsen. Grunden til, at det er den allernemmeste metode at spørge alle landets skoler om deltagelse, skyldes, at forskerne kun skal forfatte ét brev og derefter foretage en brevfletning med de offentlige skolelister, som UVM stiller til rådighed. Hvis en skole så melder fra eller ikke melder tilbage, behøver forskerne ikke at foretage sig noget. Ved at spørge alle landets skoler, får man også foretaget en totalundersøgelse, hvilket sikrer repræsentativitet. Konklusionen er, at forskere har store incitamenter til at spørge alle/mange skoler ved hver undersøgelse.

Svært at komme igennem skolernes jernlåger

For dem der har deres dagligdag i skolen har vi umiddelbart fire lag:

• skolens administrative personale,
• skolens ledere,
• skolens lærere,
• og skolens elever.

Når en forespørgsel til en undersøgelse ankommer til skolen, er det skolens administrative personale, der typisk modtager den, inden forespørgslen videresendes til den rette person. Det vil sige, at skolens administrative personale kan risikere at få forespørgsler fra samtlige undersøgelser, der foretages i den danske grundskole. Det vil i praksis kunne være ti eller flere forespørgsler på en uge. Hver undersøgelse vil tage tid fra andre administrative opgaver.

Næste skridt i en undersøgelsesforespørgsel er typisk, at forespørgslen havner hos en leder på skolen (skolelederen, den pædagogiske leder, fagets vejleder). I nogle undersøgelser er det kun lederen, der skal svare, og i andre undersøgelser skal lederen beslutte, om lærerne kan/skal deltage i undersøgelsen. Her kan man risikere, at lederen blot smider forespørgsler i skraldespanden grundet manglende tid til at læse de mange forespørgsler.

Udover risikoen for kassering af forespørgsler, er der en risiko for, at lederen takker nej til deltagelse for at beskytte skolens lærere imod at bruge for meget tid på undersøgelser. Dette betragter vi som gatekeeper-problemet. Skolens leder står som en vogter foran lågen til skolen og vurderer, hvilke undersøgelser, der skal ind til skolens lærere. Gatekeeper-problematikken gør, at de enkelte undersøgelser kan blive skæve, hvilket vil sige, at de ikke er repræsentative, hvorved det ikke bliver muligt at generalisere resultaterne.

Elever skal deltage i nogle undersøgelser – ikke alle

Hvis vores forespørgsel om deltagelse i undersøgelsen når gennem ledernes gate, vil vi nå til respondenterne. Det vil være lærerne eller eleverne. Hvis det er eleverne, der er målgruppen, vil lærerne blive inddraget til organisering af afholdelsen af elevernes besvarelser. Lærerne vil ligeledes kunne være en gatekeeper over for eleverne. Når eleverne besvarer undersøgelser, i form af test eller spørgeskemaer, vil omkostningen være manglende undervisning i besvarelsestiden. Det skyldes, at elevernes timeantal er fastlagt, og man kan derfor ikke forlænge skoledagen tilsvarende. Vi skal huske, at eleverne individuelt ville lære mere af undervisningen end af besvarelsen af undersøgelsen. Resultaterne fra undersøgelsen vil dog på langt sigt kunne bruges til videre og mere målrettet undervisning. Men disse resultater gælder for alle og typisk ikke specielt for de der deltager i undersøgelsen. Når eleverne så skal deltage i flere undersøgelser, betyder det, at tiden går fra det vigtigste, nemlig læringen i undervisningen.

For mange lærerundersøgelser giver dårligere undersøgelser

I det følgende vil vi forklare mekanismen bag denne overskrifts påstand. Som nævnt vil lærerne blive inddraget af langt de fleste undersøgelser i grundskolesystemet. Når det drejer sig om facilitering af elevernes besvarelser af undersøgelsen, vil lærerne skulle bruge selve tiden på at hjælpe eleverne med at besvare undersøgelsen og samtidig bruge forberedelsestid på at kunne afholde undersøgelsen for eleverne. Forberedelsestiden til afholdelse af undersøgelse må cirka være den samme som til en almindelig undervisningslektion. Trade-off’et for læreren sker, når lærerne er målgruppen for undersøgelsen. Uanset om læreren skal forberede at eleverne bruger en lektion på at besvare en undersøgelse eller om læreren selv skal besvare undersøgelsen, så koster det tid, som kunne være brugt på undervisning. Enten i form af decideret undervisning eller forberedelsestid til undervisning. Begge dele er en udfordring. Lærerens vigtigste opgave er at levere god undervisning, mens undersøgelsen har til formål at gøre rammerne for undervisningen bedre på baggrund af konklusionerne af en god undersøgelse. For at få den gode undersøgelse må respondenterne ligne populationen, så resultaterne kan generaliseres til landsplan. Et yderligere forhold hos lærerne er, at antallet af undersøgelser, som læreren får, er bestemt af, hvordan lederen varetager sin Gatekeeperfunktion. Desto mere gatekeeper, desto færre undersøgelser får lærerne. Det gør sig også gældende, at desto flere undersøgelser, lærerne får, desto flere undersøgelser vil lærerne undlade at svare på.

Konsekvens: Undersøgelsers kvalitet vil være i frit fald

I den sidste synsvinkel har vi offentligheden som helhed. Offentligheden er afhængig af god forskning og undersøgelser således at rammerne og vidensgrundlaget for undervisningen bliver bedst mulige. For at få forskning og undersøgelser af høj kvalitet kræver det, at undersøgelsesdesignet er relevant i henhold til stikprøven og undersøgelsens interessefelt. Siden vi i dette åbne brev kun ser på undersøgelsens stikprøve, lader vi undersøgelsens interessefelt være, selvom der også kan ske forbedringer heri. Som vi har set i længere oppe i brevet, har undersøgelsens forskere et incitament til at spørge så mange som muligt, og for nemheds skyld siger vi, at de spørger alle skoler. Skolerne skal så forholde sig til samtlige undersøgelser i grundskolesystemet og finde ud af, om de vil deltage.  For hver undersøgelse der når til lærerne, vil andre undersøgelser sandsynligvis blive sprunget over. Konsekvensen af dette vil være, at grundlaget for de oversprungne undersøgelser bliver skævvredet, og kvaliteten af undersøgelserne vil forringes. Vi har med andre ord at gøre med fælledens tragedie (Tragedy of the Commons):

https://www.youtube.com/watch?v=CxC161GvMPc

De enkelte undersøgelsers egen kvalitetsmaksimering går ud over den gennemsnitlige kvalitet af undersøgelserne. Alt dette fører til, at offentligheden ikke får de bedst mulige undersøgelser.

80 % færre forespørgsler = bedre undersøgelser

Når man synliggør en problematik, har man også et ansvar for at fremkomme med en løsning. Siden vi har med en klassisk økonomisk problemstilling at gøre, vil det være nærliggende at komme med løsningen fra økonomi. Nemlig at gøre det fælles til et privat foretagende. I dette tilfælde vil det private foretagende være staten og undervisningsministeriet. Ideen bag dette er, at det private foretagende vil tage højde for den påvirkning, som en ekstra skole i en undersøgelse vil have på alle de andre undersøgelser, der kører.

Hvordan skal det så skal lade sig gøre rent praktisk med forskellige professionshøjskoler, universiteter og andre interessenter, der alle vil lave undersøgelser i grundskolen? Skal ministeriet så stå for alt forskning og alle undersøgelser? Nej, det er nødvendigt at have et armslængdeprincip imellem undersøgelser og ministeriet, og konkurrencen imellem de enkelte institutioner skaber et bedre undersøgelsesdesign. Mit forslag vil i stedet være, at ministeriet står for udvælgelse af respondenter til diverse undersøgelser. Antallet af respondenter burde følge en Statistisk Power-beregning, som indikerer, hvor mange respondenter man skal have for at kunne måle en given effekt, når man taler om interventionsprojekter. En tommelfingerregel kunne være, at ingen nationale undersøgelser skal være større end de internationale undersøgelser (fx ICILS, PISA, TIMSS som har hhv.150 skoler, 331 skoler og 250 skoler). Et forslag kunne være, at undersøgelser i Danmark skulle involvere

• 100 skoler, hvis kun folkeskoler er i fokus.
• 130 skoler, hvis det er folkeskoler og privat- og friskoler.
• 150 skoler, hvis det er folkeskoler, privat- og friskoler og efterskoler.

Det vil betyde, at i forhold til at spørge alle skoler i Danmark til enhver undersøgelse, vil hver skole opleve at få reduceret forespørgslerne med mindst 80 %. Stikprøven til hver undersøgelse kan lade sig inspirere af de internationale undersøgelser og lave stratificeret (gruppeinddelt) klyngeudvælgelse. Stratificeringen kan foretages efter forskellige parametre (skoletype, skolestørrelse, geografiske fordeling, socioøkonomiske baggrunde, mv.). Ved at foretage en stratificering kan man sikre, at undersøgelsen bliver repræsentativ. Stratificeringen har yderligere den fordel, at hvis en skole melder fra på forespørgslen, vil man kunne spørge en skole, der minder om den første skole, da de vil være fra samme stratum (gruppe af relativt ens skoler).

En vigtig konsekvens af den stratificerede klyngeudvælgelse er, at alle ikke har lige stor sandsynlighed for at deltage, og dette skal der korrigeres for ved hjælp af vægte. Fordelen ved at bruge stratificeret klyngeudvælgelse og vægte i ens stikprøve er at undersøgelsen er mindre påvirkelig af skæve stikprøveudtræk og ulige svarprocenter på skolerne, man kan nøjes med færre skoler i stikprøven, samt vil stikprøven yderligere have større sandsynlighed for at være repræsentativ, hvilket giver mere solide resultater.

For at sikre en fair fordeling af undersøgelser blandt alle skolerne, vil man kunne lave aftale om, at hver skole kun kan være med i givet antal undersøgelser per skoleår. Når skolen så har været med i det antal undersøgelser, vil skolen komme ud af puljen af mulige skoler til næste undersøgelse. Den stratificerede klyngeudvælgelse og efterfølgende vægtning vil sikre, at undersøgelsen bliver repræsentativ.

En ekstra mulighed er, at man kan foretage to undersøgelser i samme omgang. Det kunne være i to forskellige fag eller to forskellige felter inden for samme design. Det vil føre til færre forespørgsler per skole.

Alt i alt vil offentlighed, forskere og skolefolk opleve en positiv indvirkning ved forslaget om en reduktion af antallet af skoler i stikprøven. Forskere vil lave bedre undersøgelser, da andre undersøgelser ikke gør, at respondenterne fravælger undersøgelsen grundet tidsmangel. Offentligheden vil få bedre undersøgelser, da undersøgelserne bliver repræsentative. Ansatte i skolerne vil i alle led opleve en mindre byrde af undersøgelser, og dermed vil de kunne have mere fokus på deres respektive kerneydelser.

Først og fremmest vil det være et enormt fremskridt hvis udbyderne af undersøgelserne på grundskoleområdet sætter en begrænsning på, hvor mange skoler der må kontaktes i hvert udbud. På den måde vil vi med et snuptag kunne reducere antallet af forespørgsler på hver skole. Og sådan skaber vi bedre vilkår for god forskning.