Bryr seg mindre, skårer bedre?

Classroom. Creative Commons, William Cresswell.

I Sverige har Pisa‐​debatten blomstret de siste dagene, grunnet en «avsløring» i Dagens nyheter: Svenske elever bryr seg minst om å prestere på testen.

Denne forklaringen har med jevnlige mellomrom dukket opp i landene som gjør det dårligere enn selvbildet tilsier. Ifølge noen rapporter er det hornmusikk og flaggheising når koreanske barn patriotisk kaster seg over testen for å ære landet og forfedrene, mens vi her i Norden utenom Finland knapt orker å krysse av. Sannnheten er nok litt mindre spennende.

Elevenes innsats på testen kan definitivt påvirke resultatene, så dersom det finnes systematiske, kulturelle forskjeller vil det gi seg utslag. På den andre siden: Om norske og svenske elever ikke gidder å prestere og jobbe, kan det nok tenkes å ha effekter på ferdighetene, også.

Dagens Nyheter har laget en smart indeks på den egen‐​oppgitte underprestasjonen. De sammenligner elevenes selvrapporterte innsats på prøven, som i utgangspunktet er litt for kulturelt sensitiv til å brukes direkte, med et annet spørsmål, nemlig hvor mye innsats eleven ville lagt inn dersom prøven påvirket karakteren. Sverige har det største gapet her, med Norge på fjerdeplass.

Men DN ser ikke på spørsmålet om det faktisk er noen sammenheng. Det kan kanskje skyldes at DNs hypotese fort blir veldig hårete i møte med data. Vi setter opp denne prestasjonsindeksen mot gjennomsnittlig resultat på de tre områdene i PISA. Hypotesen er at dette skal gi en synkende tendens: Jo mer man rapporterer underprestasjon, jo dårligere skal prestasjonen bli.

Men nei. Det viser det seg at underpresterer‐​landene skårer bedre enn de andre. Faktisk forklarer underprestasjonsvariabelen en firedel av variasjonen i resultatet. Om man ga et hakk mer blaffen, på en skala fra 1–10, økte resultatene med 48 poeng:

Underprestasjonsskår og resultat i Pisa, alle PISA-land
Underprestasjonsskår og resultat i Pisa, alle PISA‐​land

Dette resultatet er selvsagt drevet av en annen, underliggende årsak. De mest autoritære regimene har både dårlige resultater og mye innsats. De «minst underpresterende» landene er Vietnam, Indonesia og Kazakhstan, der elevene har høy innsats, men rammebetingelsene er veldig mye dårligere enn våre. Det er farlig å synse for mye om årsakssammenhenger her, men jeg våger meg til å antyde såpass som at en liberal skole som bygger selvstendig ungdom, så selvstendig at de tør å gi blaffen i prøver,  har vært en lønnsom strategi for både demokrati, økonomi og vitenskap. Samtidig er det mye lettere å være liberal i et land «der ingen trenger å være fattige», som det heter nå om dagen.

Utvalget av land er altså for ulikt til at en slik enkel korrelasjon kan fungere. Men hva om vi bare tar med de ordentlige medlemmene av OECD, altså rike, avanserte økonomier? Da skulle vel slikt forsvinne. Så autoritære er vel ikke Spania, USA og Finland, at ungene der ikke tør annet enn å krysse av for «maks innsats». Da bør jo effekten av at svensker og nordmenn bare ikke gidder Pisa slå inn:

Oppgitt underprestasjon og Pisa-skår, kun Oecd-land
Oppgitt underprestasjon og Pisa‐​skår, kun Oecd‐​land

Nei, fortsatt ser det poeng å hente på å gi blaffen. Men nå er korrelasjonen klart drevet av de tre punktene nederst til høyre, som også er de fattigste medlemmene av OECD; Chile, Mexico og Tyrkia. Om vi bare tar de bort…1

Underprestasjon og Pisa-resultat. Kun OECD-land med Pisa-skår over 465.
Underprestasjon og Pisa‐​resultat. Kun OECD‐​land med Pisa‐​skår over 465.

Presto! Den positive effekten av å underprestere borte. Men hypotesen var altså det motsatte: At det skulle finnes en negativ sammenheng. Den er ingen steder å se.

Altså: Når vi sammenligner oss med landene som ligner oss mest, er det ingen dekning i Pisa‐​resultatene for at elevenes oppgitte underprestasjon påvirker resultatet på prøvene.

Pisa‐​kritikerne gjør klokt i å stoppe forsøkene på å underminere selve prøven, og heller konsentrere seg om den substansielle debatten: Hva er det den måler? Er det viktig å være over snittet på disse tingene?

Fotokreditt: William Creswell, under en Creative Commons BY-2.0-lisens.

  1. Denne statistiske metoden er selvsagt helt forkastelig og tilfeldig. Jeg gjør det bare for å illustrere at selv om man tar alle tenkelige snarveier, holder ikke DNs hypotese. []

Mal for evidensbasert pressekonferanse

(Kristin: Stryk første alternativ i parentesene ved dårlige resultater, og motsatt ved gode.)

Norges fremtid sitter i dag bak skolepulter i det ganske land. Den største andelen av vår nasjonalformue er faktisk mennesker, ikke oljepenger. Jeg er derfor begeistret for at oppmøtet på denne pressekonferansen er like stort som i fjor.

Kristin Halvorsen fisker etter argumenter. Foto: Roger Sandum (CC-lisens)
Kristin Halvorsen fisker etter argumenter. Foto: Roger Sandum (CC‐​lisens)

I dag kom resultatene fra [internasjonal undersøkelse]. Siden sist har det blitt [bedre | verre]. Dette er veldig interessant [og viktig | men det gir ikke hele sannheten]. Vi må huske på at testene som brukes i [undersøkelse] [er laget av verdens beste forskere | tester bare en liten del av elevenes kompetanse].

Derfor er det, på en dag som denne, grunn til [å feire! | å ta resultatene med en klype salt.]

Den [sterke | urovekkende] utviklingen viser at SV har rett, og at høyresida er på full retrett i skolepolitikken, ikke minst fordi vi fått bekreftet at den norske skolen har [små | store] forskjeller mellom de beste og svakeste elevene. Dette viser det vi alltid har sagt, nemlig at den norske fellesskolen [lykkes | må prioriteres foran høyresidas ønske om flere privatskoler].

Jeg vil gjerne benytte anledningen til å takke alle de flinke skolefolkene, som hver eneste dag står på «for unga». Selv om vi nå [er på rett vei | fortsatt sliter med effektene av privatskolene fra Bondevik II], kan vi ikke [stoppe der | gi opp så fort].

I [Sverige | Finland | Danmark] er resultatene dårligere enn sist. Den norske [suksessen | tilbakegangen] er altså [ikke en selvfølge | forårsaket av større konjunkturer enn de vi selv råder over].

Som sagt, det er nasjonalformuen vi snakker om. Det ville være svært uheldig om disse [gode | dårlige] resultatene blir brukt til politisk spin og valgkamp. Unga våre er mye viktigere enn som så.

Er ferien problemet?

Aksel Braanen Sterri og Magnus Bergli Rasmussen argumenterte i gårsdagens Aftenposten med at den lange skoleferien har hovedskylden for store ulikheter og dårlige resultater i norsk skole. Som de selv skriver:

Den lange sommerferien reduserer barnas ferdigheter og er sannsynligvis roten til ulikhetene i norsk skole.

Dette er en temmelig hardbarka hypotese. Jeg tror ingen vil være uenig i at det kan være noe samsvar mellom resultater og tid tilbragt på skolen. Men Sterri/​Rasmussen hevder noe langt sterkere: Nemlig at a) sommerferien har en effekt ut over  faktisk timetall, og b) dette påvirker ikke bare resultatene i snitt, men fordelingen.

Sterri/​Rasmussens kronikk hviler ikke på dette, men jeg hørte Sterri i radiodebatt, og der poengterte han at Norge har en særlig lang ferie. Det er ikke tilfelle. Her er sommerferiene i OECD:1

Men det er selvsagt ikke noe argument i seg selv at andre land gjør det enda verre, i Sterri/​Rasmussens øyne. Vi skal derfor gjøre en grundigere analyse. Men la nå det være sagt: en lang skoleferie kan ikke forklare i seg selv hvorfor Norge gjør det dårligere enn andre land, dersom man mener det.

Resultater, slik Sterri/​Rasmussen definerer dem, ser ut til å handle om grunnleggende ferdigheter. Det er derfor naturlig å gripe til PISA‐​tall for å operasjonalisere dem. Vi skal eksplisitt se på forskjellene, ettersom det er det Sterri/​Rasmussen mener sommerferien øker. Til slutt ser vi litt på absolutte skårer også, for syns skyld.

Her er korrelasjonene mellom ferielengde og ulikhet, målt ved PISA‐​undersøkelsens standardavvik:2

Ser du et mønster? Ikke jeg heller. Det skyldes at det ikke finnes noe mønster. Ingen av disse grafene korrelerer signifikant. I en lineær regresjonsmodell (OLS) finner vi at estimatene er ekstremt små (-0.008, -0.005 og -0.011) og som sagt ikke signifikante (p=0.449, 0.672 og 0.317). Men bare for å påpeke hvilken retning alle disse tre anslagene peker: mer ferie gir mindre forskjeller.

De tre punktene med store forskjeller og korte ferier øverst til venstre i alle tre bildene er forøvrig Japan, Korea og Holland. Det forekommer meg litt underlig at Sterri og Rasmussen valgte Japan som sitt primæreksempel. Forskjellene i Japan ligger over OECD‐​snittet i alle tre fag.

Nå kan det selvsagt hende at det finnes mange skjulte hemmeligheter bak slike aggregerte tall. Men på landnivå ser det ut til å være fullt mulig å lage små forskjeller samtidig som man har lang sommerferie – stikk i strid med Sterri/​Rasmussens hypotese. Finland er selvsagt et prima eksempel: De har blant OECD‐​områdets lengste ferier, og blant de minste forskjellene.

Hvis vi skal prøve oss på en forklaringsmodell på hvorfor sommerferielengde ikke har noe å si, er det særlig to som peker seg ut – rent teoretisk. Den ene er at dersom utbyttet av å være på skolen varierer på elevnivå, slik at «skoletilpassede» elever har mer utbytte av skolen enn «skoletapere», vil det ikke gi mindre ulikhet å pøse på med mer skole.

Den andre forklaringsmodellen tar utgangspunkt i at det som betyr noe, er ikke sommerferien, men den totale mengden skole. Hvis man ønsker å utjevne forskjeller, må man derfor dreie mengden opplæring slik at de svakeste får mer opplæring. Å smøre skoleåret tynnere utover, med kortere ferier, har ingen bestemt effekt.

Sterri og Rasmussen bruker tall fra TIMSS i stedet for PISA. TIMSS er en studie på elever i fjerde klasse, mens PISA er ved 15 år. Jeg vil hevde at når vi skal se på en variabel med så komplekse konsekvenser som ferie, er det mer fornuftig å se på output ved slutten av skoleløpet enn ved begynnelsen. Det er særdeles gode grunner til å lage hypoteser om sammenhenger mellom skoletrøtthet og ferielengde, f.eks. Skoletrøtthet slår imidlertid sjelden ut i fjerde klasse.

Det skinner litt gjennom i artikkelen at Sterri/​Rasmussen også er opptatt av absolutte resultater, ikke bare forskjeller. Her gir faktisk PISA‐​tallene dem bittelitt rett.

Tallene viser at matteresultatet er signifikant på 95 %-nivå, og også den gjennomsnittlige PISA‐​karakteren er signifikant, selv om lese‐ og naturfagskarakterene ikke er signifikante. Merk at disse resultatene drives veldig av tre datapunkter: Japan, Korea og Mexico. De er uteliggere på hver sine måter: Mexico ved at de har ekstremt mye svakere resultater enn resten av OECD, noe som neppe kan skyldes ferielengden alene. Korea og Japan har kort ferie, men det er også mange andre fellestrekk mellom disse landene som er vesensforskjellig fra andre OECD‐​land. Det er derfor grunn til å være varsom her: resultatene kan veldig godt skyldes en konfunderende variabel, f.eks. andre elementer av landenes kultur, arbeidsmarkedet i landet, skolens innretning i disse landene eller til og med genetikk.

Sterri og Rasmussen har gått meget høyt ut og hevdet at andre som driver med skolepolitikk ikke er forskningsbasert og mangler empiri. Jeg vil nok med dette hevde at Sterri og Rasmussen med fordel kunne sjekket det aller mest tilgjengelige og mest brukte datamaterialet på elevresultater før de trekker bastante konklusjoner.

Datasettet mitt kan lastes ned (Datasett skoleferie og PISAtall OECD) hvis du ønsker å gjøre dine egne undersøkelser.

  1. Kilde: Wikipedia. Jeg har gjort diverse utregninger og forsøkt å lage gjennomsnittlige ferielengder for land med variable ferier. Jeg har ikke kvalitetskontrollert opplysningene i WP‐​artikkelen, men kan ikke helt se noen bestemt årsak til at de skulle være vesentlig feil. []
  2. For de statistisk interesserte: Dette tallet er sammenlignbart fordi utvalget er gjort likt og er like stort i alle landene – og for de få unntakene er det korrigerte standardavvik. []