Er ferien problemet?

Aksel Braanen Sterri og Magnus Bergli Rasmussen argumenterte i gårsdagens Aftenposten med at den lange skoleferien har hovedskylden for store ulikheter og dårlige resultater i norsk skole. Som de selv skriver:

Den lange sommerferien reduserer barnas ferdigheter og er sannsynligvis roten til ulikhetene i norsk skole.

Dette er en temmelig hardbarka hypotese. Jeg tror ingen vil være uenig i at det kan være noe samsvar mellom resultater og tid tilbragt på skolen. Men Sterri/​Rasmussen hevder noe langt sterkere: Nemlig at a) sommerferien har en effekt ut over  faktisk timetall, og b) dette påvirker ikke bare resultatene i snitt, men fordelingen.

Sterri/​Rasmussens kronikk hviler ikke på dette, men jeg hørte Sterri i radiodebatt, og der poengterte han at Norge har en særlig lang ferie. Det er ikke tilfelle. Her er sommerferiene i OECD:1

Men det er selvsagt ikke noe argument i seg selv at andre land gjør det enda verre, i Sterri/​Rasmussens øyne. Vi skal derfor gjøre en grundigere analyse. Men la nå det være sagt: en lang skoleferie kan ikke forklare i seg selv hvorfor Norge gjør det dårligere enn andre land, dersom man mener det.

Resultater, slik Sterri/​Rasmussen definerer dem, ser ut til å handle om grunnleggende ferdigheter. Det er derfor naturlig å gripe til PISA‐​tall for å operasjonalisere dem. Vi skal eksplisitt se på forskjellene, ettersom det er det Sterri/​Rasmussen mener sommerferien øker. Til slutt ser vi litt på absolutte skårer også, for syns skyld.

Her er korrelasjonene mellom ferielengde og ulikhet, målt ved PISA‐​undersøkelsens standardavvik:2

Ser du et mønster? Ikke jeg heller. Det skyldes at det ikke finnes noe mønster. Ingen av disse grafene korrelerer signifikant. I en lineær regresjonsmodell (OLS) finner vi at estimatene er ekstremt små (-0.008, -0.005 og -0.011) og som sagt ikke signifikante (p=0.449, 0.672 og 0.317). Men bare for å påpeke hvilken retning alle disse tre anslagene peker: mer ferie gir mindre forskjeller.

De tre punktene med store forskjeller og korte ferier øverst til venstre i alle tre bildene er forøvrig Japan, Korea og Holland. Det forekommer meg litt underlig at Sterri og Rasmussen valgte Japan som sitt primæreksempel. Forskjellene i Japan ligger over OECD‐​snittet i alle tre fag.

Nå kan det selvsagt hende at det finnes mange skjulte hemmeligheter bak slike aggregerte tall. Men på landnivå ser det ut til å være fullt mulig å lage små forskjeller samtidig som man har lang sommerferie – stikk i strid med Sterri/​Rasmussens hypotese. Finland er selvsagt et prima eksempel: De har blant OECD‐​områdets lengste ferier, og blant de minste forskjellene.

Hvis vi skal prøve oss på en forklaringsmodell på hvorfor sommerferielengde ikke har noe å si, er det særlig to som peker seg ut – rent teoretisk. Den ene er at dersom utbyttet av å være på skolen varierer på elevnivå, slik at «skoletilpassede» elever har mer utbytte av skolen enn «skoletapere», vil det ikke gi mindre ulikhet å pøse på med mer skole.

Den andre forklaringsmodellen tar utgangspunkt i at det som betyr noe, er ikke sommerferien, men den totale mengden skole. Hvis man ønsker å utjevne forskjeller, må man derfor dreie mengden opplæring slik at de svakeste får mer opplæring. Å smøre skoleåret tynnere utover, med kortere ferier, har ingen bestemt effekt.

Sterri og Rasmussen bruker tall fra TIMSS i stedet for PISA. TIMSS er en studie på elever i fjerde klasse, mens PISA er ved 15 år. Jeg vil hevde at når vi skal se på en variabel med så komplekse konsekvenser som ferie, er det mer fornuftig å se på output ved slutten av skoleløpet enn ved begynnelsen. Det er særdeles gode grunner til å lage hypoteser om sammenhenger mellom skoletrøtthet og ferielengde, f.eks. Skoletrøtthet slår imidlertid sjelden ut i fjerde klasse.

Det skinner litt gjennom i artikkelen at Sterri/​Rasmussen også er opptatt av absolutte resultater, ikke bare forskjeller. Her gir faktisk PISA‐​tallene dem bittelitt rett.

Tallene viser at matteresultatet er signifikant på 95 %-nivå, og også den gjennomsnittlige PISA‐​karakteren er signifikant, selv om lese‐ og naturfagskarakterene ikke er signifikante. Merk at disse resultatene drives veldig av tre datapunkter: Japan, Korea og Mexico. De er uteliggere på hver sine måter: Mexico ved at de har ekstremt mye svakere resultater enn resten av OECD, noe som neppe kan skyldes ferielengden alene. Korea og Japan har kort ferie, men det er også mange andre fellestrekk mellom disse landene som er vesensforskjellig fra andre OECD‐​land. Det er derfor grunn til å være varsom her: resultatene kan veldig godt skyldes en konfunderende variabel, f.eks. andre elementer av landenes kultur, arbeidsmarkedet i landet, skolens innretning i disse landene eller til og med genetikk.

Sterri og Rasmussen har gått meget høyt ut og hevdet at andre som driver med skolepolitikk ikke er forskningsbasert og mangler empiri. Jeg vil nok med dette hevde at Sterri og Rasmussen med fordel kunne sjekket det aller mest tilgjengelige og mest brukte datamaterialet på elevresultater før de trekker bastante konklusjoner.

Datasettet mitt kan lastes ned (Datasett skoleferie og PISAtall OECD) hvis du ønsker å gjøre dine egne undersøkelser.

  1. Kilde: Wikipedia. Jeg har gjort diverse utregninger og forsøkt å lage gjennomsnittlige ferielengder for land med variable ferier. Jeg har ikke kvalitetskontrollert opplysningene i WP‐​artikkelen, men kan ikke helt se noen bestemt årsak til at de skulle være vesentlig feil. []
  2. For de statistisk interesserte: Dette tallet er sammenlignbart fordi utvalget er gjort likt og er like stort i alle landene – og for de få unntakene er det korrigerte standardavvik. []

Legge til grunn

I dag kom stortingsmeldinga om ungdomsskolen. Den er stort sett veldig bra, men noen av passasjene er frustrerende. Et eksempel er det som står om lekser. Etter litt generell og upresis litteraturgjennomgang, sier fortellerstemmen (altså Regjeringen):

Departementet legger til grunn at lekser på ungdomstrinnet skal bidra til variert bearbeiding av gjennomgått lærestoff og gi mestring og utfordringer. Lekser skal bidra til økt læring for alle.

Hvis virkeligheten passer dårlig, legger vi bare til grunn en annen.

Utbytte

I femten år har elevbedrifter og ungdomsbedrifter vært buzzwords på konferanser om skole og utdanning. De som er engasjerte i dette, som ofte går under navnet entreprenørskap, er som oftest uten hemninger positive. Det «løser» tilpasset opplæring! Det fikser karakterene! Det løser fremtidens behov for kreative gründere!

Som mye annet skolen har måttet gjennomgå, har disse effektene vært umulig å påvise. Nå skal man kanskje gjøre unntak fra dette kravet når det gjelder helt nye ideer, men det må likevel være lov å påpeke at entreprenørskaps‐​entusiastene er lovlig sent ute med å forsøke å dokumentere resultater. Den eneste relevante studien jeg klarer å finne fra en norsk sammenheng er Østlandsforskning sin fra 2008.

Målet for entreprenørskapsopplæringen er ikke, formelt sett, tilpasset opplæring, bedre skoleresultater eller høyere trivsel. Målet er å utdanne entreprenører. En entreprenør er en som tar risiko, og omsetter gode ideer til konkret produksjon. Slett ingen ueffen karakter. Men to spørsmål melder seg umiddelbart: Kan skolen gjøre noe til eller fra i denne sammenhengen? Og: Er det riktig å satse på dette, og dermed disse elevene?

Østlandsforskning sin rapport bør helle kaldt blod i årene på de som ønsker mer entreprenørskap i skolen. Metodisk er rapporten tvilsom. Rapporten benytter en spørreundersøkelse blant elevene på et utvalg skoler. Elevene som er tagget med entreprenørskap er ikke tilfeldig trukket blant skoler som driver med ungdomsbedrift, men valgt av folk som arbeider i intereressestiftelsen Ungt Entreprenørskap. Kriteriene er eksepsjonelt vage: i ungdomsskolen har Ungt Entreprenørskap valgt ut enkelte skoler som har «særlig mange» med i Ungt Entreprenørskaps elevbedrift‐​konsept. I videregående har to fylkeskommunalt ansatte valgt ut skoler som «i stor grad satser på opplæring til entreprenørskap».

Studien er altså så langt fra dobbeltblindet som man kan komme: Den er ikke engang forsøksvis enkeltblindet. Jeg vil heller beskrive det stikk motsatt: Det er bevisst gjort utvalg som man kan forvente setter entreprenørskaps‐​entusiastene i et optimalt lys.

Videre er det slik at studien, i ungdomsskolen, skiller mellom de som har deltatt i elevbedrift og de som ikke har det. Utvalgene er åpenbart ikke randomisert på skolen. Hvem som deltar i elevbedrift vil, blant annet, være avhengig av om eleven kan forventes å håndtere dette samtidig med at han eller hun skal lære seg andre fag. I tillegg er det trolig elever som ønsker å drive med elevbedrift som i størst grad får anledning til det. Det vil altså være helt naturlig å lage en hypotese om at elevene som deltar i ungdomsbedrift fra før av er mer interesserte i elevbedrift og mer skoleflinke.

Den samme innvendingen gjelder i mindre grad videregående, men likevel: I videregående skole velger elevene hvilken skole de vil gå på, og de kan nok tenkes å velge fag og skole basert på hvilke læringsmetoder de foretrekker. Når utvalget i tillegg er så minimalt som studien her (24 videregående skoler totalt i begge kohortene) blir det riv, ruskende galt når studien senere bruker antallet respondenter som nevner for å beregne signifikans. Hvis du trekker en elev fra en skole, og deretter trekker en elev til fra samme skole, kan du forvente at disse to er mye likere hverandre enn dersom du trakk den andre helt tilfeldig fra hele populasjonen av jevnaldrende elever i Norge.

I sum betyr disse tre nivåene av selvseleksjon at studien ikke kan brukes til å vurdere læringsutbyttet av entreprenørskap i skolen. Den kan, på grunn av designet, forventes å overdrive de positive effektene dramatisk.

Og da er det nesten så jeg må le når selv denne studien finner en negativ sammenheng mellom entreprenørskap og karakterer. Forskerne nekter imidlertid å tro på sine egne funn:

Når det gjelder det at deltakelse i kreativ læring, UB og samarbeid mellom skole/​næringsliv virker litt negativt (rundt 0,1 poeng lavere snitt), vil ikke vi tolke dette som negative effekter av at opplæring til entreprenørskap fortrenger andre fag. Det er sannsynlig at svært mye arbeid i UBen kan virke negativt på jobbingen i andre fag, men spørsmålet så er jo om eleven etter deltakelse i UB vil komme styrket ut og eventuelt få en positiv effekt i forhold til [sic] faglige prestasjoner. Som det fremkommer i lærerundersøkelsen mener rundt 40 prosent at elevene får en positiv effekt i forhold til faglige prestasjoner, og dette er også i tråd med tidligere studier.

Altså: her sitter dere med deres eget datasett som viser at elevene skårer dårligere på karaktersnitt når de deltar i UB, men ettersom dere «ikke vil» tolke dette slik det åpenbart ser ut til å måtte tolkes, velger dere å heller stole på hva lærerne svarte at de trodde elevene mente om faglige prestasjoner? Her vil jeg også understreke at det de kaller «litt negativt» kalles en tydelig forskjell når det er snakk om forskjeller i karakterer mellom kjønnene. Tilbake til STK1000 med dere.

Jeg er skeptisk til entreprenørskap i skolen. Jeg tror det er nyttig at ungdom lærer seg å arbeide og drive frem sine egne ideer, men mitt inntrykk av elevbedrifter og ungdomsbedrifter er at de ofte blir glorifiserte gruppearbeider, der den flinke tar seg av alt det kompliserte arbeidet mens andre flyter med, spikrer noen paller og ender opp med noen kroner og en god karakter. På sitt beste er selvsagt også disse læringsformene lærerike, inkluderende, motiverende og utviklende. Men som en generell metode som står klar til å bli tatt i bruk: neppe. I tillegg kan det være at tida man bruker på en slik bedrift hadde vært bedre disponert på annet vis i skoledagen.

Entreprenørskap i skolen går inn i en lang rekke av pedagogiske ideer som ser ut til å ha sin opprinnelse i forslagsstillernes visjon om en god skole. Entreprenørskap er foreslått av folk som liker å lage bedrifter. Da må jo alle problemer i skolen kunne løses ved å lage bedrifter der! Det samme skjedde da prosjekt‐​entusiastene fikk prosjektarbeidsformen inn i læreplanen i 1997.

Naturligvis finnes det barn som kunne trives og ha nytte av slike løsninger. Men studie etter studie viser at det er fagkompetente lærere med solide sosiale ferdigheter som skaper de gode læringsmiljøene gjennom dyktig klasseromsledelse. Da må de få frihet, tid og insentiver til å yte sitt beste – og det må faktisk være deres løsninger. Å få pushet på seg entreprenørskap eller prosjektarbeid kommer ikke til å fungere, og entreprenørskap er ikke et viktig nok læringsmål i seg selv til at vi skal tvinge en eneste lærer til å endre kurs.

Jeg sier som kronikkforfatterne Haara og Jensen fra Høgskulen i Sogn og Fjordane: «Vi er usikre på om risikovilje burde være et sentralt siktemål for elevene» (Klassekampen, 28.9.2010).

Minimal Brain Difference

Helga Øvsthus Tønder skriver glimrende på Masterbloggen om hvordan kjønnsforskjellene i skolen forstørres og fortolkes inn i et diktert narrativ når de gjøres om til mediesaker. Som hun selv innleder:

Forskning viser at gutter ikke føler seg hjemme i den norske skolen. De kvinnelige lærerne dyrker jentene i et feminisert læringsmiljø. Konsekvensen? Guttene bråker mens jentene slår dem i alle fag.

Eller vi kunne sagt:

Forskning viser at det er kjønnsvariasjoner i karakteroppnåelsen i den norske skolen

Jeg har, fra mitt ståsted, vært opptatt av å bygge ned myten om den store kjønnsforskjellen i resultater. Det er ingen tvil om at den norsk skole og oppvekst er kjønnet og bidrar til store og systematiske skiller mellom kjønnene langt inn i voksentilværelsen, men dette gir seg egentlig ikke utslag i særlig store forskjeller på ferdighetene.1

Her er forskjellene i ferdigheter; et snapshot målt gjennom nasjonale prøver når barna er 13–14 år:

Ja, det er noen bitte små forskjeller. Jentene er ørlite bedre å lese, og gutta er ørlite bedre enn jentene i matte. Men det kan da ikke være noen tvil om at hovedbildet her er at forskjellene er ekstremt små, og at narrativet «skolen ødelegger for gutta, og løfter frem jentene» er helt på ville veier.

Det er symptomatisk at artiklene Tønder analyserer griper til standpuntkarakterstatistikk i stedet for å bruke sammenlignbare undersøkelser. Standpunktkarakterer reflekterer sannsynligvis mye annet enn de rene ferdighetene elevene innehar, og det finnes et utall undersøkelser som peker på systematisk bias i måten karakterer settes. Det er ingen overraskelse, for å si det pent, at «bråkete gutter» lettere straffes også i standpunkt.

Men det er en innvending mot å bruke nasjonale prøver til denne sammenligningen: En andel av elevene er fritatt. Fritak gis  elever som har spesialundervisning og et så annerledes opplegg at de ikke vil ha nytte av de nasjonale prøvene. Mens ca. 1.3 prosent av jentene er fritatt, er det 2.1 prosent av guttene som er fritatt. Selv om vi (frimodig og urettferdig) antar at alle disse skårer på laveste nivå, vil det knapt merkes på gjennomsnittlig skår. Hovedfunnet vårt står seg fint: forskjellene er ytterst minimale.

Hvis vi i stedet for å analysere kjønn, velger å se på klasse, får vi et helt annet bilde. Nå publiseres det ikke jevnlige analyser av nasjonale prøver der sosial bakgrunn inngår, men vi har en fra 2008. Her kan vi se forskjellen mellom elever som har foreldre med kun grunnskoleutdanning, og elever som har foreldre med lang høyere utdanning. Dette er fra engelskprøven i åttende klasse i 2008:

Slik ser en interessant sosial forskjell ut. Nå skal jeg ikke hevde at det ikke er oppmerksomhet rundt dette problemet, også, men basert på dataene burde det være mange ganger mer oppmerksomhet rundt dette enn det er rundt kjønn. Det er definitivt ikke tilfelle: Hver eneste gang direktoratet publiserer resultater fra nasjonale prøver eller karakterer, er det to faktorer som diskuteres i nær sagt alle medier: geografi og kjønn.

Det er heller ikke slik at det bare er gutter som faller fra, mens jentene fullfører. Ser vi på 2004‐​kullet av videregående‐​elever, består det av rundt 60 000 elever. 9 015 gutter har sluttet eller strøket, mens 6 281 jenter har lidd samme skjebne. Det er selvsagt en overvekt av gutter: 30 % av guttene kontra 22 % av jentene. Likevel er gruppa jenter som har falt fra temmelig underkommunisert.2

Med andre ord: Kjønnsforskjellene i skolen manifesterer seg først og fremst gjennom at elevene gjør forskjellige valg når de når videregående skole. Videre er det ting som tyder på at skolehverdagen neppe bidrar i stor grad til å utjevne «kulturelle» ulikheter mellom kjønnene i god nok grad. Men det føres svært dårlige bevis for en slags medial og folkelig hovedtese: at den norske skolen favoriserer jenter foran gutter.

  1. Dette faktum, at ferdighetene er nokså like, understreker da også bare det paradoksale i at norske ungdommer velger yrker på en fascinerende og nærmest verdensledende kjønnsdelt måte. []
  2. Så skal det også nevnes at gruppa «ikke fullført og ute av skolen» består av to grupper, de som har sluttet og de som har fullført, men strøket. Guttene har betydelig større overrepresentasjon i den første gruppa. Vi vet fortsatt for lite til å si definitivt at det ene er et større problem enn det andre. Vi kunne fremstille drop‐​out‐​gruppa som «noen som tar seg et friår», mens vi fremstiller stryk‐​gruppa som «de som har alt, men ikke vurdert i gym». Men tilsvarende kan vi gjøre den motsatte øvelsen, og hvilken som helst mix av de to, og dermed fremstille den ene eller andre gruppa som verre. Jeg slår dem derfor sammen, ikke av retoriske hensyn, men av det jeg oppfatter som den mest intellektuelt redelige vurderingen. []

Personlig fornøyd

Kristin Halvorsen på scenen på SVs landsmøte 2011

Kristin Halvorsen på scenen på SVs landsmøte 2011
Kristin Halvorsens tale til landsmøtet startet med hennes personlige dagboknotater fra fredag for to uker siden, 11. mars. Utsettelsen i Lofoten og Vesterålen var et faktum, og selv de forferdelige nyhetene fra Japan kunne ikke døyve følelsen Kristin fikk av å høre demonstranter fra Natur og Ungdom synge at «regjeringen er bra».

Det knallharde dagliglivet i regjering sliter på partiets lokale tillitsvalgte. Mange i partiet er usikre på om regjeringsdeltakelsen gir et netto positivt resultat for partiet som helhet. Da er det helt avgjørende at lederen selv har følelsen av å vinne. Det er selvsagt derfor Halvorsen begynner med seg selv og sine notater. Følelsen jeg får i salen er at denne innfallsvinkelen fungerer. Selv høyt utdannede sosialister er ikke mer selvstendige enn at de er fornøyde når lederen er fornøyd.

Slike taler er egentlig et underlig konsept. Landsmøtet er jo egentlig det eneste stedet der lederen er underlagt de demokratiske organene; likevel begynner man alltid med en slags messe med lederen som predikant. Jeg har alltid trodd at det skyldtes mediepresset: Man må fremstå som et samlet parti. Men når jeg er her, skjønner jeg at det først og fremst har en høyst intern funksjon: man skal samle salen til kamp for partiet. Og det funker.

Landsmøtetalen er snart ferdig, og oppsummert har den handlet mye om de små seierne SV har kunnet innkassere: LoVe, PISA‐​trenden som er snudd, barnehagereformen. Deretter var det skole, skole, skole og barnehage. Halvorsen staker ut kursen for valgkampen: negativt rakke ned på høyresidas ønske om private skoler; positivt ta eierskap på fornying av ungdomsskolen og statusheving for yrkesfag. Greier de den siste delen, kan de komme til å gjøre et veldig mye bedre valg enn de nå ligger an til.

Jeg blogger hele helga fra SVs landsmøte. For ordens skyld gjøres det oppmerksom på at jeg ikke blogger for SV; jeg er tvert i mot helt uavhengig. Jeg er heller ikke medlem av SV. Alt jeg skriver står som vanlig for min egen regning.

Å forvirre med tall

My new favorite sticker
Creative Commons License photo credit: jspaw

 

 

Det er snart kommunevalg, og da er det én type sak vi kan være trygge på å høre mye av i tiden fremover: «velferdstjeneste X er bedre i [rødgrønne|høyrestyrte] kommuner». Det som impliseres er at det er en sammenheng mellom hvem som styrer kommunen og nivået på velferden.

Det er bare et lite problem med denne formen for slutninger basert på råstatistikk: det er fullstendig, lallende bullshit.

Årsaken finner vi på side tre i alle innføringsbøker om statistikk, i det obligatoriske, innledende kapittelet om sannsynlighetsteori: korrelasjon – det at den målte variabelen A endrer seg i takt med B  – betyr ikke i seg selv at B medfører A eller at A medfører B. Når vi observerer en slik korrelasjon, f.eks. mellom A: arbeidsmiljølovbrudd på sykehjem og B: blått styre, er det alltid tre muligheter.1

Enten kan 1) det blå styret ha forårsaket arbeidsmiljølovbrudd på sykehjem, eller så kan 2) arbeidsmiljølov‐​brytende sykehjem ha forårsaket blått styre, eller 3) noe annet kan ha medført både arbeidsmiljølov‐​brytende sykehjem og blått styre. Den siste varianten kalles en konfunderende variabel. Når man ser på sammenheng mellom hvem som styrer og resultater, er konfunderende variabler nesten alltid årsaken. I akkurat dette eksemplet, er det vel bedre å peke på variant 1.

Et annet eksempel: hvis vi ser på sammenhengen mellom gjennomsnittlig levealder og hvor mange som stemmer Høyre i kommunen, vil du få en ganske sterk sammenheng. Det skyldes ikke at Høyre er helsefremmende, men at folk som er rike lever lengre og stemmer Høyre. Inntekten er den konfunderende variabelen.

Telemarksavisa drar det ned på det forhåpentligvis lavest mulige nivået allerede før valgkampen begynner. De kan rapportere at sannsynligheten for å droppe ut av skolen er større i rødgrønne fylker. Og Frp kaster seg på, og hevder at dette viser at venstresida bare flotter seg med ord og gjør lite for å begrense dropout.

Hvis det er noe vi vet om dropout i videregående skole, så er det at det er en super‐​skarp korrelasjon mellom foreldrenes utdanningsbakgrunn og tilbøyeligheten for dropout. Og hvis det er noe vi vet om mønstre i valg, så er det at det er en super‐​skarp korrelasjon mellom hva folk stemmer på og hvilken utdanningsbakgrunn de har. Følgelig er det nøyaktig som forventet at fylker der folk har lavere utdanningsbakgrunn a) stemmer rødgrønt og b) har høy dropout. Ser vi på hvilke fylker det dreier seg om, er det også akkurat det vi ser: rødgrønne Nordland, Troms, Finnmark og Hedmark trekker ned, og de fire fylkene  har det desidert dårligste utdanningsnivået i befolkningen. Det blå Østfold kommer deretter. Det aller beste fylket på dropout er forøvrig rødgrønne Sogn og Fjordane.

Om metoden er tvilsom for kommuner, er den helt absurd for fylkeskommuner. Det er bare 19 av dem, og de er ekstremt lite homogene når det gjelder befolkningssammensetning. Dersom mediene insisterer på å fortsette å lage slike tøvete saker, er det to endringer som gjøres: For det første må man sammenligne grupper av kommuner som er nokså like over en del variabler: befolkningsmengde, befolkningens alder og inntekt kan være et bra sted å begynne. For det andre bør man gå over til å se på variabler som endrer seg og kommuner som har skiftet styre, i stedet for å sammenligne gjennomsnitt rått.

Takk til Bård Lahn for tipset.

Oppdatert: SSB valgte å publisere grupperingen jeg etterspør i dag. Tankeoverføring, eller har indregard.no makt til å påvirke SSBs publiseringsbeslutning? Tilfeldigheter utelukker vi selvsagt som forklaring, i tråd med gode journalistiske beslutninger.

  1. Altså: forutsatt at korrelasjonen er signifikant, i andre tilfeller antar vi at det skyldes tilfeldigheter. []

Den gode lærer

Old School av AtomicJeep. Creative Commons BY 2.0-lisens.

Det er med en viss følelse av fare og frykt jeg står her i dag, for å snakke om Den Gode Lærer. Ikke frykt på grunn av at temaet er vanskelig, men fordi dette nå ser ut til å bli det neste punktet på den lange listen over temaer vi hopper mellom i skolen; alltid på utkikk etter Forklaringen med stor F.

Det er slett ikke dumt å se på læreren og lærerens rolle, så sånn sett er kanskje frykten ubegrunnet. Men fokus for skolen må alltid være på eleven. Det er eleven som er målet for det vi driver med. Når vi først begynner å se på de andre tingene, er det alt for fort gjort å glemme at det er elevene som er målet. Hvis ikke havner vi raskt inn i en uendelig rekke av forklaringer på forklaringer: Lærerne er ikke gode nok på grunn av lærerutdanninga, som ikke er god nok på grunn av at inntakskravene har vært for lave, som er for lave av flere grunner, men blant annet fordi elevene i syttitallets gymnas hadde for dårlige resultater, noe som igjen skyldes lærerutdanningen på tretti‐ og førtitallet – og egentlig er alt Grunnlovens skyld.

Det samme problemet oppstår når vi ser på hvorfor noen elever sliter: De har svake ka‐ rakter på grunn av svak hjemmebakgrunn, som det heter, og de har svak hjemmebakgrunn på grunn av utdanningspolitikken når deres foreldre var barn, og den var svak på grunn av for lite penger i etterkrigstida: det er altså Hitlers skyld at elevene er svake.

Poenget her er at vi må trekke en grense, og jeg foreslår følgende grense: Alle forklaringer som strekker seg tilbake i tid fra før årets skoleår begynte, er for gamle.

Det var den ene grunnen til at jeg værer fare. Vi må huske på at selv om gode lærere er en løsning på mange problemer, er ikke denne løsningen noe særlig mer realistisk enn å kre‐ ve gode elever. Det ville jo løst /​alt/​. Vi må spørre oss hvordan elevene skal bli bedre og ha det bedre, og da er tiltak som forbedrer læringen løsninger. Ikke noe vagt á la “bedre lærere”, men konkrete tiltak. Ellers risikerer vi å ende opp med bortforklaringer i stedet: Skolen underpresterer fordi vi ikke har gode nok lærere. Javel? Og hva så?

Den andre grunnen til at jeg sanser fare er at ropene om “gode lærere” har blitt nokså innholdsløse. Alle er enige om dette; og det er et tydelig tegn på at det umulig kan være noen løsning. For nesten ti år siden, da jeg begynte med skolepolitisk diskusjon, diskuterte vi på tilsvarende måte at det var eleven som måtte bli bedre. Ikke i den vulgære versjonen: “Dagens ungdom er håpløse”, men i den konstruktive: “Det finnes noen tydelige forbedringspotensialer for læringsarbeiderne i skolen”. Vi snakket om at læring er en sosial prosess, ikke noe som kunne skje i hver enkelt hjerne. Selv å lære gjennom å lese bøker er en prosess som både krever kommunikasjon (mellom forfatter og leser), men også kontakt med en sosial, felles verden vi kobler læringen opp til.

Vi snakket om hvordan læreren i dette perspektivet ikke skulle opptre som en formidler av kunnskap, men som en kraft som strukturerte, inspirerte, motiverte, vurderte og forbedret de læringsprosessene som foregikk: ikke bare mellom lærer og elev, tavle og elev, bok og elev, men også mellom elev og elev, mellom foreldre og elev, mellom lærer og lærer, mellom internett og elev. Det sa vi ikke fordi vi mente forelesninger var tåpelige og bokkunnskap avleggs. Det sa vi fordi det er håpløst lite ambisiøst å kreve så lite av skolens profesjonel‐ le læringsaktører (både elever og lærere). Syklusen lesing‐​forelesning‐​prøving er ikke i seg selv problematisk som læringsstrategi, men den var håpløs når den bare ble satt i verk uten baktanke eller noen nærmere vurdering av hva som var hensiktsmessig.

Og da, for ti år siden, snakket vi om medvirkning. Vi trodde da at medvirkning måtte til for å bryte ned disse skjemaene, som en brekkstang for å få mer ambisjoner på hverandres vegne i skolen. Men nå tror jeg at medvirkning er noe mer. God medvirkning er et symptom på at læringsprosessen er blitt sosial – noe felles som lærer og elev faktisk deler ansvaret for. Vi ser det på resultatene, blant annet: Elever som medvirker lykkes bedre enn andre. Det er høyst sannsynlig fordi en tredje faktor – et godt læringsmiljø og en læringsengasjert lærer – driver frem både læring og medvirkning.

Vi snakket om den profesjonelle elev, en elev som har kunnskap om hvordan læring fore‐ går, hvilke kilder som finnes og hvordan de brukes, kunnskap om læringssamarbeid, kontroll over arbeidstida, vet om målene for opplæringa og vurderingskriteriene, ser hva læringa skal brukes til, har kunnskap om dokumentasjon, er motivert og utholden, har selvtillit og trygghet, mot og evne til å bruke sin egen kreativitet. I dag prøver mange å sverte disse tankene med å si at Ansvar for egen læring, som dette bygger på, innebar at lærerne ikke skulle ha ansvar. Det er selvsagt bare tull. Ideen var at lærerens primære ansvar var å lære elevene det som skulle til for å bli profesjonelle elever. De som tror at det er et mindre ansvar enn å avlevere forelesningsrekker har ikke forstått mye.

Men diskusjonen om disse prinsippene har i alle fall vist at vi var for ambisiøse da vi gikk direkte løs på den profesjonelle elev. Vi må gå omveien om å først definere den profesjonelle lærer. Definisjonen av den profesjonelle lærer blir fascinerende lik den av en profesjonell elev. Blant annet må en profesjonell lærer forholde seg til at læringsarbeidet foregår som et samarbeidsprosjekt, og at selve skoleverket i seg selv er inne i et læringsprosjekt som aldri stopper. De er selv elever. Profesjonelle elever.

Så, min tredje frykt når vi snakker om den gode lærer er nettopp at vi snakker om lærer i entall. Vi trenger veldig mange gode lærere, og vi trenger vidt forskjellige lærere. Vi kommer aldri til å finne svar på om tavleundervisning eller teater er den beste måten å lære seg fysikk, fordi et slikt svar vil variere mellom lærere, mellom elevgrupper, og ikke minst over tid. På sikt er vi derfor først og fremst avhengige av lærere som aldri blir ferdig utlært.

Dette er et foredrag jeg holdt i november 2009.

Gode på matematikk, dårlige på statistikk?

Norsk matematikkråd publiserer annet hvert år en undersøkelse som får stor oppmerksomhet. Det er en forkunnskapstest av studentenes matematikkunnskaper, og den består av et lite oppgavesett som sendes ut til universiteter og høgskoler.

Prøven brukes av matematikkrådet konsekvent for å argumentere for viktigheten av matematikkopplæring, og det blir fremholdt at tilbakegangen har vært sterk. Men prøven er så befengt med metodiske svakheter at det er vanskelig å ta resultatene alvorlig.

Sammenligningen med åttiårene

I undersøkelsen presenteres det kontinuerlige linjediagrammer med utviklingen fra første gjennomføring i 1985 til og med 2009. Det ser veldig dårlig ut. Korrekt svar‐​prosenten har falt fra over 70 til rundt 50.

Totalskår over tid

Bak dette diagrammet skjuler det seg tre problemer. For det første ble undersøkelsen gjennomført i 85, 87, 89 og 93 – men ikke mellom 93 og 99. For det andre har sammensetningen av respondenter endret seg betydelig fra de første gjennomføringene til de siste. For det tredje har testen endret seg – den ble revidert i 2000. Det er altså fullstendig meningsløst å sammenligne resultatene fra åttitallet og tidlig nittitall med de nye resultatene.

Hvis vi så kapper grafene på det saklige stedet, altså år 2000, står vi fremdeles igjen med noen feilkilder. Den viktigste feilkilden er at utvalget av studenter varierer sterkt fra år til år, uten at fordelingen oppgis i rapporten. Det eneste som oppgis er at det var betydelig flere realfagsstudenter i de første utvalgene (doh!). Den eneste måten å korrigere for dette tøvete utgangspunktet er å dele grunnlaget inn etter utdanning. Gjør vi det, forsvinner også teorien om at mattekunnskapene går tilbake:

Matteresultater fordelt på studie. Kilde: NMMR

Hvis vi overser år 2000, som så vidt jeg kan forstå ble gjennomført med den gamle prøven, så har vi sett en klar forbedring blant lærerstudentene, og en svak tilbakegang på de andre matteintensive studiene. Basert på denne grafen er det betimelig å spørre seg hva alt maset er for, og spesielt hvorfor NMR i hver eneste pressemelding om dette drar frem lærerne.

Kjønn

NMR gjør den samme utvalgsfeilen når de presenterer gjennomsnittlig skår fordelt på kjønn. En kjapp titt på lista over utdanninger over viser hvorfor: fordelingen av antall studenter i utvalget fra de forskjellige utdanningene vil bestemme hvordan hvert kjønn gjør det. Tar man inn mange lærerstudenter, der det er mange kvinner, vil kvinnekarakteren bli trukket ned. Tar man derimot inn mange økonomistudenter, vil de kvinnene som er der trekke snittet relativt sett opp.

Den saklige måten å gjøre dette på har de faktisk gjort litt senere i undersøkelsen – tre sider etter at kapitlet om kjønn er ferdig. Grafen viser resultater fordelt på både kjønn og utdanning, og her forsvinner nesten all kjønnsforskjellen – men den er der fortsatt. I ingeniørutdanningen er kjønnsvariabelen nesten helt utvisket.

Kalkulatorbruk

NMR har over flere rapporter fremhevet en teori om at kalkulatorbruk medfører dårligere resultater i matematikk. I så fall burde ferdighetene gått mer tilbake jo mer kalkulator man brukte, men som vi har sett har resultatene vært nokså stabile på 2000‐​tallet. På den annen side var vel kalkulatorer godt tilgjengelige på nittitallet også; personlig husker jeg at vi hadde kalkulatorbegrensninger på ungdomsskolen (96−99), men ikke i videregående skole (99−02).

Selv om man kan vise til en korrelans mellom kalkulatorbruk og resultater, impliserer ikke dette noen årsakssammenheng. Det kan like godt være en tredje faktor som påvirker begge deler, eller en ren tilfeldig, spuriøs sammenheng. Det klassiske eksemplet er sammenhengen mellom pirater med sabler og global luftforurensing: da piratene forsvant, ble lufta forurenset. Det betyr imidlertid ikke at piratenes tilbaketog forårsaket luftforurensingen.

I stedet velger NMR følgende resonnement (fra 2007‐​rapporten):

Resultatene kan tyde på at hyppig bruk av kalkulator kan ha negativ innvirkning både på ferdigheter og begrepsforståelse. De som skårer best er de som sier at de bruker kalkulator relativt lite. Dette ser ut til å gjelde for alle utdanningsveier og er i samsvar med de funn en gjorde i 2005.

Selvrapportert bruk av kalkulator (på en skala fra ofte til sjelden) følger studentens skår på prøven nokså slavisk. Dette skyldes, i all hovedsak, at folk som er dårlige i matematikk oftere trenger hjelp til utregninger. Derav kalkulatoren. NMR foreslår vel ikke på den bakgrunn den tåpelige konklusjonen at det er kalkulatoren som gjør studentene svake? NMR ville fått samme resultater dersom de så på hvem som må ha hjelp av personalet for å bruke NSBs billettautomater, og følgelig konkludert med at det er togpersonalet som gjør folk til tekniske analfabeter. Eller de kunne ha sjekket sammenhengen mellom hvor ofte noen sjekker bruksanvisningen for å montere en del på en sykkel, og konkludert med skadeligheten av bruksanvisninger.

Denne måten å undersøke fenomenet gir på ingen måte grunnlag for å hevde at kalkulator skaper svakere grunnleggende ferdigheter i matematikk, en tese NMR har lagt til grunn når de har villet endre eksamensform, noe de har «arbeidet for i en årrekke». Det er selvsagt mulig at NMR har rett i at kalkulator er dumt. Men dette lar seg bare undersøke ved kontrollerte studier, eller pseudo‐​kontrollerte studier (f.eks. ved å undersøke effekten i land som endrer policy). NMR henviser bare til to artikler (Grønmo et.al. 2009a og Grønmo et.al. 2009b), og – lo and behold – de sier faktisk ikke det NMR hevder de hevder.

Her er det NMR mener står i artiklene:

Grønmo (2009; 2009) setter den markante tilbakegangen i matematikkferdigheter i videregående skole i sammenheng med hyppig kalkulatorbruk.

Grønmo et. al. (2009a) handler ikke om videregående skole, men om grunnskolen. Som et siste punkt i en lang liste med mulige årsaker til gode og dårlige resultater i matematikk og naturfag:

Grønmo (2005) har, på basis av resultatene i TIMSS og PISA i 2003, argumentert for at grunnleggende ferdigheter i tall og tallbehandling er viktig for elevers utvikling av matematisk kompetanse. Hun hevder at en viss grad av automatisering av ferdigheter er nødvendig for at elevene skal utvikle denne kompetansen. For lite vekt på algoritmer og ferdigheter, som trening i multiplikasjonstabellen, vil kunne føre til at elevene ikke får opparbeidet det grunnlaget de trenger for å videreutvikle sine matematiske kunnskaper og ferdigheter.

Grønmo et. al. (2009b) handler faktisk om videregående skole, for å være nøyaktig studiespesialiserende elever med 3MX (noe som ikke er et krav for å komme inn på lærerskolen, forresten). Den nevner kalkulatorbruk noen steder blant mange andre årsaksforklaringer, og det nærmeste vi kommer NMRs påstand om innholdet er vel disse to sitatene:

Videre kan man peke på at det har vært en omfattende bruk av kalkulator og formelbok med egne notater det siste tiåret, som kan ha bidratt til mindre trening i – og vedlikehold av – ferdigheter som derivasjon…

Det er et tankekors at Slovenia og Italia, de to referanselandene med best resultat tatt i betraktning at de tester henholdsvis vel 40 % og 20 % av årskullet i TIMSS Advanced, er de to landene som synes å være mest tilbakeholdne med bruk av kalkulator. Tilsvarende tankevekkende er det at de to landene som har den mest markerte tilbakegangen fra forrige studie, Norge og Sverige, utmerker seg som to land som synes å bruke kalkulator mye.

Til dette er det å anføre at derivasjon ikke inngår i NMRs prøvesett, og at det siste resultatet knappast kan tas til inntekt for det veldig bastante sitatet over. TIMSS Advanced omfatter kun 3MX‐​klassene, og viser ganske riktig at norske lærere har lite trykk på automatisering og pugging av algoritmer, gangetabeller mm. Men at dette skal være på grunn av «hyppig kalkulatorbruk» fremstår som tendensiøst. Mer sannsynlig skyldes dette at læreplanene i Norge i liten grad legger vekt på pugging av algoritmer, gangetabeller mm. Det kan vi selvsagt diskutere, men å gjøre det om til en fordummende kalkulator‐​eller‐​ikke‐​debatt er et steg i feil retning.

Signifikante avvik fra god analyse av utvikling

Rapporten sier: «framgangen fra 2007 til 2009, som … er omtrent 1,5 %, er så liten at den ikke kan sies å være signifikant.» For det første har jeg vanskelig for å tro at det kan være riktig i en undersøkelse med over 5000 respondenter, i hvert fall med den behandlingen av data vi så langt har sett i rapporten, der alt bare klumpes sammen til en diger svarhaug.

For det andre oppgir de ikke noe sted hvordan de har regnet seg frem til det. For det tredje oppgir de ikke hvilke krav de setter til konfidens. Er det 90 %? 95 %? 99 %? Eller er vi på romferge‐​feilmarginer – 99,9 % konfidens?

For det fjerde nevnte ikke rapporten i 2007 noe om at nedgangen på 1,5 % ikke var signifikant. 2007‐​rapporten sa faktisk det stikk motsatte:

2007‐​undersøkelsen bekrefter at vi nå i enda høyere grad enn tidligere har studenter på de matematikkrevende kursene som i stor grad har et utilstrekkelig grunnlag i matematikk å bygge på for høyere utdanning.

Og videre:

Tilbakegangen er på 1,4 prosentpoeng i gjennomsnitt og kan ikke ses på som ubetydelig.

Moralen ser ut til å være at tilbakeganger på 1,4 prosentpoeng er «ikke ubetydelig», mens fremganger på 1,5 prosentpoeng er helt uten betydning. For å si det sånn: Dette vekker ikke min confidence. For meg ser det ut som om NMR har drevet data mining: De leter med lys og lykter etter tall og resultater som passer deres agenda, og overser glatt data som stritter mot.

Vi kan også regne ut om det er signifikant selv.

I rapporten ser vi at respondentenes skårer fordeler seg omtrent normalt rundt et gjennomsnitt på 21.37 poeng (av 44 mulige), med standardavvik på 9.554 og ca. 5500 respondenter. Med mindre andre forbehold trekkes inn er da et 95 % konfidensintervall lik:

$$ 21.37 \pm 1.96 \times \frac{9.554}{\sqrt{5500}} = 21.37 \pm 0.13 $$

Vi er altså 95 % sikre på at det virkelige populasjons‐​gjennomsnittet ligger mellom 21.24 og 21.40, eller målt i prosent riktig, mellom 48.27 og 48.64 prosent. Forbedringen på 1.5 prosentpoeng er, med mindre noen andre forbehold trekkes inn, særdeles signifikant – nesten syv hele standardavvik betyr at resultatet er signifikant på mer en 99.99999 %-nivået.

Det forfatterne trolig har tenkt, er at konfidensintervallene blir større på grunn av a) dårlig sampling (uvisst om det er et tilfeldig utvalg) og b) dårlig stratifisering (utdanningsgruppene i undersøkelsene endrer kronisk størrelse). Det som er underlig, er at disse forbeholdene ikke forklares og ikke tas i andre sammenhenger. Hvis de faktisk mener dette, viser undersøkelsen nøyaktig ingenting – sterkt i strid med det tidligere rapporter har hevdet. Til 2009‐​rapportens forsvar skal det sies at den er meget forsiktig med å hevde noe som helst om hva resultatene betyr.

På dette tidspunktet måtte jeg nesten sjekke hvem de oppgitte forfatterne er. I 2009‐​rapporten er de en stipendiat ved institutt for spesialpedagogikk (UiO), en førsteamanuensis i matematikk og statistikk (UiT) og en professor i matematikk (UiO). De er alle tre styremedlemmer i Matematikkrådet. I 2007‐​rapporten var de en høgskolelektor og en førsteamanuensis som driver matematikkopplæring for lærere, begge fra HiT.  Jeg velger å la den interesserte leser sjekke opp navnene selv, dersom det har interesse.

Konklusjon

Matematikkrådet får karakteren 2. Selv om innsatsen og engasjementet holder til en femmer, må den usaklige ekstrapoleringen av råskårene fra undersøkselsen trekke kraftig ned. Et råd for matematikk bør ha statistiske grunnregler under huden, og matematikklærere med statistisk bakgrunn kan umulig være bekjent av rapportens innhold.

Jeg er veldig bekymret for at denne typen lettvint synsing om norsk skole bygger opp et bilde av den norske skolen i totalt forfall. Det er ingen undersøkelser som tyder på at norske studenter i 19‐​årsalderen er vesentlig dårligere rustet enn tidligere. Det er derimot mye annet spennende i undersøkelsene. Mye tyder på at norske barn kommer sent i gang med læring av grunnferdigheter, og mye tyder på at vi svikter de svakeste.

Det er forøvrig godt mulig at rådet har rett i at norske studenter har svake eller svakere matematikkferdigheter. Problemet er at en slik god sak aldri bør fremmes ved tendensiøs bruk av statistikk, der tallene attpåtil viser noe annet enn det hovedbildet NMR trekker frem i pressemeldinger og intervjuer. Det er rett og slett for lett for alle som har liten entusiasme for matematikk å overse denne typen agitasjon.

Kilder:

Signaleffekt

Leserinnlegg på trykk i Dagbladet 3. april. Det er signert med jobben min, men jeg kryssposter det her i og med at jeg privat er helt enig med meg selv på jobben.

Kristin Halvorsen varslet 3. mars at hun vil «sende et signal» om fravær i skolen. Idag kan elevene kutte 14 dager fravær fra vitnemålet dersom fraværet skyldes politisk arbeid eller ulike helse‐ og velferdsårsaker. Halvorsen vil ned til ti dager.

Denne regelen har stort sett blitt benyttet av samfunnsengasjerte elever, nettopp den sorten elever skolens formålsparagraf ser ut til å ønske seg: «Opplæringa skal […] fremje demokrati, likestilling og vitskapleg tenkjemåte. Elevane og lærlingane skal utvikle kunnskap, dugleik og holdningar for å kunne meistre liva sine og for å kunne delta i arbeid og fellesskap i samfunnet. […] Elevane og lærlingane skal lære å tenkje kritisk og handle etisk og miljøbevisst.»

Spørsmålet er hvilket signal dette sender. Blant de engasjerte ungdommene jeg møter i elevråd og Elevorganisasjonen tolkes dette som et signal om at deres bidrag til å gjøre skolen bedre ikke verdsettes. Elever som engasjerer seg i for eksempel KFUK/​M, Natur og ungdom, Operasjon Dagsverk eller noen av ungdomspartiene rapporterer til meg at rammen på fjorten dager allerede er snever.

Forslaget er ikke fundert i empirisk forskning. Det finnes ingen studier som viser at engasjerte elever er overrepresentert i frafallsstatistikken. Inntrykket er tvert imot at disse elevene presterer godt. Dessuten er det ikke akkurat elevene som står i fare for å falle fra som er ivrigst på å dokumentere og søke fravær strøket. Snarere er realiteten at regelen har vært en godt bevart hemmelighet.

Med Kunnskapsløftet forsvant muligheten til å føre organisasjonsarbeid på vitnemålet som valgfag. Trykket på deltakelse i opplæringen har blitt merkbart sterkere allerede, og dermed har rammene for elevenes engasjement allerede blitt snevret inn.

Flere store aktører innen yrkesopplæring hevder at de primært ser på fraværet når de tar inn lærlinger. Samtidig viser undersøkelser at yrkesfagselever allerede er underrepresentert i elevråd og organisasjonslivet rundt skolen. Denne regelendringen vil forverre dette ytterligere.

Engasjert ungdom er ikke bare nyttig å vise til i festtaler. De er også et helt nødvendig korrektiv til en verden styrt av menn og kvinner på rundt femti, eller i Halvorsens tilfelle nøyaktig førtini. Deres engasjement for skolen legger press på fornyelse. Deres miljøengasjement er vårt eneste håp for en verden der hensynet til klimaendringer nedprioriteres for at femtiåringene skal ha råd til ny hytte. Deres frivillige innsats i lag og foreninger på fritida er en bærebjelke i integreringspolitikk, antimobbearbeid, trivsel, psykisk helse og fysisk fostring. Gjennom internasjonalt engasjement bidrar norske skoleelever selv med det viktigste bidraget til at skolen når sine vidløftige mål om internasjonalisering og solidaritet med verdens fattige.

Vi har ikke råd til å ofre dette på «signaleffektens» alter. Vi vet at årsakene til frafall finnes i motivasjon, forventet læringsutbytte og skolemiljø – ikke i nitid detaljregulering av kolonnene på vitnemålet.