maalinger

Meningsmålermeningsmåling

Vi er vant til at me­nings­må­lin­ger ikke er nøy­ak­tige. I det siste har me­nings­må­lerne svart på deler av kri­tik­ken. En av sva­rene har vært å oppgi feil­mar­gi­ner.

Sofistikerte po­li­tiske kom­men­ta­to­rer hus­ker all­tid på å nevne dette før de gy­ver løs med over­dre­vent sikre kon­klu­sjo­ner ba­sert på dagens må­ling. «Selv om be­ve­gel­sene er innen­for feil­mar­gi­nene…». Men hvor sikre er egent­lig disse feil­mar­gi­nene?

I dag har vi fått tre må­lin­ger av Høyre: én på 33,0 (± 2,9), én på 29,2 (± 2,8) og én på 37,6 (± 3,0). Feilmarginen skal angi et in­ter­vall der det, ut fra re­sul­ta­tene i må­lin­gen, er 95 % sik­kert at par­ti­ets vir­ke­lige opp­slut­ning lig­ger innen­for in­ter­val­let.

Slik ser det ut hvis vi set­ter opp sann­syn­lig­hets­kur­vene (tett­hets­kur­ver) for de tre for­sla­gene. Legg merke til at det er svært lite over­lapp: ste­der der det er sær­lig sann­syn­lig at den vir­ke­lige opp­slut­nin­gen lig­ger som gjør både den rød, grønne og blå må­lin­gen rik­tig.

Så la oss nå anta at me­nings­må­lerne har kor­rekte me­to­der for å måle hva folk kom­mer til å stemme i valg. Vi antar også at de leg­ger til grunn det samme fol­ket, altså at det er den samme, sanne, un­der­lig­gende pro­sent­sat­sen av vel­gere som vil stemme Høyre. Videre antar vi at me­to­den for å sette feil­mar­gin og sik­ker­het i ana­ly­sen er kor­rekt (es­ti­mere re­li­a­bi­li­tet). Hva er da sann­syn­lig­he­ten for at dagens hen­del­ser skulle inn­treffe?

Matten er litt kom­pli­serti, men sva­ret er enkelt: Sannsynligheten for at dette skulle opp­stå ved en til­fel­dig­het er om­trent én til tre hundre tu­sen: 0.000003. Det er en for­svin­nende liten sann­syn­lig­het. Det er som å strø en de­si­li­ter suk­ker ut på gul­vet, og så plukke opp et eneste suk­ker­korn, og få det rik­tige kor­net.

Det er altså høyst sann­syn­lig noen som tar feil, og enda vik­ti­gere: det er svært usann­syn­lig at feil­mar­gi­nene er rik­tig satt.

Vi be­gynte med å anta at me­nings­må­lerne har kor­rekte me­to­der. Vi har fun­net at der­som me­to­dene er kor­rekte, er dagens re­sul­ta­ter eks­tremt lite sann­syn­lige. Vi kan kon­klu­dere, med stor grad av sik­ker­het, at minst ett av in­sti­tut­tene enten ikke har va­lide me­to­der, el­ler at de ikke er så re­li­able som feil­mar­gi­nen an­ty­der.

Her er for­kla­rin­gen på at det kan skje:

Målefeil kan opp­stå på grunn av tre helt ulike feil­kil­der. Den første er den van­lige, som de fleste for­bin­der med feil­mar­gin, og som er det disse bereg­nede feil­mar­gi­nene gir ut­trykk for. Hvis du spør ti til­fel­dige men­nes­ker på ga­ten, vil du selv­sagt ikke få et re­pre­sen­ta­tivt ut­trykk. Du vil få en skår (en sta­ti­stikk, som det he­ter på fag­språ­ket) som har knyt­tet til seg en viss usik­ker­het. Dersom du vet hvor mange du har spurt, kan denne usik­ker­he­ten må­les og kvan­ti­fi­se­res. Jo flere du spør, jo mindre blir usik­ker­he­ten.

Det er denne ty­pen usik­ker­het – og bare det – som dan­ner grunn­lag for feil­mar­gi­nen me­nings­må­lerne opp­gir. De antar altså, im­pli­sitt, at de har et per­fekt ran­do­mi­sert ut­valg og en per­fekt, va­lid og re­li­a­bel me­tode for å finne ut hva folk kom­mer til å stemme – og hvem som fak­tisk ender opp med å stemme – gjen­nom et te­le­fon­in­ter­vju.

Den andre usik­ker­he­ten skyl­des svak­het i ut­val­get. La oss si at du bare spør de ti som du mø­ter først. Det er ikke et re­pre­sen­ta­tivt ut­valg: du vil tro­lig møte en fa­mi­lie, el­ler i hvert fall folk som er ute og går sam­ti­dig, og ikke minst folk som bor i nær­he­ten av der du er. Slike feil fø­rer til for­sky­vin­ger i tall­ma­te­ria­let.

Også slike ting er i prin­sip­pet kvan­ti­fi­ser­bare, men i prak­sis er det vel­dig vans­ke­lig, fordi du aldri vet om alle de rele­vante fak­to­rene å trekke inn. Den beste må­ten å unngå den andre fei­len, er å bruke et helt til­fel­dig ut­valg.

Her er ikke me­nings­må­lerne per­fekte. Det er nem­lig ikke til­fel­dig hvem som sva­rer på te­le­fon, hvem som har te­le­fon, hvem som sva­rer in­sti­tut­tet, osv. Målerne for­sø­ker å kor­ri­gere for dette ved å legge på vek­ter av­hen­gig av for­skjel­lige pa­ra­metre. Har de for få ung­dom­mer i det ut­val­get de fikk i dag, mul­ti­pli­se­rer de opp sva­rene til de ung­dom­mene som fak­tisk svarte. Men i og med at må­lerne ikke kjen­ner alle rele­vante kri­te­rier be­folk­ni­gen for­de­ler seg etter, er det umu­lig å bli helt kvitt den eks­tra usik­ker­he­ten som føl­ger av ikke-randomiserte ut­valg.

Men det fin­nes også en tredje: me­tode­svak­he­ter. Det er to ho­ved­svak­he­ter for me­nings­må­lin­ger. Den ene er at folk ofte ikke stem­mer, og det er ikke jevnt for­delt mel­lom par­ti­ene. Den andre er at folk ikke er ær­lige når de blir in­ter­vjuet, og det er hel­ler ikke til­fel­dig.

Effektene av dette er uover­sikt­lige og vans­ke­lige å kvan­ti­fi­sere. Man for­sø­ker seg på å av­stemme det hele ved å gjøre rå­må­lin­ger om­trent sam­ti­dig som valg, og se hvor­dan må­lin­gen av­vi­ker fra fa­sit. Deretter kor­ri­ge­rer man med en fast fak­tor: er det slik at rå­må­lin­gen vi­ser at Frp må­les 11 % for høyt, gan­ger man Frps tall med dette fra da av.

Men dette in­tro­du­se­rer usik­ker­het: disse fak­to­rene kan endre seg i løpet av året. De kan flytte seg fra parti til parti. Ulike vel­ger­grup­per kan mo­bi­li­se­res og de­mo­bi­li­se­res. Fordi me­nings­må­lings­in­sti­tut­tene har ulike må­ter å vekte på, vil dette slå ulikt ut. Jeg kjen­ner ikke de­tal­jene i vek­ting­sys­te­mene de bru­ker, men det er ikke uten­ke­lig at det også vil slå ulikt ut i løpet av tiden mel­lom to valg. Kanskje bru­ker noen vek­tings­form­ler som tar høyde for at Høyrebølgen vi ser nå er en type sving­ning som sjel­den mani­fes­te­rer seg i valg, og jus­te­rer dem ned?

Uansett vil disse fei­lene øke usik­ker­he­ten knyt­tet til en må­ling, uten at det er tatt med i det enkle må­let på usik­ker­het som må­lin­gene opp­gir.

Fotnoter

  1. Dette ko­ker ned til spørs­må­let: For hvil­ken x blir sann­syn­lig­he­ten mak­si­mal? Sannsynligheten er her sann­syn­lig­he­ten for å sam­ti­dig trekke minst x fra en for­de­ling med la­vere gjen­nom­snitt og trekke mak­si­malt x fra alle for­de­lin­ger med høy­ere gjen­nom­snitt: vi mul­ti­pli­se­rer altså in­te­gra­let av «ha­lene», etter­som de an­gir sann­syn­lig­he­ten for å gå minst så langt fra midt­punk­tet, noe som er det rik­tige må­let på hvor sann­syn­lig et be­stemt treff er. Merk at vi kon­ver­te­rer fra an­de­ler til antall re­spon­den­ter og ar­bei­der med dis­krete for­de­lin­ger. []

Skrevet av

Sigve Indregard

Jeg er journalist i Morgenbladet, men skriver her helt for egen maskin. Jeg er samboer og har to døtre. Ellers er jeg interessert i internasjonal politikk, skolepolitikk, økonomi, filosofi og romersk historie.

2 kommentarer til «Meningsmålermeningsmåling»

  1. Øystein: Ja nes­ten, feil­mar­gi­nene (el­ler kon­fi­dens­in­ter­val­lene som sta­tis­ti­kerne kal­ler det) er pluss/minus 2*Standardfeilen. Standardfeilen er va­ria­sjo­nen i «for­sla­get» (es­ti­mert el­ler an­slått opp­slut­ning om et parti) fra ut­valg til ut­valg. Standardfeilen min­ker når ut­val­get blir større.

    Indregard:
    Litt pirk om ter­mi­no­logi. Vanligvis skjel­ner vi mel­lom «måle­feil» som har med hva den enkelte re­spon­dent sva­rer og «ut­valgs­feil» som har med ut­val­get av re­spon­den­ter (selv om ef­fek­ten av disse kan være det samme).

    «Reliabilitet» bru­kes van­lig­vis om hvor på­li­te­lige sva­rene fra den enkelte re­spon­dent er. Tilfeldige måle­feil jev­ner seg ut i store ut­valg (men gir vel egent­lig større feil­mar­gin fordi det kom­mer i til­legg til til­fel­dig­he­ter i ut­val­get). Systematiske måle­feil (f.eks. at folk lyver) deri­mot er vans­ke­li­gere, her må man ha en fa­sit som grunn­lag for å lage for­skjel­lige vek­ter (men me­get vri­ent som du skri­ver).

    Den sta­tis­tiske teorien hånd­te­rer vel egent­lig bare til­fel­dige sving­nin­ger i ut­valg. Jeg tror dette er vans­ke­ligst å for­stå for lek­folk. Nemlig at til­fel­dig ut­valg = re­pre­sen­ta­tivt («re­pre­sen­ta­tivt» er et be­grep man helst unn­går blant fag­folk). Systematiske skjev­he­ter i ut­val­get er fak­tisk vans­ke­li­gere å hånd­tere, fordi skjev­he­tene dels er ukjente.

    Min kon­klu­sjon er at end­rin­ger over tid må vur­de­res vha me­nings­må­ling som bru­ker samme me­tode fra gang til gang. Mens best mu­lig gjet­ning om hvor­dan par­ti­ene fak­tisk lig­ger (ab­so­lutt nivå) får vi ved snitt av må­lin­ger med litt ulike me­to­der.

Legg gjerne igjen en kommentar!