Et av de store temaene idag har vært Civitas spørreundersøkelse om menneskerettigheter i forbindelse med Oslo Freedom Forum. Et av spørsmålene i denne undersøkelsen ble mye omtalt i mediene idag, der nordmenn ble spurt følgende spørsmål:
Er det riktig å benytte alle midler, inklusive tortur, for å få vedkommende til å utgi opplysninger som hindrer terrorhandlingen?
Ifølge Kvasirs nyhetssøk, er det ingen nettaviser som så langt har presentert spørsmålet som faktisk ble stilt til 1098 personer. Den eneste som oppgir antallet på dem som er med i undersøkelsen er Aftenposten.
Men dette tallet, og hele troverdigheten til spørreundersøkelsen, er det store grunner til å trekke i tvil.
Ikke-vitenskapelige metoder
Det har seg nemlig slik at Civita har benyttet seg av Respons Analyses Webpanel, som tar kontakt med et tilfeldig utvalg av deres responspanel på 50 000 personer, via e-post. La meg gjenta det: via e-post.
Respons Analyse forklarer videre hvordan dette fungerer:
ResponsPanelet består av mer enn 50 000 aktive paneldeltakere. Vi rekrutterer jevnlig for å få inn nye medlemmer. Alle avgir svar på internett, med brukerunik link i invitasjon per e-post. Vi har et utvalg av panelet som også kan respondere med bruk av SMS. For hver undersøkelse trekkes det ut vinnere blant medlemmer som har fullført skjemaet.
En hver med kjennskap til epistemologi eller statistikk river seg nå i håret. Her er det flere brudd på vanlige statistiske metoder, for beleilighetens skyld.
Self-selection bias
Hele undersøkelsen undergraves som vitenskapelig fordi det er flere ledd med det som heter “self-selection bias“, altså at deltagerene selv har vært med på å påvirke resultatet ved å velge seg selv som medlem av populasjonen som måles. Dette skjer på flere måter med metodikken til Respons Analyses Webpanel:
- Medlemmer rekrutteres av Respons Analyse til å delta – her velger brukerene selv om de vil delta i panelet
- Invitasjonene til å delta i en undersøkelse sendes ut per e-post – her kan brukeren igjen velge om de vil delta eller ikke
- Premier for å delta – her spiller man på sjansen for å vinne noe til å få brukeren til å delta, som kan gi utslag på hva slags brukere velger å delta
Hver gang en bruker får anledning til å bestemme selv om de er med i undersøkelsen, kan det påvirke resultatet. Brukeren kan av forskjellige grunner velge om de vil delta, som kan være avhengig av det de bes svare på.
Menneskerettighetsforkjempere vil f.eks. være svært interessert i å svare på en undersøkelse om menneskerettigheter, mens andre vil være mindre interessert, som kan betyr at man får en overvekt av svar fra brukere over normalt opptatt av menneskerettigheter. Selvfølgelig vil dette gi utslag på resultatet!
Av de 1098 som ble valgt ut til undersøkelsen, hvor mange av dem var det egentlig som svarte? Det får vi heller ikke vite noe om.
Umulig å finne feilmarginer
Det oppgis aldri noe sted i Civitas gjennomgang av undersøkelsen hva feilmarginen på den var. Grunnen til dette er enkel: det går ikke an å beregne en feilmargin på en undersøkelse som ikke er gjort etter vitenskapelige metoder.
Selvvalg-problemet fører til at det er helt umulig å bruke statistiske prinsipper og teorier til å beregne en vitenskapelig feilmargin. I det Civita aldri presenterer dette, er det enda mer bevis for at undersøkelsen ikke er vitenskapelig.
Hvor mye forskjell fra VG Nett-målinger?
Rapporten fra Civita om undersøkelsen gir heller ikke svar på om det er en vitenskapelig undersøkelse. Det pleier å stå ene den ene veien eller den andre, slik som på VGs egen meningsmåling om emnet på nett, som tydelig gjør det klart at det ikke er en vitenskapelig måling.
Ironisk nok er VG Netts meningsmåling om tortur nesten like bra som den Respons Analyse har utført for Civita, den vesentlige forskjellen er at Respons har vektet datagrunnlaget mot demografiske forhold.
Som det står nå på VG Netts måling, sier 53% nei til bruk av tortur, og 47% ja, som er et helt annet resultat enn 50-30 som Civitas måling fant.
Hvorfor brukes Respons Analyses undersøkelser?
Så man kan begynne å lure, når man ikke ser ordet “vitenskapelig” noe sted i forbindelse med denne undersøkelsen: tilbyr Respons Analyse egentlig vitenskapelige undersøkelser i det hele tatt? Et søk på nettsiden deres gir svaret: nei. Det eneste de kan skilte med som er vitenskapelig, er bakgrunnen til noen av dem som jobber der. Skulle bare mangle!
Hvorfor har man benyttet en ikke-vitenskapelig undersøkelse for et så kontroversielt og ømt tema? I ett ord: kostnad. Å få utført en skikkelig meningsmåling koster minst 10 000 kroner – for bare ett spørsmål! Det sier seg selv at å sende ut undersøkelser via e-post er mye, mye, mye billigere enn å ha en stab som sitter og ringer opp 1000 nordmenn ved middagsbordet.
Burde ikke mediene fortalt oss at undersøkelsen de omtaler ikke er vitenskapelig, og dermed at dets konklusjoner ikke egentlig er å regne som gyldige?
Det antar i så fall at mediene våre driver med kritisk journalistikk, noe som er heller unntaket enn regelen, dessverre. Saken til Civita var for god til å la gå forbi, og da går det fint an å se andre veien når det gjelder hvorvidt det man omtaler egentlig har noe for seg.
Denne “avsløringen” om metodene til Respons Analyse vil heller ikke få noen følger for dem. Mediene og organisasjoner bruker dem til så mangt; partibarometeret til Aftenposten er laget av Respons Analyse. Uvitenskapelige målinger av Respons Analyse, og andre, er her for å bli – men du burde iallfall være klar over det.
Full disclosure: min arbeidsgiver jobber med et produkt som ikke er direkte konkurrerende med Respons Analyses webpanel, men kan lett oppfattes som om det er nettopp det. Dette har hatt absolutt ingen påvirkning på dette innlegget, da innvendingene er ikke mot Respons Analyses metoder, men mot dem som benytter deres tjenester uten å opplyse om deres karakter.
