Fagfellevurderinger er for amatører

Er det en ting jeg har lært de siste årene etter jeg begynte å blogge og følge med på arbeidsmetoden til journalister, må det være at denne yrkesgruppen stoler blindt på hverandre og vurderer sjelden hverandres arbeid til noen tilstrekkelig grad.

Den siste nyheten om klimaforskning viser at akkurat samme problem har forankret seg innenfor forskningsmiljøene som leverer stoff til FNs klimapanel, IPCC.

Kun Nettavisen og NRK har dekket saken i Norge (bortsett fra Vampus, da), en sak som er påfallende nok til at den burde være skrevet om minst like mye som diverse påstander om havnivået som har fylt nettsidene til norske nettaviser i vinter.

Raskt oppsummert har en uvitenskapelig og spekulativ påstand fra en forsker, gitt i et kjapt telefonintervju med en journalist fra New Scientist, publisert i New Scientist og så senere i en rapport utgitt av WWF, havnet i IPCCs siste rapport med konklusjonen om at den var 90% sannsynlig (“very likely”):

Glaciers in the Himalaya are receding faster than in any other part of the world (see Table 10.9) and, if the present rate continues, the likelihood of them disappearing by the year 2035 and perhaps sooner is very high if the Earth keeps warming at the current rate.

Forskeren som er kilden til denne påstanden har nå innrømmet at den var av spekulativ art og ikke vitenskapelig, noe New Scientist, WWF, og til slutt IPCC aldri sjekket. IPCC brukte WWF som sin kilde for påstanden, selv om WWF ikke publiserer vitenskapelige rapporter. En fullstendig ubevist, uvitenskapelig påstand fra 1999 gikk altså uskadet hen inn i IPCCs rapport og fikk godkjent stempel – pluss den høye sannsynligheten for inntreffelse.

Hvordan kunne en mer eller mindre oppdiktet, uvitenskapelig, og uvurdert påstand ende opp i IPCCs rapport med beskjed om at den var svært så troverdig og sikker?

Svaret til dette ubeleilige spørsmålet er uhyre enkelt: IPCCs forfattere så ingen grunn til å tvile på det den indiske forskeren hadde sagt. Forfatteren som overså denne delen av rapporten er ikke ekspert på isbreer, heller, så han hadde enda mindre grunn til å tvile på det en forsker på emnet mente om saken. Inntrykket man får er noe helt annet enn det mediene har gitt oss av hvordan denne rapporten settes sammen.

Formannen for IPCC har tidligere hevdet at kritikk av denne påstanden baserer seg på “voodoo science” og vil nå ikke kommentere at den er avslørt som oppspinn. IPCC vil ikke kommentere saken for britiske medier. De fleste norske medier vil ikke dekke saken, engang.

Og hvorfor skulle de fleste norske journalister – som har hengt på hvert eneste ord IPCC, Al Gore, og resten av gjengen har sagt i mange år – avsløre at deres historier om den svært bunnsolide IPCC-rapporten er akkurat like etterrettelige som påstanden om smeltingen av isbreer i Himalayas? De har falt i akkurat samme felle som IPCC.

Man kan tildels skjønne at journalister ikke sjekker hva deres kolleger skriver, det handler om politikk, det handler om tillit, det handler om tro, det handler om å klokke inn og ut på jobb. IPCCs forskere og rapportforfattere, derimot, har en langt viktigere og seriøs jobb å gjøre og burde være hevet over slik slurv, latskap, eller vitenskapelige mangler. Deres jobb er å sjekke at alt de skriver er korrekt, faktasjekket, dobbeltsjekket, og ikke minst – fagfellevurdert.

Igjen, og igjen, og igjen har mediene fortalt oss at IPCCs rapporter er verdt sin vekt i gull, at de er fagfellevurderte og dermed troverdige, etterrettelige, hevet over en hver vitenskapelig tvil. Det stemmer ikke. Det er feil. Det er løgn.

Man kan enkelt prøve å avfeie dette som et enkelttilfelle av slurv, men faktaene står i veien for denne bortforklaringen. Det var en rekke sammensatte feil som skjedde for at dette skulle skje, og velfungerende systemer har ikke vane for å ha feil i så mange ledd som dette eksempelet innebærer. Rekken av vitenskapelige feil i denne sammenhengen er:

1. New Scientist bruker en påstand fra en forsker, uten å sjekke den
2. WWF bruker en påstand fra New Scientist, uten å sjekke den
3. IPCC henter en påstand fra WWF, en ikke-vitenskapelig organisasjon
4. IPCC arbeider med påstanden, uten å sjekke den
5. IPCCs forfattere går gjennom denne delen av rapporten, uten å sjekke påstanden
6. IPCC gir påstanden 90% sannsynlighet, til tross for at den ikke er sjekket og dokumentert
7. IPCC publiserer rapporten, uten å dobbeltsjekke påstanden

At IPCC presisterte å gi denne påstanden en 90% sannsynlighet, uten at den var sjekket og dokumentert, tyder på at fagfellevurdering ikke bare blir benyttet sparsomt, men at det i tillegg forekommer overdrivelse av informasjonen man har hentet inn.

Nå kommer forskere frem fra mosen og hevder de hadde advart IPCC mot påstanden; Georg Kaser fra Østerrike hevder ovenfor AFP at han advarte dem om dette i 2006, skriver BBC. Hvis Kaser advarte IPCC om dette: hvorfor tok man ikke en grundig sjekk av påstanden der og da?

Den var for god til å sjekke – that’s why. Den passet inn med det forfatterene av rapportene ville skrive. Den passet med hovedkonklusjonene til rapporten – som IPCC også gav 90% sannsynlighet. Sist, men ikke minst: den kom fra en kollega. Akkurat som en journalist henter inn en faktafeil fra en annen journalist og bruker den uten å nøle, blir det man antar er forskning stemplet godkjent og sendt videre.

Klistrelappforskning har jeg kalt fenomenet, som også skjer når journalister spør forskere om en ny forskningsrapport de ikke har lest, hvor de oftest nikker og godtar premissene hvis navnet er bra nok og konklusjonen er i tråd med deres egen oppfatning.

CICERO har faktisk kommentert saken, men direktør Pål Prestrud avfeier det hele som om det skulle vært en enkel skrivefeil:

– Det er særdeles uheldig at Klimapanelets rapporter inneholder en så grov feil. Ingen er ufeilbarlig, og i løpet at 3000 sider tekst vil det alltid dukke opp feil. Men denne feilen burde vært fanget opp, sier CICERO-direktør Pål Prestrud.

Skitt au! Feil skjer! Bare glem de tusenvis av forskere vi tidligere sa jobbet med rapporten, det er egentlig bare én person som skriver den, og en ape som er redaktør. Whatchagonnado?

Men alt er ikke fortapt, det finnes fremdeles ærlige og oppriktige forskere der ute. Times Online gir en kanadisk forsker ansvaret for avsløringen, som sa:

The problem is that nobody who studied this material bothered chasing the trail back to the original point when the claim first arose. It is ultimately a trail that leads back to a magazine article and that is not the sort of thing you want to end up in an IPCC report.

Skribenten for New Scientist føler seg nå lurt, og mener IPCC burde ta en skikkelig oppvask og forklare hvordan det kunne gå så galt. Han glemmer en viktig ting: IPCC driver ikke på vitenskapelig basis, noe de nå for lengst har bevist for alle. Det kommer ikke til å bli noen etterforskning innenfor FNs korridorer for å finne ut hvordan dette skjedde. Om et par uker, har alle som har lest om det allerede glemt det.

Hvis du ikke leser NRK eller Nettavisen i Norge, så er det like greit. Da har det aldri skjedd. IPCC er like feilfri som sist gang norske medier sa det.

Fagfellevurderte IPCC er fremdeles bunnsolid, er alt du trenger å vite, lille nordmann.