Author Topic: Fagfellevurdering på IPCC-måten  (Read 81 times)

translator

  • Seniormedlem
  • ****
  • Posts: 392
    • View Profile
Fagfellevurdering på IPCC-måten
« on: 09.09.2019, 17:01:42 »
Åpner dette som en egen tråd for fremtidig referanse og for ikke å avspore diskusjonen for mye i en annen tråd:

Quote
Det som foregår i IPCC er langt unna det som vanligvis forbindes med fagfellevurdering. – en bekymring om at det er en upassende og misvisende beskrivelse er ikke noe nytt. I 2002 reiste Sonja Boehmer-Christiansen og Aisley Kellow dette spørsmålet i boken om Kyoto-protokollen. De observerte at mens IPCCs ledere påberopte seg bruk av fagfellevurdering i produksjonen av IPCC-rapportene, var virkeligheten at «det kommer til kort» sammenlignet med vanlig fagfellevurdering på «fem viktige punkter».

Tradisjonelt, fortsatte de, er fagfellevurderingen anonym. Kritikerne kan snakke fritt, fordi dere identitet forblir ukjent. I IPCC derimot hefter kritikerens navn til hver kommentar som vises forfatteren. I praksis inviterer det forfatteren til å ignorere enkelte kommentarer – enten fordi de mener at den som kommenterte, ikke er viktig, eller fordi de vurderer kritikeren til å være klimaskeptiker som man skal ignorere.

Før et tidsskrift sender ut en artikkel for fagfellevurdering fjerner de forfatterens navn. Dette skal forsikre om at artikkelen blir vurdert etter sin egenverdi. Om forfatteren er en obskur forsker eller en mindre celebritet, skal ikke farge kritikerens bedømmelse. Ved IPCC er identiteten til alle kapittelforfatterne kjent for alle. Da noen av dem har stor innflytelse på sitt eget fagområde, vil mange være forsiktige med å utfordre eller krenke dem i sin rolle som IPCC-ekspertkritikere.

Forskjellene slutter ikke med det. I et tidsskrift leser fagfelleekspertene hele artikkelen de skal bedømme. I IPCC eksaminerer og kommenterer ekspertkritikerne det de måtte ønske av en rapport på totalt 3000 sider. Siden kritikerne ikke får ansvar for avgrensede deler, kan store deler av IPCC-rapporten bli unntatt fra vurdering.

I tillegg til dette pekte Boehmer-Christiansen og Kellow på at «det er ingen mulighet for at kapitler ikke vil bli trykket (deres uthevning). Det betyr at den verste, mest fryktede avgjørelse i den akademiske fagfellevurderingen  - at artikkelen vil bli avvist – helt og holdent er fjernet.

Det som foregår i IPCC er ikke en fagfellevurdering, slik dette vanligvis blir forstått. Det er meget nærmere det jeg opplevde da jeg skrev denne boken. På et gitt punkt sendte jeg et utkast via e-post til mine kolleger, venner og slektninger. De som sjenerøst tok seg tid fra sin travle hverdag til å lese og gi gode råd om hvordan det kunne bli bedre. Det var mitt ansvar å ha vett til å følge disse forslagene.

Det var ingen anonymitet. Det var ingen nøytral part som fortalte meg at om jeg ikke imøtekom rådene, ville ikke boken bli utgitt. Det var ingen risiko for disse menneskene at boken ville bli stoppet.

At inviterte utenforstående kommer med forslag, er ikke det samme som en akademisk fagfellevurdering. Ikke på langt nær. At IPCC lenge har satt likhetstegn mellom sin uformelle prosess og den langt mer rigorøse, uavhengige og risikofylte prosessen man tenker på når man hører ordet fagfellevurdering er bekymringsfullt
.

Utdrag fra Donna Laframboises bok "Den oppblåste tenåring", norsk utgave 2011 (side 160-162)
« Last Edit: 09.09.2019, 18:32:18 by translator »
IPCC - They've told us what it's NOT. But NOT what it is.

Emeritus

  • Supermedlem
  • *****
  • Posts: 2 576
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #1 on: 09.09.2019, 20:55:38 »
Flott, så fikk jeg endelig lest litt fra Donna Laframboises bok og ser allerede nå at denne damen har svært begrenset innsikt i hva hun skriver om, jeg kan således med god samvittighet la være å kjøpe boken.

Via to andre personer, Sonja Boehmer-Christiansen og Aisley Kellow, mener hun å finne alvorlige mangler ved IPCC prosessen. Hun har altså ikke undersøkt eller tilsynelatende tenkt over spørsmålet for egen maskin. Det fremmes fem konkrete innsigelser (på «fem viktige punkter») , dette er;

- reviewerne er ikke anonymisert for forfatterne
- forfatterne er ikke anonymisert for reviwerne
- reviewerne leser og kommenterer ikke alle de 3000 sidene, bare deler
- at muligheten for at hele kapittelet ikke blir publisert, det som ellers er konsekvensen ved journalutgivelser, er fraværende i IPCC prosessen
- og den femte innsigelsen var? Er det jeg eller Donna som ikke kan telle til fem?

En kan jo allerede stoppe opp her og stille spørsmålet om Donna virkelig vil ha en prosess der forfatterne av IPCC rapportene skal være anonyme, det må i så fall bety at hele utvelgelsesprosessen skal være skjult?

Jeg tar de to siste først. Men jeg hadde satt stor pris på om noen kan vise meg hvor;

Quote
«… IPCC lenge har satt likhetstegn mellom sin uformelle prosess og den langt mer rigorøse, uavhengige og risikofylte prosessen…»

Dernest må noe fortelle meg om Donna i det hele tatt har forstått reviewprosessen i IPCC. I hvert enkelt kapittel er der følgende aktører;

Coordinating Lead Authors
Lead Authors
Contributing Authors
Review Editors

For den siste gruppen er det utarbeidet en instruks;

https://wg1.ipcc.ch/AR6/documents/AR6_WGI_Guidance_note_Role_REs.pdf

Som bl.a. har følgende pålegg:

Quote
The REs are encouraged to inform the WGI Co-Chairs if they identify issues that are potentially contentious or controversial. REs may also suggest that the TSU contact additional reviewers for their entire chapter or for individual sections therein for the expert review of the Second Order Draft.

Videre:
Quote
  REs should read all comments on their chapter to identify critical issues that will require discussion with the chapter author team. This should include focused attention where review comments are inconsistent or contradictory, where considerable rewriting may be needed, and where scientific controversies exist. 
Dette gjelder riktignok AR6, her er tilsvarende for AR5:

https://archive.ipcc.ch/pdf/ipcc-principles/ipcc-principles-appendix-a-final.pdf

Så Donna bommer altså fullstendig, hvert enkelt kapittel har sin egen fagfelleprosess administrert av egne redaktører som kan peke ut ytterligere eksperter ved tvil og de skal lese gjennom alle kommentarer som kommer inn fra den andre gruppen, de utenforstående som kommenterer kapittelet. For øvrig karakteriserer hun IPCC prosessen som "uformell" i forhold til vanlig journalpraksis, den som karakteriserer IPCC prosessen som "uformell" kan umulig ha satt seg inn i prosessen;

http://www.climatechange2013.org/images/report/WGI%20AR5%20Review%20Editor%20Report%20(30%20Jan%202014).pdf

At den enkelte reviewer ikke skal kommentere alle de 3000 sidene er jo bare et utslag av at IPCC ikke er klimaskeptikere. Bare folk av Ellestad og Aaslid kaliber anser seg kompetent til å kritisere alle mulige og umulige deler av en rapport med innhold fra en hel rekke til dels svært ulike fagdisipliner.

Så var det muligheten for at hele kapittelet ikke skulle bli utgitt? Hva slags idiotalternativ er nå det. Skal en WGI rapport uten Detection and Attributionof Climate Change: from Global to Regional ikke bli utgitt, eller hva med å utelukke hele kapittel 8, Anthropogenic and Natural Radiative Forcing?

Hvor blåst i håvve er det mulig å bli, og samtidig utgi en bok der dette dokumenteres for all verden?

Så var det ulike former for blindhet. Det som skrives av Donna er feil, hun kan ikke en gang begrepene. Dette benevnes også double eller single blind peer review, i første tilfelle er både forfatter og reviewerne ukjente for hverandre, i det siste tilfellet vet reviwerne hvem forfatteren er men ikke omvendt. Donna hevder altså at double blindness er standarden, men i naturvitenskapene er det single blind som er normen;

https://www.aps.org/publications/apsnews/201507/double-blind.cfm

Quote
But in science, single-blind is the norm. The journal of the same name, Science, only offers single-blind.   

Men Nature er i ferd med å tilby åpen fagfellevurdering:

https://www.nature.com/articles/d41586-018-06045-5

Hele systemet er omstridt og har varierende praksis i ulike disipliner, særlig har nettet endret hele prosessen, det blir nå vanligere og vanligere med helt åpen review der kommentarene kan leses i sann tid mens prosessen foregår. Den gren som har holdt på lengst med dette - medisin - er i ferd med å forlate det;

http://jp.senescence.info/thoughts/open_peer_review.html

Quote
Anonymity is based on the principle that anonymous reviewers will be more honest and objective. For example, open peer review may hinder junior scientists from rejecting works by more senior colleagues. This coward behavior is nearly exclusive of science. In the arts and even in politics criticism is open and serves an important role in making ideas stronger (Brown, 2003). All fields in science have suffered revolutionary schisms because of new ideas that overtake the establishment. Consequently, reviewers must be prevented from smothering creativity and originality.

Overall, authors are largely in favor of open peer review (van Rooyen et al., 1999). The quality of anonymous reviews has been deemed as slightly inferior to non-anonymous reviews but this has not been always statistically significant (Godlee, 2002). What is important is that abuse by reviewers is mitigated by eliminating anonymity. Open peer review also brings accountability and credit to reviewers.

Mostly for ethical reasons, the British Medical Journal already has an open peer review system. Reviewers are asked to sign their reviews and declare any competing financial interests. This is an important step in the right direction. (min understrekning)

La meg avslutningsvis i folkeopplysningens navn få opplyse om enda en form for review spesielt utarbeidet for klimaskeptikere, der får forfatteren velge reviwerne selv:

Quote
Lindzen and Choi revised their paper and submitted it to PNAS.[53] The four reviewers of the paper, two of whom had been selected by Lindzen, strongly criticized the paper and PNAS rejected it for publication.[54] Lindzen and Choi then succeeded in getting a little known Korean journal to publish it as a 2011 paper.[53][55] (alle kjenner igjen kilden)

Donna kan bare gå legge seg eller søke jobb på Nille der hun kan selge servietter og Fondue sett, som vitenskapskritikere vil de fleste oppblåst tenåringer score like høyt, gi meg heller denne Donna:

https://www.youtube.com/watch?v=AqS4aNi0HQY
« Last Edit: 09.09.2019, 20:58:33 by Emeritus »

Sabben

  • Nybegynner
  • *
  • Posts: 1
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #2 on: Today at 16:53:04 »
Litt om IPPC fagfelle vurdering fra Nils Axel Morner, virker ikke særlig troverdig!

https://www.youtube.com/watch?v=ViY2J3LPgN4