Author Topic: Fagfellevurdering på IPCC-måten  (Read 386 times)

translator

  • Seniormedlem
  • ****
  • Posts: 435
    • View Profile
Fagfellevurdering på IPCC-måten
« on: 09.09.2019, 17:01:42 »
Åpner dette som en egen tråd for fremtidig referanse og for ikke å avspore diskusjonen for mye i en annen tråd:

Quote
Det som foregår i IPCC er langt unna det som vanligvis forbindes med fagfellevurdering. – en bekymring om at det er en upassende og misvisende beskrivelse er ikke noe nytt. I 2002 reiste Sonja Boehmer-Christiansen og Aisley Kellow dette spørsmålet i boken om Kyoto-protokollen. De observerte at mens IPCCs ledere påberopte seg bruk av fagfellevurdering i produksjonen av IPCC-rapportene, var virkeligheten at «det kommer til kort» sammenlignet med vanlig fagfellevurdering på «fem viktige punkter».

Tradisjonelt, fortsatte de, er fagfellevurderingen anonym. Kritikerne kan snakke fritt, fordi dere identitet forblir ukjent. I IPCC derimot hefter kritikerens navn til hver kommentar som vises forfatteren. I praksis inviterer det forfatteren til å ignorere enkelte kommentarer – enten fordi de mener at den som kommenterte, ikke er viktig, eller fordi de vurderer kritikeren til å være klimaskeptiker som man skal ignorere.

Før et tidsskrift sender ut en artikkel for fagfellevurdering fjerner de forfatterens navn. Dette skal forsikre om at artikkelen blir vurdert etter sin egenverdi. Om forfatteren er en obskur forsker eller en mindre celebritet, skal ikke farge kritikerens bedømmelse. Ved IPCC er identiteten til alle kapittelforfatterne kjent for alle. Da noen av dem har stor innflytelse på sitt eget fagområde, vil mange være forsiktige med å utfordre eller krenke dem i sin rolle som IPCC-ekspertkritikere.

Forskjellene slutter ikke med det. I et tidsskrift leser fagfelleekspertene hele artikkelen de skal bedømme. I IPCC eksaminerer og kommenterer ekspertkritikerne det de måtte ønske av en rapport på totalt 3000 sider. Siden kritikerne ikke får ansvar for avgrensede deler, kan store deler av IPCC-rapporten bli unntatt fra vurdering.

I tillegg til dette pekte Boehmer-Christiansen og Kellow på at «det er ingen mulighet for at kapitler ikke vil bli trykket (deres uthevning). Det betyr at den verste, mest fryktede avgjørelse i den akademiske fagfellevurderingen  - at artikkelen vil bli avvist – helt og holdent er fjernet.

Det som foregår i IPCC er ikke en fagfellevurdering, slik dette vanligvis blir forstått. Det er meget nærmere det jeg opplevde da jeg skrev denne boken. På et gitt punkt sendte jeg et utkast via e-post til mine kolleger, venner og slektninger. De som sjenerøst tok seg tid fra sin travle hverdag til å lese og gi gode råd om hvordan det kunne bli bedre. Det var mitt ansvar å ha vett til å følge disse forslagene.

Det var ingen anonymitet. Det var ingen nøytral part som fortalte meg at om jeg ikke imøtekom rådene, ville ikke boken bli utgitt. Det var ingen risiko for disse menneskene at boken ville bli stoppet.

At inviterte utenforstående kommer med forslag, er ikke det samme som en akademisk fagfellevurdering. Ikke på langt nær. At IPCC lenge har satt likhetstegn mellom sin uformelle prosess og den langt mer rigorøse, uavhengige og risikofylte prosessen man tenker på når man hører ordet fagfellevurdering er bekymringsfullt
.

Utdrag fra Donna Laframboises bok "Den oppblåste tenåring", norsk utgave 2011 (side 160-162)
« Last Edit: 09.09.2019, 18:32:18 by translator »
IPCC - They've told us what it's NOT. But NOT what it is.

Emeritus

  • Supermedlem
  • *****
  • Posts: 2 782
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #1 on: 09.09.2019, 20:55:38 »
Flott, så fikk jeg endelig lest litt fra Donna Laframboises bok og ser allerede nå at denne damen har svært begrenset innsikt i hva hun skriver om, jeg kan således med god samvittighet la være å kjøpe boken.

Via to andre personer, Sonja Boehmer-Christiansen og Aisley Kellow, mener hun å finne alvorlige mangler ved IPCC prosessen. Hun har altså ikke undersøkt eller tilsynelatende tenkt over spørsmålet for egen maskin. Det fremmes fem konkrete innsigelser (på «fem viktige punkter») , dette er;

- reviewerne er ikke anonymisert for forfatterne
- forfatterne er ikke anonymisert for reviwerne
- reviewerne leser og kommenterer ikke alle de 3000 sidene, bare deler
- at muligheten for at hele kapittelet ikke blir publisert, det som ellers er konsekvensen ved journalutgivelser, er fraværende i IPCC prosessen
- og den femte innsigelsen var? Er det jeg eller Donna som ikke kan telle til fem?

En kan jo allerede stoppe opp her og stille spørsmålet om Donna virkelig vil ha en prosess der forfatterne av IPCC rapportene skal være anonyme, det må i så fall bety at hele utvelgelsesprosessen skal være skjult?

Jeg tar de to siste først. Men jeg hadde satt stor pris på om noen kan vise meg hvor;

Quote
«… IPCC lenge har satt likhetstegn mellom sin uformelle prosess og den langt mer rigorøse, uavhengige og risikofylte prosessen…»

Dernest må noe fortelle meg om Donna i det hele tatt har forstått reviewprosessen i IPCC. I hvert enkelt kapittel er der følgende aktører;

Coordinating Lead Authors
Lead Authors
Contributing Authors
Review Editors

For den siste gruppen er det utarbeidet en instruks;

https://wg1.ipcc.ch/AR6/documents/AR6_WGI_Guidance_note_Role_REs.pdf

Som bl.a. har følgende pålegg:

Quote
The REs are encouraged to inform the WGI Co-Chairs if they identify issues that are potentially contentious or controversial. REs may also suggest that the TSU contact additional reviewers for their entire chapter or for individual sections therein for the expert review of the Second Order Draft.

Videre:
Quote
  REs should read all comments on their chapter to identify critical issues that will require discussion with the chapter author team. This should include focused attention where review comments are inconsistent or contradictory, where considerable rewriting may be needed, and where scientific controversies exist. 
Dette gjelder riktignok AR6, her er tilsvarende for AR5:

https://archive.ipcc.ch/pdf/ipcc-principles/ipcc-principles-appendix-a-final.pdf

Så Donna bommer altså fullstendig, hvert enkelt kapittel har sin egen fagfelleprosess administrert av egne redaktører som kan peke ut ytterligere eksperter ved tvil og de skal lese gjennom alle kommentarer som kommer inn fra den andre gruppen, de utenforstående som kommenterer kapittelet. For øvrig karakteriserer hun IPCC prosessen som "uformell" i forhold til vanlig journalpraksis, den som karakteriserer IPCC prosessen som "uformell" kan umulig ha satt seg inn i prosessen;

http://www.climatechange2013.org/images/report/WGI%20AR5%20Review%20Editor%20Report%20(30%20Jan%202014).pdf

At den enkelte reviewer ikke skal kommentere alle de 3000 sidene er jo bare et utslag av at IPCC ikke er klimaskeptikere. Bare folk av Ellestad og Aaslid kaliber anser seg kompetent til å kritisere alle mulige og umulige deler av en rapport med innhold fra en hel rekke til dels svært ulike fagdisipliner.

Så var det muligheten for at hele kapittelet ikke skulle bli utgitt? Hva slags idiotalternativ er nå det. Skal en WGI rapport uten Detection and Attributionof Climate Change: from Global to Regional ikke bli utgitt, eller hva med å utelukke hele kapittel 8, Anthropogenic and Natural Radiative Forcing?

Hvor blåst i håvve er det mulig å bli, og samtidig utgi en bok der dette dokumenteres for all verden?

Så var det ulike former for blindhet. Det som skrives av Donna er feil, hun kan ikke en gang begrepene. Dette benevnes også double eller single blind peer review, i første tilfelle er både forfatter og reviewerne ukjente for hverandre, i det siste tilfellet vet reviwerne hvem forfatteren er men ikke omvendt. Donna hevder altså at double blindness er standarden, men i naturvitenskapene er det single blind som er normen;

https://www.aps.org/publications/apsnews/201507/double-blind.cfm

Quote
But in science, single-blind is the norm. The journal of the same name, Science, only offers single-blind.   

Men Nature er i ferd med å tilby åpen fagfellevurdering:

https://www.nature.com/articles/d41586-018-06045-5

Hele systemet er omstridt og har varierende praksis i ulike disipliner, særlig har nettet endret hele prosessen, det blir nå vanligere og vanligere med helt åpen review der kommentarene kan leses i sann tid mens prosessen foregår. Den gren som har holdt på lengst med dette - medisin - er i ferd med å forlate det;

http://jp.senescence.info/thoughts/open_peer_review.html

Quote
Anonymity is based on the principle that anonymous reviewers will be more honest and objective. For example, open peer review may hinder junior scientists from rejecting works by more senior colleagues. This coward behavior is nearly exclusive of science. In the arts and even in politics criticism is open and serves an important role in making ideas stronger (Brown, 2003). All fields in science have suffered revolutionary schisms because of new ideas that overtake the establishment. Consequently, reviewers must be prevented from smothering creativity and originality.

Overall, authors are largely in favor of open peer review (van Rooyen et al., 1999). The quality of anonymous reviews has been deemed as slightly inferior to non-anonymous reviews but this has not been always statistically significant (Godlee, 2002). What is important is that abuse by reviewers is mitigated by eliminating anonymity. Open peer review also brings accountability and credit to reviewers.

Mostly for ethical reasons, the British Medical Journal already has an open peer review system. Reviewers are asked to sign their reviews and declare any competing financial interests. This is an important step in the right direction. (min understrekning)

La meg avslutningsvis i folkeopplysningens navn få opplyse om enda en form for review spesielt utarbeidet for klimaskeptikere, der får forfatteren velge reviwerne selv:

Quote
Lindzen and Choi revised their paper and submitted it to PNAS.[53] The four reviewers of the paper, two of whom had been selected by Lindzen, strongly criticized the paper and PNAS rejected it for publication.[54] Lindzen and Choi then succeeded in getting a little known Korean journal to publish it as a 2011 paper.[53][55] (alle kjenner igjen kilden)

Donna kan bare gå legge seg eller søke jobb på Nille der hun kan selge servietter og Fondue sett, som vitenskapskritikere vil de fleste oppblåst tenåringer score like høyt, gi meg heller denne Donna:

https://www.youtube.com/watch?v=AqS4aNi0HQY
« Last Edit: 09.09.2019, 20:58:33 by Emeritus »

Sabben

  • Nybegynner
  • *
  • Posts: 13
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #2 on: 15.09.2019, 16:53:04 »
Litt om IPCC fagfelle vurdering fra Nils Axel Mørner, virker ikke særlig troverdig!

https://www.youtube.com/watch?v=ViY2J3LPgN4
« Last Edit: 15.09.2019, 16:56:33 by Sabben »

Telehiv

  • Global moderator
  • Supermedlem
  • *****
  • Posts: 2 132
  • Qui vivra verra
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #3 on: 16.09.2019, 10:53:14 »
Litt om IPCC fagfelle vurdering fra Nils Axel Mørner, virker ikke særlig troverdig!

https://www.youtube.com/watch?v=ViY2J3LPgN4

Hei Sabben,
hyggelig med ny deltaker på forumet!
Velkommen til god og saklig debatt!

Sabben

  • Nybegynner
  • *
  • Posts: 13
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #4 on: 18.09.2019, 15:14:37 »
Takk for en varm velkomst Telehiv!

Navnet til denne tråden "Fagfellevurdering på IPCC-måten" synest jeg er veldig passende til artikkelen her. https://www.theguardian.com/environment/2010/jan/20/ipcc-himalayan-glaciers-mistake

Den gjennomskuer liksom standarden som satt når det gjelder fagfellevurdering hos IPCC!


Telehiv

  • Global moderator
  • Supermedlem
  • *****
  • Posts: 2 132
  • Qui vivra verra
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #5 on: 18.09.2019, 15:37:45 »
Takk for en varm velkomst Telehiv!

Navnet til denne tråden "Fagfellevurdering på IPCC-måten" synest jeg er veldig passende til artikkelen her. https://www.theguardian.com/environment/2010/jan/20/ipcc-himalayan-glaciers-mistake

Den gjennomskuer liksom standarden som satt når det gjelder fagfellevurdering hos IPCC!

Ja, linken din til en 2010-kommentar i The Guardian viser konkrete og udiskutable tilfeller der IPCCs kvalitetskontroll har sviktet helt. 2007-rapporten hadde jo som kjent en rekke andre grove feil også, som måtte beklages etterpå. Samt at de da diskret hadde tonet bort Michael Manns utskeielser i forrige rapport.
Men det har ikke hindret IPCC og deres medløpere siden 1990-tallet å bare gjenta at "the science is settled".
En science de har måttet etterjustere hele veien i årenes løp etter hvert som feilene ikke har kunnet forsvares lenger.
Men rett har de hele tiden...
« Last Edit: 18.09.2019, 16:19:35 by Telehiv »

Emeritus

  • Supermedlem
  • *****
  • Posts: 2 782
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #6 on: 18.09.2019, 17:04:01 »
Sitat Telehiv:

Quote
  Men det har ikke hindret IPCC og deres medløpere siden 1990-tallet å bare gjenta at "the science is settled".
En science de har måttet etterjustere hele veien i årenes løp etter hvert som feilene ikke har kunnet forsvares lenger.
Men rett har de hele tiden...   

Du har en fantastisk evne til aldri å gjengi noe som helst som inneholder akronymet "IPCC" på en korrekt måte.

For det første er det som kjent uvitenskapelig å hevde at "The Science is settled" og jeg tviler sterkt på at du finner en slik uttalelse i noen IPCC rapport.

Der er stor vitenskapelig konsensus om drivhusteorien og hvor mye atmosfæren vil bli oppvarmet alene som en følge en dobling av klimagassene, så vidt jeg forstår er dette et relativt enkelt regnestykke uten at jeg en gang skal forsøke å gjengi det. Og at der er stor konsensus om dette spørsmålet har faktisk en stor betydning enten du liker det eller ikke.

Der er overhodet ingen enighet om, og det gjelder også blant de såkalte IPCC - medløperne*, om styrken og retningen på de ulike feedbackene som vil oppstå og hva disse feedbackene vil bestå av.

Og når du skriver

"En science de har måttet etterjustere hele veien i årenes løp etter hvert som feilene ikke har kunnet forsvares lenger. Men rett har de hele tiden..."

Så er du absolutt inne på noe. Det du beskriver benevnes også  "den vitenskapelige prosess" og det ville jo være dypt tragisk om en i løpet av 30 år ikke skulle ha skiftet oppfatning om en rekke temaer gitt all den forskningsinnsats som er satt inn på et så komplisert system. Kan det tenkes at der er en god grunn til at vi nå nærmer oss AR6? Hvorfor bry seg med å utarbeide AR6 hvis AR1 var fullkommen og ikke måtte endres?

Jeg vil faktisk anbefale Klimarealistene å forsøke det samme, altså å skifte mening i takt med empirien og forskningen, Humlum et als. totalbommer gjennom en årrekke må vel etter hvert begynne å bli svært pinlig? Ikke skyt meg, jeg skal bare hilse fra Albert E:

Quote
Definisjonen på galskap er å gjøre de samme tingen om og om igjen, men forvente forskjellig resultat.

*Jeg vil med styrke hevde at uttrykket "IPCC kollaboratørene" hadde gitt mer schwung.
« Last Edit: 18.09.2019, 17:09:27 by Emeritus »

frankolsen

  • Medlem
  • ***
  • Posts: 108
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #7 on: 18.09.2019, 19:25:10 »




For det første er det som kjent uvitenskapelig å hevde at "The Science is settled" og jeg tviler sterkt på at du finner en slik uttalelse i noen IPCC rapport.

Bare sånn med 95 % sikkerhet.
Eller var det 97  ;D

Emeritus

  • Supermedlem
  • *****
  • Posts: 2 782
    • View Profile
Re: Fagfellevurdering på IPCC-måten
« Reply #8 on: 18.09.2019, 22:30:51 »
Der er etter hvert blitt mange såkalte "konsensusstudier," den mest kjente og omtalte er Cook et al(2013) som landet på 97%:

https://iopscience.iop.org/article/10.1088/1748-9326/8/2/024024

Men hva var de 97% angivelig enig i? En ECR på 3C? Nei, at AGW på et eller annet nivå var reell uten at det sies noe om hvor mye som er naturlig og hvor mye som er antropogent. Nå er jeg ingen tilhenger av slike studier og har heller ikke lest mer en abstraktet, men dette "verket" har som vi vet ikke noe som helst med IPCC å gjøre.