Testing for tilstedeværelse av forfatterskapsskjevhet i fagfellevurdering

Det er ingen konsensus blant biomedisinske tidsskrifter om emnet blinding under fagfellevurderingsprosessen. Noen tidsskrifter forsøker å fjerne alle identifikatorer for forfatterskap fra potensielle manuskripter før de leveres til referenter for fagfellevurdering, mens andre foretrekker å la forfatterskapet være åpent. Selv om fagfellevurdering fortsatt er gullstandarden for manuskriptevaluering, kan mangelen på en standardisert blendingsprosess mellom redaksjoner være en kilde til publikasjonsskjevhet og gjøre sammenligninger av manuskripter publisert i forskjellige tidsskrifter vanskeligere å tolke.

Tilhengere av et blindet fagfellevurderingssystem mener at kunnskap om forfatterskap kan gjøre dommere sårbare for skjevheter om disse forfatternes tidligere forskning, opplevde ekspertise, institusjon, nasjonalitet eller kjønn. Dette flytter dømmekraften bort fra fordelene ved det vitenskapelige arbeidet og introduserer forutinntatte forestillinger om forfatterens identitet og bakgrunn i vurderingsprosessen. Motsatt hevder tilhengere av transparent forfatterskap at kunnskap om forfatteridentitet gjør det lettere for dommeren å gi mer passende kritikk. Åpen forfatteridentifikasjon lar referenter sammenligne gjeldende manuskript med tidligere publisert arbeid av forfatteren, og å gjenkjenne eller identifisere potensielt viktige interessekonflikter.

Etterforskerne foreslår derfor en eksperimentell studie for å ta opp spørsmålet om blinding påvirker sannsynligheten for at en anmelder vil anbefale aksept av at en studie blir fagfellevurdert. Etterforskerne planlegger å samarbeide med et tidsskrift for å få et fabrikert manuskript fagfellevurdert av et stort antall anmeldere; Forfatterne vil sende ut dette "test"-manuskriptet enten i blindet form (forfatternes navn/institusjoner vises ikke til anmeldere) eller i åpen form, med navnene på flere kjente, velrenommerte forfattere og deres institusjoner synlige for fagfellebedømmere . Manuskriptene vil ellers være identiske.

Samarbeidsjournalen, Clinical Orthopetics and Related Research tillater både åpen og blind fagfellevurdering, og bruker regelmessig begge tilnærmingene (forfattere kan velge hva slags anmeldelse de foretrekker når de sender inn til CORR), og det er derfor usannsynlig at anmelderne vil bli plaget av å se en manuskript i begge formatene.

Hovedmålet med denne studien er å finne ut om identifiseringen av et manuskript med en fremtredende gruppe forfattere (åpent forfatterskap) vil påvirke sannsynligheten for at anmeldere vil anbefale manuskriptet for publisering.

I tillegg planlegger etterforskerne å med vilje plassere flere feil i manuskriptet, og måle hvor ofte anmeldere oppdager disse feilene, for å avgjøre om anmeldere leser arbeidet til fremtredende forfattere mindre kritisk.

Etterforskerne vil også sammenligne anmeldernes gradering av (identiske) metodeseksjonen, for å avgjøre om identifiseringen av et manuskript med fremtredende forfattere resulterer i høyere anmelderkarakterer for metodisk strenghet.

Denne studien tester følgende spesifikke hypoteser:

1. Synligheten av fremtredende forfatternavn og institusjoner på testmanuskripter vil være forbundet med økt sannsynlighet for at manuskriptet vil bli anbefalt for publisering av fagfellebedømmere. (Primært studieendepunkt)
2. Synligheten til fremtredende forfatternavn og institusjoner vil være forbundet med en redusert sannsynlighet for at målrettet plasserte "feil" i det eksperimentelle manuskriptet vil bli oppdaget av anmelderne.
3. Synligheten til fremtredende forfatternavn og institusjoner vil være forbundet med økte skårer gitt av anmeldere for metodedelen, til tross for at metodedelene i det eksperimentelle manuskriptet vil være identiske.

MERK:

Alle elementer i forskningsprotokollen ble godkjent av University of Washington Human Subjects Review Committee, inkludert studiens opt-out-design for rekruttering av anmeldere, siden det ble ansett som viktig at anmeldere ikke visste at papiret de evaluerte var en del av en studie. For å minimere potensialet for skade, valgte forfatterne som tema for det fabrikkerte testmanuskriptet en intervensjon som ikke umiddelbart kunne settes ut i livet ved anmeldernes egne sentre (en spesiell teamtreningsprosess på operasjonssalen). I tillegg ble deltakende anmeldere informert om hvilket papir som var testmanuskriptet ved fullføringen av datainnsamlingen, slik at de ikke fulgte denne typen teamtrening basert på resultatene fra den fabrikkerte studien.

For å redusere risikoen for en observatøreffekt (Hawthorne), var det viktig å minimere sannsynligheten for at deltakende anmeldere ville få vite om studien mens den pågikk. For dette formål valgte etterforskerne å ikke forhåndsregistrere studien i et prøveregister.