Tekijäharhaisuuden testaus vertaisarvioinnissa

Biolääketieteen aikakauslehdissä ei ole yksimielisyyttä vertaisarviointiprosessin aikana tapahtuvasta sokeuttamisesta. Jotkut lehdet yrittävät poistaa kaikki tekijän tunnisteet mahdollisista käsikirjoituksista ennen kuin ne toimitetaan arvioijille vertaisarviointia varten, kun taas toiset haluavat jättää kirjoittajuuden avoimeksi. Vaikka vertaisarviointi on edelleen käsikirjoitusten arvioinnin kultainen standardi, toimitusten välisen standardoidun sokaisuprosessin puute voi aiheuttaa julkaisuharhaa ja vaikeuttaa eri aikakauslehdissä julkaistujen käsikirjoitusten vertailua.

Soketun vertaisarviointijärjestelmän kannattajat uskovat, että tekijän tuntemus voi jättää tuomarit alttiiksi ennakkoluuloille näiden tekijöiden aiemman tutkimuksen, havaitun asiantuntemuksen, instituution, kansallisuuden tai sukupuolen suhteen. Tämä siirtää arvioinnin pois tieteellisen työn ansioista ja tuo arvioon ennakkokäsityksiä kirjoittajan identiteetistä ja taustasta. Sitä vastoin läpinäkyvän tekijän kannattajat väittävät, että tekijän identiteetin tunteminen helpottaa erotuomarin antamaa asianmukaisempaa kritiikkiä. Avoin tekijäntunnistus antaa referensseille mahdollisuuden verrata nykyistä käsikirjoitusta tekijän aiemmin julkaistuun työhön ja tunnistaa tai tunnistaa mahdollisesti tärkeitä eturistiriitoja.

Siksi tutkijat ehdottavat kokeellista tutkimusta, jossa käsitellään kysymystä siitä, vaikuttaako sokeuttaminen siihen todennäköisyyteen, että arvioija suosittelee vertaisarvioitavan tutkimuksen hyväksymistä. Tutkijat aikovat työskennellä yhteistyössä lehden kanssa, jotta suuri määrä arvioijia tarkastaisi valmistetun käsikirjoituksen; kirjoittajat lähettävät tämän "koekäsikirjoituksen" joko sokkoutetussa muodossa (tekijöiden nimiä/instituutioita ei näytetä arvioijille) tai avoimessa muodossa siten, että useiden tunnettujen, arvostettujen kirjoittajien ja heidän instituutioidensa nimet ovat vertaisarvioijien nähtävillä. . Muuten käsikirjoitukset ovat identtisiä.

Kumppanuuslehti, Clinical Orthopedics and Related Research, mahdollistaa sekä avoimen että sokkoutetun vertaisarvioinnin, jossa käytetään säännöllisesti molempia lähestymistapoja (tekijät voivat valita, millaista arvostelua he haluavat lähettää CORR:lle), joten arvioijat eivät todennäköisesti joudu vaivautumaan näkemään käsikirjoitus kummassakin muodossa.

Tämän tutkimuksen ensisijaisena tavoitteena on selvittää, vaikuttaako käsikirjoituksen tunnistaminen näkyvään tekijäryhmään (avoin kirjoittaja) siihen todennäköisyyteen, että arvioijat suosittelevat käsikirjoitusta julkaisuun.

Lisäksi tutkijat aikovat tarkoituksella sijoittaa käsikirjoitukseen useita virheitä ja laskea, kuinka usein arvostelijat havaitsevat nämä virheet selvittääkseen, lukevatko arvostelijat merkittävien kirjoittajien töitä vähemmän kriittisesti.

Tutkijat vertailevat myös (identtiset) menetelmät -osion arvioijien arvosanaa määrittääkseen, johtaako käsikirjoituksen tunnistaminen merkittävien tekijöiden kanssa korkeampiin arvioijan arvosanoihin metodologisen kurinalaisuuden vuoksi.

Tämä tutkimus testaa seuraavia erityisiä hypoteeseja:

1. Näkyvien kirjailijoiden nimien ja instituutioiden näkyvyys testikäsikirjoituksissa liittyy lisääntyneeseen todennäköisyyteen, että vertaisarvioijat suosittelevat käsikirjoitusta julkaistavaksi. (Primary Study Endpoint)
2. Näkyvien kirjailijoiden nimien ja instituutioiden näkyvyyteen liittyy pienentynyt todennäköisyys, että arvostelijat havaitsevat tarkoituksellisesti kokeelliseen käsikirjoitukseen sijoitetut "virheet".
3. Merkittävien kirjailijoiden nimien ja instituutioiden näkyvyys yhdistetään arvioijien menetelmäosalle antamiin kohonneisiin arvosanoihin huolimatta siitä, että kokeellisen käsikirjoituksen menetelmäosat ovat identtisiä.

HUOMAUTUS:

Washingtonin yliopiston ihmisaiheiden arviointikomitea hyväksyi kaikki tutkimusprotokollan elementit, mukaan lukien tutkimuksen opt-out-suunnitelma arvioijien rekrytointia varten, koska katsottiin tärkeäksi, että arvioijat eivät tiedä, että heidän arvioimansa paperi oli osa tutkimusta. Minimoidakseen mahdollisen haitan, kirjoittajat valitsivat valmistetun testikäsikirjoituksen aiheeksi intervention, jota ei voitu heti toteuttaa arvioijien omissa keskuksissa (erityinen tiimikoulutusprosessi leikkaussalissa). Lisäksi osallistuneille arvioijille ilmoitettiin tiedonkeruun päätyttyä, mikä paperi oli testikäsikirjoitus, jotta he eivät harjoittaneet tällaista tiimikoulutusta valmistetun tutkimuksen tulosten perusteella.

Tarkkailijavaikutuksen (Hawthorne) riskin vähentämiseksi oli tärkeää minimoida todennäköisyys, että osallistuvat arvioijat saisivat tietää tutkimuksesta sen ollessa käynnissä. Tätä varten tutkijat päättivät olla esirekisteröimättä tutkimusta tutkimusrekisteriin.