Testování přítomnosti autorské zaujatosti v Peer Review

Mezi biomedicínskými časopisy neexistuje shoda na téma zaslepení během procesu vzájemného hodnocení. Některé časopisy se pokoušejí odstranit všechny identifikátory autorství z potenciálních rukopisů předtím, než je předají recenzentům k recenznímu řízení, zatímco jiné dávají přednost tomu, aby autorství zůstalo transparentní. Ačkoli peer review zůstává zlatým standardem pro hodnocení rukopisů, nedostatek standardizovaného procesu zaslepení mezi redakcemi může být zdrojem publikační zaujatosti a ztížit interpretaci srovnání rukopisů publikovaných v různých časopisech.

Zastánci zaslepeného systému vzájemného hodnocení se domnívají, že znalost autorství může způsobit, že recenzenti budou vystaveni předsudkům ohledně předchozího výzkumu těchto autorů, vnímané odbornosti, instituce, národnosti nebo pohlaví. Tím se odsouvá úsudek od přednosti vědecké práce a do recenzního řízení se zavádějí předem vytvořené představy o identitě a původu autora. Naopak zastánci transparentního autorství tvrdí, že znalost identity autora usnadňuje rozhodčímu poskytovat vhodnější kritiku. Otevřená identifikace autora umožňuje posuzovatelům porovnat aktuální rukopis s dříve publikovaným dílem autora a rozpoznat nebo identifikovat potenciálně důležité střety zájmů.

Vyšetřovatelé proto navrhují experimentální studii, která by se zabývala otázkou, zda zaslepení ovlivňuje pravděpodobnost, že recenzent doporučí přijetí studie, která je recenzována. Vyšetřovatelé plánují spolupracovat s časopisem, aby byl vytvořený rukopis recenzován velkým počtem recenzentů; autoři zašlou tento „testovací“ rukopis buď ve slepé podobě (jména autorů/instituce se recenzentům neukazují) nebo v otevřené podobě se jmény několika známých, uznávaných autorů a jejich institucí viditelnými pro recenzenty . Jinak budou rukopisy totožné.

Partnerský časopis Clinical Orthopedics and Related Research umožňuje otevřené i zaslepené peer review, pravidelně využívá oba přístupy (autoři si mohou vybrat, jaký druh recenze preferují, když předloží CORR), a tak je nepravděpodobné, že by recenzenti měli problém vidět rukopis v obou formátech.

Primárním cílem této studie je zjistit, zda identifikace rukopisu s prominentní skupinou autorů (otevřené autorství) ovlivní pravděpodobnost, že recenzenti doporučí rukopis k publikaci.

Vyšetřovatelé navíc plánují záměrně umístit do rukopisu několik chyb a spočítat, jak často recenzenti tyto chyby odhalí, aby určili, zda recenzenti čtou práce významných autorů méně kriticky.

Řešitelé budou také porovnávat hodnocení recenzentů v části (identické) metody, aby určili, zda identifikace rukopisu s významnými autory vede k vyšším hodnocením recenzentů z hlediska metodické přísnosti.

Tato studie testuje následující konkrétní hypotézy:

1. Viditelnost významných jmen autorů a institucí na testovacích rukopisech bude spojena se zvýšenou pravděpodobností, že rukopis doporučí ke zveřejnění recenzenti. (Koncový bod primární studie)
2. Viditelnost významných jmen autorů a institucí bude spojena se sníženou pravděpodobností, že recenzenti odhalí záměrně umístěné „chyby“ v experimentálním rukopisu.
3. Viditelnost významných jmen autorů a institucí bude spojena se zvýšeným hodnocením udělovaným recenzenty v sekci metod, a to navzdory skutečnosti, že sekce metod experimentálního rukopisu budou totožné.

POZNÁMKA:

Všechny prvky výzkumného protokolu byly schváleny komisí pro hodnocení lidských subjektů University of Washington, včetně návrhu odhlášení ze studie pro nábor recenzentů, protože bylo považováno za důležité, aby recenzenti nevěděli, že dokument, který hodnotili, byl součástí studie. Aby se minimalizovala možnost poškození, autoři zvolili jako téma vyrobeného zkušebního rukopisu zásah, který nebylo možné okamžitě uvést do praxe ve vlastních centrech recenzentů (konkrétní týmový tréninkový proces na operačním sále). Zúčastnění recenzenti byli navíc po dokončení sběru dat informováni o tom, který papír je testovacím rukopisem, takže tento druh týmového školení na základě výsledků vyrobené studie neabsolvovali.

Aby se snížilo riziko efektu pozorovatele (Hawthorne), bylo důležité minimalizovat pravděpodobnost, že se zúčastnění hodnotitelé dozvědí o studii, když probíhá. Za tímto účelem se zkoušející rozhodli nepředregistrovat studii do zkušebního registru.