A szerzői torzítás jelenlétének tesztelése a szakértői értékelésben

Az orvosbiológiai folyóiratok között nincs konszenzus a szakértői értékelési folyamat során bekövetkező elvakítás témájában. Egyes folyóiratok megpróbálják eltávolítani a szerzőség minden azonosítóját a potenciális kéziratokból, mielőtt azokat szakértői értékelésre eljuttatják a referenseknek, míg mások inkább átláthatóvá teszik a szerzőséget. Bár a szakértői értékelés továbbra is a kéziratértékelés aranystandardja, a szerkesztőségek közötti szabványosított elvakítási folyamat hiánya publikációs torzítás forrása lehet, és megnehezítheti a különböző folyóiratokban megjelent kéziratok összehasonlítását.

Az elvakult szakértői értékelési rendszer hívei úgy vélik, hogy a szerzőség ismerete sebezhetővé teheti a referenseket a szerzők korábbi kutatásaival, vélt szakértelmével, intézményével, nemzetiségével vagy nemével kapcsolatos elfogultságokkal szemben. Ez elmozdítja a megítélést a tudományos munka érdemeitől, és a szerző kilétével és hátterével kapcsolatos előzetes elképzeléseket vezet be a felülvizsgálati folyamatba. Ezzel szemben az átlátható szerzőség hívei azzal érvelnek, hogy a szerzői identitás ismerete megkönnyíti a játékvezető számára, hogy megfelelőbb kritikát fogalmazzon meg. A nyílt szerzői azonosítás lehetővé teszi a referensek számára, hogy összehasonlítsák az aktuális kéziratot a szerző korábban publikált munkájával, és felismerjék vagy azonosítsák a potenciálisan fontos összeférhetetlenségeket.

A kutatók ezért egy kísérleti vizsgálatot javasolnak annak a kérdésnek a megválaszolására, hogy a vakság befolyásolja-e annak valószínűségét, hogy a bíráló javasolja egy vizsgálat elfogadását. A nyomozók azt tervezik, hogy együttműködnek egy folyóirattal annak érdekében, hogy egy legyártott kéziratot nagyszámú lektorral felülvizsgáljanak; a szerzők ezt a "teszt" kéziratot vagy vak formában (a szerzők nevét/intézményét nem mutatják meg a bírálóknak), vagy nyílt formában, több jól ismert, elismert szerző és intézményük nevével a szakértői lektorok számára látható formában küldik ki. . A kéziratok egyébként azonosak lesznek.

A Clinical Orthopedics and Related Research partner folyóirat nyílt és vak szakértői értékelést is lehetővé tesz, rendszeresen alkalmazva mindkét megközelítést (a szerzők választhatják, hogy milyen felülvizsgálatot szeretnének, amikor benyújtják a CORR-nek), így a lektorokat valószínűleg nem fogja megzavarni egy kézirat bármelyik formátumban.

A tanulmány elsődleges célja annak megállapítása, hogy egy kézirat azonosítása a szerzők prominens csoportjával (nyílt szerzőség) befolyásolja-e annak valószínűségét, hogy a lektorok publikálásra ajánlják a kéziratot.

Ezenkívül a vizsgálók azt tervezik, hogy szándékosan több hibát is elhelyeznek a kéziratban, és összeszámolják, hogy a lektorok milyen gyakran észlelik ezeket a hibákat, hogy megállapítsák, vajon a bírálók kevésbé kritikusan olvassák-e a prominens szerzők munkáját.

A vizsgálók összehasonlítják az (azonos) módszerek szekció lektori értékelését is, hogy megállapítsák, hogy egy kézirat prominens szerzőkkel való azonosítása magasabb lektori osztályzatot eredményez-e a módszertani szigor tekintetében.

Ez a tanulmány a következő konkrét hipotéziseket teszteli:

1. A prominens szerzők és intézmények láthatósága a tesztkéziratokon megnövekszik annak a valószínűségével, hogy a kéziratot publikálásra ajánlják a szakértői lektorok. (Elsődleges vizsgálati végpont)
2. A kiemelkedő szerzői nevek és intézmények láthatósága csökken annak a valószínűségével, hogy a kísérleti kéziratban szándékosan elhelyezett "hibákat" a lektorok észlelik.
3. A prominens szerzőnevek és intézmények láthatósága a metódusok részre adott bírálók által adott megnövekedett pontszámokkal jár, annak ellenére, hogy a kísérleti kézirat módszerrészei azonosak lesznek.

JEGYZET:

A kutatási protokoll minden elemét jóváhagyta a Washingtoni Egyetem Humán Tantárgyak Felülvizsgáló Bizottsága, beleértve a tanulmány leiratkozási tervét a bírálók toborzására vonatkozóan, mivel fontosnak tartották, hogy a bírálók ne tudják, hogy az általuk értékelt dolgozat egy tanulmány része. Az esetleges károk minimalizálása érdekében a szerzők a legyártott tesztkézirat témájául egy olyan beavatkozást választottak, amelyet a bírálók saját központjában nem tudtak azonnal gyakorlatba ültetni (egy sajátos csapatképzési folyamat a műtőben). Ezen túlmenően az adatgyűjtés befejezésekor a részt vevő lektorok tájékoztatást kaptak arról, hogy melyik papír volt a tesztkézirat, így nem folytattak ilyen jellegű csapatképzést a koholt vizsgálat eredményei alapján.

A megfigyelő (Hawthorne) hatás kockázatának csökkentése érdekében fontos volt minimalizálni annak valószínűségét, hogy a résztvevő bírálók tudomást szerezzenek a vizsgálatról, miközben az folyamatban van. Ebből a célból a vizsgálók úgy döntöttek, hogy nem regisztrálják előzetesen a vizsgálatot a vizsgálati nyilvántartásban.