Testen auf das Vorhandensein von Autorschaftsverzerrung in Peer Review

Unter den biomedizinischen Fachzeitschriften besteht kein Konsens zum Thema Verblindung während des Peer-Review-Prozesses. Einige Zeitschriften versuchen, alle Identifikatoren der Urheberschaft aus potenziellen Manuskripten zu entfernen, bevor sie sie an Gutachter zur Peer-Review weiterleiten, während andere es vorziehen, die Urheberschaft transparent zu lassen. Obwohl Peer Review der Goldstandard für die Manuskriptbewertung bleibt, kann das Fehlen eines standardisierten Verblindungsprozesses zwischen Redaktionen eine Quelle für Publikationsbias sein und Vergleiche von Manuskripten, die in verschiedenen Zeitschriften veröffentlicht wurden, schwieriger zu interpretieren machen.

Befürworter eines verblindeten Peer-Review-Systems glauben, dass die Kenntnis der Urheberschaft Gutachter anfällig für Vorurteile in Bezug auf die frühere Forschung, das wahrgenommene Fachwissen, die Institution, die Nationalität oder das Geschlecht dieser Autoren machen kann. Dies verlagert die Beurteilung weg von den Vorzügen der wissenschaftlichen Arbeit und führt vorgefasste Meinungen über die Identität und den Hintergrund des Autors in den Begutachtungsprozess ein. Umgekehrt argumentieren Befürworter einer transparenten Autorenschaft, dass die Kenntnis der Autorenidentität es dem Gutachter erleichtert, angemessenere Kritiken abzugeben. Die offene Autorenidentifikation ermöglicht es Gutachtern, das aktuelle Manuskript mit zuvor veröffentlichten Arbeiten des Autors zu vergleichen und potenziell wichtige Interessenkonflikte zu erkennen oder zu identifizieren.

Die Forscher schlagen daher eine experimentelle Studie vor, um die Frage zu beantworten, ob die Verblindung die Wahrscheinlichkeit beeinflusst, dass ein Gutachter die Annahme einer von Experten begutachteten Studie empfiehlt. Die Ermittler planen, mit einer Zeitschrift zusammenzuarbeiten, um ein fabriziertes Manuskript von einer großen Anzahl von Gutachtern begutachten zu lassen; Die Autoren senden dieses "Test"-Manuskript entweder in verblindeter Form (Autorennamen/Institutionen werden den Gutachtern nicht angezeigt) oder in offener Form, wobei die Namen mehrerer bekannter, angesehener Autoren und ihrer Institutionen für Gutachter sichtbar sind . Ansonsten sind die Manuskripte identisch.

Die Partnerzeitschrift Clinical Orthopaedics and Related Research erlaubt sowohl offene als auch verblindete Peer-Reviews und wendet regelmäßig beide Ansätze an (Autoren können wählen, welche Art von Review sie bevorzugen, wenn sie sie bei CORR einreichen). Manuskript in beiden Formaten.

Das primäre Ziel dieser Studie ist es festzustellen, ob die Identifizierung eines Manuskripts mit einer prominenten Gruppe von Autoren (offene Autorschaft) die Wahrscheinlichkeit beeinflusst, dass Gutachter das Manuskript zur Veröffentlichung empfehlen.

Darüber hinaus planen die Ermittler, absichtlich mehrere Fehler in das Manuskript einzubauen und zu zählen, wie oft Gutachter diese Fehler entdecken, um festzustellen, ob Gutachter die Arbeit prominenter Autoren weniger kritisch lesen.

Die Gutachter vergleichen auch die Bewertung der Gutachter des (identischen) Methodenabschnitts, um festzustellen, ob die Identifizierung eines Manuskripts mit prominenten Autoren zu höheren Gutachternoten für methodische Strenge führt.

Diese Studie testet die folgenden spezifischen Hypothesen:

1. Die Sichtbarkeit prominenter Autorennamen und Institutionen auf Testmanuskripten wird mit einer erhöhten Wahrscheinlichkeit verbunden sein, dass das Manuskript von Gutachtern zur Veröffentlichung empfohlen wird. (Primärer Studienendpunkt)
2. Die Sichtbarkeit prominenter Autorennamen und Institutionen wird mit einer geringeren Wahrscheinlichkeit einhergehen, dass absichtlich platzierte „Fehler“ im experimentellen Manuskript von den Gutachtern entdeckt werden.
3. Die Sichtbarkeit prominenter Autorennamen und Institutionen wird trotz der Tatsache, dass die Methodenabschnitte des experimentellen Manuskripts identisch sein werden, mit einer höheren Punktzahl der Gutachter für den Methodenteil verbunden sein.

NOTIZ:

Alle Elemente des Forschungsprotokolls wurden vom Human Subjects Review Committee der University of Washington genehmigt, einschließlich des Opt-out-Designs der Studie für die Rekrutierung von Gutachtern, da es als wichtig erachtet wurde, dass Gutachter nicht wissen, dass die von ihnen bewertete Arbeit Teil einer Studie war. Um das Schadenspotenzial zu minimieren, wählten die Autoren als Thema des fabrizierten Testmanuskripts eine Intervention, die in den eigenen Zentren der Gutachter nicht sofort in die Praxis umgesetzt werden konnte (ein spezieller Teamtrainingsprozess im Operationssaal). Darüber hinaus wurden die teilnehmenden Gutachter nach Abschluss der Datenerhebung darüber informiert, welches Papier das Testmanuskript war, damit sie diese Art von Teamtraining nicht auf der Grundlage der Ergebnisse der fabrizierten Studie betreiben.

Um das Risiko eines Beobachtereffekts (Hawthorne) zu verringern, war es wichtig, die Wahrscheinlichkeit zu minimieren, dass die teilnehmenden Gutachter von der Studie erfahren würden, während sie im Gange war. Zu diesem Zweck entschieden sich die Prüfärzte dafür, die Studie nicht in einem Studienregister vorzuregistrieren.