Test de présence de biais d'auteur dans l'examen par les pairs

Aucun consensus n'existe parmi les revues biomédicales sur le sujet de l'insu pendant le processus d'examen par les pairs. Certaines revues tentent de supprimer tous les identifiants de la paternité des manuscrits potentiels avant de les remettre aux arbitres pour examen par les pairs, tandis que d'autres préfèrent laisser la paternité transparente. Bien que l'examen par les pairs reste la norme de référence pour l'évaluation des manuscrits, l'absence d'un processus de mise en aveugle standardisé entre les bureaux éditoriaux peut être une source de biais de publication et rendre les comparaisons de manuscrits publiés dans différentes revues plus difficiles à interpréter.

Les partisans d'un système d'examen par les pairs en aveugle estiment que la connaissance de la paternité peut rendre les arbitres vulnérables aux préjugés concernant les recherches antérieures, l'expertise perçue, l'institution, la nationalité ou le sexe de ces auteurs. Cela détourne le jugement des mérites du travail scientifique et introduit des notions préconçues sur l'identité et les antécédents de l'auteur dans le processus d'examen. À l'inverse, les partisans de la paternité transparente soutiennent que la connaissance de l'identité de l'auteur permet à l'arbitre de fournir plus facilement des critiques plus appropriées. L'identification ouverte de l'auteur permet aux arbitres de comparer le manuscrit actuel à des travaux déjà publiés par l'auteur et de reconnaître ou d'identifier les conflits d'intérêts potentiellement importants.

Les chercheurs proposent donc une étude expérimentale pour répondre à la question de savoir si la mise en aveugle affecte la probabilité qu'un examinateur recommande l'acceptation d'une étude en cours d'examen par les pairs. Les enquêteurs prévoient de travailler en partenariat avec une revue pour faire évaluer par un grand nombre d'examinateurs un manuscrit fabriqué. les auteurs enverront ce manuscrit "test" soit sous forme aveugle (noms des auteurs/institutions non montrés aux examinateurs) ou sous forme ouverte, avec les noms de plusieurs auteurs bien connus et bien considérés et leurs institutions visibles par les pairs examinateurs . Les manuscrits seront autrement identiques.

La revue partenaire, Clinical Orthopaedics and Related Research, permet à la fois un examen par les pairs ouvert et en aveugle, utilisant régulièrement les deux approches (les auteurs peuvent choisir le type d'examen qu'ils préfèrent lorsqu'ils soumettent au CORR), et il est donc peu probable que les examinateurs soient troublés en voyant un manuscrit dans l'un ou l'autre format.

L'objectif principal de cette étude est de déterminer si l'identification d'un manuscrit avec un groupe d'auteurs éminents (paternité ouverte) affectera la probabilité que les examinateurs recommandent le manuscrit pour publication.

De plus, les enquêteurs prévoient de placer délibérément plusieurs erreurs dans le manuscrit et de comptabiliser la fréquence à laquelle les examinateurs détectent ces erreurs, afin de déterminer si les examinateurs lisent le travail d'auteurs éminents de manière moins critique.

Les enquêteurs compareront également la notation des examinateurs de la section des méthodes (identiques), afin de déterminer si l'identification d'un manuscrit avec des auteurs éminents entraîne des notes plus élevées pour la rigueur méthodologique.

Cette étude teste les hypothèses spécifiques suivantes :

1. La visibilité des noms d'auteurs et d'institutions éminents sur les manuscrits de test sera associée à une probabilité accrue que le manuscrit soit recommandé pour publication par des pairs examinateurs. (Paramètre principal de l'étude)
2. La visibilité des noms d'auteurs et d'institutions éminents sera associée à une probabilité réduite que des "erreurs" placées à dessein dans le manuscrit expérimental soient détectées par les examinateurs.
3. La visibilité des noms d'auteurs et d'institutions éminents sera associée à des scores accrus attribués par les examinateurs pour la section des méthodes, malgré le fait que les sections des méthodes du manuscrit expérimental seront identiques.

NOTE:

Tous les éléments du protocole de recherche ont été approuvés par le comité d'examen des sujets humains de l'Université de Washington, y compris la conception d'exclusion de l'étude pour le recrutement des examinateurs, car il a été jugé important que les examinateurs ne sachent pas que l'article qu'ils ont évalué faisait partie d'une étude. Pour minimiser le potentiel de préjudice, les auteurs ont choisi comme sujet du manuscrit de test fabriqué une intervention qui ne pouvait pas être immédiatement mise en pratique dans les propres centres des examinateurs (un processus particulier de formation d'équipe dans la salle d'opération). De plus, les examinateurs participants ont été informés de l'article qui était le manuscrit de test à la fin de la collecte des données, de sorte qu'ils n'ont pas poursuivi ce type de formation d'équipe sur la base des résultats de l'étude fabriquée.

Pour réduire le risque d'un effet d'observateur (Hawthorne), il était important de minimiser la probabilité que les examinateurs participants soient informés de l'étude alors qu'elle était en cours. À cette fin, les investigateurs ont choisi de ne pas pré-enregistrer l'étude dans un registre d'essais.