Impact du « Spin » sur l'interprétation des résultats des essais randomisés dans le domaine du cancer (SPIIN)

Les enquêteurs ont prévu un ECR dans lequel l'unité de randomisation est le résumé. La planification, la mise en œuvre, l'analyse et la rédaction de cette étude ont suivi la déclaration CONSORT12.

Conception

Les enquêteurs ont réalisé un ECR comparant l'interprétation des résultats dans les résumés a) avec et b) sans spin.

1. Identification de résumés d'essais randomisés avec spin. Les enquêteurs ont sélectionné un échantillon d'ECR publiés négatifs (c.-à-d. résultats non statistiquement significatifs) avec une touche de conclusion abstraite identifiée dans des travaux antérieurs. Les critères d'inclusion étaient 1) les ECR dont le résultat principal n'était pas statistiquement significatif, 2) la conclusion abstraite.
2. Modification des résumés Les résumés sélectionnés ont été systématiquement réécrits pour ne contenir aucune « interprétation ». Tous les résumés étaient présentés dans le même format sans les noms des auteurs, des références ou le nom de la revue dans laquelle ils étaient publiés, et les noms des traitements étaient masqués par l'utilisation de termes génériques.
3. Les résumés d'évaluation ont été évalués par les auteurs correspondants d'essais randomisés, des experts de subventions spécifiques et des chercheurs d'essais enregistrés sur http://clinicaltrials.gov. Des experts ont été invités à participer à notre étude. Ils n'étaient pas informés des objectifs de notre étude. Chaque clinicien a été randomisé pour évaluer 1 résumé avec ou 1 résumé sans spin.
4. Le critère d'évaluation principal était l'interprétation des résultats abstraits par les participants. Tous les lecteurs participant à l'étude ont évalué le résumé de l'essai randomisé et ont répondu à la question suivante : Sur la base de ce résumé, pensez-vous que le traitement A serait bénéfique pour les patients ?

Caractéristiques de randomisation

La liste de randomisation a été établie par blocs de 30. Ainsi, chaque participant pouvait évaluer 1 résumé avec rotation ou 1 résumé sans rotation.

La liste et la taille des blocs n’ont pas été divulguées aux enquêteurs. La dissimulation de l'attribution a été obtenue grâce à l'utilisation d'un système de randomisation informatisé.

Si un participant se connectait au système mais n'évaluait aucun résumé, les évaluations étaient exclues et les résumés étaient automatiquement attribués au participant suivant.

Critère d'éligibilité

Les évaluateurs participant à cette étude étaient les suivants :

1. Les « auteurs correspondants » des ECR publiés dans le domaine du cancer. Les enquêteurs ont systématiquement effectué des recherches dans Medline via PubMed pour identifier toutes les publications d'ECR en 2012 et si nécessaire en 2011, 2010. Les enquêteurs ont collecté tous les courriels des « auteurs correspondants » de ces éléments.
2. Experts d'une bourse nationale française dans le domaine du cancer Tous les participants potentiels ont été invités par e-mail à participer à une étude sur l'interprétation des résultats des résumés d'essais cliniques. S'ils acceptaient de participer, ils utilisaient un lien Internet qui leur donnait accès aux résumés à évaluer.
3. Investigateurs des essais enregistrés sur http://clinicaltrials.gov.

Intervention et comparateurs

Sélection de résumés avec spin Nous avons sélectionné, à partir de travaux antérieurs et d'une collection personnelle13-16, 30 résumés de 2 ECR négatifs à bras parallèles (c'est-à-dire, résultat principal non statistiquement significatif) évaluant le traitement dans le domaine du cancer et ayant un spin dans la conclusion abstraite selon une classification développée précédemment13. Nous avons exclu les résumés présentant un type de présentation très inhabituel, comme une focalisation sur un autre objectif d'étude, avec une présentation liée uniquement à la sécurité, ou une étude comparant le même traitement mais avec un dosage différent ou un mode d'administration différent ou une durée de traitement différente. Nous avons également exclu les résumés des ECR avec un échantillon de petite taille (<100). Les résumés étaient numérotés de 1 à 30 et classés en deux catégories : 10 résumés (numéros 11/12/14/16/20/22/24/27/28/30) avec un niveau élevé de spin (c'est-à-dire sans reconnaissance du critère de jugement principal non statistiquement significatif en conclusion) et 20 avec un faible niveau de spin.

Développement de résumés sans spin Les résumés avec spin ont été systématiquement réécrits sans spin. Un chercheur a réécrit chaque résumé selon les directives spécifiques décrites dans l'encadré. Tous les résumés comportaient le même nombre de mots +/-25. Tous les résumés sans interprétation ont été évalués indépendamment par un autre chercheur. Tout désaccord a été discuté et le résumé a été modifié en fonction du consensus atteint.

Ainsi, pour chaque étude, les enquêteurs disposaient de 2 versions du résumé : 1 avec spin et 1 sans spin.

Les résumés avec et sans spin ont été présentés dans le format du résumé original avec la même typographie. Les noms des auteurs, des références, le nom de la revue, le numéro d'enregistrement, le nom ou l'acronyme de l'essai et le titre de l'article ont été supprimés, et les noms et la description des traitements ont été systématiquement masqués par des termes génériques (par exemple, traitement A et comparateur B). Si nécessaire, certaines informations pouvant aider à identifier le traitement ont été supprimées.

Résultats

Résultat principal Le critère d'évaluation principal était l'interprétation des résumés par les participants. Tous les participants à l'étude ont évalué chaque résumé. Ils ont répondu à la question suivante sur une échelle numérique graduée de 0 (pas du tout probable) à 10 (très probable)

• Sur la base de ce résumé, pensez-vous que le traitement A serait bénéfique pour les patients ? (réponse : échelle numérique de 0 à 10)

Résultats secondaires

Les critères d'évaluation secondaires étaient l'évaluation de la qualité de l'étude, l'importance de l'étude, l'intérêt de lire le texte intégral et la probabilité d'être publié. Pour chaque résumé, les participants ont répondu aux questions suivantes :

• Évaluez la rigueur globale de la méthodologie de l’étude ? (échelle 0-10)
• Évaluez l’importance de l’étude (échelle de 0 à 10)
• Souhaitez-vous lire l’article complet sur l’étude décrite dans ce résumé ? (échelle 0-10)
• Pensez-vous qu’il serait intéressant de mener un autre essai évaluant ce traitement ? (échelle 0-10)

Aveuglant

Le critère d'évaluation principal est l'interprétation du résumé par les participants. Ce résultat est très subjectif. Une étude récente a montré que l'absence de mise en aveugle est responsable d'une surestimation de l'effet du traitement dans des essais randomisés avec des critères d'évaluation principaux subjectifs17. Pour minimiser les biais, les enquêteurs ont proposé que les participants ne connaissent pas l'hypothèse de l'étude. Tous les participants ont été informés qu'ils participaient à une enquête sur l'interprétation des résumés d'essais cliniques. Ils n'ont pas été informés des objectifs et des hypothèses de l'étude avant la fin de l'étude lors de la communication des résultats.

Autres données collectées Les enquêteurs ont également collecté les modifications apportées aux résumés en termes de mots supprimés et de mots ajoutés à chaque résumé.

Taille de l'échantillon

Chaque participant lira 1 résumé avec ou 1 résumé sans rotation. Un échantillon de 266 évaluations de résumés est nécessaire pour montrer une taille d'effet de 0,4 avec un résultat principal supposant une différence moyenne de 1 point et un écart type commun basé sur une étude pilote de 2,5 avec une puissance de 90 % et un risque alpha égal à 5%. Trente résumés avec essorage et 30 résumés sans essorage sont disponibles. Théoriquement, chaque résumé doit être lu le même nombre de fois selon le groupe de randomisation. Compte tenu de tous ces éléments, il faudra inclure 300 participants (150 dans chaque bras). Chaque résumé sera lu 5 fois dans chaque groupe (le résumé avec un faible niveau de rotation sera lu 200 fois (100 dans chaque groupe) et le résumé avec un niveau de rotation élevé sera lu 100 fois (50 dans chaque groupe)).

analyses statistiques

L'analyse statistique sera entreprise de manière indépendante et aveugle à l'aide du logiciel d'analyse statistique (SAS) v9.3 par un statisticien du Centre d'épidémiologie clinique. Un plan d'analyse statistique sera élaboré et validé avant la recherche dans la base de données. Le plan d'analyse statistique sera révisé en cours d'étude pour tenir compte d'éventuelles modifications du protocole ou de tout autre changement ayant un impact sur l'analyse statistique initialement prévue. Toutes les versions seront conservées dans les dossiers pour examen. Un test T sera utilisé pour l'analyse des résultats primaires et secondaires. Ce plan statistique peut être modifié en fonction des données disponibles. Par exemple, si le nombre de lectures pour une vignette particulière est déséquilibré dans les groupes, un modèle multi-niveaux (un modèle mixte pour les données groupées) sera utilisé pour comparer les moyennes ajustées des mesures des résultats principaux entre les 2 bras. Cela signifie que l'analyse statistique sera ajustée en cas de répartition déséquilibrée des résumés dans chaque groupe. Le même modèle sera appliqué aux résultats secondaires et aux résumés de sous-groupes à haut niveau de spin.

Une analyse secondaire comparera la corrélation intraclasse (ICC) entre les lecteurs de résumés avec spin et de résumés sans spin en calculant l'intervalle de confiance à 95 % de la différence entre les ICC (par une méthode bootstrap).