Impacto del "giro" en la interpretación de los resultados de ensayos aleatorios en el campo del cáncer (SPIIN)

Los investigadores planificaron un ECA en el que la unidad de aleatorización sea el resumen. La planificación, implementación, análisis y redacción de este estudio siguieron la Declaración CONSORT12.

Diseño

Los investigadores realizaron un ECA que comparó la interpretación de los resultados en los resúmenes a) con yb) sin giro.

1. Identificación de resúmenes de ensayos aleatorios con spin. Los investigadores seleccionaron una muestra de ECA publicados negativos (es decir, resultados no estadísticamente significativos) con una conclusión abstracta identificada en trabajos anteriores. Los criterios de inclusión fueron 1) ECA con resultado primario no estadísticamente significativo, 2) interpretación de la conclusión abstracta.
2. Modificación de los resúmenes Los resúmenes seleccionados fueron reescritos sistemáticamente para que no contuvieran ningún "giro". Todos los resúmenes se presentaron en el mismo formato sin los nombres de los autores, las referencias ni el nombre de la revista en la que se publicaron, y los nombres de los tratamientos se enmascararon mediante el uso de términos genéricos.
3. Evaluación Los resúmenes fueron evaluados por los autores correspondientes de ensayos aleatorios, expertos de subvenciones específicas e investigadores de ensayos registrados en http://clinicaltrials.gov. Se invitó a expertos a participar en nuestro estudio. No fueron informados de los objetivos de nuestro estudio. Cada médico fue asignado al azar para evaluar 1 resumen con o 1 resumen sin giro.
4. El criterio de valoración principal fue la interpretación de los resultados abstractos por parte de los participantes. Todos los lectores que participaron en el estudio evaluaron el resumen del ensayo aleatorio y respondieron la siguiente pregunta: Con base en este resumen, ¿cree que el tratamiento A sería beneficioso para los pacientes?

Características de aleatorización

La lista de aleatorización se estableció en bloques de 30. Entonces, cada participante podría evaluar 1 resumen con giro o 1 resumen sin giro.

La lista y el tamaño del bloque no fueron revelados a los investigadores. La ocultación de la asignación se obtuvo mediante el uso de un sistema de aleatorización computarizado.

Si un participante iniciaba sesión en el sistema pero no evaluaba ningún resumen, las evaluaciones se excluían y los resúmenes se asignaban automáticamente al siguiente participante.

Criterio de elegibilidad

Los evaluadores que participaron en este estudio fueron los siguientes:

1. Los "autores correspondientes" de ECA publicados en el campo del cáncer. Los investigadores buscaron sistemáticamente en Medline a través de PubMed para identificar todas las publicaciones de ECA en 2012 y, si fuera necesario, en 2011 y 2010. Los investigadores recopilaron todos los correos electrónicos de los "autores correspondientes" de estos artículos.
2. Expertos de una beca nacional francesa en el campo del cáncer Todos los participantes potenciales fueron invitados por correo electrónico a participar en un estudio sobre la interpretación de los resultados de los resúmenes de los ensayos clínicos. Si aceptaban participar, utilizaban un enlace de Internet que les daba acceso a los resúmenes para evaluar.
3. Investigadores de ensayos registrados en http://clinicaltrials.gov.

Intervención y comparadores

Selección de resúmenes con giro Seleccionamos del trabajo previo y de la recopilación de personal13-16, 30 resúmenes de 2 ECA negativos de brazos paralelos (es decir, resultado primario no estadísticamente significativo) que evalúan el tratamiento en el campo del cáncer y que tienen giro en la conclusión del resumen de acuerdo con una clasificación desarrollada previamente13. Se excluyeron los resúmenes con un tipo de enfoque muy inusual, como un enfoque en otro objetivo del estudio, con un enfoque relacionado únicamente con la seguridad, o un estudio que compara el mismo tratamiento pero con diferente dosis o diferente modo de administración o diferente duración del tratamiento. También se excluyeron los resúmenes de ECA con un tamaño de muestra pequeño (<100). Los resúmenes se numeraron del 1 al 30 y se clasificaron en dos categorías: 10 resúmenes (números 11/12/14/16/20/22/24/27/28/30) con alto nivel de giro (es decir, sin reconocimiento del resultado primario no estadísticamente significativo en la conclusión) y 20 con bajo nivel de giro.

Desarrollo de resúmenes sin giro Los resúmenes con giro fueron reescritos sistemáticamente sin giro. Un investigador reescribió cada resumen de acuerdo con las pautas específicas descritas en el recuadro. Todos los resúmenes tenían el mismo número de palabras +/-25. Todos los resúmenes sin giro fueron evaluados de forma independiente por otro investigador. Cualquier desacuerdo se discutió y el resumen se modificó de acuerdo con el consenso alcanzado.

Así, para cada estudio, los investigadores tuvieron 2 versiones del resumen: 1 con giro y 1 sin giro.

Los resúmenes con y sin spin se presentaron en el formato del resumen original con la misma tipografía. Se eliminaron los nombres de los autores, las referencias, el nombre de la revista, el número de registro, el nombre o acrónimo del ensayo y el título del artículo, y los nombres y la descripción de los tratamientos se enmascararon sistemáticamente con términos genéricos (p. ej., tratamiento A y comparador B). En caso necesario se eliminó alguna información que pudiera ayudar a identificar el tratamiento.

Resultados

Resultado primario El criterio de valoración principal fue la interpretación de los resúmenes por parte de los participantes. Todos los participantes del estudio evaluaron cada resumen. Respondieron la siguiente pregunta en una escala numérica calificada de 0 (nada probable) a 10 (muy probable).

• Según este resumen, ¿cree que el tratamiento A sería beneficioso para los pacientes? (respuesta: escala numérica del 0 al 10)

Resultados secundarios

Los criterios de valoración secundarios fueron la evaluación de la calidad del estudio, la importancia del estudio, el interés en leer el texto completo y la probabilidad de ser publicado. Para cada resumen, los participantes respondieron lo siguiente:

• ¿Califica el rigor general de la metodología del estudio? (escala 0-10)
• Califica la importancia del estudio (escala 0-10)
• ¿Está interesado en leer el artículo completo del estudio descrito en este resumen? (escala 0-10)
• ¿Cree que sería interesante realizar otro ensayo que evalúe este tratamiento? (escala 0-10)

Cegador

El criterio de valoración principal es la interpretación del resumen por parte de los participantes. Este resultado es muy subjetivo. Un estudio reciente ha demostrado que la falta de cegamiento es responsable de una sobreestimación del efecto del tratamiento en ensayos aleatorios con criterios de valoración primarios subjetivos17. Para minimizar el sesgo, los investigadores propusieron que los participantes estuvieran cegados a la hipótesis del estudio. A todos los participantes se les informó que participaban en una encuesta sobre la interpretación de resúmenes de ensayos clínicos. No fueron informados de los objetivos y supuestos del estudio antes de su finalización al informar los resultados.

Otros datos recopilados Los investigadores también recopilaron los cambios en los resúmenes en términos de palabras eliminadas y palabras agregadas a cada resumen.

Tamaño de la muestra

Cada participante leerá 1 resumen con o 1 resumen sin giro. Se necesita una muestra de 266 evaluaciones de resúmenes para mostrar un tamaño del efecto de 0,4, con un resultado primario asumiendo una diferencia media de 1 punto y una desviación estándar común basada en un estudio piloto de 2,5 con una potencia del 90% y un riesgo alfa igual a 5%. Están disponibles treinta resúmenes con giro y 30 resúmenes sin giro. En teoría, cada resumen debe leerse la misma cantidad de veces según el grupo de aleatorización. Teniendo en cuenta todos estos elementos, será necesario incluir 300 participantes (150 en cada brazo). Cada resumen se leerá 5 veces en cada grupo (el resumen con bajo nivel de giro se leerá 200 veces (100 en cada grupo) y el resumen con alto nivel de giro se leerá 100 veces (50 en cada grupo)).

análisis estadístico

El análisis estadístico se realizará de forma independiente y ciega con el uso del software de análisis estadístico (SAS) v9.3 por un estadístico del Centro de Epidemiología Clínica. Se desarrollará y validará un plan de análisis estadístico antes de buscar en la base de datos. El plan de análisis estadístico se revisará durante el estudio para tener en cuenta cualquier modificación del protocolo o cualquier otro cambio que tenga un impacto en el análisis estadístico originalmente planificado. Todas las versiones se mantendrán archivadas para su revisión. Se utilizará una prueba T para el análisis de los resultados primarios y secundarios. Este plan estadístico podrá modificarse según los datos disponibles. Por ejemplo, si el número de lecturas para una viñeta en particular no está equilibrado en los grupos, se utilizará un modelo de niveles múltiples (un modelo mixto para datos agrupados) para comparar medias ajustadas para las medidas de resultado primarias entre los 2 brazos. Esto significa que el análisis estadístico se ajustará para tener en cuenta la distribución desequilibrada de los resúmenes en cada grupo. Se aplicará el mismo modelo a los resultados secundarios y a los resúmenes de subgrupos con alto nivel de interpretación.

Un análisis secundario comparará la correlación intraclase (ICC) entre lectores de resúmenes con giro y resúmenes sin giro calculando el intervalo de confianza del 95% de la diferencia entre ICC (mediante un método de arranque).