Impacto do "Spin" na interpretação dos resultados de ensaios randomizados na área do câncer (SPIIN)

Os investigadores planejaram um ECR em que a unidade de randomização é o resumo. O planejamento, implementação, análise e redação deste estudo seguiram a Declaração CONSORT12.

Projeto

Os investigadores realizaram um ECR comparando a interpretação dos resultados nos resumos a) com eb) sem spin.

1. Identificação de resumos de ensaios randomizados com spin. Os investigadores selecionaram uma amostra de ECRs publicados negativos (ou seja, resultados não estatisticamente significativos) com um desvio na conclusão abstrata identificada em trabalhos anteriores. Os critérios de inclusão foram 1) ECRs com desfecho primário não estatisticamente significativo, 2) rotação na conclusão abstrata.
2. Modificação dos resumos Os resumos selecionados foram sistematicamente reescritos para não conterem "giro". Todos os resumos foram apresentados no mesmo formato, sem nomes de autores, referências ou nome do periódico em que foram publicados, e os nomes dos tratamentos foram mascarados pelo uso de termos genéricos.
3. Avaliação Os resumos foram avaliados por autores correspondentes de ensaios randomizados, especialistas de bolsas específicas e investigadores de ensaios registrados em http://clinicaltrials.gov. Especialistas foram convidados a participar do nosso estudo. Eles não foram informados dos objetivos do nosso estudo. Cada médico foi randomizado para avaliar 1 resumo com ou 1 resumo sem rotação.
4. O endpoint primário foi a interpretação dos resultados abstratos pelos participantes. Todos os leitores participantes do estudo avaliaram o resumo do ensaio randomizado e responderam à seguinte questão: Com base neste resumo, você acha que o tratamento A seria benéfico para os pacientes?

Características de randomização

A lista de randomização foi estabelecida em blocos de 30. Assim, cada participante poderia avaliar 1 resumo com spin ou 1 resumo sem spin.

A lista e o tamanho do bloco não foram divulgados aos investigadores. A ocultação da alocação foi obtida por meio de um sistema computadorizado de randomização.

Caso um participante se logasse no sistema, mas não avaliasse nenhum resumo, as avaliações eram excluídas e os resumos eram automaticamente alocados para o próximo participante.

Critério de eleição

Os avaliadores participantes deste estudo foram os seguintes:

1. Os “autores correspondentes” de ECRs publicados na área de câncer. Os investigadores pesquisaram sistematicamente a Medline através do PubMed para identificar todas as publicações de ECR em 2012 e, se necessário, em 2011, 2010. Os investigadores coletaram todos os e-mails dos “autores correspondentes” desses itens.
2. Especialistas de uma bolsa nacional francesa na área do cancro Todos os potenciais participantes foram convidados por e-mail a participar num estudo sobre a interpretação de resultados de resumos de ensaios clínicos. Caso concordassem em participar, utilizavam um link da Internet que lhes dava acesso aos resumos para avaliação.
3. Investigadores de ensaios registrados em http://clinicaltrials.gov.

Intervenção e comparadores

Seleção de resumos com spin Selecionamos de trabalhos anteriores e coleta de pessoal13-16, 30 resumos de ECRs negativos de 2 braços paralelos (ou seja, desfecho primário não estatisticamente significativo) avaliando o tratamento na área de câncer e tendo spin na conclusão do resumo de acordo com uma classificação desenvolvida anteriormente13. Excluímos resumos com tipo de rotação muito incomum, como foco em outro objetivo do estudo, com rotação relacionada apenas à segurança, ou estudo comparando o mesmo tratamento, mas com dosagem diferente ou modo de administração diferente ou duração de tratamento diferente. Também excluímos resumos de ECRs com amostra pequena (<100). Os resumos foram numerados de 1 a 30 e classificados em duas categorias: 10 resumos (números 11/12/14/16/20/22/24/27/28/30) com alto nível de rotação (ou seja, sem reconhecimento do desfecho primário não estatisticamente significativo na conclusão) e 20 com baixo nível de spin.

Desenvolvimento de resumos sem spin Os resumos com spin foram sistematicamente reescritos sem spin. Um pesquisador reescreveu cada resumo de acordo com orientações específicas descritas no quadro. Todos os resumos tinham o mesmo número de palavras +/-25. Todos os resumos sem spin foram avaliados de forma independente por outro pesquisador, qualquer discordância foi discutida e o resumo foi modificado de acordo com o consenso alcançado.

Assim, para cada estudo, os investigadores tiveram 2 versões do resumo: 1 com spin e 1 sem spin.

Os resumos com e sem giro foram apresentados no formato do resumo original com a mesma tipografia. Os nomes dos autores, referências, nome do periódico, número de registro, nome do ensaio ou sigla e título do artigo foram excluídos, e os nomes e descrição dos tratamentos foram sistematicamente mascarados com termos genéricos (por exemplo, tratamento A e comparador B). Caso necessário, algumas informações que pudessem ajudar na identificação do tratamento foram excluídas.

Resultados

Resultado primário O objetivo primário foi a interpretação dos resumos pelos participantes. Todos os participantes do estudo avaliaram cada resumo. Eles responderam à seguinte pergunta em uma escala numérica de 0 (nada provável) a 10 (muito provável)

• Com base neste resumo, você acha que o tratamento A seria benéfico para os pacientes? (resposta: escala numérica de 0 a 10)

Resultados secundários

Os desfechos secundários foram a avaliação da qualidade do estudo, a importância do estudo, o interesse em ler o texto completo e a probabilidade de ser publicado. Para cada resumo, os participantes responderam o seguinte:

• Avalie o rigor geral da metodologia do estudo? (escala 0-10)
• Avalie a importância do estudo (escala 0-10)
• Você está interessado em ler o artigo completo do estudo descrito neste resumo? (escala 0-10)
• Você acha que seria interessante realizar outro estudo avaliando esse tratamento? (escala 0-10)

Cegagem

O endpoint primário é a interpretação do resumo pelos participantes. Este resultado é muito subjetivo. Um estudo recente mostrou que a falta de cegamento é responsável por uma superestimação do efeito do tratamento em ensaios randomizados com desfechos primários subjetivos17. Para minimizar o viés, os investigadores propuseram que os participantes fossem cegos quanto à hipótese do estudo. Todos os participantes foram informados que estavam participando de uma pesquisa sobre interpretação de resumos de ensaios clínicos. Eles não foram informados dos objetivos e pressupostos do estudo antes do final do estudo, ao relatar os resultados.

Outros dados coletados Os investigadores também coletaram as alterações nos resumos em termos de palavras excluídas e palavras adicionadas a cada resumo.

Tamanho da amostra

Cada participante lerá 1 resumo com ou 1 resumo sem giro. É necessária uma amostra de 266 avaliações de resumos para mostrar um tamanho de efeito de 0,4 com o desfecho primário assumindo uma diferença média de 1 ponto e um desvio padrão comum com base em um estudo piloto de 2,5 com um poder de 90% e um risco alfa igual a 5%. Estão disponíveis trinta resumos com rotação e 30 resumos sem rotação. Teoricamente, cada resumo deve ser lido o mesmo número de vezes de acordo com o grupo de randomização. Considerando todos estes elementos, será necessário incluir 300 participantes (150 em cada braço). Cada resumo será lido 5 vezes em cada grupo (o resumo com baixo nível de rotação será lido 200 vezes (100 em cada grupo) e o resumo com alto nível de rotação será lido 100 vezes (50 em cada grupo)).

Análise estatística

A análise estatística será realizada de forma independente e cega com o uso do Statistical Analysis Software (SAS) v9.3 por um estatístico do Centro de Epidemiologia Clínica. Um plano de análise estatística será desenvolvido e validado antes da pesquisa no banco de dados. O plano de análise estatística será revisto durante o estudo para ter em conta quaisquer alterações ao protocolo ou qualquer outra alteração que tenha impacto na análise estatística originalmente planeada. Todas as versões serão mantidas em arquivo para revisão. O teste AT será usado para análise de resultados primários e secundários. Este plano estatístico pode ser modificado de acordo com os dados disponíveis. Por exemplo, se o número de leituras para uma vinheta específica for desequilibrado em grupos, um modelo multinível (um modelo misto para dados agrupados) será usado para comparar médias ajustadas para as medidas de resultados primários entre os 2 braços. Isto significa que a análise estatística será ajustada para repartição desequilibrada dos resumos em cada grupo. O mesmo modelo será aplicado aos desfechos secundários e aos resumos dos subgrupos com alto nível de spin.

Uma análise secundária irá comparar a Correlação Intraclasse (ICC) entre leitores de resumos com spin e resumos sem spin, calculando o intervalo de confiança de 95% da diferença entre os ICCs (por um método bootstrap).