Impatto di "Spin" sull'interpretazione dei risultati di studi randomizzati nel campo del cancro (SPIIN)

I ricercatori hanno pianificato un RCT in cui l'unità di randomizzazione è l'abstract. La pianificazione, l'implementazione, l'analisi e la stesura di questo studio hanno seguito la Dichiarazione CONSORT12.

Progetto

I ricercatori hanno eseguito un RCT confrontando l'interpretazione dei risultati negli abstract a) con eb) senza spin.

1. Identificazione di abstract di studi randomizzati con spin. I ricercatori hanno selezionato un campione di studi randomizzati pubblicati negativi (ad es. risultati non statisticamente significativi) con una svolta nella conclusione astratta identificata in lavori precedenti. I criteri di inclusione erano 1) RCT con risultato primario non statisticamente significativo, 2) rotazione della conclusione astratta.
2. Modifica degli abstract Gli abstract selezionati sono stati sistematicamente riscritti per non contenere "spin". Tutti gli abstract sono stati presentati nello stesso formato senza i nomi degli autori, i riferimenti o il nome della rivista in cui sono stati pubblicati, e i nomi dei trattamenti sono stati mascherati utilizzando termini generici.
3. Gli abstract di valutazione sono stati valutati dai corrispondenti autori di studi randomizzati, esperti di finanziamenti specifici e sperimentatore di studi registrati in http://clinicaltrials.gov. Gli esperti sono stati invitati a partecipare al nostro studio. Non erano stati informati degli obiettivi del nostro studio. Ogni medico è stato randomizzato per valutare 1 abstract con o 1 abstract senza rotazione.
4. L'endpoint primario era l'interpretazione dei risultati astratti da parte dei partecipanti. Tutti i lettori che hanno partecipato allo studio hanno valutato l’abstract dello studio randomizzato e hanno risposto alla seguente domanda: Sulla base di questo abstract, pensi che il trattamento A possa essere vantaggioso per i pazienti?

Caratteristiche della randomizzazione

L'elenco di randomizzazione è stato stabilito in blocchi di 30. Quindi ogni partecipante potrà valutare 1 abstract con rotazione oppure 1 abstract senza rotazione.

L'elenco e la dimensione del blocco non sono stati divulgati agli investigatori. L'occultamento dell'assegnazione è stato ottenuto mediante l'uso di un sistema computerizzato di randomizzazione.

Se un partecipante si collegava al sistema ma non valutava alcun abstract, le valutazioni venivano escluse e gli abstract venivano automaticamente assegnati al partecipante successivo.

Criteri di ammissibilità

I valutatori che hanno partecipato a questo studio sono stati i seguenti:

1. Gli "autori corrispondenti" di studi randomizzati pubblicati nel campo del cancro. I ricercatori hanno effettuato una ricerca sistematica su Medline tramite PubMed per identificare tutte le pubblicazioni di studi randomizzati nel 2012 e, se necessario, nel 2011, 2010. Gli investigatori hanno raccolto tutte le e-mail degli "autori corrispondenti" di questi articoli.
2. Esperti di una borsa nazionale francese nel campo del cancro Tutti i potenziali partecipanti sono stati invitati via e-mail a partecipare ad uno studio sull'interpretazione dei risultati degli abstract degli studi clinici. Se accettavano di partecipare, utilizzavano un collegamento Internet che dava loro accesso agli abstract per la valutazione.
3. Sperimentatori di studi registrati in http://clinicaltrials.gov.

Intervento e comparatori

Selezione di abstract con spin Abbiamo selezionato dal lavoro precedente e dalla raccolta del personale13-16, 30 abstract di 2 bracci paralleli di RCT negativi (cioè risultato primario non statisticamente significativo) che valutavano il trattamento nel campo del cancro e avevano spin nella conclusione astratta secondo una classificazione sviluppata in precedenza13. Abbiamo escluso abstract con tipi di spin molto insoliti come focus su un altro obiettivo di studio, con spin legati solo alla sicurezza, o studi che confrontavano lo stesso trattamento ma con dosaggio diverso o modalità di somministrazione diversa o durata diversa del trattamento. Abbiamo anche escluso l'abstract degli RCT con una piccola dimensione del campione (<100). Gli abstract sono stati numerati da 1 a 30 e classificati in due categorie: 10 abstract (numeri 11/12/14/16/20/22/24/27/28/30) con alto livello di spin (ovvero, nessun riconoscimento del risultato primario non statisticamente significativo nella conclusione) e 20 con basso livello di rotazione.

Sviluppo di abstract senza spin Gli abstract con spin sono stati sistematicamente riscritti senza spin. Un ricercatore ha riscritto ciascun abstract secondo le linee guida specifiche descritte nel riquadro. Tutti gli abstract avevano lo stesso numero di parole +/-25. Tutti gli abstract senza spin sono stati valutati indipendentemente da un altro ricercatore; eventuali disaccordi sono stati discussi e l'abstract è stato modificato in base al consenso raggiunto.

Pertanto, per ogni studio, i ricercatori avevano 2 versioni dell'abstract: 1 con spin e 1 senza spin.

Gli abstract con e senza rotazione sono stati presentati nel formato dell'abstract originale con la stessa tipografia. I nomi degli autori, i riferimenti, il nome della rivista, il numero di registrazione, il nome o l'acronimo dello studio e il titolo dell'articolo sono stati cancellati e i nomi e la descrizione del trattamento sono stati sistematicamente mascherati con termini generici (ad esempio, trattamento A e comparatore B). Se necessario alcune informazioni che potessero aiutare ad identificare il trattamento venivano cancellate.

Risultati

Risultato primario L'endpoint primario era l'interpretazione degli abstract da parte dei partecipanti. Tutti i partecipanti allo studio hanno valutato ciascun abstract. Hanno risposto alla seguente domanda su una scala numerica graduata da 0 (per niente probabile) a 10 (molto probabile)

• Sulla base di questo abstract, pensi che il trattamento A possa essere vantaggioso per i pazienti? (risposta: scala numerica da 0-10)

Risultati secondari

Gli endpoint secondari erano la valutazione della qualità dello studio, l'importanza dello studio, l'interesse nella lettura del testo completo e la probabilità di essere pubblicato. Per ogni abstract, i partecipanti hanno risposto quanto segue:

• Valuti il ​​rigore complessivo della metodologia di studio? (scala 0-10)
• Valuta l'importanza dello studio (scala 0-10)
• Sei interessato a leggere l'articolo completo relativo allo studio descritto in questo abstract? (scala 0-10)
• Pensi che sarebbe interessante condurre un altro studio per valutare questo trattamento? (scala 0-10)

Accecante

L'endpoint primario è l'interpretazione dell'abstract da parte dei partecipanti. Questo risultato è molto soggettivo. Uno studio recente ha dimostrato che la mancanza di cieco è responsabile di una sovrastima dell’effetto del trattamento in studi randomizzati con endpoint primari soggettivi17. Per ridurre al minimo i bias, i ricercatori hanno proposto di tenere i partecipanti all’oscuro dell’ipotesi dello studio. Tutti i partecipanti sono stati informati che stavano partecipando ad un sondaggio sull'interpretazione degli abstract degli studi clinici. Non sono stati informati degli obiettivi e delle ipotesi dello studio prima della fine dello studio quando hanno riportato i risultati.

Altri dati raccolti I ricercatori hanno anche raccolto le modifiche agli abstract in termini di parole cancellate e parole aggiunte a ciascun abstract.

Misura di prova

Ogni partecipante leggerà 1 abstract con oppure 1 abstract senza rotazione. È necessario un campione di 266 valutazioni di abstract per mostrare una dimensione dell'effetto di 0,4 con risultato primario assumendo una differenza media di 1 punto e una deviazione standard comune basata su uno studio pilota di 2,5 con una potenza del 90% e un rischio alfa pari a 5%. Sono disponibili trenta abstract con rotazione e 30 abstract senza rotazione. Teoricamente, ogni abstract deve essere letto lo stesso numero di volte in base al gruppo di randomizzazione. Considerando tutti questi elementi, sarà necessario includere 300 partecipanti (150 per braccio). Ciascun abstract verrà letto 5 volte in ciascun gruppo (l'abstract con basso livello di rotazione verrà letto 200 volte (100 in ciascun gruppo) e l'abstract con alto livello di rotazione verrà letto 100 volte (50 in ciascun gruppo)).

analisi statistica

L'analisi statistica sarà effettuata in modo indipendente e alla cieca con l'uso del software di analisi statistica (SAS) v9.3 da uno statistico del Center for Clinical Epidemiology. Un piano analitico statistico sarà sviluppato e validato prima della ricerca nel database. Il piano di analisi statistica sarà rivisto nel corso dello studio per tenere conto di eventuali modifiche al protocollo o di qualsiasi altro cambiamento che abbia un impatto sull'analisi statistica originariamente pianificata. Tutte le versioni verranno conservate in archivio per la revisione. Verrà utilizzato un test T per l'analisi dei risultati primari e secondari. Questo piano statistico può essere modificato in base ai dati disponibili. Ad esempio, se il numero di letture per un particolare caso è sbilanciato nei gruppi, verrà utilizzato un modello multilivello (un modello misto per dati raggruppati) per confrontare le medie aggiustate per le misure di risultato primarie tra i 2 bracci. Ciò significa che l'analisi statistica verrà adeguata per la ripartizione sbilanciata degli abstract in ciascun gruppo. Lo stesso modello verrà applicato ai risultati secondari e agli abstract dei sottogruppi con alto livello di spin.

Un'analisi secondaria confronterà la correlazione intraclasse (ICC) tra lettori di abstract con spin e abstract senza spin calcolando l'intervallo di confidenza al 95% della differenza tra ICC (mediante un metodo bootstrap).