Effekten av "Spin" på tolkningen av resultater av randomiserte forsøk innen kreftfeltet (SPIIN)

Etterforskerne planla en RCT der randomiseringsenheten er det abstrakte. Planleggingen, implementeringen, analysen og skrivingen av denne studien fulgte CONSORT-erklæringen12.

Design

Etterforskerne utførte en RCT som sammenlignet tolkningen av resultater i sammendrag a) med og b) uten spinn.

1. Identifikasjon av sammendrag av randomiserte forsøk med spinn. Etterforskerne valgte et utvalg av negative publiserte RCT-er (dvs. ikke statistisk signifikante resultater) med en abstrakt konklusjon identifisert i tidligere arbeider. Inklusjonskriterier var 1) RCT med ikke-statistisk signifikant primærutfall, 2) spin i den abstrakte konklusjonen.
2. Abstrakt modifikasjon Utvalgte abstrakter ble systematisk omskrevet for å ikke inneholde noe "spinn". Alle sammendrag ble presentert i samme format uten navn på forfattere, referanser eller navnet på tidsskriftet det ble publisert i, og navnene på behandlingene ble maskert ved å bruke generiske termer.
3. Vurdering Abstracts ble vurdert av tilsvarende forfattere av randomiserte studier, eksperter av spesifikke bevilgninger og etterforsker av studier registrert i http://clinicaltrials.gov. Eksperter ble invitert til å delta i vår studie. De ble ikke informert om målene for vår studie. Hver kliniker ble randomisert til å evaluere 1 abstrakt med eller 1 abstrakt uten spinn.
4. Det primære endepunktet var deltakernes tolkning av abstrakte resultater. Alle lesere som deltok i studien evaluerte abstraktet fra randomisert utprøving og svarte på følgende spørsmål: Basert på dette abstraktet, tror du behandling A vil være gunstig for pasientene?

Randomiseringsegenskaper

Randomiseringslisten ble etablert i blokker på 30. Så hver deltaker kunne evaluere 1 abstrakt med spinn eller 1 abstrakt uten spinn.

Listen og blokkstørrelsen ble ikke avslørt til etterforskerne. Tildelingsskjul ble oppnådd ved bruk av et datastyrt randomiseringssystem.

Hvis en deltaker logget på systemet, men ikke evaluerte noe sammendrag, ble vurderingene ekskludert og sammendragene ble automatisk tildelt neste deltaker.

Kvalifikasjonskriterier

Evaluatorer som deltok i denne studien var som følger:

1. De "korresponderende forfatterne" av publiserte RCT-er innen kreftfeltet. Etterforskerne søkte systematisk i Medline via PubMed for å identifisere alle publikasjoner av RCT i 2012 og om nødvendig 2011, 2010. Etterforskerne samlet inn alle e-poster fra "korresponderende forfattere" av disse elementene.
2. Eksperter fra et fransk nasjonalt stipend innen kreftfeltet Alle potensielle deltakere ble invitert via e-post til å delta i en studie om tolkning av resultater av sammendrag av kliniske studier. Hvis de takket ja til å delta, brukte de en Internett-lenke som ga dem tilgang til sammendrag for å vurdere.
3. Etterforskere av studier registrert på http://clinicaltrials.gov.

Intervensjon og komparatorer

Utvalg av abstrakter med spinn Vi valgte fra tidligere arbeid og personellsamling13-16, 30 abstrakter av 2 parallellarms negative RCT (dvs. ikke-statistisk signifikant primærutfall) som evaluerer behandling innen kreftfeltet og har spinn i den abstrakte konklusjonen iht. en klassifisering utviklet tidligere13. Vi ekskluderte sammendrag med svært uvanlig type spinn som fokus på et annet studiemål, med spinn relatert til sikkerhet, eller studie som sammenligner samme behandling, men med forskjellig dosering eller annen administrasjonsmåte eller forskjellig behandlingsvarighet. Vi ekskluderte også sammendrag av RCT-er med liten prøvestørrelse (<100). Sammendrag ble nummerert fra 1 til 30 og ble klassifisert i to kategorier: 10 sammendrag (nummer 11/12/14/16/20/22/24/27/28/30) med høyt spinnnivå (dvs. ingen anerkjennelse av ikke statistisk signifikant primærutfall i konklusjonen) og 20 med lavt spinnnivå.

Utvikling av abstrakter uten spinn Abstraktene med spinn ble systematisk skrevet om uten spinn. En forsker skrev om hvert sammendrag i henhold til spesifikke retningslinjer beskrevet i boksen. Alle sammendrag hadde samme antall ord +/-25. Alle abstrakter uten spinn ble evaluert uavhengig av en annen forsker. Eventuell uenighet ble diskutert og abstraktet ble modifisert i henhold til konsensus oppnådd.

For hver studie hadde etterforskerne 2 versjoner av abstraktet: 1 med spinn og 1 uten spinn.

Abstrakter med og uten spinn ble presentert i formatet til det originale abstraktet med samme typografi. Navn på forfattere, referanser, journalnavn, registreringsnummer, forsøksnavn eller akronym og artikkeltittel ble slettet, og behandlingsnavn og beskrivelse ble systematisk maskert med generiske termer (f.eks. behandling A og komparator B). Ved behov ble noe informasjon som kunne hjelpe å identifisere behandlingen slettet.

Utfall

Primært resultat Det primære endepunktet var deltakernes tolkning av abstraktene. Alle studiedeltakerne evaluerte hvert abstrakt. De svarte på følgende spørsmål på en numerisk skala gradert fra 0 (ikke i det hele tatt) til 10 (svært sannsynlig)

• Basert på dette abstraktet, tror du behandling A vil være gunstig for pasientene? (svar: numerisk skala fra 0-10)

Sekundære utfall

De sekundære endepunktene var vurdering av studiekvaliteten, studiens betydning, interessen for å lese hele teksten og sannsynligheten for å bli publisert. For hvert abstrakt svarte deltakerne følgende:

• Vurdere den generelle strengheten til studiemetodikken? (skala 0-10)
• Vurder viktigheten av studien (skala 0-10)
• Er du interessert i å lese hele artikkelen for studien beskrevet i dette abstraktet? (skala 0-10)
• Tror du det ville være interessant å kjøre en ny prøve for å evaluere denne behandlingen? (skala 0-10)

Blinding

Det primære endepunktet er deltakernes tolkning av abstraktet. Dette resultatet er veldig subjektivt. En fersk studie har vist at mangel på blinding er ansvarlig for en overestimering av behandlingseffekt i randomiserte studier med subjektive primære endepunkter17. For å minimere skjevhet foreslo etterforskerne å få deltakerne blindet for studiehypotesen. Alle deltakerne ble informert om at de deltok i en undersøkelse om tolkningen av sammendrag fra kliniske studier. De ble ikke informert om målene og forutsetningene for studien før studiens slutt da de rapporterte resultatene.

Andre data samlet inn. Etterforskerne samlet også inn endringene i abstraktene når det gjelder ord slettet og ord lagt til hvert abstrakt.

Prøvestørrelse

Hver deltaker vil lese 1 abstrakt med eller 1 abstrakt uten spinn. Et utvalg på 266 vurderinger av sammendrag er nødvendig for å vise en effektstørrelse på 0,4 med primærutfall forutsatt en gjennomsnittlig forskjell på 1 poeng og et vanlig standardavvik basert på en pilotstudie på 2,5 med en potens på 90 % og en alfarisiko lik 5 %. Tretti sammendrag med spinn og 30 abstrakter uten spinn er tilgjengelige. Teoretisk sett må hvert abstrakt leses like mange ganger i henhold til randomiseringsgruppe. Med tanke på alle disse elementene vil det være nødvendig å inkludere 300 deltakere (150 i hver arm). Hvert sammendrag vil bli lest 5 ganger i hver gruppe (abstrakt med lavt spinnnivå vil bli lest 200 ganger (100 i hver gruppe) og abstrakt med høyt spinnnivå vil bli lest 100 ganger (50 i hver gruppe)).

Statistisk analyse

Statistisk analyse vil bli utført uavhengig og blindt med bruk av Statistical Analysis Software (SAS) v9.3 av en statistiker fra Center for Clinical Epidemiology. En statistisk analyseplan vil bli utviklet og validert før du søker i databasen. Den statistiske analyseplanen vil bli revidert i løpet av studien for å ta hensyn til eventuelle endringer i protokollen eller andre endringer som har innvirkning på den opprinnelig planlagte statistiske analysen. Alle versjoner vil bli lagret for gjennomgang. En T-test vil bli brukt for analyse av primære og sekundære utfall. Denne statistiske planen kan endres i henhold til tilgjengelige data. For eksempel, hvis antall avlesninger for en bestemt vignett er ubalansert i grupper, vil en flernivåmodell (en blandet modell for grupperte data) brukes for å sammenligne justerte gjennomsnitt for de primære utfallsmålene mellom de to armene. Dette betyr at statistisk analyse vil bli justert for ubalansert fordeling av abstrakter i hver gruppe. Den samme modellen vil bli brukt på sekundære utfall og på subgruppeabstrakter med høyt spinnnivå.

En sekundær analyse vil sammenligne Intraclass Correlation (ICC) mellom lesere av abstrakter med spinn og abstrakter uten spinn ved å beregne 95 % konfidensintervall for forskjellen mellom ICCer (ved en bootstrap-metode).