Inverkan av "Spin" på tolkningen av resultat från randomiserade försök inom cancerområdet (SPIIN)

Utredarna planerade en RCT där enheten för randomisering är den abstrakta. Planeringen, genomförandet, analysen och skrivningen av denna studie följde CONSORT Statement12.

Design

Utredarna utförde en RCT som jämförde tolkningen av resultat i sammandrag a) med och b) utan spin.

1. Identifiering av sammandrag av randomiserade försök med spin. Utredarna valde ett urval av negativa publicerade RCT (dvs. icke statistiskt signifikanta resultat) med en spin i abstrakt slutsats identifierad i tidigare arbeten. Inklusionskriterier var 1) RCT med icke-statistiskt signifikant primärt resultat, 2) spin i den abstrakta slutsatsen.
2. Abstracts modifiering Utvalda sammanfattningar skrevs systematiskt om för att inte innehålla något "snurr". Alla sammanfattningar presenterades i samma format utan namn på författare, referenser eller namnet på tidskriften där det publicerades, och namnen på behandlingar maskerades med hjälp av generiska termer.
3. Bedömning Sammandragen utvärderades av motsvarande författare av randomiserade studier, experter på specifika bidrag och utredare av studier registrerade i http://clinicaltrials.gov. Experter inbjöds att delta i vår studie. De informerades inte om syftet med vår studie. Varje läkare randomiserades för att utvärdera 1 abstrakt med eller 1 abstrakt utan spin.
4. Den primära slutpunkten var deltagarnas tolkning av abstrakta resultat. Alla läsare som deltog i studien utvärderade sammanfattningen av randomiserad studie och svarade på följande fråga: Baserat på detta sammandrag, tror du att behandling A skulle vara till nytta för patienterna?

Randomiseringsegenskaper

Randomiseringslistan upprättades i block om 30. Så, varje deltagare kunde utvärdera 1 abstrakt med spin eller 1 abstrakt utan spin.

Listan och blockstorleken avslöjades inte för utredarna. Tilldelningsdöljande erhölls genom användning av ett datoriserat randomiseringssystem.

Om en deltagare loggade in på systemet men inte utvärderade något sammandrag, exkluderades bedömningarna och sammanfattningarna tilldelades automatiskt nästa deltagare.

Urvalskriterier

Utvärderare som deltog i denna studie var följande:

1. De "motsvarande författarna" till publicerade RCT:er inom cancerområdet. Utredarna sökte systematiskt i Medline via PubMed för att identifiera alla publikationer av RCT under 2012 och vid behov 2011, 2010. Utredarna samlade in alla e-postmeddelanden från "motsvarande författare" av dessa föremål.
2. Experter från ett franskt nationellt anslag inom cancerområdet. Alla potentiella deltagare inbjöds via e-post att delta i en studie om tolkningen av resultat av sammanfattningar av kliniska prövningar. Om de gick med på att delta använde de en internetlänk som gav dem tillgång till abstracts för att bedöma.
3. Utredare av försök registrerade på http://clinicaltrials.gov.

Intervention och komparatorer

Urval av abstracts med spin Vi valde från tidigare arbete och personalsamling13-16, 30 abstracts av 2 parallella armar negativa RCT (dvs. icke-statistiskt signifikant primärt utfall) utvärderar behandling inom cancerområdet och har spin i den abstrakta slutsatsen enl. en klassificering som utvecklats tidigare13. Vi uteslöt sammandrag med mycket ovanlig typ av spinn som fokus på ett annat studiemål, med spinn relaterad endast till säkerhet, eller studie som jämförde samma behandling men med olika doseringar eller olika administreringssätt eller olika behandlingslängd. Vi uteslöt också abstrakt av RCT med liten provstorlek (<100). Sammanfattningen numrerades från 1 till 30 och klassificerades i två kategorier: 10 sammanfattningar (nummer 11/12/14/16/20/22/24/27/28/30) med hög spinnnivå (d.v.s. ingen erkännande av icke statistiskt signifikant primärt utfall i slutsatsen) och 20 med låg spinnnivå.

Utveckling av abstrakt utan spin Abstrakten med spin skrevs systematiskt om utan spin. En forskare skrev om varje abstrakt enligt specifika riktlinjer som beskrivs i rutan. Alla abstracts hade samma antal ord +/-25. Alla sammanfattningar utan spin utvärderades oberoende av en annan forskare. Eventuella meningsskiljaktigheter diskuterades och sammanfattningen modifierades i enlighet med den konsensus som uppnåddes.

För varje studie hade utredarna alltså två versioner av abstraktet: 1 med spin och 1 utan spin.

Abstrakt med och utan spin presenterades i formatet av originalabstraktet med samma typografi. Författarnamn, referenser, tidskriftsnamn, registreringsnummer, försöksnamn eller akronym och artikeltitel raderades och behandlingsnamnen och beskrivningen maskerades systematiskt med generiska termer (t.ex. behandling A och jämförelse B). Vid behov raderades viss information som kunde hjälpa till att identifiera behandlingen.

Resultat

Primärt resultat Det primära effektmåttet var deltagarnas tolkning av sammanfattningarna. Alla studiedeltagare utvärderade varje abstrakt. De svarade på följande fråga på en numerisk skala graderad från 0 (inte alls troligt) till 10 (mycket troligt)

• Baserat på detta sammandrag, tror du att behandling A skulle vara till nytta för patienterna? (svar: numerisk skala från 0-10)

Sekundära resultat

De sekundära effektmåtten var bedömningen av studiens kvalitet, studiens betydelse, intresset för att läsa hela texten och sannolikheten att bli publicerad. För varje abstract svarade deltagarna följande:

• Betygsätt den övergripande strängheten i studiemetodiken? (skala 0-10)
• Betygsätt vikten av studien (skala 0-10)
• Är du intresserad av att läsa hela artikeln för studien som beskrivs i detta sammandrag? (skala 0-10)
• Tror du att det skulle vara intressant att köra ytterligare en prövning för att utvärdera denna behandling? (skala 0-10)

Bländande

Den primära slutpunkten är deltagarnas tolkning av abstraktet. Detta resultat är mycket subjektivt. En nyligen genomförd studie har visat att brist på blindning är ansvarig för en överskattning av behandlingseffekt i randomiserade studier med subjektiva primära effektmått17. För att minimera partiskhet föreslog utredarna att deltagarna skulle bli blinda för studiehypotesen. Alla deltagare informerades om att de deltog i en undersökning om tolkningen av sammandrag från kliniska prövningar. De informerades inte om studiens mål och antaganden före studiens slut när de rapporterade resultaten.

Övriga data som samlats in. Utredarna samlade också in ändringarna av sammandrag i termer av raderade ord och ord som lades till varje sammandrag.

Provstorlek

Varje deltagare kommer att läsa 1 abstrakt med eller 1 abstrakt utan spin. Ett urval av 266 bedömningar av abstracts behövs för att visa en effektstorlek på 0,4 med primärt utfall med antagande av en medelskillnad på 1 poäng och en vanlig standardavvikelse baserad på en pilotstudie på 2,5 med en styrka på 90 % och en alfarisk lika med 5 %. Trettio abstrakt med spin och 30 abstrakt utan spin är tillgängliga. Teoretiskt sett måste varje abstract läsas lika många gånger enligt randomiseringsgrupp. Med tanke på alla dessa element kommer det att vara nödvändigt att inkludera 300 deltagare (150 i varje arm). Varje sammanfattning kommer att läsas 5 gånger i varje grupp (abstrakt med låg spinnnivå kommer att läsas 200 gånger (100 i varje grupp) och abstrakt med hög spinnnivå kommer att läsas 100 gånger (50 i varje grupp)).

Statistisk analys

Statistisk analys kommer att utföras oberoende och blint med användning av Statistical Analysis Software (SAS) v9.3 av en statistiker från Center for Clinical Epidemiology. En statistisk analysplan kommer att utvecklas och valideras innan du söker i databasen. Den statistiska analysplanen kommer att revideras under studien för att ta hänsyn till eventuella ändringar av protokollet eller andra ändringar som påverkar den ursprungligen planerade statistiska analysen. Alla versioner kommer att sparas för granskning. Ett T-test kommer att användas för analys av primära och sekundära resultat. Denna statistiska plan kan modifieras enligt tillgängliga data. Till exempel, om antalet avläsningar för en viss vinjett är obalanserat i grupper, kommer en flernivåmodell (en blandad modell för klustrade data) att användas för att jämföra justerade medelvärden för de primära utfallsmåtten mellan de två armarna. Detta innebär att statistisk analys kommer att justeras för obalanserad uppdelning av abstracts i varje grupp. Samma modell kommer att tillämpas på sekundära resultat och på subgruppsabstrakt med hög spinnnivå.

En sekundär analys kommer att jämföra Intraclass Correlation (ICC) mellan läsare av abstrakt med spin och abstrakt utan spin genom att beräkna 95 % konfidensintervall för skillnaden mellan ICC (med en bootstrap-metod).