Indvirkning af "Spin" på fortolkningen af ​​resultaterne af randomiserede forsøg på kræftområdet (SPIIN)

Efterforskerne planlagde en RCT, hvor randomiseringsenheden er den abstrakte. Planlægningen, implementeringen, analysen og skrivningen af ​​denne undersøgelse fulgte CONSORT-erklæringen12.

Design

Efterforskerne udførte en RCT, der sammenlignede fortolkningen af ​​resultaterne i abstracts a) med og b) uden spin.

1. Identifikation af abstracts af randomiserede forsøg med spin. Efterforskerne udvalgte en stikprøve af negative publicerede RCT'er (dvs. ikke-statistisk signifikante resultater) med et spin i abstrakt konklusion identificeret i tidligere værker. Inklusionskriterier var 1) RCT'er med ikke-statistisk signifikant primært resultat, 2) spin i den abstrakte konklusion.
2. Abstracts' modifikation Udvalgte abstracts blev systematisk omskrevet til ikke at indeholde noget "spin". Alle abstracts blev præsenteret i samme format uden navne på forfattere, referencer eller navnet på det tidsskrift, hvor det blev offentliggjort, og navnene på behandlinger blev maskeret ved at bruge generiske termer.
3. Vurdering Abstracts blev vurderet af tilsvarende forfattere af randomiserede forsøg, eksperter af specifikke bevillinger og efterforsker af forsøg registreret i http://clinicaltrials.gov. Eksperter blev inviteret til at deltage i vores undersøgelse. De blev ikke informeret om formålet med vores undersøgelse. Hver kliniker blev randomiseret til at evaluere 1 abstrakt med eller 1 abstrakt uden spin.
4. Det primære endepunkt var deltagernes fortolkning af abstrakte resultater. Alle læsere, der deltog i undersøgelsen, evaluerede abstraktet af randomiseret forsøg og besvarede følgende spørgsmål: Baseret på dette abstrakt, tror du, at behandling A ville være gavnlig for patienterne?

Randomiseringsegenskaber

Randomiseringslisten blev etableret i blokke af 30. Så hver deltager kunne evaluere 1 abstrakt med spin eller 1 abstrakt uden spin.

Listen og blokstørrelsen blev ikke videregivet til efterforskerne. Tildelingsskjul blev opnået ved brug af et computerstyret randomiseringssystem.

Hvis en deltager loggede på systemet, men ikke evaluerede noget abstract, blev vurderingerne udelukket, og abstracts blev automatisk tildelt den næste deltager.

Berettigelseskriterier

Evaluatorer, der deltog i denne undersøgelse, var som følger:

1. De "tilsvarende forfattere" af publicerede RCT'er inden for kræftområdet. Efterforskerne søgte systematisk i Medline via PubMed for at identificere alle publikationer af RCT'er i 2012 og om nødvendigt 2011, 2010. Efterforskerne indsamlede alle e-mails fra "korresponderende forfattere" af disse genstande.
2. Eksperter fra en fransk national bevilling på kræftområdet Alle potentielle deltagere blev inviteret via e-mail til at deltage i en undersøgelse om fortolkning af resultaterne af sammendrag af kliniske forsøg. Hvis de sagde ja til at deltage, brugte de et internetlink, der gav dem adgang til abstracts til at vurdere.
3. Efterforskere af forsøg registreret i http://clinicaltrials.gov.

Intervention og komparatorer

Udvælgelse af abstracts med spin Vi udvalgte fra tidligere arbejde og personalesamling13-16, 30 abstracts af 2 parallelle arme negative RCT'er (dvs. ikke-statistisk signifikant primært resultat), der evaluerer behandling inden for kræftområdet og har spin i den abstrakte konklusion iflg. en klassifikation udviklet tidligere13. Vi udelukkede abstrakt med meget usædvanlig type spin, såsom fokus på et andet studiemål, med spin kun relateret til sikkerhed, eller undersøgelse, der sammenligner den samme behandling, men med anden dosering eller anden administrationsmåde eller forskellig behandlingsvarighed. Vi udelukkede også abstrakt af RCT'er med lille prøvestørrelse (<100). Abstract blev nummereret fra 1 til 30 og blev klassificeret i to kategorier: 10 abstracts (numre 11/12/14/16/20/22/24/27/28/30) med højt spinniveau (dvs. ingen anerkendelse af ikke statistisk signifikant primært resultat i konklusionen) og 20 med lavt spinniveau.

Udvikling af abstracts uden spin Abstrakterne med spin blev systematisk omskrevet uden spin. En forsker omskrev hvert abstrakt i henhold til specifikke retningslinjer beskrevet i boksen. Alle abstracts havde samme antal ord +/-25. Alle abstracts uden spin blev evalueret uafhængigt af en anden forsker, enhver uenighed blev diskuteret, og abstraktet blev ændret i henhold til den opnåede konsensus.

For hver undersøgelse havde efterforskerne således 2 versioner af abstraktet: 1 med spin og 1 uden spin.

Abstrakter med og uden spin blev præsenteret i formatet af det originale abstrakt med samme typografi. Navne på forfattere, referencer, tidsskriftsnavn, registreringsnummer, forsøgsnavn eller akronym og artikeltitel blev slettet, og behandlingsnavne og beskrivelse blev systematisk maskeret med generiske termer (f.eks. behandling A og komparator B). Om nødvendigt blev nogle oplysninger, der kunne hjælpe med at identificere behandlingen, slettet.

Resultater

Primært resultat Det primære endepunkt var deltagernes fortolkning af abstracts. Alle undersøgelsesdeltagere evaluerede hvert abstrakt. De besvarede følgende spørgsmål på en numerisk skala fra 0 (slet ikke sandsynligt) til 10 (meget sandsynligt)

• Baseret på dette abstrakt, tror du, at behandling A ville være gavnlig for patienterne? (svar: numerisk skala fra 0-10)

Sekundære resultater

De sekundære endepunkter var vurderingen af ​​undersøgelsens kvalitet, undersøgelsens betydning, interessen for at læse hele teksten og sandsynligheden for at blive publiceret. For hvert abstrakt svarede deltagerne følgende:

• Vurder den overordnede stringens af studiemetodikken? (skala 0-10)
• Vurder vigtigheden af ​​undersøgelsen (skala 0-10)
• Er du interesseret i at læse hele artiklen til undersøgelsen beskrevet i dette abstrakt? (skala 0-10)
• Tror du, det ville være interessant at køre endnu et forsøg, der evaluerer denne behandling? (skala 0-10)

Blænding

Det primære endepunkt er deltagernes fortolkning af abstraktet. Dette resultat er meget subjektivt. En nylig undersøgelse har vist, at manglende blinding er ansvarlig for en overvurdering af behandlingseffekt i randomiserede forsøg med subjektive primære endepunkter17. For at minimere skævhed foreslog efterforskerne at få deltagerne blindet for undersøgelsens hypotese. Alle deltagere blev informeret om, at de deltog i en undersøgelse om fortolkning af abstracts fra kliniske forsøg. De blev ikke informeret om undersøgelsens mål og antagelser inden afslutningen af ​​undersøgelsen, da de rapporterede resultaterne.

Andre indsamlede data Efterforskerne indsamlede også ændringerne til abstracts i form af slettede ord og ord tilføjet til hvert abstrakt.

Prøvestørrelse

Hver deltager vil læse 1 abstrakt med eller 1 abstrakt uden spin. Der kræves en stikprøve på 266 vurderinger af abstracts for at vise en effektstørrelse på 0,4 med primært resultat forudsat en gennemsnitlig forskel på 1 point og en fælles standardafvigelse baseret på et pilotstudie på 2,5 med en potens på 90 % og en alfa-risiko svarende til 5 %. Tredive abstracts med spin og 30 abstracts uden spin er tilgængelige. Teoretisk set skal hvert abstrakt læses det samme antal gange i henhold til randomiseringsgruppe. I betragtning af alle disse elementer vil det være nødvendigt at inkludere 300 deltagere (150 i hver arm). Hvert abstrakt læses 5 gange i hver gruppe (abstrakt med lavt spinniveau læses 200 gange (100 i hver gruppe) og abstrakt med højt spinniveau læses 100 gange (50 i hver gruppe)).

Statistisk analyse

Statistisk analyse vil blive udført uafhængigt og blindt med brug af Statistical Analysis Software (SAS) v9.3 af en statistiker fra Center for Clinical Epidemiology. En statistisk analyseplan vil blive udviklet og valideret før søgning i databasen. Den statistiske analyseplan vil blive revideret i løbet af undersøgelsen for at tage højde for eventuelle ændringer af protokollen eller enhver anden ændring, der har indvirkning på den oprindeligt planlagte statistiske analyse. Alle versioner vil blive gemt til gennemsyn. En T-test vil blive brugt til analyse af primære og sekundære resultater. Denne statistiske plan kan ændres i henhold til tilgængelige data. For eksempel, hvis antallet af aflæsninger for en bestemt vignet er ubalanceret i grupper, vil en multi-level model (en blandet model for grupperede data) blive brugt til at sammenligne justerede gennemsnit for de primære resultatmål mellem de 2 arme. Dette betyder, at statistisk analyse vil blive justeret for ubalanceret opdeling af abstracts i hver gruppe. Den samme model vil blive anvendt på sekundære resultater og på subgruppens abstrakter med højt spin-niveau.

En sekundær analyse vil sammenligne Intraclass Correlation (ICC) mellem læsere af abstracts med spin og abstracts uden spin ved at beregne 95 % konfidensintervallet for forskellen mellem ICC'er (ved en bootstrap-metode).