"Spin" vaikutus satunnaistettujen kokeiden tulosten tulkintaan syövän alalla (SPIIN)

Tutkijat suunnittelivat RCT:n, jossa satunnaistuksen yksikkö on abstrakti. Tämän tutkimuksen suunnittelu, toteutus, analysointi ja kirjoittaminen noudatti CONSORTin lausuntoa12.

Design

Tutkijat suorittivat RCT:n vertaamalla tulosten tulkintaa abstrakteissa a) ja b) ilman spiniä.

1. Satunnaistettujen spin-tutkimusten abstraktien tunnistaminen. Tutkijat valitsivat näytteen negatiivisista julkaistuista RCT:istä (ts. ei-tilastollisesti merkitseviä tuloksia), joiden abstrakti johtopäätös on tunnistettu aikaisemmissa töissä. Sisällyttämiskriteerit olivat 1) RCT:t, joiden ensisijainen tulos ei ole tilastollisesti merkitsevä, 2) abstrakti johtopäätös.
2. Tiivistelmien modifikaatio Valitut tiivistelmät kirjoitettiin systemaattisesti uudelleen niin, ettei niissä ollut "pyöritystä". Kaikki tiivistelmät esitettiin samassa muodossa ilman tekijöiden nimiä, lähteitä tai sen lehden nimeä, jossa ne on julkaistu, ja hoitojen nimet peitettiin yleistermeillä.
3. Arviointitiivistelmät arvioivat vastaavat satunnaistettujen tutkimusten kirjoittajat, erityisapurahojen asiantuntijat ja osoitteessa http://clinicaltrials.gov rekisteröityjen tutkimusten tutkijat. Asiantuntijat kutsuttiin osallistumaan tutkimukseemme. Heille ei kerrottu tutkimuksemme tavoitteita. Jokainen kliinikko satunnaistettiin arvioimaan 1 abstrakti spinillä tai 1 abstrakti ilman spiniä.
4. Ensisijainen päätetapahtuma oli osallistujien abstraktien tulosten tulkinta. Kaikki tutkimukseen osallistuneet lukijat arvioivat satunnaistetun tutkimuksen tiivistelmää ja vastasivat seuraavaan kysymykseen: Onko tämän tiivistelmän perusteella mielestänne A-hoidosta hyötyä potilaille?

Satunnaistuksen ominaisuudet

Satunnaistuslista laadittiin 30 lohkoissa. Jokainen osallistuja sai siis arvioida 1 abstraktin spinillä tai 1 abstraktin ilman spiniä.

Luetteloa ja lohkon kokoa ei kerrottu tutkijoille. Allokoinnin piilottaminen saatiin käyttämällä tietokoneistettua satunnaistusjärjestelmää.

Jos osallistuja kirjautui järjestelmään, mutta ei arvioinut abstraktia, arvioinnit jätettiin pois ja tiivistelmät jaettiin automaattisesti seuraavalle osallistujalle.

Kelpoisuusehdot

Tähän tutkimukseen osallistuneet arvioijat olivat seuraavat:

1. Syövän alalla julkaistujen RCT-tutkimusten "vastaavat kirjoittajat". Tutkijat tekivät järjestelmällisesti Medline-hakuja PubMedin kautta löytääkseen kaikki RCT-julkaisut vuonna 2012 ja tarvittaessa vuosina 2011, 2010. Tutkijat keräsivät kaikki näiden kohteiden "vastaavien tekijöiden" sähköpostit.
2. Ranskan kansallisen syöpäalan apurahan asiantuntijat Kaikki mahdolliset osallistujat kutsuttiin sähköpostitse osallistumaan kliinisten tutkimusten tiivistelmien tulosten tulkintaa koskevaan tutkimukseen. Jos he suostuivat osallistumaan, he käyttivät Internet-linkkiä, jonka kautta he pääsivät arvioimaan tiivistelmiä.
3. Osoitteessa http://clinicaltrials.gov rekisteröityjen tutkimusten tutkijat.

Interventio ja vertailijat

Abstraktien valinta spinillä Valitsimme aikaisemmasta työstä ja henkilöstökokoelmasta 13-16, 30 abstraktia 2 rinnakkaisen haaran negatiivisesta RCT:stä (eli ei-tilastollisesti merkittävä primaaritulos), jotka arvioivat hoitoa syövän alalla ja joilla on spin abstraktissa johtopäätöksessä aiemmin kehitetty luokitus13. Jätimme pois abstraktin, jossa oli hyvin epätavallinen pyöritys, kuten keskittyminen toiseen tutkimuksen tavoitteeseen, jossa spin liittyi vain turvallisuuteen, tai tutkimus, jossa verrattiin samaa hoitoa, mutta eri annokset tai erilaiset antotavat tai eri hoidon kesto. Jätimme pois myös abstraktin RCT:stä, jonka otoskoko oli pieni (<100). Abstraktit numeroitiin 1:stä 30:een, ja ne luokiteltiin kahteen luokkaan: 10 abstraktia (numerot 11/12/14/16/20/22/24/27/28/30), joilla oli korkea pyörimisaste (eli ei tunnustusta ei tilastollisesti merkitsevä ensisijainen tulos johtopäätöksessä) ja 20 alhainen spin.

Abstraktien kehittäminen ilman spiniä Abstraktit, joissa oli spin, kirjoitettiin systemaattisesti uudelleen ilman spiniä. Yksi tutkija kirjoitti jokaisen abstraktin uudelleen laatikossa kuvattujen ohjeiden mukaisesti. Kaikissa abstrakteissa oli sama määrä sanoja +/-25. Toinen tutkija arvioi itsenäisesti kaikki tiivistelmät ilman spiniä. Kaikki erimielisyydet keskusteltiin ja abstraktia muutettiin saavutetun konsensuksen mukaan.

Siten jokaisessa tutkimuksessa tutkijoilla oli 2 versiota abstraktista: 1 spinillä ja 1 ilman spiniä.

Abstraktit kehrättyinä ja ilman niitä esitettiin alkuperäisen abstraktin muodossa samalla typografialla. Tekijöiden nimet, viitteet, lehden nimi, rekisteröintinumero, kokeen nimi tai lyhenne ja artikkelin otsikko poistettiin, ja hoitojen nimet ja kuvaus peitettiin systemaattisesti yleisillä termeillä (esim. hoito A ja vertailu B). Tarvittaessa joitain tietoja, jotka auttoivat tunnistamaan hoidon, poistettiin.

Tulokset

Ensisijainen tulos Ensisijainen päätetapahtuma oli osallistujien tulkinta tiivistelmistä. Kaikki tutkimukseen osallistujat arvioivat jokaisen abstraktin. He vastasivat seuraavaan kysymykseen numeerisella asteikolla 0 (ei ollenkaan todennäköinen) 10 (erittäin todennäköinen)

• Uskotko tämän tiivistelmän perusteella, että A-hoidosta olisi hyötyä potilaille? (vastaus: numeerinen asteikko 0-10)

Toissijaiset tulokset

Toissijaisia ​​päätepisteitä olivat tutkimuksen laadun arviointi, tutkimuksen tärkeys, kiinnostus lukea koko tekstiä ja julkaisun todennäköisyys. Jokaisen abstraktin kohdalla osallistujat vastasivat seuraavasti:

• Arvioiko tutkimusmetodologian yleinen ankaruus? (asteikko 0-10)
• Arvioi tutkimuksen tärkeys (asteikolla 0-10)
• Oletko kiinnostunut lukemaan koko artikkelin tässä tiivistelmässä kuvatusta tutkimuksesta? (asteikko 0-10)
• Luuletko, että olisi mielenkiintoista suorittaa toinen koe tämän hoidon arvioimiseksi? (asteikko 0-10)

Sokaiseva

Ensisijainen päätepiste on osallistujien tulkinta abstraktista. Tämä tulos on hyvin subjektiivinen. Äskettäinen tutkimus on osoittanut, että sokeuttamisen puute on vastuussa hoidon tehon yliarvioinnista satunnaistetuissa tutkimuksissa, joissa oli subjektiivisia ensisijaisia ​​päätepisteitä17. Minimoidakseen harhaa tutkijat ehdottivat, että osallistujat sokaisettaisiin tutkimushypoteesille. Kaikille osallistujille kerrottiin, että he osallistuivat kliinisten tutkimusten tiivistelmien tulkintaa koskevaan kyselyyn. Heille ei tiedotettu tutkimuksen tavoitteista ja oletuksista ennen tutkimuksen päättymistä tuloksia raportoidessaan.

Muut kerätyt tiedot Tutkijat keräsivät myös abstrakteihin tehdyt muutokset poistettujen sanojen ja kuhunkin tiivistelmään lisättyjen sanojen osalta.

Otoskoko

Jokainen osallistuja lukee 1 abstraktin pyöräytyksellä tai 1 abstraktin ilman spin. Tarvitaan 266 abstraktin arvioinnin otos, jotta vaikutuksen koko on 0,4 ja ensisijainen tulos olettaen, että keskimääräinen ero on 1 piste ja yhteinen keskihajonnan, joka perustuu pilottitutkimukseen 2,5 teholla 90 % ja alfariskillä 5 %. Saatavilla on 30 tiivistelmää spinillä ja 30 tiivistelmää ilman pyöritystä. Teoreettisesti jokainen abstrakti on luettava sama määrä kertoja satunnaistusryhmän mukaan. Kaikki nämä tekijät huomioon ottaen on tarpeen ottaa mukaan 300 osallistujaa (150 kummassakin haarassa). Kukin tiivistelmä luetaan 5 kertaa kussakin ryhmässä (alhainen spin tasoinen abstrakti luetaan 200 kertaa (100 kussakin ryhmässä) ja abstrakti, jolla on korkea spin taso, luetaan 100 kertaa (50 kussakin ryhmässä)).

Tilastollinen analyysi

Kliinisen epidemiologian keskuksen tilastotieteilijä suorittaa tilastollisen analyysin itsenäisesti ja sokeasti Statistical Analysis Software (SAS) v9.3:n avulla. Tilastollinen analyyttinen suunnitelma laaditaan ja validoidaan ennen tietokannan hakua. Tilastollista analyysisuunnitelmaa tarkistetaan tutkimuksen aikana, jotta voidaan ottaa huomioon kaikki pöytäkirjaan tehdyt muutokset tai muut muutokset, jotka vaikuttavat alun perin suunniteltuun tilastolliseen analyysiin. Kaikki versiot säilytetään arkistossa tarkistusta varten. T-testiä käytetään primaaristen ja toissijaisten tulosten analysointiin. Tätä tilastosuunnitelmaa voidaan muuttaa käytettävissä olevien tietojen mukaan. Jos esimerkiksi tietyn vinjetin lukemien määrä on epätasapainossa ryhmissä, monitasoista mallia (sekamalli klusteroiduille tiedoille) käytetään vertaamaan kahden haaran ensisijaisten tulosmittausten mukautettuja keskiarvoja. Tämä tarkoittaa, että tilastollinen analyysi mukautetaan kunkin ryhmän tiivistelmien epätasapainoiseen jakautumiseen. Samaa mallia sovelletaan toissijaisiin tuloksiin ja alaryhmän abstrakteihin, joissa on korkea spin.

Toissijaisessa analyysissä verrataan luokan sisäistä korrelaatiota (ICC) tiivistelmien lukijoiden välillä spin- ja ilman spiniä sisältävien abstraktien lukijoiden välillä laskemalla ICC:iden välisen eron 95 %:n luottamusväli (bootstrap-menetelmällä).