Vliv "Spin" na interpretaci výsledků randomizovaných studií v oblasti rakoviny (SPIIN)

Vyšetřovatelé naplánovali RCT, ve kterém je jednotka randomizace abstraktní. Plánování, implementace, analýza a psaní této studie se řídilo prohlášením CONSORT12.

Design

Výzkumníci provedli RCT porovnávající interpretaci výsledků v abstraktech a) s ab) bez spinu.

1. Identifikace abstraktů randomizovaných studií s rotací. Vyšetřovatelé vybrali vzorek negativních publikovaných RCT (tj. statisticky nevýznamné výsledky) s obratem v abstraktním závěru identifikovaným v předchozích pracích. Kritéria pro zařazení byla 1) RCT s nestatisticky významným primárním výsledkem, 2) spin v abstraktním závěru.
2. Úprava abstraktů Vybrané abstrakty byly systematicky přepisovány tak, aby neobsahovaly žádné "spinování". Všechny abstrakty byly prezentovány ve stejném formátu bez jmen autorů, odkazů nebo názvu časopisu, ve kterém byly publikovány, a názvy léčebných postupů byly maskovány použitím obecných termínů.
3. Hodnocení Abstrakty byly posouzeny odpovídajícími autory randomizovaných studií, experty konkrétních grantů a řešitelem studií registrovaných na http://clinicaltrials.gov. K účasti na naší studii byli přizváni odborníci. Nebyli informováni o cílech naší studie. Každý lékař byl náhodně vybrán, aby vyhodnotil 1 abstrakt s nebo 1 abstrakt bez spinu.
4. Primárním cílem byla interpretace abstraktních výsledků účastníky. Všichni čtenáři účastnící se studie hodnotili abstrakt randomizované studie a odpověděli na následující otázku: Na základě tohoto abstraktu si myslíte, že by léčba A byla pro pacienty přínosná?

Randomizační charakteristiky

Randomizační seznam byl vytvořen v blocích po 30. Každý účastník tedy mohl hodnotit 1 abstrakt s rotací nebo 1 abstrakt bez rotace.

Seznam a velikost bloku nebyly vyšetřovatelům sděleny. Skrytí alokace bylo získáno použitím počítačového randomizačního systému.

Pokud se účastník přihlásil do systému, ale nevyhodnotil žádný abstrakt, hodnocení byla vyloučena a abstrakty byly automaticky přiděleny dalšímu účastníkovi.

Kritéria způsobilosti

Hodnotitelé, kteří se zúčastnili této studie, byli následující:

1. „Odpovídající autoři“ publikovaných RCT v oblasti rakoviny. Vyšetřovatelé systematicky prohledávali Medline prostřednictvím PubMed, aby identifikovali všechny publikace RCT v roce 2012 a v případě potřeby 2011, 2010. Vyšetřovatelé shromáždili všechny e-maily „korespondentů autorů“ těchto položek.
2. Experti francouzského národního grantu v oblasti rakoviny Všichni potenciální účastníci byli pozváni e-mailem k účasti na studii o interpretaci výsledků abstraktů klinických studií. Pokud souhlasili s účastí, použili internetový odkaz, který jim umožnil přístup k abstraktům k posouzení.
3. Vyšetřovatelé pokusů registrovaní na http://clinicaltrials.gov.

Intervence a komparátory

Výběr abstraktů s rotací Z předchozího pracovního a personálního souboru13-16 jsme vybrali 30 abstraktů 2 paralelních ramen negativních RCT (tj. nestatisticky významný primární výsledek) hodnotící léčbu v oblasti rakoviny a mající spin v abstraktním závěru podle dříve vyvinutá klasifikace13. Vyloučili jsme abstrakt s velmi neobvyklým typem rotace, jako je zaměření na jiný cíl studie, s rotací související pouze s bezpečností nebo studie porovnávající stejnou léčbu, ale s odlišným dávkováním nebo odlišným způsobem podávání nebo různou délkou léčby. Vyloučili jsme také abstrakt RCT s malou velikostí vzorku (<100). Abstrakty byly číslovány od 1 do 30 a byly klasifikovány do dvou kategorií: 10 abstraktů (čísla 11/12/14/16/20/22/24/27/28/30) s vysokou úrovní rotace (tj. bez uznání ne statisticky významný primární výsledek v závěru) a 20 s nízkou úrovní rotace.

Vývoj abstraktů bez spinu Abstrakty se spinem byly systematicky přepisovány bez spinu. Jeden výzkumník přepsal každý abstrakt podle konkrétních pokynů popsaných v rámečku. Všechny abstrakty měly stejný počet slov +/-25. Všechny abstrakty bez spinu byly vyhodnoceny nezávisle jiným výzkumníkem, případné neshody byly diskutovány a abstrakt byl upraven podle dosaženého konsenzu.

Pro každou studii tedy měli výzkumníci 2 verze abstraktu: 1 s rotací a 1 bez rotace.

Abstrakty se spinem i bez něj byly prezentovány ve formátu původního abstraktu se stejnou typografií. Jména autorů, reference, název časopisu, registrační číslo, název studie nebo zkratka a název článku byly vymazány a názvy a popis léčby byly systematicky maskovány generickými výrazy (např. léčba A a komparátor B). V případě potřeby byly některé informace, které by mohly pomoci při identifikaci léčby, odstraněny.

Výsledky

Primární výsledek Primárním cílem byla interpretace abstraktů účastníky. Všichni účastníci studie hodnotili každý abstrakt. Na následující otázku odpověděli na číselné škále od 0 (vůbec nepravděpodobné) do 10 (velmi pravděpodobné).

• Na základě tohoto abstraktu, myslíte si, že by léčba A byla pro pacienty přínosná? (odpověď: číselná stupnice od 0 do 10)

Sekundární výsledky

Sekundárními cílovými body bylo posouzení kvality studie, důležitosti studie, zájmu o přečtení celého textu a pravděpodobnosti zveřejnění. U každého abstraktu účastníci odpověděli na následující:

• Hodnotit celkovou přísnost metodologie studie? (měřítko 0-10)
• Ohodnoťte důležitost studie (škála 0–10)
• Máte zájem přečíst si celý článek o studii popsané v tomto abstraktu? (měřítko 0-10)
• Myslíte si, že by bylo zajímavé provést další studii hodnotící tuto léčbu? (měřítko 0-10)

Oslepující

Primárním cílem je interpretace abstraktu účastníky. Tento výsledek je velmi subjektivní. Nedávná studie ukázala, že nedostatek zaslepení je odpovědný za nadhodnocení účinku léčby v randomizovaných studiích se subjektivními primárními cílovými parametry17. Aby se minimalizovalo zkreslení, výzkumníci navrhli, aby účastníci byli zaslepeni vůči hypotéze studie. Všichni účastníci byli informováni, že se účastní průzkumu o interpretaci abstraktů klinických studií. Nebyli informováni o cílech a předpokladech studie před jejím ukončením při oznamování výsledků.

Další shromážděná data Výzkumníci také shromáždili změny abstraktů, pokud jde o slova odstraněná a slova přidaná do každého abstraktu.

Velikost vzorku

Každý účastník přečte 1 abstrakt s nebo 1 abstrakt bez rotace. Vzorek 266 hodnocení abstrakt je potřeba k prokázání velikosti účinku 0,4 s primárním výsledkem za předpokladu středního rozdílu 1 bod a společné standardní odchylky založené na pilotní studii 2,5 se sílou 90 % a alfa rizikem rovným 5 %. K dispozici je třicet abstraktů s rotací a 30 abstraktů bez rotace. Teoreticky musí být každý abstrakt přečten stejně často podle randomizační skupiny. Vzhledem ke všem těmto prvkům bude nutné zahrnout 300 účastníků (150 v každé větvi). Každý abstrakt bude v každé skupině přečten 5krát (abstrakt s nízkou úrovní rotace bude přečten 200krát (100krát v každé skupině) a abstrakt s vysokou úrovní rotace bude přečten 100krát (50krát v každé skupině)).

Statistická analýza

Statistická analýza bude prováděna nezávisle a naslepo pomocí Statistical Analysis Software (SAS) v9.3 statistikem Centra pro klinickou epidemiologii. Před prohledáváním databáze bude vytvořen a ověřen statistický analytický plán. Plán statistické analýzy bude v průběhu studie revidován, aby zohlednil veškeré změny protokolu nebo jakékoli jiné změny, které mají dopad na původně plánovanou statistickou analýzu. Všechny verze budou uchovávány pro kontrolu. Pro analýzu primárních a sekundárních výsledků bude použit T test. Tento statistický plán lze upravit podle dostupných údajů. Pokud je například počet odečtů pro konkrétní vinětu ve skupinách nevyvážený, použije se víceúrovňový model (smíšený model pro seskupená data) k porovnání upravených průměrů pro měření primárního výsledku mezi dvěma rameny. To znamená, že statistická analýza bude upravena o nevyvážené rozdělení abstraktů v každé skupině. Stejný model bude aplikován na sekundární výstupy a na podskupiny abstraktů s vysokou úrovní rotace.

Sekundární analýza porovná vnitrotřídní korelaci (ICC) mezi čtenáři abstraktů s rotací a abstraktů bez rotace výpočtem 95% intervalu spolehlivosti rozdílu mezi ICC (metodou bootstrap).