Wpływ „spinu” na interpretację wyników badań randomizowanych w dziedzinie nowotworów (SPIIN)

Badacze zaplanowali RCT, w którym jednostką randomizacji jest abstrakcja. Planowanie, wdrażanie, analiza i pisanie tego badania były zgodne z Oświadczeniem CONSORT12.

Projekt

Badacze przeprowadzili RCT, porównując interpretację wyników w abstraktach a) z ib) bez spinu.

1. Identyfikacja abstraktów badań randomizowanych za pomocą spinu. Badacze wybrali próbę opublikowanych negatywnych badań RCT (tj. wyniki nieistotne statystycznie) z abstrakcyjnym wnioskiem zidentyfikowanym w poprzednich pracach. Kryteriami włączenia były: 1) RCT z nieistotnym statystycznie punktem końcowym, 2) abstrakcyjne wnioski.
2. Modyfikacja abstraktów Wybrane abstrakty były systematycznie przepisywane tak, aby nie zawierały żadnego „spinu”. Wszystkie streszczenia zaprezentowano w tej samej formie, bez nazwisk autorów, bibliografii i nazwy czasopisma, w którym zostały opublikowane, a nazwy zabiegów zamaskowano za pomocą terminów rodzajowych.
3. Ocena Streszczenia zostały ocenione przez odpowiednich autorów randomizowanych badań, ekspertów z konkretnych grantów i badaczy badań zarejestrowanych na stronie http://clinicaltrials.gov. Do udziału w naszym badaniu zaproszono ekspertów. Nie zostali poinformowani o celach naszego badania. Każdy klinicysta został losowo przydzielony do oceny 1 abstraktu z lub 1 abstraktu bez spinu.
4. Pierwszorzędowym punktem końcowym była interpretacja abstrakcyjnych wyników przez uczestników. Wszyscy czytelnicy biorący udział w badaniu ocenili streszczenie randomizowanego badania i odpowiedzieli na następujące pytanie: Czy na podstawie tego streszczenia sądzisz, że leczenie A byłoby korzystne dla pacjentów?

Charakterystyka randomizacji

Listę randomizacyjną ustalono w blokach po 30. Zatem każdy uczestnik mógł ocenić 1 abstrakt ze spinem lub 1 abstrakt bez spinu.

Lista i rozmiar bloku nie zostały ujawnione śledczym. Ukrycie alokacji uzyskano za pomocą skomputeryzowanego systemu randomizacji.

Jeżeli uczestnik zalogował się do systemu, ale nie ocenił żadnego abstraktu, oceny były wykluczane, a streszczenia automatycznie przydzielane kolejnemu uczestnikowi.

Kryteria kwalifikacji

Oceniającymi biorącymi udział w tym badaniu byli:

1. „Korespondenci autorzy” opublikowanych RCT w dziedzinie raka. Badacze systematycznie przeszukiwali Medline za pośrednictwem PubMed, aby zidentyfikować wszystkie publikacje RCT z 2012 r. i, w razie potrzeby, z 2011 r., 2010 r. Śledczy zebrali wszystkie e-maile „korespondujących autorów” tych pozycji.
2. Eksperci francuskiego grantu krajowego w dziedzinie onkologii Wszyscy potencjalni uczestnicy zostali zaproszeni drogą mailową do udziału w badaniu dotyczącym interpretacji wyników abstraktów badań klinicznych. Jeśli wyrazili zgodę na udział, korzystali z łącza internetowego, które umożliwiało im dostęp do streszczeń do oceny.
3. Badacze badań zarejestrowani na stronie http://clinicaltrials.gov.

Interwencja i komparatory

Wybór abstraktów ze spinem Z wcześniejszych prac i zbiorów personelu13-16 wybraliśmy 30 abstraktów z 2 równoległych ramion, negatywnych badań RCT (tj. nieistotnych statystycznie wyników pierwotnych), oceniających leczenie w zakresie nowotworów i mających spin w abstrakcyjnym wniosku zgodnie z klasyfikacja opracowana wcześniej13. Wykluczyliśmy abstrakty o bardzo nietypowym typie badania, takie jak skupienie się na innym celu badania, związane wyłącznie z bezpieczeństwem, lub badanie porównujące to samo leczenie, ale z inną dawką lub innym sposobem podawania lub innym czasem trwania leczenia. Wykluczyliśmy także streszczenia RCT z małą próbą (<100). Abstrakty ponumerowano od 1 do 30 i sklasyfikowano w dwóch kategoriach: 10 abstraktów (o numerach 11/12/14/16/20/22/24/27/28/30) o wysokim poziomie spinu (tzn. bez uznania nieistotny statystycznie wynik pierwotny we wnioskach) i 20 z niskim poziomem spinu.

Tworzenie abstraktów bez spinu Abstrakty ze spinem były systematycznie przepisywane bez spinu. Jeden badacz przepisał każde streszczenie zgodnie ze szczegółowymi wytycznymi opisanymi w ramce. Wszystkie streszczenia zawierały tę samą liczbę słów +/-25. Wszystkie streszczenia bez spinu zostały niezależnie ocenione przez innego badacza. Wszelkie spory zostały omówione, a streszczenie zostało zmodyfikowane zgodnie z osiągniętym konsensusem.

Zatem dla każdego badania badacze mieli 2 wersje abstraktu: 1 ze spinem i 1 bez spinu.

Abstrakty z wirowaniem i bez wirowania zostały zaprezentowane w formacie abstraktu oryginalnego, z tą samą typografią. Nazwiska autorów, źródła, nazwa czasopisma, numer rejestracyjny, nazwa badania lub akronim oraz tytuł artykułu zostały usunięte, a nazwy leczenia i opis były systematycznie maskowane terminami rodzajowymi (np. leczenie A i komparator B). W razie potrzeby usunięto niektóre informacje, które mogłyby pomóc w identyfikacji leczenia.

Wyniki

Pierwszorzędowy wynik Pierwszorzędowym punktem końcowym była interpretacja abstraktów przez uczestników. Wszyscy uczestnicy badania ocenili każdy abstrakt. Odpowiedzieli na następujące pytanie w skali liczbowej ocenianej od 0 (w ogóle nieprawdopodobne) do 10 (bardzo prawdopodobne)

• Czy na podstawie tego streszczenia sądzisz, że leczenie A byłoby korzystne dla pacjentów? (odpowiedź: skala liczbowa od 0-10)

Wyniki wtórne

Drugorzędowymi punktami końcowymi była ocena jakości badania, jego wagi, zainteresowania przeczytaniem pełnego tekstu i prawdopodobieństwa publikacji. W przypadku każdego abstraktu uczestnicy odpowiadali na następujące pytania:

• Ocenić ogólną rygorystyczność metodologii badania? (skala 0-10)
• Oceń wagę badania (skala 0-10)
• Czy jesteś zainteresowany przeczytaniem pełnego artykułu dotyczącego badania opisanego w tym streszczeniu? (skala 0-10)
• Czy sądzisz, że byłoby interesujące przeprowadzić kolejne badanie oceniające to leczenie? (skala 0-10)

Oślepiający

Pierwszorzędowym punktem końcowym jest interpretacja abstraktu przez uczestników. Wynik ten jest bardzo subiektywny. Niedawne badanie wykazało, że brak zaślepienia jest odpowiedzialny za przeszacowanie efektu leczenia w randomizowanych badaniach z subiektywnymi pierwszorzędowymi punktami końcowymi17. Aby zminimalizować stronniczość, badacze zaproponowali, aby uczestnicy byli ślepi na hipotezę badania. Wszyscy uczestnicy zostali poinformowani, że biorą udział w ankiecie dotyczącej interpretacji abstraktów badań klinicznych. Podczas raportowania wyników nie zostali poinformowani o celach i założeniach badania przed jego zakończeniem.

Inne zebrane dane Badacze zebrali także zmiany w abstraktach pod względem słów usuniętych i słów dodanych do każdego abstraktu.

Wielkość próbki

Każdy uczestnik przeczyta 1 streszczenie z wirowaniem lub 1 streszczenie bez wirowania. Potrzebna jest próba 266 ocen abstraktów, aby wykazać wielkość efektu 0,4 z pierwotnym wynikiem przy założeniu średniej różnicy 1 punktu i wspólnego odchylenia standardowego w oparciu o badanie pilotażowe wynoszące 2,5 z mocą 90% i ryzykiem alfa równym 5%. Dostępnych jest 30 abstraktów z spinem i 30 abstraktów bez spinu. Teoretycznie każdy abstrakt należy przeczytać taką samą liczbę razy, w zależności od grupy randomizacyjnej. Biorąc pod uwagę wszystkie te elementy, konieczne będzie uwzględnienie 300 uczestników (po 150 w każdym ramieniu). Każde streszczenie będzie czytane 5 razy w każdej grupie (streszczenie o niskim poziomie spinu będzie czytane 200 razy (po 100 w każdej grupie), a streszczenie o wysokim poziomie spinu będzie czytane 100 razy (po 50 w każdej grupie)).

Analiza statystyczna

Analiza statystyczna zostanie przeprowadzona samodzielnie i na ślepo przy użyciu oprogramowania do analizy statystycznej (SAS) v9.3 przez statystyka Centrum Epidemiologii Klinicznej. Przed przeszukaniem bazy danych zostanie opracowany i zatwierdzony statystyczny plan analityczny. Plan analizy statystycznej zostanie zweryfikowany w trakcie badania w celu uwzględnienia wszelkich poprawek do protokołu lub wszelkich innych zmian mających wpływ na pierwotnie zaplanowaną analizę statystyczną. Wszystkie wersje zostaną zachowane w aktach do przeglądu. Do analizy wyników pierwotnych i wtórnych zostanie wykorzystany test T. Niniejszy plan statystyczny może być modyfikowany w zależności od dostępnych danych. Na przykład, jeżeli liczba odczytów dla danej winiety nie jest zrównoważona w grupach, do porównania skorygowanych średnich dla głównych miar wyniku pomiędzy dwoma ramionami zastosowany zostanie model wielopoziomowy (model mieszany dla danych skupionych). Oznacza to, że analiza statystyczna zostanie skorygowana o niezrównoważony podział abstraktów w każdej grupie. Ten sam model zostanie zastosowany do wyników wtórnych i abstraktów podgrup o wysokim poziomie spinu.

Wtórna analiza porówna korelację wewnątrzklasową (ICC) pomiędzy czytelnikami abstraktów ze spinem i abstraktami bez spinu, obliczając 95% przedział ufności różnicy między ICC (metodą bootstrap).