Влияние «спина» на интерпретацию результатов рандомизированных исследований в области рака (SPIIN)

Исследователи запланировали РКИ, в котором единицей рандомизации является абстрактная. Планирование, реализация, анализ и написание данного исследования проводились в соответствии с Заявлением CONSORT12.

Дизайн

Исследователи провели РКИ, сравнивая интерпретацию результатов в тезисах а) со вращением и б) без него.

1. Идентификация рефератов рандомизированных исследований со спином. Исследователи выбрали выборку отрицательных опубликованных РКИ (т.е. статистически значимые результаты) с абстрактным выводом, выявленным в предыдущих работах. Критериями включения были 1) РКИ со статистически незначимым первичным исходом, 2) абстрактное заключение.
2. Модификация тезисов. Отобранные тезисы систематически переписывались, чтобы не содержать «вбросов». Все тезисы были представлены в одном формате без имен авторов, ссылок или названия журнала, в котором они были опубликованы, а названия методов лечения были замаскированы с использованием общих терминов.
3. Аннотации оценок оценивались соответствующими авторами рандомизированных исследований, экспертами конкретных грантов и исследователями исследований, зарегистрированными на http://clinicaltrials.gov. Для участия в нашем исследовании были приглашены эксперты. Они не были проинформированы о целях нашего исследования. Каждый врач был рандомизирован для оценки 1 абстракта со спином или 1 абстракта без спина.
4. Первичной конечной точкой была интерпретация участниками абстрактных результатов. Все читатели, участвовавшие в исследовании, оценили аннотацию рандомизированного исследования и ответили на следующий вопрос: Считаете ли вы, основываясь на этой аннотации, лечение А полезным для пациентов?

Характеристики рандомизации

Список рандомизации был составлен блоками по 30. Таким образом, каждый участник мог оценить 1 тезис со вращением или 1 тезисы без вращения.

Список и размер блока следователям не разглашаются. Сокрытие распределения было получено с помощью компьютеризированной системы рандомизации.

Если участник вошел в систему, но не оценил ни одного тезиса, оценки исключались и тезисы автоматически передавались следующему участнику.

Критерии отбора

В этом исследовании приняли участие следующие оценщики:

1. «Авторы-корреспонденты» опубликовали РКИ в области рака. Исследователи систематически осуществляли поиск в Medline через PubMed, чтобы выявить все публикации РКИ в 2012 году и, при необходимости, в 2011 и 2010 годах. Следователи собрали все электронные письма «авторов-переписчиков» этих материалов.
2. Эксперты французского национального гранта в области рака. Все потенциальные участники были приглашены по электронной почте для участия в исследовании по интерпретации результатов рефератов клинических исследований. Если они соглашались участвовать, они использовали интернет-ссылку, которая давала им доступ к тезисам для оценки.
3. Исследователи исследований зарегистрированы на сайте http://clinicaltrials.gov.

Вмешательство и компараторы

Отбор тезисов со спином Мы выбрали из предыдущей работы и коллекции персонала13-16, 30 рефератов 2 параллельных групповых отрицательных РКИ (т.е. статистически незначимый первичный результат), оценивающих лечение в области рака и имеющих спин в абстрактном заключении в соответствии с классификация, разработанная ранее13. Мы исключили абстракты с очень необычным типом вращений, например, сосредоточением внимания на другой цели исследования, в котором вращение связано только с безопасностью, или исследованием, сравнивающим одно и то же лечение, но с другой дозировкой, другим способом введения или разной продолжительностью лечения. Мы также исключили рефераты РКИ с небольшим размером выборки (<100). Тезисы были пронумерованы от 1 до 30 и были разделены на две категории: 10 тезисов (номера 11/12/14/16/20/22/24/27/28/30) с высоким уровнем пропаганды (т.е. без подтверждения статистически значимый первичный результат в заключении) и 20 с низким уровнем вращения.

Разработка рефератов без раскрутки Рефераты с раскруткой систематически переписывались без раскрутки. Один исследователь переписал каждый тезис в соответствии с конкретными рекомендациями, описанными во вставке. Во всех тезисах было одинаковое количество слов +/-25. Все абстракты без вторжений оценивались независимо другим исследователем, любые разногласия обсуждались, и аннотация была изменена в соответствии с достигнутым консенсусом.

Таким образом, для каждого исследования у исследователей было 2 варианта тезисов: 1 со вращением и 1 без вставки.

Тезисы с разворотом и без были представлены в формате оригинального тезиса с той же типографикой. Имена авторов, ссылки, название журнала, регистрационный номер, название исследования или аббревиатура, а также название статьи были удалены, а названия и описания лечения систематически маскировались общими терминами (например, лечение А и препарат сравнения Б). При необходимости некоторая информация, которая могла помочь идентифицировать лечение, была удалена.

Результаты

Первичный результат. Первичной конечной точкой была интерпретация тезисов участниками. Все участники исследования оценивали каждый тезис. Они ответили на следующий вопрос по числовой шкале от 0 (совсем маловероятно) до 10 (весьма вероятно)

• Основываясь на этом резюме, считаете ли вы, что лечение А принесет пользу пациентам? (ответ: числовая шкала от 0 до 10)

Вторичные результаты

Вторичными конечными точками были оценка качества исследования, важность исследования, интерес к прочтению полного текста и вероятность публикации. По каждому тезису участники ответили следующее:

• Оцените общую строгость методики исследования? (шкала 0-10)
• Оцените важность исследования (шкала 0-10)
• Хотите ли вы прочитать полную статью исследования, описанного в этом реферате? (шкала 0-10)
• Как вы думаете, было бы интересно провести еще одно исследование по оценке этого лечения? (шкала 0-10)

Ослепление

Первичной конечной точкой является интерпретация тезисов участниками. Этот результат очень субъективен. Недавнее исследование показало, что отсутствие ослепления является причиной переоценки эффекта лечения в рандомизированных исследованиях с субъективными первичными конечными точками17. Чтобы свести к минимуму предвзятость, исследователи предложили скрыть от участников гипотезу исследования. Все участники были проинформированы о том, что они участвуют в опросе по интерпретации рефератов клинических исследований. Они не были проинформированы о целях и предположениях исследования до его окончания при сообщении о результатах.

Другие собранные данные Исследователи также собрали изменения в тезисах с точки зрения удаленных и добавленных слов в каждый тезис.

Размер образца

Каждый участник прочтет 1 тезис со вращением или 1 тезис без вращения. Выборка из 266 оценок рефератов необходима, чтобы продемонстрировать величину эффекта 0,4 с основным результатом, предполагающим среднюю разницу в 1 балл и общее стандартное отклонение, основанное на пилотном исследовании, равное 2,5 с мощностью 90% и альфа-риском, равным 5%. Доступны тридцать тезисов со вращением и 30 тезисов без вращения. Теоретически каждое резюме должно быть прочитано одинаковое количество раз в соответствии с группой рандомизации. Учитывая все эти элементы, необходимо будет включить 300 участников (по 150 в каждой группе). Каждый тезис будет прочитан 5 раз в каждой группе (аннотация с низким уровнем вращения будет прочитана 200 раз (по 100 в каждой группе), а аннотация с высоким уровнем вращения будет прочитана 100 раз (50 в каждой группе)).

статистический анализ

Статистический анализ будет проводиться независимо и вслепую с использованием программного обеспечения для статистического анализа (SAS) v9.3 статистиком Центра клинической эпидемиологии. План статистического анализа будет разработан и проверен перед поиском в базе данных. План статистического анализа будет пересматриваться в ходе исследования с учетом любых поправок к протоколу или любых других изменений, влияющих на первоначально запланированный статистический анализ. Все версии будут храниться в файле для проверки. Т-тест будет использоваться для анализа первичных и вторичных результатов. Этот статистический план может быть изменен в соответствии с имеющимися данными. Например, если количество показаний для конкретного примера несбалансировано в группах, для сравнения скорректированных средних показателей основных результатов между двумя группами будет использоваться многоуровневая модель (смешанная модель для кластеризованных данных). Это означает, что статистический анализ будет скорректирован на несбалансированное перераспределение тезисов в каждой группе. Та же модель будет применяться к второстепенным результатам и к тезисам подгрупп с высоким уровнем вставки.

Вторичный анализ будет сравнивать внутриклассовую корреляцию (ICC) между читателями рефератов со спином и рефератами без спина путем вычисления 95% доверительного интервала разницы между ICC (методом начальной загрузки).