Einfluss von „Spin“ auf die Interpretation der Ergebnisse randomisierter Studien im Bereich Krebs (SPIIN)

Die Forscher planten eine RCT, bei der die Randomisierungseinheit die Zusammenfassung ist. Die Planung, Durchführung, Analyse und Erstellung dieser Studie folgte der CONSORT-Erklärung12.

Design

Die Forscher führten eine RCT durch, in der die Interpretation der Ergebnisse in den Abstracts a) mit und b) ohne Spin verglichen wurde.

1. Identifizierung von Zusammenfassungen randomisierter Studien mit Spin. Die Forscher wählten eine Stichprobe negativer veröffentlichter RCTs (d. h. (nicht statistisch signifikante Ergebnisse) mit einem Spin in der abstrakten Schlussfolgerung, der in früheren Arbeiten identifiziert wurde. Einschlusskriterien waren 1) RCTs mit statistisch nicht signifikantem Primärergebnis, 2) Spin in der abstrakten Schlussfolgerung.
2. Modifikation der Abstracts Ausgewählte Abstracts wurden systematisch umgeschrieben, um keinen „Spin“ zu enthalten. Alle Abstracts wurden im gleichen Format präsentiert, ohne die Namen der Autoren, Referenzen oder den Namen der Zeitschrift, in der sie veröffentlicht wurden, und die Namen der Behandlungen wurden durch die Verwendung allgemeiner Begriffe maskiert.
3. Bewertungszusammenfassungen wurden von korrespondierenden Autoren randomisierter Studien, Experten spezifischer Zuschüsse und Prüfern von Studien bewertet, die unter http://clinicaltrials.gov registriert sind. Experten wurden eingeladen, an unserer Studie teilzunehmen. Sie wurden nicht über die Ziele unserer Studie informiert. Jeder Kliniker wurde randomisiert, um 1 Abstract mit oder 1 Abstract ohne Spin zu bewerten.
4. Der primäre Endpunkt war die Interpretation abstrakter Ergebnisse durch die Teilnehmer. Alle an der Studie teilnehmenden Leser bewerteten die Zusammenfassung der randomisierten Studie und beantworteten die folgende Frage: Glauben Sie, dass Behandlung A auf der Grundlage dieser Zusammenfassung für die Patienten von Vorteil wäre?

Randomisierungsmerkmale

Die Randomisierungsliste wurde in 30er-Blöcken erstellt. So konnte jeder Teilnehmer 1 Abstract mit Spin oder 1 Abstract ohne Spin bewerten.

Die Liste und die Blockgröße wurden den Ermittlern nicht mitgeteilt. Die Verschleierung der Zuordnung wurde mithilfe eines computergestützten Randomisierungssystems erreicht.

Wenn sich ein Teilnehmer im System anmeldete, aber keinen Abstract bewertete, wurden die Bewertungen ausgeschlossen und die Abstracts automatisch dem nächsten Teilnehmer zugewiesen.

Zulassungskriterien

An dieser Studie nahmen folgende Gutachter teil:

1. Die „korrespondierenden Autoren“ veröffentlichter RCTs im Bereich Krebs. Die Forscher durchsuchten Medline systematisch über PubMed, um alle Veröffentlichungen von RCTs im Jahr 2012 und bei Bedarf auch 2011 und 2010 zu identifizieren. Die Ermittler sammelten alle E-Mails der „korrespondierenden Autoren“ dieser Artikel.
2. Experten eines französischen Nationalstipendiums im Bereich Krebs Alle potenziellen Teilnehmer wurden per E-Mail eingeladen, an einer Studie zur Interpretation der Ergebnisse von Zusammenfassungen klinischer Studien teilzunehmen. Wenn sie der Teilnahme zustimmten, nutzten sie einen Internetlink, der ihnen Zugang zu den Abstracts zur Bewertung verschaffte.
3. Unter http://clinicaltrials.gov registrierte Studienforscher.

Intervention und Komparatoren

Auswahl von Abstracts mit Spin Wir haben aus früheren Arbeiten und der Personalsammlung 13–16 30 Abstracts von zwei parallelen Arm-negativen RCTs (d. h. nicht statistisch signifikantem Primärergebnis) zur Bewertung der Behandlung im Bereich Krebs ausgewählt und haben Spin in der Abstract-Schlussfolgerung gemäß eine zuvor entwickelte Klassifizierung13. Wir haben Zusammenfassungen mit sehr ungewöhnlicher Art der Verzweigung ausgeschlossen, wie z. B. einen Fokus auf ein anderes Studienziel, wobei die Verdrehung nur auf die Sicherheit bezogen ist, oder eine Studie, in der dieselbe Behandlung, aber mit unterschiedlicher Dosierung, unterschiedlicher Verabreichungsart oder unterschiedlicher Behandlungsdauer verglichen wird. Wir haben auch Zusammenfassungen von RCTs mit kleiner Stichprobengröße (<100) ausgeschlossen. Die Abstracts wurden von 1 bis 30 nummeriert und in zwei Kategorien eingeteilt: 10 Abstracts (Nummern 11/12/14/16/20/22/24/27/28/30) mit hohem Spin-Niveau (d. h. ohne Anerkennung der). nicht statistisch signifikantes primäres Ergebnis in der Schlussfolgerung) und 20 mit geringem Spinniveau.

Entwicklung von Abstracts ohne Spin Die Abstracts mit Spin wurden systematisch ohne Spin umgeschrieben. Ein Forscher hat jede Zusammenfassung gemäß den im Kasten beschriebenen spezifischen Richtlinien umgeschrieben. Alle Abstracts hatten die gleiche Anzahl an Wörtern +/-25. Alle Abstracts ohne Spin wurden unabhängig von einem anderen Forscher bewertet, etwaige Meinungsverschiedenheiten wurden besprochen und das Abstract wurde entsprechend dem erzielten Konsens geändert.

Somit verfügten die Forscher für jede Studie über zwei Versionen der Zusammenfassung: eine mit Spin und eine ohne Spin.

Abstracts mit und ohne Spin wurden im Format des Original-Abstracts mit der gleichen Typografie präsentiert. Die Namen der Autoren, Referenzen, Zeitschriftennamen, Registrierungsnummern, Studiennamen oder Akronyme und Artikeltitel wurden gelöscht und die Behandlungsnamen und -beschreibungen wurden systematisch mit generischen Begriffen maskiert (z. B. Behandlung A und Vergleichspräparat B). Bei Bedarf wurden einige Informationen gelöscht, die zur Identifizierung der Behandlung beitragen könnten.

Ergebnisse

Primärer Endpunkt Der primäre Endpunkt war die Interpretation der Abstracts durch die Teilnehmer. Alle Studienteilnehmer bewerteten jedes Abstract. Sie beantworteten die folgende Frage auf einer Zahlenskala, die von 0 (überhaupt nicht wahrscheinlich) bis 10 (sehr wahrscheinlich) reichte.

• Glauben Sie auf der Grundlage dieser Zusammenfassung, dass Behandlung A für die Patienten von Vorteil wäre? (Antwort: Zahlenskala von 0-10)

Sekundäre Ergebnisse

Sekundäre Endpunkte waren die Beurteilung der Studienqualität, der Studienbedeutung, des Interesses an der Lektüre des Volltextes und der Wahrscheinlichkeit einer Veröffentlichung. Zu jedem Abstract antworteten die Teilnehmer wie folgt:

• Bewerten Sie die allgemeine Genauigkeit der Studienmethodik? (Skala 0-10)
• Bewerten Sie die Wichtigkeit der Studie (Skala 0-10)
• Sind Sie daran interessiert, den vollständigen Artikel zu der in dieser Zusammenfassung beschriebenen Studie zu lesen? (Skala 0-10)
• Halten Sie es für interessant, eine weitere Studie zur Bewertung dieser Behandlung durchzuführen? (Skala 0-10)

Blendung

Der primäre Endpunkt ist die Interpretation der Zusammenfassung durch die Teilnehmer. Dieses Ergebnis ist sehr subjektiv. Eine aktuelle Studie hat gezeigt, dass fehlende Verblindung für eine Überschätzung des Behandlungseffekts in randomisierten Studien mit subjektiven primären Endpunkten verantwortlich ist17. Um Verzerrungen zu minimieren, schlugen die Forscher vor, die Teilnehmer gegenüber der Studienhypothese blind zu machen. Alle Teilnehmer wurden darüber informiert, dass sie an einer Umfrage zur Interpretation von Zusammenfassungen klinischer Studien teilnahmen. Über die Ziele und Annahmen der Studie wurden sie nicht vor Ende der Studie bei der Berichterstattung über die Ergebnisse informiert.

Weitere erfasste Daten Die Forscher erfassten auch die Änderungen an Abstracts in Form von gelöschten Wörtern und hinzugefügten Wörtern zu jedem Abstract.

Probengröße

Jeder Teilnehmer liest 1 Abstract mit oder 1 Abstract ohne Spin. Eine Stichprobe von 266 Bewertungen von Abstracts ist erforderlich, um eine Effektstärke von 0,4 zu zeigen, wobei der primäre Endpunkt eine mittlere Differenz von 1 Punkt und eine gemeinsame Standardabweichung basierend auf einer Pilotstudie von 2,5 mit einer Trennschärfe von 90 % und einem Alpha-Risiko von annimmt 5 %. Es stehen 30 Abstracts mit Spin und 30 Abstracts ohne Spin zur Verfügung. Theoretisch muss jede Zusammenfassung je nach Randomisierungsgruppe gleich oft gelesen werden. Unter Berücksichtigung all dieser Elemente müssen 300 Teilnehmer (150 in jedem Arm) einbezogen werden. Jeder Abstract wird in jeder Gruppe fünfmal gelesen (ein Abstract mit niedrigem Spin-Level wird 200-mal gelesen (100 in jeder Gruppe) und ein Abstract mit hohem Spin-Level wird 100-mal gelesen (50 in jeder Gruppe)).

statistische Analyse

Die statistische Analyse wird unabhängig und blind unter Verwendung der Statistical Analysis Software (SAS) v9.3 von einem Statistiker des Zentrums für klinische Epidemiologie durchgeführt. Vor der Durchsuchung der Datenbank wird ein statistischer Analyseplan entwickelt und validiert. Der statistische Analyseplan wird während der Studie überarbeitet, um etwaige Änderungen des Protokolls oder andere Änderungen zu berücksichtigen, die sich auf die ursprünglich geplante statistische Analyse auswirken. Alle Versionen werden zur Überprüfung gespeichert. Zur Analyse der primären und sekundären Ergebnisse wird ein T-Test verwendet. Dieser statistische Plan kann entsprechend den verfügbaren Daten geändert werden. Wenn beispielsweise die Anzahl der Messwerte für eine bestimmte Vignette in den Gruppen unausgeglichen ist, wird ein mehrstufiges Modell (ein gemischtes Modell für geclusterte Daten) verwendet, um angepasste Mittelwerte für die primären Ergebnismaße zwischen den beiden Armen zu vergleichen. Dies bedeutet, dass die statistische Analyse an die unausgewogene Verteilung der Abstracts in jeder Gruppe angepasst wird. Das gleiche Modell wird auf sekundäre Ergebnisse und auf die Untergruppen-Abstracts mit hohem Spin-Niveau angewendet.

In einer Sekundäranalyse wird die Intraclass-Korrelation (ICC) zwischen Lesern von Abstracts mit Spin und Abstracts ohne Spin verglichen, indem das 95 %-Konfidenzintervall der Differenz zwischen ICCs berechnet wird (mittels einer Bootstrap-Methode).