Impact van "Spin" op de interpretatie van de resultaten van gerandomiseerde onderzoeken op het gebied van kanker (SPIIN)

De onderzoekers planden een RCT waarin de eenheid van randomisatie de abstractie is. De planning, implementatie, analyse en schrijven van deze studie volgden de CONSORT-verklaring12.

Ontwerp

De onderzoekers voerden een RCT uit waarbij de interpretatie van de resultaten in samenvattingen a) met en b) zonder spin werd vergeleken.

1. Identificatie van samenvattingen van gerandomiseerde onderzoeken met spin. De onderzoekers selecteerden een steekproef van negatief gepubliceerde RCT’s (d.w.z. niet statistisch significante resultaten) met een draai aan abstracte conclusies die in eerdere werken zijn geïdentificeerd. Inclusiecriteria waren 1) RCT's met een niet-statistisch significante primaire uitkomst, 2) spin in de abstracte conclusie.
2. Wijziging van de samenvattingen Geselecteerde samenvattingen werden systematisch herschreven om geen "spin" te bevatten. Alle samenvattingen werden in hetzelfde formaat gepresenteerd zonder de namen van auteurs, referenties of de naam van het tijdschrift waarin ze waren gepubliceerd, en de namen van behandelingen werden gemaskeerd door algemene termen te gebruiken.
3. Beoordeling Samenvattingen werden beoordeeld door corresponderende auteurs van gerandomiseerde onderzoeken, experts van specifieke subsidies en onderzoekers van onderzoeken geregistreerd op http://clinicaltrials.gov. Experts werden uitgenodigd om deel te nemen aan ons onderzoek. Ze waren niet op de hoogte van de doelstellingen van ons onderzoek. Elke arts werd gerandomiseerd om 1 abstract met of 1 abstract zonder spin te beoordelen.
4. Het primaire eindpunt was de interpretatie van abstracte resultaten door deelnemers. Alle lezers die aan het onderzoek deelnamen, evalueerden de samenvatting van de gerandomiseerde studie en beantwoordden de volgende vraag: Denkt u op basis van deze samenvatting dat behandeling A gunstig zou zijn voor patiënten?

Randomisatiekenmerken

De randomisatielijst werd opgesteld in blokken van 30. Elke deelnemer kon dus 1 abstract met spin of 1 abstract zonder spin beoordelen.

De lijst en de blokgrootte zijn niet aan onderzoekers bekendgemaakt. Het verbergen van de toewijzing werd verkregen door gebruik te maken van een geautomatiseerd randomisatiesysteem.

Als een deelnemer inlogde op het systeem maar geen abstract beoordeelde, werden de beoordelingen uitgesloten en werden de abstracts automatisch toegewezen aan de volgende deelnemer.

Geschiktheidscriteria

De beoordelaars die aan dit onderzoek deelnamen waren als volgt:

1. De "corresponderende auteurs" van gepubliceerde RCT's op het gebied van kanker. De onderzoekers doorzochten Medline systematisch via PubMed om alle publicaties van RCT’s in 2012 en indien nodig 2011, 2010 te identificeren. De onderzoekers verzamelden alle e-mails van "corresponderende auteurs" van deze items.
2. Deskundigen van een Franse nationale subsidie ​​op het gebied van kanker Alle potentiële deelnemers werden per e-mail uitgenodigd om deel te nemen aan een onderzoek naar de interpretatie van de resultaten van samenvattingen van klinische onderzoeken. Als ze ermee instemden deel te nemen, gebruikten ze een internetlink die hen toegang gaf tot samenvattingen om te beoordelen.
3. Onderzoekers van onderzoeken geregistreerd op http://clinicaltrials.gov.

Interventie en vergelijkers

Selectie van abstracts met spin We selecteerden uit eerder werk en personeelscollectie13-16 30 abstracts van 2 parallelle armen negatieve RCT's (dat wil zeggen, niet-statistisch significante primaire uitkomst) waarin de behandeling op het gebied van kanker werd geëvalueerd en met spin in de abstracte conclusie volgens een classificatie die eerder is ontwikkeld13. We hebben abstractie met een zeer ongebruikelijk type spin uitgesloten, zoals een focus op een ander onderzoeksdoel, waarbij spin alleen verband houdt met de veiligheid, of een studie waarin dezelfde behandeling wordt vergeleken, maar met een andere dosering of een andere wijze van toediening of een verschillende duur van de behandeling. We hebben ook de samenvatting van RCT's met een kleine steekproefomvang (<100) uitgesloten. Samenvattingen werden genummerd van 1 tot 30 en werden ingedeeld in twee categorieën: 10 samenvattingen (nummers 11/12/14/16/20/22/24/27/28/30) met een hoog spinniveau (d.w.z. zonder erkenning van de niet statistisch significante primaire uitkomst in de conclusie) en 20 met een laag spinniveau.

Ontwikkeling van abstracts zonder spin De abstracts met spin werden systematisch herschreven zonder spin. Eén onderzoeker herschreef elk abstract volgens de specifieke richtlijnen die in het kader worden beschreven. Alle samenvattingen hadden hetzelfde aantal woorden +/-25. Alle samenvattingen zonder spin werden onafhankelijk beoordeeld door een andere onderzoeker. Eventuele meningsverschillen werden besproken en de samenvatting werd aangepast op basis van de bereikte consensus.

Voor elk onderzoek hadden de onderzoekers dus twee versies van de samenvatting: één met spin en één zonder spin.

Abstracts met en zonder spin werden gepresenteerd in het formaat van het originele abstract met dezelfde typografie. De namen van auteurs, referenties, tijdschriftnaam, registratienummer, naam of acroniem van het onderzoek en de titel van het artikel werden verwijderd, en de namen en beschrijving van de behandeling werden systematisch gemaskeerd met generieke termen (bijvoorbeeld behandeling A en comparator B). Indien nodig werd bepaalde informatie verwijderd die kon helpen bij het identificeren van de behandeling.

Resultaten

Primaire uitkomstmaat Het primaire eindpunt was de interpretatie van de samenvattingen door de deelnemers. Alle studiedeelnemers beoordeelden elk abstract. Ze beantwoordden de volgende vraag op een numerieke schaal, oplopend van 0 (helemaal niet waarschijnlijk) tot 10 (zeer waarschijnlijk)

• Denkt u, op basis van deze samenvatting, dat behandeling A gunstig zou zijn voor patiënten? (antwoord: numerieke schaal van 0-10)

Secundaire uitkomsten

De secundaire eindpunten waren de beoordeling van de studiekwaliteit, het belang van het onderzoek, de interesse in het lezen van de volledige tekst en de kans op publicatie. Voor elk abstract antwoordden de deelnemers het volgende:

• Beoordeel de algehele nauwkeurigheid van de onderzoeksmethodologie? (schaal 0-10)
• Beoordeel het belang van het onderzoek (schaal 0-10)
• Bent u geïnteresseerd in het volledige artikel van het onderzoek dat in dit abstract wordt beschreven? (schaal 0-10)
• Denkt u dat het interessant zou zijn om nog een proef uit te voeren waarin deze behandeling wordt geëvalueerd? (schaal 0-10)

Verblindend

Het primaire eindpunt is de interpretatie van de samenvatting door de deelnemers. Deze uitkomst is zeer subjectief. Een recente studie heeft aangetoond dat een gebrek aan blindering verantwoordelijk is voor een overschatting van het behandelingseffect in gerandomiseerde onderzoeken met subjectieve primaire eindpunten17. Om vooringenomenheid te minimaliseren, stelden de onderzoekers voor om de deelnemers blind te maken voor de onderzoekshypothese. Alle deelnemers werden geïnformeerd dat ze deelnamen aan een onderzoek naar de interpretatie van samenvattingen van klinische onderzoeken. Bij het rapporteren van de resultaten werden zij vóór het einde van het onderzoek niet op de hoogte gebracht van de doelstellingen en aannames van het onderzoek.

Andere verzamelde gegevens De onderzoekers verzamelden ook de wijzigingen in samenvattingen in termen van verwijderde woorden en toegevoegde woorden aan elke samenvatting.

Steekproefgrootte

Elke deelnemer leest 1 abstract met of 1 abstract zonder spin. Er is een steekproef van 266 beoordelingen van samenvattingen nodig om een ​​effectgrootte van 0,4 aan te tonen, waarbij de primaire uitkomst uitgaat van een gemiddeld verschil van 1 punt en een gemeenschappelijke standaarddeviatie op basis van een pilotstudie van 2,5 met een power van 90% en een alfarisico gelijk aan 5%. Er zijn dertig abstracts met spin en 30 abstracts zonder spin beschikbaar. Theoretisch moet elk abstract hetzelfde aantal keren worden gelezen, afhankelijk van de randomisatiegroep. Rekening houdend met al deze elementen zal het nodig zijn om 300 deelnemers te betrekken (150 in elke arm). Elke samenvatting wordt in elke groep 5 keer gelezen (abstract met een laag spinniveau wordt 200 keer gelezen (100 in elke groep) en een abstract met een hoog spinniveau wordt 100 keer gelezen (50 in elke groep)).

statistische analyse

Statistische analyse zal onafhankelijk en blind worden uitgevoerd met behulp van Statistische Analyse Software (SAS) v9.3 door een statisticus van het Centrum voor Klinische Epidemiologie. Er zal een statistisch analyseplan worden ontwikkeld en gevalideerd voordat de database wordt doorzocht. Het statistische analyseplan zal tijdens het onderzoek worden herzien om rekening te houden met eventuele wijzigingen in het protocol of andere wijzigingen die een impact hebben op de oorspronkelijk geplande statistische analyse. Alle versies worden ter beoordeling bewaard. Een T-test zal worden gebruikt voor de analyse van primaire en secundaire uitkomsten. Dit statistische plan kan worden aangepast op basis van de beschikbare gegevens. Als het aantal metingen voor een bepaald vignet bijvoorbeeld in groepen niet in evenwicht is, zal een multi-level model (een gemengd model voor geclusterde gegevens) worden gebruikt om aangepaste gemiddelden voor de primaire uitkomstmaten tussen de twee armen te vergelijken. Dit betekent dat de statistische analyse wordt aangepast voor een onevenwichtige verdeling van samenvattingen in elke groep. Hetzelfde model zal worden toegepast op secundaire uitkomsten en op de subgroepsamenvattingen met een hoog spinniveau.

Een secundaire analyse zal de Intraclass Correlation (ICC) vergelijken tussen lezers van abstracts met spin en abstracts zonder spin door het 95% betrouwbaarheidsinterval van het verschil tussen ICC's te berekenen (via een bootstrap-methode).