Evaluatie van computerondersteunde longknobbeldetectiesoftware in thoracale CT voor Riverain Technologies LLC

Er zal een lezersonderzoek worden uitgevoerd met ten minste tien (10) deelnemende radiologen. Er zal een gelokaliseerde karakteristiekcurve van de ontvanger worden gebruikt om de diagnostische prestatie van radiologen te evalueren (in termen van de wisselwerking tussen de sensitiviteit en specificiteit wanneer de beslissingscriteria veranderen) bij de detectie van longnodules op long-CT's met en zonder het gebruik van de ClearRead CT Insight (CRCTI)-systeem. De tijd die nodig is voor de beoordeling en interpretatie van elk geval zal ook worden geregistreerd.

Een eerste (baseline)interpretatie zal worden gemaakt door elk van de radiologen op basis van de long-CT in zijn oorspronkelijke vorm. Minimaal een maand later zullen alle radiologen opnieuw dezelfde beelden interpreteren terwijl ze het paar CRCTI CT-series bekijken: Twee sets CT-beelden (standaard met CADe-markeringen en verwerkt met bloedvatonderdrukking) worden gepresenteerd op één grote monitor of twee aangrenzende monitoren.

Tijdens de nulmeting markeert de radioloog de locatie van de bruikbare knobbeltjes en kent een score toe. De radioloog zal ook de aanbevolen methode van follow-up aangeven (Contrast-CT, PET-CT, CT Follow-up, Biopsie).

Tijdens de tweede leessessie (gelijktijdige lezing) krijgt de radioloog een standaard CT-scan te zien met geplaatste computerondersteunde detectiemarkeringen (CADe) en het bloedvat onderdrukt dezelfde plak met het beeld met bloedvatonderdrukking (afbeelding rechts). Het tweede beeld, vat onderdrukt, wordt grijs weergegeven totdat de radioloog de muis naar het tweede paneel beweegt. De radioloog markeert locaties. Deze kunnen al dan niet overeenkomen met de locaties van de CAD-markeringen. Net als voorheen zal de radioloog een niveau van verdachtheid toekennen aan elke markering en aangeven of er eventueel een aanvullende diagnostische actie nodig is (CT-follow-up, contrast-CT, PET-CT of biopsie).

Op basis van de verdenkingsniveaus voor elke knobbel en de bijbehorende waarschijnlijkheidsclassificaties, zullen LROC-curven worden geconstrueerd voor zowel de basislijn als de gelijktijdige aflezingen en zal de significantie van elk verschil worden berekend. De aanbevelingen voor verdere actie (CT-follow-up, contrast-CT, PET-CT of biopsie) zullen worden gebruikt om de sensitiviteit en specificiteit, PPV en NPV te berekenen.

Aantal en soorten zaken:

Retrospectieve long-CT-beeldseries van ongeveer 300 patiënten zullen in het onderzoek worden opgenomen. Ongeveer honderd (100) van de patiënten zullen door pathologie bevestigde kankers hebben en ongeveer tweehonderd (200) van de patiënten zullen CT's zijn die geassocieerd zijn met normale patiënten. Ook opgenomen als nodule-afbeeldingen zijn die waarbij de bruikbare nodule op dat moment niet werd behandeld, maar werd gedetecteerd en waarop werd gereageerd op basis van een volgende CT. Dit zijn de eerdere beelden waarop de knobbel kan worden geïdentificeerd en de locatie ervan is dezelfde als op het "huidige" beeld bevestigd door het panel van radiologen (met een meerderheid van drie als beslissingscriterium).

De geselecteerde steekproef, willekeurig gekozen uit een grotere pool van CT-gevallen, wordt op de volgende manier verrijkt:

1. Longknobbeltjes (kankers in deze studie) zullen tumorgrootte T1a hebben (20 mm of minder). Het aandeel knobbeltjes van 20 mm of minder kan worden verhoogd, aangezien de onderzoekers verwachten dat hier de grootste impact van deze software zal zijn.
2. Niet-massieve knobbeltjes (geslepen glas) worden aan het monster toegevoegd (op basis van beschikbaarheid) om de prestatie van het systeem op niet-massieve knobbeltjes te bepalen. Voor deze groep moeten de onderzoekers, om voldoende gevallen te hebben, mogelijk goedaardige (niet-kwaadaardige) niet-vaste knobbeltjes opnemen.
3. In dit project zullen de onderzoekers een machinetest van het ClearRead CT Insight-algoritme uitvoeren, gevolgd door een lezersprestatie-evaluatieonderzoek. Riverain levert een systeem dat is geconfigureerd met het werkpunt dat moet worden gebruikt voor de lezerstudies en een configuratie voor een "open" systeem dat moet worden gebruikt voor het testen van machines en het genereren van FROC.

Arm 1: een baseline-uitlezing (geen secundaire inhoud) en Arm 2: gelijktijdige, CAD-augmented read.

1. st Arm: Voer een basislijn uit (tijd meten, lezers scoren regio's op basis van actie en achterdocht) - markeer alle zorgwekkende locaties
2. nd Arm: Gelijktijdig lezen (tijd meten, lezers scoren regio's op basis van actie en achterdocht) - markeer alle zorgwekkende locaties

De primaire onderzoekshypothese is dat het aanvullend gebruik van ClearRead CT Insight superieur is aan het gebruik van alleen standaard long-CT-beelden, zoals gemeten door het gebied onder de LROC-curve.

STATISTISCHE ANALYSES Nauwkeurigheid

Om de hypothese van superioriteit te evalueren in termen van verbetering in nauwkeurigheid voor ClearRead CT Insight vs. zonder hulp, zal een mixed effects model (DBM) worden geïmplementeerd (vergelijkbaar met het model beschreven in Dorfman, Berbaum en Metz, 1997), waar variantiecomponenten zullen worden opgenomen om rekening te houden met lezer, geval, lezer per geval, lezer per modaliteit, geval per modaliteit en lezer per geval per modaliteit. Verwacht wordt echter dat de drieweginteractie onschatbaar zal zijn en vervolgens uit het statistische model zal worden geschrapt. Concreet is de hypothese om te testen op superioriteit van ClearRead CT Insight vs. zonder hulp:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

De AUC van de LROC is het primaire eindpunt om de nauwkeurigheid te evalueren en de test of interest zal een tweezijdig 95% betrouwbaarheidsinterval zijn op het effect van modaliteit (d.w.z. ClearRead CT Insight minus zonder hulp). Significantie wordt geconcludeerd als de bovengrens van het tweezijdige 95%-betrouwbaarheidsinterval nul niet bevat. Als de nulhypothese (H0) wordt verworpen, wordt de alternatieve hypothese (HA) geaccepteerd en wordt de superioriteit van het gebruik van het ClearRead CT Insight-systeem vastgesteld.

Tijd

Het tweede co-primaire doel is het evalueren van de vermindering van de tijd die per beeld wordt besteed voor ClearRead CT Insight vs. zonder hulp. Concreet is de hypothese om te testen op superioriteit van ClearRead CT Insight vs. zonder hulp:

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

Om de hypothese van non-inferioriteit te evalueren in termen van verbeterde leestijd voor ClearRead CT Insight vs. zonder hulp, zal een model met gemengde effecten worden geïmplementeerd (vergelijkbaar met het model beschreven in Dorfman, Berbaum en Metz, 1992), waarin variantiecomponenten worden opgenomen om rekening te houden met lezer, geval, lezer per geval, lezer per modaliteit, geval per modaliteit en lezer per geval per modaliteit. Verwacht wordt echter dat de drieweginteractie onschatbaar zal zijn en vervolgens uit het statistische model zal worden geschrapt.

De leestijden worden getest met een tweezijdig 95% betrouwbaarheidsinterval op het effect van modaliteit (d.w.z. ClearRead minus zonder hulp). Significantie wordt geconcludeerd als de bovengrens van het tweezijdige 95%-betrouwbaarheidsinterval nul niet bevat.

Met beide analyses kan het gebruik van het gemengde model worden aangepast om een ​​bootstrap-bemonsteringsbenadering te gebruiken als de modelaannames van de DBM-methode zijn geschonden. De bovenste 95%-betrouwbaarheidsgrens voor het verschil in de gebieden onder de curven zou worden berekend met behulp van 10.000 bootstraps in de MultiReader MultiCase (MRMC) ROC-methode.

VERMOGEN EN STEEKPROEFGROOTTE

Het vermogen om verschillen in de AUC van de LROC-curve te detecteren voor de voorgestelde statistische analyse met behulp van de huidige basislijn van het ontwerp, d.w.z. 300 gevallen, elk overeenkomstig beeld gelezen door 10 lezers, werd beoordeeld door middel van een simulatiestudie. In het bijzonder werd het hierboven geschetste model gebruikt om 500 datasets te simuleren over een reeks van effectgroottes, waarbij power werd gedefinieerd als het deel van datasets dat een significante p-waarde opleverde voor het testen van het vaste effect van modaliteit. De methode van Dorfman, Berbaum en Metz, 1992 (DBM) werd geïmplementeerd met behulp van statistische gemengde modeltheorie met schattingen van de schaar.

Deze simulaties vereisten aannames met betrekking tot de omvang van de variantiecomponenten die verband houden met de verschillende willekeurige effecten. Omdat er geen pilootstudie werd uitgevoerd om schattingen van variantiecomponenten te verkrijgen, werden variantiecomponentschattingen van Riverain-studie SoftView 510(k) (record # BSSI-PR-09-00006) gebruikt die een vergelijkbare technologie gebruikt als het voorgestelde ClearRead CT Insight-apparaat. in alle vermogenssimulaties. Houd er rekening mee dat de variantiecomponenten zijn geschaald naar de totale variantie om het aandeel van de totale variantie weer te geven dat door elke component wordt verklaard. Alle vermogensschattingen zijn afhankelijk van de geschiktheid van de veronderstelde variantiecomponenten.