Evaluering af computerstøttet lungeknudedetektionssoftware i Thoracic CT for Riverain Technologies LLC

En læserundersøgelse med mindst ti (10) deltagende radiologer vil blive udført. En lokaliseret modtagerdriftskarakteristikkurve vil blive brugt til at evaluere radiologers diagnostiske præstation (med hensyn til afvejningen mellem sensitivitet og specificitet, når beslutningskriterierne ændres) ved påvisning af lungeknuder på lunge-CT'er med og uden brug af ClearRead CT Insight (CRCTI) system. Den tid, der er nødvendig for gennemgang og fortolkning af hver enkelt sag, vil også blive registreret.

En indledende (baseline) fortolkning vil blive foretaget af hver af radiologerne baseret på lunge-CT i dens oprindelige form. Mindst en måned senere vil hver radiolog igen fortolke de samme billeder, når de ser parret af CRCTI CT-serier: To sæt CT-billeder (standard med CADe-mærker og behandlet med karundertrykkelse vil blive præsenteret på enten én stor monitor eller to tilstødende skærme.

Under basislinjeaflæsningen vil radiologen markere placeringen af ​​de handlingsbare knuder og tildele en score. Radiologen vil også angive den anbefalede opfølgningsmetode (Kontrast-CT, PET-CT, CT-opfølgning, Biopsi).

Under den anden læsesession (samtidig aflæsning) vil radiologen blive præsenteret for en standard CT med computerstøttet detektion (CADe) mærker placeret og karret undertrykt samme skive med karret undertrykt visning (højre billede). Det andet billede, kar undertrykt, vil blive nedtonet, indtil radiologen flytter musen til det andet panel. Radiologen vil markere steder. Disse svarer muligvis ikke til placeringen af ​​CAD-markørerne. Som før vil radiologen tildele et mistænkeligt niveau til hvert mærke og angive behovet for en yderligere diagnostisk handling (CT-opfølgning, kontrast-CT, PET-CT eller biopsi).

Baseret på niveauerne af mistanke for hver knude og de tilhørende sandsynlighedsvurderinger, vil LROC-kurver blive konstrueret for både basislinjen og de samtidige aflæsninger, og betydningen af ​​enhver forskel vil blive beregnet. Anbefalingerne for yderligere handling (CT-opfølgning, kontrast-CT, PET-CT eller biopsi) vil blive brugt til at beregne sensitivitet og specificitet, PPV og NPV.

Antal og typer af sager:

Retrospektive lunge-CT-billedserier fra cirka 300 patienter vil blive inkluderet i undersøgelsen. Cirka hundrede (100) af patienterne vil have patologisk bekræftede kræftformer, og cirka to hundrede (200) af patienterne vil være CT'er forbundet med normale patienter. Også inkluderet som knudebilleder er dem, hvor den handlingsdygtige knude ikke blev påvirket på det tidspunkt, men blev detekteret og reageret på baseret på en efterfølgende CT. Dette er de tidligere billeder, hvor knuden kan identificeres, og dens placering er den samme som på det "aktuelle" billede bekræftet af radiologekspertpanelet (med et flertal på tre som beslutningskriterium).

Den udvalgte prøve, tilfældigt udvalgt fra en større pulje af CT-tilfælde, vil blive beriget på følgende måde:

1. Lungeknuder (kræft i denne undersøgelse) vil have tumorstørrelse T1a (20 mm eller mindre). Andelen af ​​knuder på 20 mm eller mindre kan øges, da det er her, efterforskerne forventer, at denne softwares største effekt vil være.
2. Ikke-faste (slebet glas) knuder vil blive tilføjet til prøven (baseret på tilgængelighed) for at bestemme systemets ydeevne på ikke-faste knuder. For at denne gruppe skal have tilstrækkelige tilfælde, skal efterforskerne muligvis inkludere godartede (ikke-maligne) ikke-faste knuder.
3. I dette projekt vil efterforskerne udføre en maskintest af ClearRead CT Insight-algoritmen efterfulgt af en læserpræstationsevalueringsundersøgelse. Riverain vil levere et system, der er konfigureret med det driftspunkt, der skal bruges til læserundersøgelserne, og en konfiguration til et "åbent" system, der skal bruges til maskintest og FROC-generering.

Arm 1: en baseline-læsning (ingen sekundært indhold) og Arm 2: samtidig, CAD-forstærket læsning.

1. st Arm: Udfør baseline (mål tid, læserne scorer regioner efter handling og mistænksomhed) - marker alle steder, der giver anledning til bekymring
2. nd Arm: Samtidig læsning (mål tid, læserne scorer områder efter handling og mistænksomhed) - marker alle steder, der giver anledning til bekymring

Den primære undersøgelseshypotese er, at den supplerende brug af ClearRead CT Insight er overlegen i forhold til brug af standard lunge-CT-billeder alene, målt ved arealet under LROC-kurven.

STATISTISKE ANALYSER Nøjagtighed

For at evaluere hypotesen om overlegenhed med hensyn til forbedring i nøjagtighed for ClearRead CT Insight vs. uden hjælp, vil en mixed effects model (DBM) blive implementeret (svarende til modellen skitseret i Dorfman, Berbaum og Metz, 1997), hvor varianskomponenter vil medtages for at redegøre for læser, sag, læser for sag, læser for modalitet, sag for modalitet og læser for sag for modalitet. Det forventes dog, at trevejsinteraktionen vil være uvurderlig og efterfølgende vil blive udgået af den statistiske model. Specifikt er hypotesen om at teste for overlegenhed af ClearRead CT Insight vs. uden hjælp:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

LROC'ens AUC er det primære endepunkt til at evaluere nøjagtigheden, og testen af ​​interesse vil være et tosidet 95 % konfidensinterval for effekten af ​​modalitet (dvs. ClearRead CT Insight minus uden hjælp). Signifikans vil blive konkluderet, hvis den øvre grænse af det tosidede 95 % konfidensinterval ikke inkluderer nul. Hvis nulhypotesen (H0) forkastes, accepteres den alternative hypotese (HA), og overlegenheden ved at bruge ClearRead CT Insight-systemet vil blive fastslået.

Tid

Det andet co-primære mål er at evaluere reduktion i tidsforbrug pr. billede for ClearRead CT Insight vs. uden hjælp. Specifikt er hypotesen om at teste for overlegenhed af ClearRead CT Insight vs. uden hjælp:

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

For at evaluere hypotesen om non-inferioritet i form af forbedret læsetid for ClearRead CT Insight vs. uden hjælp, vil en mixed effects model blive implementeret (svarende til modellen skitseret i Dorfman, Berbaum og Metz, 1992), hvor varianskomponenter vil blive implementeret. inkluderet for at redegøre for læser, sag, læser for sag, læser for modalitet, sag for modalitet og læser for sag for modalitet. Det forventes dog, at trevejsinteraktionen vil være uvurderlig og efterfølgende vil blive udgået af den statistiske model.

Læsetiderne vil blive testet ved hjælp af et tosidet 95 % konfidensinterval på effekten af ​​modalitet (dvs. ClearRead minus uden hjælp). Signifikans vil blive konkluderet, hvis den øvre grænse af det tosidede 95 % konfidensinterval ikke inkluderer nul.

Med begge analyser kan brugen af ​​den blandede model modificeres til at anvende en bootstrap-sampling-tilgang, hvis modelantagelserne for DBM-metoden er blevet overtrådt. Den øvre 95 % konfidensgrænse for forskellen i områderne under kurverne ville blive beregnet ved hjælp af 10.000 bootstraps i MultiReader MultiCase (MRMC) ROC-metoden.

POWER OG PRØVE STØRRELSE

Evnen til at detektere forskelle i AUC for LROC-kurven for den foreslåede statistiske analyse ved hjælp af den nuværende designbaseline, dvs. 300 tilfælde, hvert tilsvarende billede læst af 10 læsere, blev vurderet gennem en simuleringsundersøgelse. Specifikt blev modellen skitseret ovenfor brugt til at simulere 500 datasæt på tværs af en række effektstørrelser, hvor effekt blev defineret som andelen af ​​datasæt, der gav en signifikant p-værdi til at teste modalitetens faste effekt. Metoden ifølge Dorfman, Berbaum og Metz, 1992 (DBM) blev implementeret ved hjælp af statistisk blandet modelteori med jackknife estimater.

Disse simuleringer krævede antagelser vedrørende størrelsen af ​​varianskomponenterne forbundet med de forskellige tilfældige effekter. Da et pilotstudie for at opnå estimater af varianskomponenter ikke blev udført, blev varianskomponentestimater fra Riverain-studie SoftView 510(k) (Record # BSSI-PR-09-00006), der bruger en lignende teknologi som den foreslåede ClearRead CT Insight-enhed, brugt. i alle effektsimuleringer. Bemærk venligst, at varianskomponenterne blev skaleret efter den totale varians for at repræsentere andelen af ​​den samlede varians, der forklares af hver komponent. Alle effektestimater er afhængige af hensigtsmæssigheden af ​​de antagne varianskomponenter.