Evaluering av datastøttet lungeknuterdeteksjonsprogramvare i Thoracic CT for Riverain Technologies LLC

En leserstudie med minst ti (10) deltakende radiologer vil bli gjennomført. En lokalisert mottakeroperasjonskarakteristikkkurve vil bli brukt for å evaluere radiologers diagnostiske ytelse (med hensyn til avveiningen mellom sensitivitet og spesifisitet når beslutningskriteriene endres) ved påvisning av lungeknuter på lunge-CT med og uten bruk av ClearRead CT Insight (CRCTI) system. Tiden som trengs for gjennomgang og tolkning av hver sak vil også bli registrert.

En innledende (baseline) tolkning vil bli gjort av hver av radiologene basert på lunge-CT i sin opprinnelige form. Minst en måned senere vil hver radiolog igjen tolke de samme bildene når de ser på paret av CRCTI CT-serien: To sett med CT-bilder (standard med CADe-merker og behandlet med karundertrykkelse vil bli presentert på enten én stor monitor eller to ved siden av monitorer.

Under grunnlinjeavlesningen vil radiologen markere plasseringen av de handlingsbare knutene og tildele en poengsum. Radiologen vil også angi anbefalt oppfølgingsmetode (Kontrast-CT, PET-CT, CT-oppfølging, Biopsi).

Under den andre leseøkten (samtidig avlesning), vil radiologen bli presentert med en standard CT med datastøttet deteksjon (CADe)-merker plassert og karet undertrykt samme skive med karet undertrykt visning (høyre bilde). Det andre bildet, kar undertrykt, vil være nedtonet inntil radiologen flytter musen til det andre panelet. Radiologen vil merke steder. Disse samsvarer kanskje ikke med plasseringene til CAD-markørene. Som tidligere vil radiologen tilordne et nivå av mistenkelig til hvert merke og indikere behovet for en ytterligere diagnostisk handling (CT-oppfølging, Kontrast-CT, PET-CT eller Biopsi).

Basert på nivåene av mistanke for hver knute og de tilhørende sannsynlighetsvurderingene, vil LROC-kurver bli konstruert for både grunnlinjen og de samtidige avlesningene, og betydningen av en eventuell forskjell vil bli beregnet. Anbefalingene for videre tiltak (CT-oppfølging, Kontrast-CT, PET-CT eller Biopsi) vil bli brukt til å beregne sensitivitet og spesifisitet, PPV og NPV.

Antall og typer saker:

Retrospektive lunge-CT-bildeserier fra ca. 300 pasienter vil bli inkludert i studien. Omtrent hundre (100) av pasientene vil ha patologisk bekreftet kreft, og omtrent to hundre (200) av pasientene vil være CT-er assosiert med normale pasienter. Også inkludert som knutebilder er de der den handlingsbare knuten ikke ble påvirket på det tidspunktet, men ble oppdaget og aksjonert basert på en påfølgende CT. Dette er de tidligere bildene der knuten kan identifiseres og dens plassering er den samme som på det "nåværende" bildet bekreftet av radiologekspertpanelet (med et flertall på tre som beslutningskriterium).

Den valgte prøven, tilfeldig valgt fra en større gruppe av CT-tilfeller, vil bli beriket på følgende måte:

1. Lungeknuter (kreft i denne studien) vil ha tumorstørrelse T1a (20 mm eller mindre). Andelen av knuter 20 mm eller mindre kan økes siden det er her etterforskerne forventer at den store effekten av denne programvaren vil være.
2. Ikke-faste (slipte glass) knuter vil bli lagt til prøven (basert på tilgjengelighet) for å bestemme ytelsen til systemet på ikke-faste knuter. For at denne gruppen skal ha tilstrekkelige tilfeller, kan det hende at etterforskerne må inkludere godartede (ikke-maligne) ikke-faste knuter.
3. I dette prosjektet vil etterforskerne utføre en maskintest av ClearRead CT Insight-algoritmen etterfulgt av en leserytelsesevalueringsstudie. Riverain vil gi et system konfigurert med driftspunktsettet som skal brukes for leserstudiene og en konfigurasjon for et "åpent" system som skal brukes til maskintesting og FROC-generering.

Arm 1: en grunnlinjelesing (ingen sekundært innhold) og Arm 2: samtidig, CAD-forsterket lesing.

1. st Arm: Gjør baseline (mål tid, lesere skårer regioner i henhold til handling og mistenksomhet) - merk alle steder av bekymring
2. nd Arm: Samtidig lesing (mål tid, lesere skårer regioner i henhold til handling og mistenksomhet) - merk alle steder av bekymring

Den primære studiehypotesen er at tilleggsbruken av ClearRead CT Insight er overlegen bruk av standard lunge-CT-bilder alene, målt ved arealet under LROC-kurven.

STATISTISKE ANALYSER Nøyaktighet

For å evaluere hypotesen om overlegenhet når det gjelder forbedring i nøyaktighet for ClearRead CT Insight vs. uten hjelp, vil en mixed effects-modell (DBM) implementeres (i likhet med modellen skissert i Dorfman, Berbaum og Metz, 1997), hvor varianskomponenter vil inkluderes for å redegjøre for leser, sak, leser for sak, leser for modalitet, sak for modalitet og leser for sak for modalitet. Det forventes imidlertid at treveisinteraksjonen vil være uvurderlig og deretter vil bli droppet fra den statistiske modellen. Spesifikt er hypotesen for å teste for overlegenhet av ClearRead CT Insight vs. uten hjelp:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

AUC for LROC er det primære endepunktet for å evaluere nøyaktigheten, og testen av interesse vil være et tosidig 95 % konfidensintervall på effekten av modalitet (dvs. ClearRead CT Insight minus uten hjelp). Signifikans vil bli konkludert hvis den øvre grensen for det tosidige 95 % konfidensintervallet ikke inkluderer null. Hvis nullhypotesen (H0) forkastes, aksepteres den alternative hypotesen (HA) og overlegenheten ved bruk av ClearRead CT Insight-systemet vil bli etablert.

Tid

Det andre co-primære målet er å evaluere reduksjon i tidsbruk per bilde for ClearRead CT Insight vs. uten hjelp. Spesifikt er hypotesen for å teste for overlegenhet av ClearRead CT Insight vs. uten hjelp:

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

For å evaluere hypotesen om ikke-mindreverdighet i form av forbedret lesetid for ClearRead CT Insight vs. uten hjelp, vil en blandede effektmodell bli implementert (i likhet med modellen skissert i Dorfman, Berbaum og Metz, 1992), hvor varianskomponenter vil være inkludert for å redegjøre for leser, sak, leser for sak, leser for modalitet, sak for modalitet og leser for sak for modalitet. Det forventes imidlertid at treveisinteraksjonen vil være uvurderlig og deretter vil bli droppet fra den statistiske modellen.

Lesetidene vil bli testet med et tosidig 95 % konfidensintervall på effekten av modalitet (dvs. ClearRead minus uten hjelp). Signifikans vil bli konkludert hvis den øvre grensen for det tosidige 95 % konfidensintervallet ikke inkluderer null.

Med begge analyser kan bruken av den blandede modellen modifiseres til å bruke en bootstrap-samplingstilnærming hvis modellforutsetningene for DBM-metoden har blitt brutt. Den øvre 95 % konfidensgrensen for forskjellen i områdene under kurvene vil bli beregnet ved å bruke 10 000 bootstraps i MultiReader MultiCase (MRMC) ROC-metoden.

KRAFT OG PRØVESTØRRELSE

Kraften til å oppdage forskjeller i AUC for LROC-kurven for den foreslåtte statistiske analysen ved bruk av gjeldende design-grunnlinje, dvs. 300 tilfeller, hvert tilsvarende bilde lest av 10 lesere, ble vurdert gjennom en simuleringsstudie. Spesifikt ble modellen skissert ovenfor brukt til å simulere 500 datasett på tvers av en rekke effektstørrelser, der kraft ble definert som andelen datasett som ga en signifikant p-verdi for å teste den faste effekten av modalitet. Metoden til Dorfman, Berbaum og Metz, 1992 (DBM) ble implementert ved å bruke statistisk blandet modellteori med jackknife-estimater.

Disse simuleringene krevde antakelser om størrelsen på varianskomponentene knyttet til de forskjellige tilfeldige effektene. Ettersom en pilotstudie for å oppnå estimater av varianskomponenter ikke ble utført, ble varianskomponentestimater fra Riverain-studien SoftView 510(k) (Record # BSSI-PR-09-00006) som bruker en lignende teknologi som den foreslåtte ClearRead CT Insight-enheten brukt. i alle kraftsimuleringer. Vær oppmerksom på at varianskomponentene ble skalert med den totale variansen for å representere andelen av total varians forklart av hver komponent. Alle effektestimater er avhengige av hensiktsmessigheten til de antatte varianskomponentene.