Klinisk evaluering av V5-LU01 AI-programvaren i Thoracic CT for V5med Inc.

Oversikt over studien:

En leserstudie med seksten deltakende radiologer vil bli gjennomført. En lokasjonsspesifikk mottakeroperasjonskarakteristikk (LROC)-kurve vil bli brukt til å evaluere radiologers deteksjonsytelse ved påvisning av kvalifiserte lungeknuter på CT-skanninger av brystet med og uten bruk av V5med Lung AI-systemet. Lesetiden for hver sak vil også bli registrert.

De 16 studieradiologene vil bli delt inn i to grupper, X og Y. De 350 CT-skanningene vil bli delt inn i to undergrupper, A og B. Radiologer i gruppe X vil tolke undergruppe A uten AI og undergruppe B med V5med Lung AI. Gruppe Y radiolog vil tolke undergruppe B uten AI og undergruppe A med AI. Etter minimum en måned vil hver radiologgruppe tolke de samme bildene igjen, men i omvendt rekkefølge med hensyn til studiemodus (uten AI og med AI). Se figur 1 og 2 for detaljert arrangement av radiologtolkningssesjonene.

Under lesingsøkten vil radiologen merke hver plassering av kvalifiserte knuter og tildele en poengsum. Hvis minst én mistenkelig knute observeres, vil radiologen også indikere en Lung-RADS-score (dvs. 2, 3, 4A, 4B eller 4X) ved slutten av sakstolkningen.

Under den andre lesing-sesjonen (dvs. assistert lesing) vil radiologen bli presentert for en bryst-CT med CADe-merker vist på "venstre vindu" og samme bryst-CT uten CADe-merker vist på "høyre vindu". Hvis radiologen bekrefter en knute, vil radiologen merke plasseringen på bryst-CT-en som vises i høyre vindu. Dette samsvarer kanskje ikke med plasseringen av CADe-merkene som vist i venstre vindu. Det samme som i grunnlinjestudien, vil radiologen tildele en skåre (mistankenivå) til hvert mistenkelig sted og gi en Lung-RADS-score for CT-thorax-tilfellet, hvis minst ett sted på CT-en er merket.

Basert på de mistenkelige stedene og deres skåre (mistankenivå) vurdert av studieradiologer, kan LROC-kurver konstrueres for både baseline og de assisterte avlesningene, og betydningen av enhver forskjell vil bli beregnet. LOS-skåren vil også bli brukt til å beregne sensitivitet, spesifisitet, PPV og NPV.

Antall og typer bryst-CT-tilfeller:

Retrospektive bryst-CT-bildeserier fra ca. 350 tilfeller vil bli inkludert i studien. Omtrent to hundre (200) tilfeller vil ha minst én knutestørrelse større enn 4 mm. Disse tilfellene vil ha radiologi-bevis rapport og/eller biopsi-bekreftet kreft. Også inkludert som knutebilder er de der en knute ikke ble oppdaget på det tidspunktet, men ble oppdaget og handlet på basert på en påfølgende CT. Dette er de tidligere bildene der knuten kan identifiseres på samme sted som på det "nåværende" bildet bekreftet av radiologekspertpanelet (med et flertall på tre som beslutningskriterium). I tillegg vil omtrent hundre og femti (150) tilfeller ikke ha en knutestørrelse større enn 4 mm.

De utvalgte bryst-CT-tilfellene for den 2-arms komparative leserstudien, tilfeldig valgt fra et større utvalg av CT-tilfeller, vil bli beriket på følgende måte:

1. Lungeknuter (kreft og godartede knuter) vil ha knutestørrelser fra 4 mm til 30 mm. Andelen knuter 20 mm eller mindre kan ta de fleste tilfellene med knuter siden dette lungelesjonsstørrelsesområdet er der vi forventer at den største effekten av denne programvaren er.
2. Ikke-faste (slipte glass) knuter vil bli lagt til studiedatasettet (basert på tilgjengelighet) for å bestemme ytelsen til systemet på ikke-faste knuter. For denne gruppen, for å ha tilstrekkelige tilfeller, kan vi inkludere flere godartede (ikke-maligne) ikke-faste knuter.
3. I dette prosjektet vil VIRGINIA TECH-studieteamet utføre en frittstående maskintest av V5med Lung AI-algoritmen etterfulgt av en leserytelsesevalueringsstudie. V5med Technologies vil gi et system konfigurert med driftspunktsettet som skal brukes for leserstudiene og en konfigurasjon for et "åpent" system som skal brukes til maskintesting og for å generere fri-respons ROC (FROC) kurve.

Utformingen av to-arms sammenlignende studie:

Den første armstudien:

Utfør en grunnleggende leserstudie uten noe spesielt verktøy. Leseren blir bedt om å merke alle potensielle knuter ikke mindre enn 4 mm. For hvert merke vil størrelsen på interesseregionen (ROI), leserscore (mistankenivå) og tidsbruk bli registrert for de statistiske analysene.

Den andre armstudien:

Utfør en annen leserstudie ved å bruke V5med Lung AI som hjelpelesing. Leseren blir bedt om å merke alle potensielle knuter ikke mindre enn 4 mm assistert av V5med Lung AI. Noen eller flertallet av ROI-parametere vil være forhåndsutfylt av V5med Lung AI. Leseren vil ta den endelige avgjørelsen for hvert sted. Den markerte plasseringen, LOS-score, Lung-RADS-score og tidsbruk vil bli registrert for de statistiske analysene og sammenlignet med den første armstudien.

Den primære studiehypotesen er at deteksjon av lungeknuter med bruk av V5med Lung AI og tilhørende funksjoner er overlegen deteksjon av lungeknuter uten bruk av V5med Lung AI, målt ved arealet under LROC-kurven.