Klinisk evaluering af V5-LU01 AI-softwaren i Thoracic CT for V5med Inc.

Oversigt over undersøgelsen:

Der vil blive gennemført en læserundersøgelse med seksten deltagende radiologer. En lokationsspecifik modtageroperationskarakteristik (LROC) kurve vil blive brugt til at evaluere radiologers detektionspræstation ved påvisning af kvalificerede lungeknuder på CT-scanninger af brystet med og uden brug af V5med Lung AI-systemet. Læsetiden for hver sag vil også blive registreret.

De 16 undersøgelsesradiologer vil blive opdelt i to grupper, X og Y. De 350 CT-scanninger vil blive opdelt i to undergrupper, A og B. Radiologer i gruppe X vil fortolke undergruppe A uden AI og undergruppe B med V5med Lung AI. Gruppe Y-radiolog vil fortolke undergruppe B uden AI og undergruppe A med AI. Efter minimum en måned vil hver radiologgruppe fortolke de samme billeder igen, men i omvendt rækkefølge med hensyn til undersøgelsestilstande (uden AI og med AI). Se venligst figur 1 og 2 for detaljeret arrangement af radiologens tolkningssessioner.

Under basislinjelæsningssessionen vil radiologen markere hver placering af kvalificerede knuder og tildele en score. Hvis der observeres mindst én mistænkelig knude, vil radiologen også angive en Lung-RADS-score (dvs. 2, 3, 4A, 4B eller 4X) ved slutningen af ​​sagsfortolkningen.

Under den anden læsningssession (dvs. assisteret læsning) vil radiologen blive præsenteret for en bryst-CT med CADe-mærker vist på "venstre vindue" og den samme bryst-CT uden CADe-mærker vist på "højre vindue". Hvis radiologen bekræfter en knude, vil radiologen markere placeringen på bryst-CT'en vist i højre vindue. Dette svarer muligvis til placeringen af ​​CADe-mærkerne som vist i venstre vindue. På samme måde som i baseline-undersøgelsen vil radiologen tildele en score (mistankeniveau) til hvert mistænkeligt sted og give en Lung-RADS-score for bryst-CT-tilfældet, hvis mindst ét ​​sted på CT'en er markeret.

Baseret på de mistænkelige lokaliteter og deres score (mistankeniveau) vurderet af undersøgelsesradiologer, kan LROC-kurver konstrueres for både baseline og de assisterede aflæsninger, og betydningen af ​​enhver forskel vil blive beregnet. LOS-scoren vil også blive brugt til at beregne sensitivitet, specificitet, PPV og NPV.

Antal og typer af bryst-CT-tilfælde:

Retrospektive bryst-CT-billedserier fra ca. 350 tilfælde vil blive inkluderet i undersøgelsen. Omtrent to hundrede (200) sager vil have mindst én nodulstørrelse større end 4 mm. Disse tilfælde vil have røntgen-bevis rapport og/eller biopsi-bekræftet cancer. Også inkluderet som knudebilleder er dem, hvor en knude ikke blev detekteret på det tidspunkt, men blev detekteret og reageret på baseret på en efterfølgende CT. Dette er de tidligere billeder, hvor knuden kan identificeres på samme sted som på det "aktuelle" billede bekræftet af radiologekspertpanelet (med et flertal på tre som beslutningskriterium). Derudover vil cirka hundrede og halvtreds (150) sager ikke have en nodulstørrelse større end 4 mm.

De udvalgte bryst-CT-tilfælde til det 2-armede komparative læserstudie, tilfældigt udvalgt fra en større pulje af CT-tilfælde, vil blive beriget på følgende måde:

1. Lungeknuder (kræft og godartede knuder) vil have en knudestørrelse fra 4 mm til 30 mm. Andelen af ​​knuder på 20 mm eller mindre kan tage størstedelen af ​​tilfældene med knuder, da dette lungelæsionsstørrelsesområde er, hvor vi forventer, at den største effekt af denne software er.
2. Ikke-faste (slebet) knuder vil blive tilføjet til undersøgelsesdatasættet (baseret på tilgængelighed) for at bestemme systemets ydeevne på ikke-faste knuder. For at denne gruppe skal have tilstrækkelige tilfælde, kan vi inkludere flere godartede (ikke-maligne) ikke-faste knuder.
3. I dette projekt vil VIRGINIA TECH-studieteamet udføre en selvstændig maskine-test af V5med Lung AI-algoritmen efterfulgt af en læserpræstationsevalueringsundersøgelse. V5med Technologies vil levere et system, der er konfigureret med det driftspunkt, der skal bruges til læserundersøgelserne, og en konfiguration til et "åbent" system, der skal bruges til maskintestning og til at generere fri-respons ROC (FROC) kurve.

Designet af to-arms sammenlignende undersøgelse:

Den første armundersøgelse:

Udfør en baseline-læserundersøgelse uden noget særligt værktøj. Læseren bliver bedt om at markere alle potentielle knuder mindst 4 mm. For hvert mærke registreres størrelsen af ​​interesseregion (ROI), læserscore (mistankeniveau) og tid brugt til de statistiske analyser.

Den anden armundersøgelse:

Udfør endnu en læserundersøgelse ved at bruge V5med Lung AI som den assisterede læsning. Læseren bliver bedt om at markere alle potentielle knuder ikke mindre end 4 mm assisteret af V5med Lung AI. Nogle eller størstedelen af ​​ROI's parametre vil være forududfyldt af V5med Lung AI. Læseren vil træffe den endelige beslutning for hver placering. Den markerede placering, LOS-score, Lung-RADS-score og tidsforbrug vil blive registreret for de statistiske analyser og sammenlignet med den første armundersøgelse.

Den primære undersøgelseshypotese er, at påvisning af lungeknuder med brug af V5med Lung AI og tilhørende funktioner er overlegen i forhold til påvisning af lungeknuder uden brug af V5med Lung AI, målt ved arealet under LROC-kurven.