Klinische evaluatie van de V5-LU01 AI-software in thoracale CT voor V5med Inc.

Overzicht van de studie:

Er zal een lezersonderzoek worden uitgevoerd met zestien deelnemende radiologen. Een locatiespecifieke ontvanger-operationele karakteristiek (LROC)-curve zal worden gebruikt om de detectieprestaties van radiologen te evalueren bij het detecteren van gekwalificeerde longknobbeltjes op CT-scans van de borstkas, met en zonder het gebruik van het V5med Lung AI-systeem. Ook wordt per casus de leestijd geregistreerd.

De 16 onderzoeksradiologen worden opgesplitst in twee groepen, X en Y. De 350 CT-scans van de thorax zullen worden opgesplitst in twee subsets, A en B. Radiologen van Groep X zullen subset A interpreteren zonder AI en subset B met V5med Lung AI. De radioloog van groep Y interpreteert subset B zonder AI en subset A met AI. Na minimaal één maand interpreteert elke radiologengroep dezelfde beelden opnieuw, maar in omgekeerde volgorde wat betreft de onderzoeksmodi (zonder AI en met AI). Zie Figuren 1 en 2 voor een gedetailleerd arrangement van de interpretatiesessies van de radiologen.

Tijdens de basislijnmeting zal de radioloog elke locatie van gekwalificeerde knobbeltjes markeren en een score toekennen. Als er ten minste één verdachte knobbel wordt waargenomen, zal de radioloog aan het einde van de casusinterpretatie ook een long-RADS-score aangeven (d.w.z. 2, 3, 4A, 4B of 4X).

Tijdens de tweede leessessie (d.w.z. ondersteund lezen) krijgt de radioloog een CT van de borstkas te zien met CADe-markeringen weergegeven in het "linkervenster" en dezelfde CT van de borstkas zonder CADe-markeringen weergegeven in het "rechtervenster". Als de radioloog een knobbel constateert, markeert de radioloog de locatie op de CT-thorax die in het rechtervenster wordt weergegeven. Dit kan al dan niet overeenkomen met de locaties van de CADe-markeringen zoals weergegeven in het linkervenster. Net als in het basisonderzoek zal de radioloog aan elke verdachte locatie een score (verdenkingsniveau) toekennen en een long-RADS-score geven voor het CT-geval van de thorax, als ten minste één locatie op de CT is gemarkeerd.

Op basis van de verdachte locaties en hun scores (niveau van verdenking), beoordeeld door onderzoeksradiologen, kunnen LROC-curven worden geconstrueerd voor zowel de basislijn als de ondersteunde metingen, en de significantie van elk verschil zal worden berekend. De LOS-score zal ook worden gebruikt om de gevoeligheid, specificiteit, PPV en NPV te berekenen.

Aantal en typen borst-CT-gevallen:

Retrospectieve CT-thoraxbeelden van ongeveer 350 gevallen zullen in het onderzoek worden opgenomen. Ongeveer tweehonderd (200) gevallen zullen ten minste één knobbelgrootte groter dan 4 mm hebben. Deze gevallen zullen een door radiologie bewezen rapport en/of door biopsie bevestigde kankers hebben. Ook opgenomen als knobbelbeelden zijn de beelden waarbij een knobbel op dat moment niet werd gedetecteerd, maar wel werd gedetecteerd en waarop actie werd ondernomen op basis van een daaropvolgende CT. Dit zijn de eerdere beelden waarbij de knobbel kan worden geïdentificeerd op dezelfde locatie als op het "huidige" beeld, bevestigd door het panel van radiologenexperts (met een meerderheid van drie als beslissingscriterium). Bovendien zullen ongeveer honderdvijftig (150) gevallen geen knobbelgrootte groter dan 4 mm hebben.

De geselecteerde CT-gevallen van de borstkas voor het vergelijkende lezersonderzoek met 2 armen, willekeurig geselecteerd uit een grotere verzameling CT-gevallen, zullen op de volgende manier worden verrijkt:

1. Longknobbeltjes (kankers en goedaardige knobbeltjes) hebben een knobbelgrootte variërend van 4 mm tot 30 mm. Het aandeel knobbeltjes van 20 mm of minder kan het merendeel van de gevallen met knobbel(s) in beslag nemen, aangezien we verwachten dat de grootste impact van deze software in dit bereik van de longlaesies zal zijn.
2. Niet-massieve (geslepen glas) knobbeltjes zullen aan de onderzoeksdataset worden toegevoegd (op basis van beschikbaarheid) om de prestaties van het systeem op niet-massieve knobbeltjes te bepalen. Om voor deze groep voldoende gevallen te hebben, kunnen we meer goedaardige (niet-kwaadaardige) niet-vaste knobbeltjes opnemen.
3. In dit project zal het onderzoeksteam van VIRGINIA TECH een machine-standalone test uitvoeren van het V5med Lung AI-algoritme, gevolgd door een evaluatieonderzoek naar de prestaties van de lezer. V5med Technologies zal een systeem leveren dat is geconfigureerd met het werkpunt ingesteld om te worden gebruikt voor de lezerstudies en een configuratie voor een "open" systeem dat moet worden gebruikt voor het testen van machines en om een ​​vrije respons ROC (FROC)-curve te genereren.

Het ontwerp van een vergelijkend onderzoek met twee armen:

De eerste armstudie:

Voer een baseline-lezerstudie uit zonder speciaal gereedschap. De lezer wordt gevraagd alle potentiële knobbeltjes van minimaal 4 mm te markeren. Voor elk cijfer worden de grootte van het interessegebied (ROI), de score van de lezer (de mate van verdenking) en de bestede tijd geregistreerd voor de statistische analyses.

De tweede armstudie:

Voer nog een lezersonderzoek uit met de V5med Lung AI als hulpmiddel bij het lezen. De lezer wordt gevraagd om alle potentiële knobbeltjes van minimaal 4 mm te markeren, met behulp van V5med Lung AI. Een deel of het merendeel van de ROI-parameters zal vooraf worden ingevuld door V5med Lung AI. Per locatie zal de lezer een definitieve beslissing nemen. De gemarkeerde locatie, LOS-score, Lung-RADS-score en bestede tijd worden geregistreerd voor de statistische analyses en vergeleken met het onderzoek in de eerste arm.

De primaire onderzoekshypothese is dat de detectie van longknobbeltjes met behulp van V5med Lung AI en bijbehorende functies superieur is aan de detectie van longknobbeltjes zonder het gebruik van V5med Lung AI, zoals gemeten aan de hand van het gebied onder de LROC-curve.