Klinisk utvärdering av V5-LU01 AI-programvaran i Thoracic CT för V5med Inc.

Översikt över studien:

En läsarstudie med sexton deltagande radiologer kommer att genomföras. En LROC-kurva (location-specific receiver operating characteristic) kommer att användas för att utvärdera radiologers detektionsprestanda vid detektering av kvalificerade lungknölar på CT-skanningar av bröstkorgen med och utan användning av V5med Lung AI-systemet. Lästiden för varje fall kommer också att registreras.

De 16 studieradiologerna kommer att delas upp i två grupper, X och Y. De 350 CT-skanningarna kommer att delas upp i två undergrupper, A och B. Radiologer i grupp X kommer att tolka undergrupp A utan AI och undergrupp B med V5med Lung AI. Grupp Y-radiolog kommer att tolka delmängd B utan AI och delmängd A med AI. Efter minst en månad kommer varje radiologgrupp att tolka samma bilder igen men i omvänd ordning vad gäller studielägen (utan AI och med AI). Se figurerna 1 och 2 för detaljerat arrangemang av radiologtolkningssessionerna.

Under baslinjeläsningssessionen kommer radiologen att markera varje plats för kvalificerade knölar och tilldela en poäng. Om minst en misstänkt knöl observeras kommer radiologen också att indikera en Lung-RADS-poäng (dvs. 2, 3, 4A, 4B eller 4X) i slutet av falltolkningen.

Under den andra avläsningssessionen (d.v.s. understödd läsning) kommer radiologen att presenteras för en CT med CADe-märken i "vänster fönster" och samma CT utan CADe-märken i det "högra fönstret". Om radiologen bekräftar en knöl kommer radiologen att markera platsen på bröst-CT som visas i det högra fönstret. Detta kan eller kanske inte motsvarar placeringen av CADe-märkena som visas i det vänstra fönstret. På samma sätt som i baslinjestudien kommer radiologen att tilldela en poäng (misstankenivå) till varje misstänkt plats och tillhandahålla en lung-RADS-poäng för CT-fallet, om minst en plats på CT är markerad.

Baserat på de misstänkta platserna och deras poäng (misstankenivå) bedömda av studieradiologer, kan LROC-kurvor konstrueras för både baslinjen och de understödda avläsningarna, och betydelsen av eventuella skillnader kommer att beräknas. LOS-poängen kommer också att användas för att beräkna sensitivitet, specificitet, PPV och NPV.

Antal och typer av bröst-CT-fall:

Retrospektiva CT-bildserier från cirka 350 fall kommer att inkluderas i studien. Ungefär tvåhundra (200) fall kommer att ha minst en nodulstorlek större än 4 mm. Dessa fall kommer att ha röntgenbevisad rapport och/eller biopsibekräftad cancer. Även inkluderade som knölbilder är de där en knöl inte upptäcktes vid den tidpunkten, utan detekterades och åtgärdades baserat på en efterföljande CT. Dessa är de tidigare bilderna där knölen kan identifieras på samma plats som på den "aktuella" bilden bekräftad av radiologexpertpanelen (med en majoritet av tre som beslutskriterium). Dessutom kommer cirka etthundrafemtio (150) fall inte att ha en nodulstorlek större än 4 mm.

De utvalda bröst-CT-fallen för den 2-armade jämförande läsarstudien, slumpmässigt valda från en större pool av CT-fall, kommer att berikas på följande sätt:

1. Lungknölar (cancer och godartade knölar) kommer att ha en knölstorlek från 4 mm till 30 mm. Andelen knölar 20 mm eller mindre kan ta majoriteten av fallen med knölar eftersom storleksintervallet för lungskador är där vi förväntar oss att den största effekten av denna programvara är.
2. Noduli som inte är fasta (slipat glas) kommer att läggas till studiedatauppsättningen (baserat på tillgänglighet) för att bestämma systemets prestanda på icke-fasta noduler. För denna grupp, för att ha tillräckligt med fall, kan vi inkludera mer benigna (icke-maligna) icke-fasta knölar.
3. I detta projekt kommer VIRGINIA TECH-studieteamet att utföra ett maskinellt test av V5med Lung AI-algoritmen följt av en utvärderingsstudie av läsarens prestanda. V5med Technologies kommer att tillhandahålla ett system som är konfigurerat med driftspunkten som ska användas för läsarstudierna och en konfiguration för ett "öppet" system som ska användas för maskintestning och för att generera free-response ROC (FROC) kurva.

Utformningen av tvåarmsjämförande studie:

Den första armstudien:

Utför en baslinjeläsarstudie utan något speciellt verktyg. Läsaren uppmanas att markera alla potentiella knölar som inte är mindre än 4 mm. För varje märke kommer storleken på regionen av intresse (ROI), läsarpoäng (misstankenivå) och tid som spenderas att registreras för de statistiska analyserna.

Den andra armstudien:

Utför ytterligare en läsarstudie med hjälp av V5med Lung AI som avläsning. Läsaren uppmanas att markera alla potentiella knölar som inte är mindre än 4 mm assisterad av V5med Lung AI. Vissa eller majoriteten av ROIs parametrar kommer att vara förifyllda av V5med Lung AI. Läsaren kommer att göra ett slutgiltigt beslut för varje plats. Den markerade platsen, LOS-poängen, Lung-RADS-poängen och tiden som spenderas kommer att registreras för de statistiska analyserna och jämföras med den första armstudien.

Den primära studiehypotesen är att detektion av lungknölar med användning av V5med Lung AI och tillhörande funktioner är överlägsen detektering av lungknutor utan användning av V5med Lung AI, mätt med arean under LROC-kurvan.