Klinické hodnocení softwaru V5-LU01 AI v hrudním CT pro V5med Inc.

Přehled studie:

Bude provedena čtenářská studie se šestnácti zúčastněnými radiology. K vyhodnocení výkonu detekce radiologů při detekci kvalifikovaných plicních uzlů na CT vyšetřeních hrudníku s použitím systému V5med Lung AI i bez něj bude použita křivka operační charakteristiky přijímače specifické pro umístění (LROC). Zaznamená se také doba čtení pro každý případ.

16 studijních radiologů bude rozděleno do dvou skupin, X a Y. 350 CT vyšetření hrudníku bude rozděleno do dvou podskupin, A a B. Radiologové skupiny X budou interpretovat podskupinu A bez AI a podskupinu B s V5med Lung AI. Radiolog skupiny Y bude interpretovat podskupinu B bez AI a podskupinu A s AI. Po minimálně jednom měsíci bude každá skupina radiologů interpretovat stejné snímky znovu, ale v opačném pořadí s ohledem na studijní režimy (bez AI as AI). Podívejte se prosím na obrázky 1 a 2 pro podrobné uspořádání radiologových interpretačních sezení.

Během základního odečítání radiolog označí každé umístění kvalifikovaných uzlů a přidělí skóre. Pokud je pozorován alespoň jeden podezřelý uzel, radiolog také na konci interpretace případu uvede skóre Lung-RADS (tj. 2, 3, 4A, 4B nebo 4X).

Během druhého odečítání (tj. asistovaného čtení) bude radiologovi předloženo CT hrudníku se značkami CADe zobrazenými v „levém okně“ a stejným CT hrudníku bez značek CADe zobrazeným v „pravém okně“. Pokud radiolog uzlin potvrdí, radiolog označí místo na CT hrudníku zobrazeném v pravém okně. To může nebo nemusí odpovídat umístění značek CADe, jak je zobrazeno v levém okně. Stejně jako v základní studii radiolog přiřadí skóre (úroveň podezření) každé podezřelé lokalitě a poskytne skóre Lung-RADS pro případ CT hrudníku, pokud je na CT označeno alespoň jedno místo.

Na základě podezřelých lokalit a jejich skóre (úrovně podezření) hodnocených studijními radiology lze sestrojit křivky LROC pro základní i podporované hodnoty a bude vypočtena významnost jakéhokoli rozdílu. Skóre LOS bude také použito k výpočtu citlivosti, specificity, PPV a NPV.

Počet a typy případů CT hrudníku:

Do studie budou zahrnuty retrospektivní série snímků CT hrudníku z přibližně 350 případů. Přibližně dvě stě (200) případů bude mít alespoň jednu velikost uzlíku větší než 4 mm. Tyto případy budou mít radiologicky ověřenou zprávu a/nebo biopsii potvrzenou rakovinu. Jako snímky uzlin jsou také zahrnuty ty, kde uzel v té době nebyl detekován, ale byl detekován a bylo na něj zapůsobeno na základě následného CT. Toto jsou předchozí snímky, kde lze uzlinu identifikovat na stejném místě jako na „aktuálním“ snímku potvrzeném expertním panelem radiologů (při použití většiny tří jako rozhodovacího kritéria). Navíc přibližně sto padesát (150) případů nebude mít velikost uzlíku větší než 4 mm.

Vybrané případy CT hrudníku pro 2ramennou srovnávací čtenářskou studii, náhodně vybrané z většího souboru CT případů, budou obohaceny následujícím způsobem:

1. Plicní uzliny (rakoviny a benigní uzliny) budou mít velikost uzlíků v rozmezí od 4 mm do 30 mm. Podíl uzlů 20 mm nebo méně může zabírat většinu případů s nodulem (uzlinami), protože tento rozsah velikosti plicních lézí je tam, kde očekáváme hlavní dopad tohoto softwaru.
2. Nepevné uzliny (zabroušené sklo) budou přidány do souboru dat studie (na základě dostupnosti), aby se určil výkon systému na nepevných uzlinách. Pro tuto skupinu, abychom měli dostatek případů, můžeme zařadit benignější (nemaligní) nesolidní uzliny.
3. V tomto projektu studijní tým VIRGINIA TECH provede strojový samostatný test algoritmu V5med Lung AI, po kterém bude následovat studie hodnocení výkonu čtečky. Společnost V5med Technologies poskytne systém nakonfigurovaný se sadou provozních bodů, které se mají použít pro studie čtečky, a konfiguraci pro „otevřený“ systém, který bude použit pro testování strojů a pro generování křivky ROC (FROC) s volnou odezvou.

Návrh dvouramenné srovnávací studie:

První studie paže:

Proveďte základní čtenářskou studii bez speciálního nástroje. Čtenář je požádán, aby označil všechny potenciální uzlíky ne menší než 4 mm. U každé známky se pro statistické analýzy zaznamená velikost oblasti zájmu (ROI), skóre čtenáře (úroveň podezření) a strávený čas.

Studie druhé paže:

Proveďte další studii čtečky pomocí V5med Lung AI jako podporovaného čtení. Čtenář je požádán, aby za pomoci V5med Lung AI označil všechny potenciální uzly ne menší než 4 mm. Některé nebo většina parametrů ROI bude předem vyplněna V5med Lung AI. Čtenář učiní konečné rozhodnutí pro každé místo. Označené umístění, skóre LOS, skóre Lung-RADS a strávený čas budou zaznamenány pro statistické analýzy a porovnány s první studií ramene.

Primární hypotézou studie je, že detekce plicních uzlů s použitím V5med Lung AI a souvisejících funkcí je lepší než detekce plicních uzlů bez použití V5med Lung AI, měřeno plochou pod křivkou LROC.