Hodnocení softwaru pro počítačově podporovanou detekci plicních uzlin v hrudním CT pro Riverain Technologies LLC

Bude provedena čtenářská studie s nejméně deseti (10) zúčastněnými radiology. Lokalizovaná operační charakteristická křivka přijímače bude použita k vyhodnocení diagnostického výkonu radiologů (ve smyslu kompromisu mezi senzitivitou a specificitou při změně rozhodovacích kritérií) při detekci plicních uzlů na plicních CT s použitím a bez použití Systém ClearRead CT Insight (CRCTI). Zaznamená se také doba potřebná k přezkoumání a výkladu každého případu.

Počáteční (základní) interpretaci provede každý z radiologů na základě CT plic v jeho původní podobě. Minimálně o měsíc později budou všichni radiologové znovu interpretovat stejné snímky při sledování dvojice CRCTI CT sérií: Dvě sady CT snímků (standardní se značkami CADe a zpracované s potlačením cévy budou prezentovány buď na jednom velkém monitoru, nebo na dvou sousedních monitory.

Během odečítání základní linie radiolog označí umístění funkčních uzlů a přidělí skóre. Radiolog také indikuje doporučený způsob sledování (Kontrastní CT, PET-CT, CT sledování, Biopsie).

Během druhého odečítání (souběžné čtení) bude radiologovi předloženo standardní CT s umístěnými značkami počítačové detekce (CADe) a céva potlačila stejný řez s pohledem potlačeným cévou (obrázek vpravo). Druhý snímek, céva potlačená, bude zašedlý, dokud radiolog nepřesune myš na druhý panel. Radiolog označí místa. Ty mohou nebo nemusí odpovídat umístěním CAD značek. Stejně jako dříve radiolog přiřadí každému znaménku úroveň podezřelé a označí případnou potřebu dalšího diagnostického opatření (CT sledování, kontrastní CT, PET-CT nebo biopsie).

Na základě úrovní podezření pro každý uzlík a souvisejících hodnocení pravděpodobnosti budou sestrojeny křivky LROC pro základní i souběžná měření a bude vypočtena významnost jakéhokoli rozdílu. Doporučení pro další postup (CT sledování, kontrastní CT, PET-CT nebo biopsie) budou použita k výpočtu senzitivity a specificity, PPV a NPV.

Počet a typy případů:

Do studie bude zahrnuta retrospektivní série snímků CT plic od přibližně 300 pacientů. Přibližně sto (100) pacientů bude mít patologicky potvrzenou rakovinu a přibližně dvě stě (200) pacientů budou mít CT spojené s normálními pacienty. Mezi snímky uzlin jsou také zahrnuty ty, u kterých se v dané době nepůsobila akceschopná uzlina, ale byla detekována a bylo na ni zapůsobeno na základě následného CT. Toto jsou předchozí snímky, kde lze uzlinu identifikovat a její umístění je stejné jako na „aktuálním“ snímku potvrzeném expertním panelem radiologů (při použití většiny tří jako rozhodovacího kritéria).

Vybraný vzorek, náhodně vybraný z většího souboru případů CT, bude obohacen následujícím způsobem:

1. Plicní uzliny (rakoviny v této studii) budou mít velikost tumoru T1a (20 mm nebo méně). Podíl uzlů o velikosti 20 mm nebo méně může být zvýšen, protože zde výzkumníci očekávají hlavní dopad tohoto softwaru.
2. Nepevné (zabroušené sklo) noduly budou přidány do vzorku (podle dostupnosti), aby se určil výkon systému na nepevných nodulech. Aby tato skupina měla dostatečný počet případů, vyšetřovatelé možná budou muset zahrnout benigní (nemaligní) nesolidní uzliny.
3. V tomto projektu vyšetřovatelé provedou strojový test algoritmu ClearRead CT Insight, po kterém bude následovat studie hodnocení výkonu čtečky. Riverain poskytne systém konfigurovaný se sadou provozních bodů, které mají být použity pro studie čtečky, a konfiguraci pro „otevřený“ systém, který bude použit pro testování strojů a generování FROC.

Rameno 1: základní čtení (žádný sekundární obsah) a rameno 2: souběžné, CAD rozšířené čtení.

1. st Arm: Proveďte základní linii (měřte čas, čtenáři hodnotí regiony podle akce a podezřívavosti) - označte všechna místa zájmu
2. nd Arm: Souběžné čtení (měření času, čtenáři hodnotí regiony podle akce a podezřívavosti) – označte všechna místa zájmu

Primární hypotézou studie je, že doplňkové použití ClearRead CT Insight je lepší než použití samotných standardních plicních CT snímků, měřeno plochou pod křivkou LROC.

STATISTICKÉ ANALÝZY Přesnost

K vyhodnocení hypotézy nadřazenosti z hlediska zlepšení přesnosti pro ClearRead CT Insight vs. bez pomoci bude implementován model smíšených efektů (DBM) (podobný modelu popsanému v Dorfman, Berbaum a Metz, 1997), kde budou složky rozptylu být zahrnuty do účtu pro čtenáře, případ, čtenář od případu, čtenář podle způsobu, případ od způsobu a čtenář od případu po způsobu. Předpokládá se však, že třístranná interakce bude neocenitelná a následně bude ze statistického modelu vypuštěna. Konkrétně hypotéza k testování převahy ClearRead CT Insight vs. bez pomoci je:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

AUC LROC je primárním koncovým bodem pro hodnocení přesnosti a testem zájmu bude oboustranný 95% interval spolehlivosti na účinek modality (tj. ClearRead CT Insight mínus bez pomoci). Významnost bude uzavřena, pokud horní hranice oboustranného 95% intervalu spolehlivosti nezahrnuje nulu. Pokud je nulová hypotéza (H0) zamítnuta, je přijata alternativní hypotéza (HA) a bude stanovena nadřazenost použití systému ClearRead CT Insight.

Čas

Druhým hlavním cílem je vyhodnotit zkrácení času stráveného na jeden snímek u ClearRead CT Insight vs. bez pomoci. Konkrétně hypotéza k testování převahy ClearRead CT Insight vs. bez pomoci je:

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

K vyhodnocení hypotézy neinferiority z hlediska vylepšené doby čtení pro ClearRead CT Insight vs. bez pomoci bude implementován model smíšených efektů (podobný modelu popsanému v Dorfman, Berbaum a Metz, 1992), kde budou složky rozptylu zahrnuto pro čtenáře, případ, čtenář od případu, čtenář po způsobu, případ od způsobu a čtenář od případu po způsobu. Předpokládá se však, že třístranná interakce bude neocenitelná a následně bude ze statistického modelu vypuštěna.

Časy čtení budou testovány pomocí oboustranného 95% intervalu spolehlivosti na účinek modality (tj. ClearRead mínus bez pomoci). Významnost bude uzavřena, pokud horní hranice oboustranného 95% intervalu spolehlivosti nezahrnuje nulu.

U obou analýz by použití smíšeného modelu mohlo být upraveno tak, aby využíval přístup bootstrap vzorkování, pokud byly porušeny modelové předpoklady metody DBM. Horní 95% mez spolehlivosti pro rozdíl v oblastech pod křivkami by se vypočítala pomocí 10 000 bootstrapů v metodě ROC MultiReader MultiCase (MRMC).

VÝKON A VELIKOST VZORKU

Schopnost detekovat rozdíly v AUC křivky LROC pro navrhovanou statistickou analýzu s použitím současné základní linie návrhu, tj. 300 případů, každý odpovídající obrázek přečtený 10 čtenáři, byla hodnocena prostřednictvím simulační studie. Konkrétně byl výše nastíněný model použit k simulaci 500 datových sad napříč rozsahem velikostí efektů, kde síla byla definována jako podíl datových sad, které poskytly významnou p-hodnotu pro testování fixního efektu modality. Metoda Dorfmana, Berbauma a Metze, 1992 (DBM) byla implementována s využitím teorie statistického smíšeného modelu s odhady jackknife.

Tyto simulace vyžadovaly předpoklady týkající se velikosti složek rozptylu spojených s různými náhodnými efekty. Protože nebyla provedena pilotní studie k získání odhadů složek rozptylu, byly použity odhady složek rozptylu ze studie Riverain SoftView 510(k) (záznam č. BSSI-PR-09-00006), která využívá podobnou technologii jako navrhované zařízení ClearRead CT Insight. ve všech silových simulacích. Vezměte prosím na vědomí, že složky rozptylu byly škálovány podle celkového rozptylu, aby reprezentovaly podíl celkového rozptylu vysvětlený každou složkou. Všechny odhady výkonu jsou závislé na vhodnosti předpokládaných složek rozptylu.