Přímé srovnání AI systému Cancer Ontology Supervised Multimodal Orchestration (COSMO) s posouzením výhradně patologem (COSMO)

Racionální zdůvodnění studie a pozadí Diagnostická přesnost v klasifikaci podtypů rakoviny se významně liší mezi patology kvůli rozdílům v odborných znalostech, zkušenostech a přístupu k diagnostickým zdrojům. Nástup AI systémů v patologii nabízí potenciál ke zlepšení diagnostického výkonu a konzistence v klasifikaci rakoviny. Přímá empirická srovnání AI predikcí a diagnostického výkonu patologů na stejných případech jsou však v literatuře stále omezená.

Cíle studie Tato přímá komparativní studie si klade za cíl: (1) vyhodnotit diagnostický výkon systému COSMO AI v klasifikaci podtypů rakoviny na více anatomických místech; (2) charakterizovat diagnostickou přesnost zkušených patologů na stejných případech; (3) přímo porovnat metriky diagnostického výkonu mezi COSMO a patology; a (4) zkoumat vzorce shody a variaci výkonu podle anatomického místa, kategorie incidence rakoviny, zkušeností patologa a složitosti případu.

Prostředí a účastníci studie Studie zahrne až 25 certifikovaných patologů s 3 až 10+ lety diagnostických zkušeností, najatých z institucí v Severní Americe, Evropě a asijsko-pacifickém regionu. Účastnící se patologové budou mít odborné znalosti v neuropatologii, plicní patologii, urologické patologii nebo obecné anatomické patologii.

Případy a stratifikace Studie využije anonymizované archivní snímky celých skel reprezentující až 300 pacientů s potvrzenými referenčními diagnózami, včetně 100 případů rakoviny mozku, 100 rakoviny plic a 100 rakoviny ledvin. Případy budou stratifikovány podle typu rakoviny a kategorie incidence (běžné vs. vzácné nebo neobvyklé), v souladu s pokyny Světové zdravotnické organizace (WHO).

Sběr dat Patologové nezávisle posoudí každý případ a poskytnou diagnostické klasifikace spolu s hodnocením jistoty pomocí 5bodové škály. Digitální patologické rozhraní automaticky zaznamená metriky času do diagnózy. COSMO zpracuje stejné případy offline, aby vygeneroval nezávislé diagnostické predikce a skóre jistoty. Predikce patologů i AI budou vyhodnoceny ve srovnání s ustavenými referenčními standardními diagnózami.

Analytický rámec Primární analýza charakterizuje metriky diagnostického výkonu (včetně přesnosti, senzitivity, specificity, pozitivní prediktivní hodnoty (PPV), negativní prediktivní hodnoty (NPV) a plochy pod křivkou ROC (AUROC)) jak pro patology (na individuální a agregované úrovni), tak pro systém COSMO. Sekundární analýzy posoudí výkon stratifikovaný podle anatomického místa, kategorie incidence rakoviny a úrovně zkušeností patologa.