Fej-fej melletti értékelés a Cancer Ontology Supervised Multimodal Orchestration (COSMO) mesterséges intelligencia rendszer és a patológusok általi felülvizsgálat összehasonlításáról (COSMO)

A rák altípusok osztályozásában a diagnosztikai pontosság jelentősen változik a patológusok között az ismeretbeli különbségek, tapasztalat és a diagnosztikai erőforrásokhoz való hozzáférés miatt. Az AI rendszerek megjelenése a patológiában lehetőséget kínál a diagnosztikai teljesítmény és a konzisztencia javítására a rákosztályozásban. Azonban a szakirodalomban korlátozottak az AI-alapú előrejelzések és a patológusok diagnosztikai teljesítményének közvetlen empirikus összehasonlításai azonos eseteken.

A vizsgálat céljai Ez a közvetlen összehasonlító vizsgálat célja: (1) a COSMO AI rendszer diagnosztikai teljesítményének értékelése a rák altípusok osztályozásában több anatómiai területen; (2) a tapasztalt patológusok diagnosztikai pontosságának jellemzése ugyanazon eseteken; (3) a diagnosztikai teljesítménymutatók közvetlen összehasonlítása a COSMO és a patológusok között; és (4) az egyeztetési minták és a teljesítményváltozás vizsgálata anatómiai terület, rák incidencia kategória, patológus tapasztalat és eset komplexitás szerint.

Vizsgálati helyzet és résztvevők A vizsgálatban legfeljebb 25 szakvizsgázott patológus vesz részt, akiknek 3-10+ év diagnosztikai tapasztalata van, és Észak-Amerikából, Európából és az Ázsia-Csendes-óceáni régióból kerülnek felvételre. A részt vevő patológusok a neuropatológia, tüdőpatológia, urológiai patológia vagy általános anatómiai patológia területén rendelkeznek szaktudással.

Esetek és rétegezés A vizsgálat anonimizált archív teljes-lap képfelvételeket fog alkalmazni, amelyek legfeljebb 300, megerősített referencia diagnózissal rendelkező beteget képviselnek, beleértve 100 agydaganatot, 100 tüdőrákot és 100 veserákot. Az esetek rák típus és incidencia kategória (gyakori vs. ritka vagy szokatlan) szerint lesznek rétegzve, összhangban a Világegészségügyi Szervezet (WHO) irányelveivel.

Adatgyűjtés A patológusok függetlenül felülvizsgálják az egyes eseteket, és diagnosztikai osztályozásokat adnak meg, valamint bizonyossági értékeléseket egy 5 pontos skálán. A digitális patológiai felület automatikusan rögzíti a diagnózisig eltelt idő metrikáit. A COSMO offline feldolgozza ugyanezeket az eseteket, hogy független diagnosztikai előrejelzéseket és bizonyossági pontszámokat generáljon. Mind a patológus, mind az AI előrejelzéseket az elfogadott referencia standard diagnózisokkal szemben értékelik ki.

Elemzési keret Az elsődleges elemzés jellemzi a diagnosztikai teljesítménymutatókat (beleértve a pontosságot, érzékenységet, specifikusságot, pozitív prediktív értéket (PPV), negatív prediktív értéket (NPV) és a fogadó működési jellemző görbe alatti területet (AUROC)) mind a patológusok (egyéni és aggregált szinten), mind a COSMO rendszer esetében. A másodlagos elemzések értékelik a teljesítményt anatómiai terület, rák incidencia kategória és patológus tapasztalati szint szerint rétegezve.