Az egylövetes látási differenciáldiagnózis (OSVDE) és a többlépcsős beszélgetéses nem-alárendeltség (MSCNE) értékelése mesterséges intelligenciás orvosi interjúkban. (OSVDE-MSCNE)

Az mesterséges intelligencia (MI) rendszerek ígéretes képességeket mutattak a orvosi diagnosztikában; azonban szigorú benchmark értékelés szükséges a klinikai bevezetés előtt. Az AIMD.1 egy multimodális MI diagnosztikai rendszer, amely a klinikai érvelésben segítséget nyújt orvosi képek elemzésével és beszélgetéses diagnosztikai interakciókkal.

Ez a tanulmány az AIMD.1 diagnosztikai teljesítményét értékeli retrospektív képadatbázisok és prospektív klinikus értékelési feladatok kombinációjával. A cél annak meghatározása, hogy az MI rendszer a kontrollált benchmark körülmények között a táblázatban szereplő klinikusokhoz hasonló diagnosztikai pontosságot ér-e el.

Az értékelés két kiegészítő szakaszból áll.

One-Shot Vision Differential Evaluation (OSVDE):

Ebben a szakaszban az MI rendszer és a klinikus résztvevők függetlenül áttekintenek egyedi de-identifikált orvosi képeket, és rangsorolt listákat állítanak össze a lehetséges diagnózisokról kizárólag vizuális jellemzők alapján. Az értékelés körülbelül 11 500-15 000 de-identifikált orvosi képet fog használni több orvoni szakterületen és betegségkategóriában ellenőrzött referencia diagnózisokkal.

Multi-Step Conversational Non-Inferiority Evaluation (MSCNE):

Ebben a szakaszban az MI rendszer és a klinikusok diagnosztikai feladatokat teljesítenek félig szintetikus betegszimulációk segítségével, amelyek de-identifikált orvosi képekből származnak. Ezek a szimulációk strukturált klinikai információkat biztosítanak beszélgetéses interakciókon keresztül, lehetővé téve a diagnosztikai érvelés értékelését több lépésben. Körülbelül 380-500 szimulált esetet értékelnek majd.

Körülbelül 10-30 táblázatban szereplő klinikus vesz részt a tanulmányban. A klinikusok távolról teljesítik a diagnosztikai értékelési üléseket, és differenciáldiagnózisokat adnak a kép- és szimulációs esetek egy részhalmazára. Az emberi résztvevők kizárólag diagnosztikai válaszokat nyújtó klinikusokból állnak. A képadatbázisok és szintetikus esetek tanulmányi anyagként szolgálnak, és nem minősülnek résztvevőknek.

A tanulmányban használt összes kép de-identifikált, és nyilvánosan elérhető forrásokból vagy de-identifikálási szabványoknak megfelelő adatbázisokból származik. További előfeldolgozási lépések biztosítják minden potenciálisan azonosítható információ eltávolítását a kutatási adatbázisba történő bevétel előtt.

Az MI rendszert offline kutatási környezetben értékelik, és nem használják valóságos klinikai ellátás vagy betegkezelés irányítására. A tanulmány benchmark teljesítményértékelésként van tervezve bármely valós betegeket érintő prospektív validáció előtt.

A primer eredménymutatók közé tartoznak a diagnosztikai pontossági mutatók, mint például a Top-1 diagnosztikai pontosság, amely azon esetek arányát jelenti, ahol az MI rendszer elsődleges diagnózisa megegyezik a referencia diagnózissal. A szekunder eredmények közé tartozik a Top-5 diagnosztikai pontosság, kalibrációs mutatók, érzékenység és specificitás a betegségkategóriák között, valamint diagnózisigényes idő a beszélgetéses diagnosztikai forgatókönyvekben.

Az adatelemzés konfidenciaintervallumokkal becsüli a diagnosztikai pontosságot, és összehasonlítja az MI rendszer teljesítményét a klinikusok teljesítményével párosított statisztikai tesztek és nem-inferioritási elemzések segítségével.

A klinikusok válaszait névtelen tanulmányazonosítókkal rögzítik, és csak aggregált teljesítményeredményeket közölnek. Nem gyűjtenek vagy tesznek közzé azonosítható információkat a klinikusokról vagy betegekről.

A tanulmány időtartama körülbelül hat hónapra becsülhető, beleértve az adatbázis előkészítést, a klinikusok értékelési üléseit és a statisztikai elemzést.

A 1026-os protokollazonosítót Exemptként igazolták a 45CFR46.104(d) alapján Ex 2026.03.10-én a Solutions IRB (855) 226-4472 (www.solutionsirb.com) által