Hodnocení jednorázové vizuální diferenciální diagnózy (OSVDE) a vícestupňové konverzační nerovnocennosti (MSCNE) v umělé inteligenci pro lékařské rozhovory. (OSVDE-MSCNE)

Systémy umělé inteligence (AI) prokázaly slibné schopnosti v lékařské diagnostice; nicméně před klinickým nasazením je nutné důkladné srovnávací vyhodnocení. AIMD.1 je multimodální AI diagnostický systém navržený k podpoře klinického uvažování prostřednictvím analýzy lékařských snímků a konverzačních diagnostických interakcí.

Tato studie vyhodnocuje diagnostickou výkonnost AIMD.1 pomocí kombinace retrospektivních souborů snímků a prospektivních úloh hodnocení kliniky. Cílem je zjistit, zda AI systém dosahuje diagnostické přesnosti srovnatelné s kliniky s atestací za kontrolovaných srovnávacích podmínek.

Vyhodnocení zahrnuje dvě doplňující se fáze.

Jednorázové vizuální diferenciální vyhodnocení (OSVDE):

V této fázi AI systém a klinici nezávisle posuzují jednotlivé anonymizované lékařské snímky a generují seřazené seznamy možných diagnóz výhradně na základě vizuálních znaků. Vyhodnocení využije přibližně 11 500–15 000 anonymizovaných lékařských snímků napříč více lékařskými specializacemi a kategoriemi onemocnění s ověřenými referenčními diagnózami.

Vícekrokové konverzační vyhodnocení nehorší kvality (MSCNE):

V této fázi AI systém a klinici plní diagnostické úlohy pomocí polosyntetických simulací pacientů odvozených od anonymizovaných lékařských snímků. Tyto simulace poskytují strukturované klinické informace prostřednictvím konverzačních interakcí, což umožňuje posouzení diagnostického uvažování napříč více kroky. Bude vyhodnoceno přibližně 380–500 simulovaných případů.

Studie se zúčastní přibližně 10–30 kliniků s atestací. Klinici budou plnit diagnostické hodnotící sezení vzdáleně a poskytnou diferenciální diagnózy pro podmnožiny případů snímků a simulací. Lidskými účastníky jsou výhradně klinici poskytující diagnostické odpovědi. Soubor snímků a syntetické případy slouží jako studijní materiály a nejsou považovány za účastníky.

Všechny snímky použité ve studii jsou anonymizovány a pocházejí z veřejně dostupných zdrojů nebo souborů dat splňujících standardy anonymizace. Dodatečné kroky předzpracování zajišťují odstranění jakýchkoli potenciálně identifikovatelných informací před zařazením do výzkumného souboru dat.

AI systém je hodnocen v offline výzkumném prostředí a není používán k vedení reálné klinické péče nebo řízení pacientů. Studie je navržena jako srovnávací vyhodnocení výkonnosti před jakýmkoli prospektivním ověřením zahrnujícím skutečné pacienty.

Primární výstupní měřítka zahrnují metriky diagnostické přesnosti, jako je diagnostická přesnost Top-1, definovaná jako podíl případů, ve kterých primární diagnóza AI systému odpovídá referenční diagnóze. Sekundární výsledky zahrnují diagnostickou přesnost Top-5, metriky kalibrace, senzitivitu a specificitu napříč kategoriemi onemocnění a měření času do diagnózy v konverzačních diagnostických scénářích.

Analýza dat odhadne diagnostickou přesnost s intervaly spolehlivosti a porovná výkonnost AI systému s výkonností kliniků pomocí spárovaných statistických testů a analýz nehorší kvality.

Odpovědi kliniků jsou zaznamenány pomocí anonymních identifikátorů studie a budou hlášeny pouze agregované výsledky výkonnosti. Nebudou shromažďovány ani publikovány žádné identifikovatelné informace o klinicích nebo pacientech.

Očekávaná délka studie je přibližně šest měsíců, včetně přípravy souboru dat, hodnotících sezení kliniků a statistické analýzy.

Protokol ID 1026 byl ověřen jako osvobozený podle 45CFR46.104(d) Ex dne 03/10/2026 řešitelským IRB (855) 226-4472 (www.solutionsirb.com)