Evaluering af One-Shot Vision Differential Diagnosis (OSVDE) og Multi-Step Conversational Non-Inferiority (MSCNE) i AI-medicinsk interview. (OSVDE-MSCNE)

Kunstig intelligens (AI)-systemer har vist lovende evner inden for medicinsk diagnostik; dog er streng benchmark-evaluering nødvendig før klinisk implementering. AIMD.1 er et multimodal AI-diagnostisk system designet til at assistere med klinisk ræsonnement gennem analyse af medicinske billeder og samtalebaserede diagnostiske interaktioner.

Denne undersøgelse evaluerer den diagnostiske præstation af AIMD.1 ved at bruge en kombination af retrospektive billeddatasæt og prospektive kliniker evalueringsopgaver. Formålet er at afgøre, om AI-systemet opnår diagnostisk nøjagtighed sammenlignelig med specialcertificerede klinikere under kontrollerede benchmarkbetingelser.

Evalueringen omfatter to komplementære faser.

One-Shot Vision Differential Evaluation (OSVDE):

I denne fase gennemgår AI-systemet og kliniker-deltagerne uafhængigt individuelle anonymiserede medicinske billeder og genererer rangeringslister over potentielle diagnoser udelukkende baseret på visuelle træk. Evalueringen vil bruge cirka 11.500-15.000 anonymiserede medicinske billeder på tværs af flere medicinske specialer og sygdomskategorier med verificerede referencediagnoser.

Multi-Step Conversational Non-Inferiority Evaluation (MSCNE):

I denne fase fuldfører AI-systemet og klinikere diagnostiske opgaver ved hjælp af semi-syntetiske patientsimuleringer afledt af anonymiserede medicinske billeder. Disse simuleringer giver struktureret klinisk information gennem samtalebaserede interaktioner, hvilket muliggør vurdering af diagnostisk ræsonnement på tværs af flere trin. Cirka 380-500 simulerede tilfælde vil blive evalueret.

Cirka 10-30 specialcertificerede klinikere vil deltage i undersøgelsen. Klinikere vil fuldføre diagnostiske evalueringssessioner remote og vil give differentialdiagnoser for udvalgte billed- og simuleringstilfælde. Menneskelige deltagere udgøres udelukkende af klinikere, der leverer diagnostiske svar. Billeddatasættene og syntetiske tilfælde fungerer som studiemateriale og betragtes ikke som deltagere.

Alle billeder brugt i undersøgelsen er anonymiserede og stammer fra offentligt tilgængelige kilder eller datasæt, der opfylder anonymiseringsstandarder. Yderligere forbehandlingstrin sikrer fjernelse af eventuel potentielt identificerbar information før inklusion i forskningsdatasættet.

AI-systemet evalueres i en offline forskningsmiljø og bruges ikke til at guide virkelig klinisk pleje eller patienthåndtering. Undersøgelsen er designet som en benchmark præstationsevaluering før eventuel prospektiv validering involverende rigtige patienter.

Primære udfaldsmål inkluderer diagnostiske nøjagtighedsmål såsom Top-1 diagnostisk nøjagtighed, defineret som andelen af tilfælde, hvor AI-systemets primære diagnose matcher referencediagnosen. Sekundære udfald inkluderer Top-5 diagnostisk nøjagtighed, kalibreringsmål, sensitivitet og specificitet på tværs af sygdomskategorier, og tid-til-diagnose mål i samtalebaserede diagnostiske scenarier.

Dataanalyse vil estimere diagnostisk nøjagtighed med konfidensintervaller og sammenligne AI-systemets præstation med klinikerpræstation ved hjælp af parrede statistiske tests og non-inferioritetsanalyser.

Klinikersvar registreres ved hjælp af anonyme studieidentifikatorer, og kun aggregerede præstationsresultater vil blive rapporteret. Ingen identificerbar information om klinikere eller patienter vil blive indsamlet eller offentliggjort.

Undersøgelsens varighed forventes at være cirka seks måneder, inklusive datapreparation, kliniker evalueringssessioner og statistisk analyse.

Protokollen ID 1026 er blevet verificeret som Undtaget ifølge 45CFR46.104(d) Ex den 03/10/2026 af Solutions IRB (855) 226-4472 (www.solutionsirb.com)