Evaluering av One-Shot Vision Differential Diagnosis (OSVDE) og Multi-Step Conversational Non-Inferiority (MSCNE) i AI-medisinske intervjuer. (OSVDE-MSCNE)

Kunstig intelligens (AI)-systemer har vist lovende evner i medisinsk diagnostikk; imidlertid er streng benchmark-evaluering nødvendig før klinisk implementering. AIMD.1 er et multimodal AI-diagnostisksystem designet for å assistere med klinisk resonnement gjennom analyse av medisinske bilder og konversasjonelle diagnostiske interaksjoner.

Denne studien evaluerer den diagnostiske ytelsen til AIMD.1 ved bruk av en kombinasjon av retrospektive bildedatasett og prospektive klinikerevalueringsoppgaver. Målet er å fastslå om AI-systemet oppnår diagnostisk nøyaktighet sammenlignbar med godkjente klinikere under kontrollerte benchmark-forhold.

Evalueringen inkluderer to komplementære stadier.

One-Shot Vision Differential Evaluation (OSVDE):

I dette stadiet vurderer AI-systemet og klinikerdeltakerne uavhengig individuelle de-identifiserte medisinske bilder og genererer rangert liste over potensielle diagnoser utelukkende basert på visuelle trekk. Evalueringen vil bruke omtrent 11 500–15 000 de-identifiserte medisinske bilder fra flere medisinske spesialiteter og sykdomskategorier med verifiserte referansediagnoser.

Multi-Step Conversational Non-Inferiority Evaluation (MSCNE):

I dette stadiet fullfører AI-systemet og klinikere diagnostiske oppgaver ved bruk av semisyntetiske pasientsimuleringer avledet fra de-identifiserte medisinske bilder. Disse simuleringene gir strukturert klinisk informasjon gjennom konversasjonelle interaksjoner, noe som muliggjør vurdering av diagnostisk resonnement over flere trinn. Omtrent 380–500 simulerte tilfeller vil bli evaluert.

Omtrent 10–30 godkjente klinikere vil delta i studien. Klinikere vil fullføre diagnostiske evalueringsøkter eksternt og vil gi differensialdiagnoser for delmengder av bildene og simuleringscasene. Menneskelige deltakere består utelukkende av klinikere som gir diagnostiske svar. Bildedatasettene og de syntetiske casene fungerer som studiemateriale og regnes ikke som deltakere.

Alle bilder brukt i studien er de-identifiserte og stammer fra offentlig tilgjengelige kilder eller datasett som oppfyller de-identifiseringsstandarder. Ytterligere forbehandlingstrinn sikrer fjerning av potensielt identifiserbar informasjon før inkludering i forskningsdatasettet.

AI-systemet evalueres i en offline forskningsmiljø og brukes ikke til å veilede virkelig klinisk omsorg eller pasientbehandling. Studien er designet som en benchmark-ytelsesevaluering før eventuell prospektiv validering som involverer ekte pasienter.

Primære utfallsmål inkluderer diagnostiske nøyaktighetsmål som Top-1 diagnostisk nøyaktighet, definert som andelen tilfeller der AI-systemets primærdiagnose samsvarer med referansediagnosen. Sekundære utfall inkluderer Top-5 diagnostisk nøyaktighet, kalibreringsmål, sensitivitet og spesifisitet på tvers av sykdomskategorier, og tid-til-diagnose-mål i konversasjonelle diagnostiske scenarier.

Dataanalyse vil estimere diagnostisk nøyaktighet med konfidensintervaller og sammenligne AI-systemets ytelse med klinikerytelse ved bruk av parrede statistiske tester og ikke-underlegenhetsanalyser.

Klinikersvar registreres ved bruk av anonyme studieidentifikatorer, og kun aggregerte ytelsesresultater vil rapporteres. Ingen identifiserbar informasjon om klinikere eller pasienter vil bli samlet inn eller publisert.

Studievarigheten forventes å være omtrent seks måneder, inkludert datasettforberedelse, klinikerevalueringsøkter og statistisk analyse.

Protokoll-ID 1026 er bekreftet som Unntatt i henhold til 45CFR46.104(d) Ex den 03.10.2026 av Solutions IRB (855) 226-4472 (www.solutionsirb.com)