Utvärdering av One-Shot Vision Differential Diagnosis (OSVDE) och Multi-Step Conversational Non-Inferiority (MSCNE) i AI-medicinsk intervjuteknik. (OSVDE-MSCNE)

Artificiell intelligens (AI)-system har visat lovande förmågor inom medicinsk diagnostik; dock krävs rigorös benchmarkutvärdering före klinisk implementering. AIMD.1 är ett multimodalt AI-diagnossystem utformat för att assistera kliniskt resonemang genom analys av medicinska bilder och konversationella diagnostiska interaktioner.

Denna studie utvärderar AIMD.1:s diagnostiska prestanda med en kombination av retrospektiva bilddatabaser och prospektiva klinikerutvärderingsuppgifter. Syftet är att avgöra om AI-systemet uppnår diagnostisk noggrannhet jämförbar med specialister under kontrollerade benchmarkförhållanden.

Utvärderingen inkluderar två kompletterande stadier.

One-Shot Vision Differential Evaluation (OSVDE):

I detta skede granskar AI-systemet och kliniker deltagare oberoende enskilda de-identifierade medicinska bilder och genererar rankade listor av potentiella diagnoser enbart baserat på visuella egenskaper. Utvärderingen kommer att använda cirka 11 500–15 000 de-identifierade medicinska bilder över flera medicinska specialiteter och sjukdomskategorier med verifierade referensdiagnoser.

Multi-Step Conversational Non-Inferiority Evaluation (MSCNE):

I detta skede slutför AI-systemet och kliniker diagnostiska uppgifter med semi-syntetiska patientsimuleringar härledda från de-identifierade medicinska bilder. Dessa simuleringar tillhandahåller strukturerad klinisk information genom konversationella interaktioner, vilket möjliggör bedömning av diagnostiskt resonemang över flera steg. Cirka 380–500 simulerade fall kommer att utvärderas.

Cirka 10–30 specialister kommer att delta i studien. Kliniker kommer att slutföra diagnostiska utvärderingssessioner på distans och kommer att tillhandahålla differentialdiagnoser för delmängder av bild- och simuleringsfall. Mänskliga deltagare består enbart av kliniker som tillhandahåller diagnostiska svar. Bilddatabaserna och syntetiska fall fungerar som studiematerial och betraktas inte som deltagare.

Alla bilder som används i studien är de-identifierade och härstammar från offentligt tillgängliga källor eller databaser som uppfyller de-identifieringsstandarder. Ytterligare förbearbetningssteg säkerställer borttagning av eventuellt identifierbar information före inkludering i forskningsdatabasen.

AI-systemet utvärderas i en offline forskningsmiljö och används inte för att styra verklig klinisk vård eller patienthantering. Studien är utformad som en benchmarkprestandautvärdering före eventuell prospektiv validering som involverar verkliga patienter.

Primära utfallsmått inkluderar diagnostiska noggrannhetsmått såsom Top-1 diagnostisk noggrannhet, definierad som andelen fall där AI-systemets primära diagnos matchar referensdiagnosen. Sekundära utfall inkluderar Top-5 diagnostisk noggrannhet, kalibreringsmått, sensitivitet och specificitet över sjukdomskategorier, och tid-till-diagnos-mått i konversationella diagnostiska scenarier.

Dataanalys kommer att uppskatta diagnostisk noggrannhet med konfidensintervall och jämföra AI-systemets prestanda med klinikerprestanda med hjälp av parade statistiska tester och icke-underlägsenhetsanalyser.

Klinikersvar registreras med anonyma studieidentifierare, och endast aggregerade prestandaresultat kommer att rapporteras. Ingen identifierbar information om kliniker eller patienter kommer att samlas in eller publiceras.

Studiens varaktighet förväntas vara cirka sex månader, inklusive databasförberedelse, klinikerutvärderingssessioner och statistisk analys.

Protokoll-ID 1026 har verifierats som Undantagenlig enligt 45CFR46.104(d) Ex den 2026-03-10 av Solutions IRB (855) 226-4472 (www.solutionsirb.com)