Evaluierung von One-Shot Vision Differentialdiagnose (OSVDE) und Multi-Step Conversational Non-Inferiority (MSCNE) in KI-gestützter medizinischer Anamneseerhebung. (OSVDE-MSCNE)

Künstliche Intelligenz (KI)-Systeme haben vielversprechende Fähigkeiten in der medizinischen Diagnostik gezeigt; jedoch sind strenge Benchmark-Evaluierungen vor dem klinischen Einsatz notwendig. AIMD.1 ist ein multimodales KI-Diagnosesystem, das durch Analyse medizinischer Bilder und konversationaler diagnostischer Interaktionen die klinische Entscheidungsfindung unterstützen soll.

Diese Studie evaluiert die diagnostische Leistung von AIMD.1 unter Verwendung einer Kombination aus retrospektiven Bilddatensätzen und prospektiven klinischen Bewertungsaufgaben. Das Ziel ist festzustellen, ob das KI-System unter kontrollierten Benchmark-Bedingungen eine mit Fachärzten vergleichbare diagnostische Genauigkeit erreicht.

Die Evaluation umfasst zwei komplementäre Phasen.

One-Shot Vision Differential Evaluation (OSVDE):

In dieser Phase überprüfen das KI-System und klinische Teilnehmer unabhängig voneinander einzelne anonymisierte medizinische Bilder und erstellen basierend ausschließlich auf visuellen Merkmalen Ranglisten möglicher Diagnosen. Die Evaluation wird etwa 11.500-15.000 anonymisierte medizinische Bilder aus mehreren medizinischen Fachgebieten und Krankheitskategorien mit verifizierten Referenzdiagnosen verwenden.

Multi-Step Conversational Non-Inferiority Evaluation (MSCNE):

In dieser Phase absolvieren das KI-System und Kliniker diagnostische Aufgaben unter Verwendung halbsynthetischer Patienten-Simulationen, die aus anonymisierten medizinischen Bildern abgeleitet sind. Diese Simulationen bieten strukturierte klinische Informationen durch konversationale Interaktionen, wodurch die Bewertung der diagnostischen Entscheidungsfindung über mehrere Schritte hinweg ermöglicht wird. Etwa 380-500 simulierte Fälle werden evaluiert.

Etwa 10-30 Fachärzte werden an der Studie teilnehmen. Die Kliniker werden diagnostische Evaluierungssitzungen remote absolvieren und Differentialdiagnosen für Teilmengen der Bild- und Simulationsfälle liefern. Die menschlichen Teilnehmer bestehen ausschließlich aus Klinikern, die diagnostische Antworten liefern. Die Bilddatensätze und synthetischen Fälle dienen als Studienmaterial und werden nicht als Teilnehmer betrachtet.

Alle in der Studie verwendeten Bilder sind anonymisiert und stammen aus öffentlich zugänglichen Quellen oder Datensätzen, die Anonymisierungsstandards erfüllen. Zusätzliche Vorverarbeitungsschritte stellen sicher, dass alle potenziell identifizierbaren Informationen vor der Aufnahme in den Forschungsdatensatz entfernt werden.

Das KI-System wird in einer Offline-Forschungsumgebung evaluiert und nicht zur Führung realer klinischer Versorgung oder Patientenbetreuung verwendet. Die Studie ist als Benchmark-Leistungsevaluation vor jeder prospektiven Validierung mit echten Patienten konzipiert.

Primäre Endpunkte umfassen diagnostische Genauigkeitsmetriken wie Top-1-Diagnosegenauigkeit, definiert als der Anteil der Fälle, in denen die Primärdiagnose des KI-Systems mit der Referenzdiagnose übereinstimmt. Sekundäre Endpunkte umfassen Top-5-Diagnosegenauigkeit, Kalibrierungsmetriken, Sensitivität und Spezifität über Krankheitskategorien hinweg sowie Zeit-bis-zur-Diagnose-Messungen in konversationalen Diagnoseszenarien.

Die Datenanalyse wird die diagnostische Genauigkeit mit Konfidenzintervallen schätzen und die Leistung des KI-Systems mit der Leistung der Kliniker unter Verwendung gepaarter statistischer Tests und Non-Inferiority-Analysen vergleichen.

Klinikerantworten werden unter Verwendung anonymer Studienkennungen aufgezeichnet, und nur aggregierte Leistungsergebnisse werden berichtet. Keine identifizierbaren Informationen über Kliniker oder Patienten werden gesammelt oder veröffentlicht.

Die Studiendauer wird voraussichtlich etwa sechs Monate betragen, einschließlich Datensatzvorbereitung, klinischer Evaluierungssitzungen und statistischer Analyse.

Das Protokoll ID 1026 wurde als Exempt gemäß 45CFR46.104(d) Ex am 03.10.2026 von Solutions IRB (855) 226-4472 (www.solutionsirb.com) verifiziert.