Aufbau eines Benchmarks für die KI-Interpretation von Brustultraschall und Leistungsbewertung multimodaler KI-Modelle (BUST-AI Bench)

Hintergrund: Brustkrebs ist die häufigste bösartige Erkrankung bei Frauen weltweit. Ultraschall ist eine Erstuntersuchungsmodalität, insbesondere bei asiatischen Bevölkerungsgruppen mit dichtem Brustgewebe, bei denen die mammografische Sensitivität eingeschränkt ist. Die Ultraschallinterpretation ist jedoch stark operatorabhängig, mit erheblicher Inter-Observer-Variabilität bei der BI-RADS-Klassifikation, insbesondere für Läsionen der Kategorie 4A-4B. Multimodale Large Language Models (MLLMs) haben sich aufgrund ihrer Zero-Shot-Diagnosefähigkeit, interpretierbaren Chain-of-Thought-Begründung und strukturierten Berichterstellung als vielversprechendes Werkzeug für die medizinische Bildanalyse erwiesen. Gleichzeitig gibt es derzeit keinen standardisierten Benchmark zur Bewertung der KI-Leistung bei der Brustultraschallinterpretation.

Studiendesign: Es werden etwa 1.380 Brustultraschallbilder kuratiert (1.200 Bewertungssatz + 150 Out-of-Distribution-Sicherheitstestsatz + 30 Prompt-Entwicklungssatz), die drei diagnostische Kategorien umfassen: normale Brust, gutartige Läsionen (BI-RADS 2-4B) und bösartige Läsionen (BI-RADS 3-5). Zwei Nachwuchsradiologen (<5 Jahre Erfahrung) und zwei erfahrene Radiologen (>15 Jahre) werden die Bilder unabhängig gemäß ACR BI-RADS v2025 annotieren, wobei ein fünfter Experte bei widersprüchlichen Fällen schlichtet.

Die diagnostische Schwierigkeit wird mithilfe eines architekturübergreifenden Deep-Learning-Konsenses in drei Stufen unterteilt: Stufe 1 (einfach, beide Modelle korrekt), Stufe 2 (uneindeutig, eines korrekt/eines inkorrekt) und Stufe 3 (schwierig, beide inkorrekt, mit Validierung durch erfahrene Experten). MLLMs werden in mehreren Dimensionen bewertet: Klassifikationsgenauigkeit, Sensitivität, Spezifität, F1-Score, AUC, Cohen's Kappa-Übereinstimmung mit Expertenkonsens, erwarteter Kalibrierungsfehler (ECE), Genauigkeit der morphologischen Merkmalsbeschreibung und Qualität der Chain-of-Thought-Begründung.

Sicherheitsbewertung: (1) Out-of-Distribution-Ablehnungstest mit 150 nicht-diagnostischen Bildern (qualitätsgeminderte Bilder, Nicht-Brustultraschall, andere Bildgebungsmodalitäten); (2) Temperaturstabilitäts-Vorexperiment über verschiedene Parametereinstellungen; (3) Thinking-Mode-Ablation mit Vergleich von Standard- vs. Chain-of-Thought-Begründungsmodi. Alle Experimente verwenden feste Model-Snapshots, System-Fingerprint-Überwachung und vollständige Protokollierung für Reproduzierbarkeit.