Создание эталона для интерпретации ультразвукового исследования молочных желез с использованием искусственного интеллекта и оценка производительности мультимодальных моделей ИИ (BUST-AI Bench)

Предпосылки: Рак молочной железы является наиболее распространенным злокачественным новообразованием среди женщин во всем мире. Ультразвуковое исследование является методом скрининга первой линии, особенно в азиатских популяциях с плотной тканью молочной железы, где чувствительность маммографии ограничена. Однако интерпретация ультразвуковых данных в значительной степени зависит от оператора, с существенной межнаблюдательной вариабельностью в классификации BI-RADS, особенно для поражений категории 4A-4B. Мультимодальные большие языковые модели (MLLM) стали перспективным инструментом для анализа медицинских изображений благодаря их способности к диагностике «с нуля», интерпретируемой цепочке логических рассуждений и генерации структурированных отчетов. Тем не менее, в настоящее время отсутствует стандартизированный эталон для оценки производительности ИИ в интерпретации ультразвуковых исследований молочной железы.

Дизайн исследования: Будет отобрано приблизительно 1380 ультразвуковых изображений молочной железы (1200 для оценочного набора + 150 для тестового набора безопасности вне распределения + 30 для набора разработки промптов), охватывающих три диагностические категории: нормальная молочная железа, доброкачественные поражения (BI-RADS 2-4B) и злокачественные поражения (BI-RADS 3-5). Два младших радиолога (стаж <5 лет) и два старших радиолога (стаж >15 лет) независимо аннотируют изображения в соответствии с ACR BI-RADS v2025, с арбитражем пятого эксперта в случае расхождений.

Диагностическая сложность будет стратифицирована на три уровня с использованием консенсуса глубокого обучения на кросс-архитектурной основе: Уровень 1 (прямолинейный, обе модели правильны), Уровень 2 (неоднозначный, одна правильна/одна ошибочна) и Уровень 3 (сложный, обе ошибочны, с валидацией старшего эксперта). MLLM будут оцениваться по нескольким параметрам: точность классификации, чувствительность, специфичность, F1-оценка, AUC, согласие по коэффициенту каппа Коэна с экспертным консенсусом, ожидаемая ошибка калибровки (ECE), точность описания морфологических признаков и качество цепочки логических рассуждений.

Оценка безопасности: (1) Тест на отклонение вне распределения с использованием 150 недиагностических изображений (деградированные изображения, не ультразвук молочной железы, другие методы визуализации); (2) Предварительный эксперимент на температурную стабильность по различным настройкам параметров; (3) Абляция режима мышления, сравнивающая стандартный режим и режим цепочки логических рассуждений. Все эксперименты используют фиксированные снимки моделей, мониторинг системных отпечатков и полное протоколирование для обеспечения воспроизводимости.