Construcción de un Benchmark para la Interpretación de IA en Ecografía Mamaria y Evaluación del Rendimiento de Modelos de IA Multimodales (BUST-AI Bench)

Antecedentes: El cáncer de mama es la neoplasia maligna más prevalente entre las mujeres a nivel mundial. La ecografía es una modalidad de cribado de primera línea, especialmente en poblaciones asiáticas con tejido mamario denso donde la sensibilidad mamográfica es limitada. Sin embargo, la interpretación ecográfica es altamente dependiente del operador, con una variabilidad interobservador sustancial en la clasificación BI-RADS, especialmente para lesiones de categoría 4A-4B. Los modelos de lenguaje multimodal (MLLMs) han surgido como una herramienta prometedora para el análisis de imágenes médicas debido a su capacidad de diagnóstico sin entrenamiento previo (zero-shot), su razonamiento interpretable de cadena de pensamiento y su generación de informes estructurados. No obstante, actualmente no existe un estándar de referencia estandarizado para evaluar el rendimiento de la IA en la interpretación de ecografías mamarias.

Diseño del estudio: Se curarán aproximadamente 1.380 imágenes ecográficas mamarias (1.200 conjunto de evaluación + 150 conjunto de prueba de seguridad fuera de distribución + 30 conjunto de desarrollo de prompts), abarcando tres categorías diagnósticas: mama normal, lesiones benignas (BI-RADS 2-4B) y lesiones malignas (BI-RADS 3-5). Dos radiólogos junior (<5 años de experiencia) y dos radiólogos senior (>15 años) anotarán las imágenes de forma independiente según ACR BI-RADS v2025, con arbitraje de un quinto experto para los casos discordantes.

La dificultad diagnóstica se estratificará en tres niveles utilizando un consenso de aprendizaje profundo de arquitectura cruzada: Nivel 1 (sencillo, ambos modelos correctos), Nivel 2 (equívoco, uno correcto/uno incorrecto) y Nivel 3 (difícil, ambos incorrectos, con validación de experto senior). Los MLLMs se evaluarán en múltiples dimensiones: precisión de clasificación, sensibilidad, especificidad, puntuación F1, AUC, acuerdo de kappa de Cohen con el consenso de expertos, error de calibración esperado (ECE), precisión en la descripción de características morfológicas y calidad del razonamiento de cadena de pensamiento.

Evaluación de seguridad: (1) Prueba de rechazo fuera de distribución utilizando 150 imágenes no diagnósticas (imágenes degradadas, ecografías no mamarias, otras modalidades de imagen); (2) Pre-experimento de estabilidad de temperatura a través de configuraciones de parámetros; (3) Ablación del modo de pensamiento comparando modos de razonamiento estándar versus cadena de pensamiento. Todos los experimentos utilizan instantáneas de modelos fijas, monitorización de huella digital del sistema y registro completo para reproducibilidad.