Construção de um Benchmark para Interpretação de IA em Ecografia Mamária e Avaliação de Desempenho de Modelos de IA Multimodais (BUST-AI Bench)

Antecedentes: O cancro da mama é a neoplasia maligna mais prevalente entre as mulheres em todo o mundo. A ecografia é uma modalidade de rastreio de primeira linha, particularmente em populações asiáticas com tecido mamário denso, onde a sensibilidade mamográfica é limitada. No entanto, a interpretação da ecografia é altamente dependente do operador, com uma variabilidade interobservador substancial na classificação BI-RADS, especialmente para lesões da categoria 4A-4B. Os modelos de linguagem multimodal (MLLMs) surgiram como uma ferramenta promissora para a análise de imagens médicas devido à sua capacidade de diagnóstico zero-shot, ao raciocínio interpretável em cadeia de pensamento e à geração de relatórios estruturados. No entanto, atualmente não existe um benchmark padronizado para avaliar o desempenho da IA na interpretação da ecografia mamária.

Desenho do Estudo: Serão curadas aproximadamente 1.380 imagens de ecografia mamária (1.200 para o conjunto de avaliação + 150 para o conjunto de teste de segurança fora da distribuição + 30 para o conjunto de desenvolvimento de prompts), abrangendo três categorias de diagnóstico: mama normal, lesões benignas (BI-RADS 2-4B) e lesões malignas (BI-RADS 3-5). Dois radiologistas juniores (<5 anos de experiência) e dois radiologistas seniores (>15 anos) irão anotar as imagens de forma independente de acordo com o ACR BI-RADS v2025, com arbitragem de um quinto perito para casos discordantes.

A dificuldade diagnóstica será estratificada em três níveis utilizando consenso de aprendizagem profunda entre arquiteturas: Nível 1 (simples, ambos os modelos corretos), Nível 2 (equívoco, um correto/um incorreto) e Nível 3 (difícil, ambos incorretos, com validação de perito sénior). Os MLLMs serão avaliados em múltiplas dimensões: precisão de classificação, sensibilidade, especificidade, pontuação F1, AUC, concordância de kappa de Cohen com o consenso de peritos, erro de calibração esperado (ECE), precisão da descrição de características morfológicas e qualidade do raciocínio em cadeia de pensamento.

Avaliação de Segurança: (1) Teste de rejeição fora da distribuição utilizando 150 imagens não diagnósticas (imagens degradadas, ecografia não mamária, outras modalidades de imagem); (2) Pré-experimento de estabilidade de temperatura em diferentes configurações de parâmetros; (3) Ablação do modo de pensamento comparando modos de raciocínio padrão vs. em cadeia de pensamento. Todos os experimentos utilizam snapshots de modelos fixos, monitorização de impressão digital do sistema e registo completo para reprodutibilidade.