Costruzione di un Benchmark per l'Interpretazione AI degli Ultrasuoni Mammari e Valutazione delle Prestazioni dei Modelli AI Multimodali (BUST-AI Bench)

Contesto: Il cancro al seno è la neoplasia maligna più diffusa tra le donne in tutto il mondo. L'ecografia è una modalità di screening di prima linea, in particolare nelle popolazioni asiatiche con tessuto mammario denso dove la sensibilità mammografica è limitata. Tuttavia, l'interpretazione dell'ecografia è fortemente dipendente dall'operatore, con una sostanziale variabilità inter-osservatore nella classificazione BI-RADS, specialmente per le lesioni di categoria 4A-4B. I modelli linguistici multimodali di grandi dimensioni (MLLM) sono emersi come uno strumento promettente per l'analisi delle immagini mediche grazie alla loro capacità diagnostica zero-shot, al ragionamento a catena del pensiero interpretabile e alla generazione di rapporti strutturati. Tuttavia, attualmente non esiste un benchmark standardizzato per valutare le prestazioni dell'IA nell'interpretazione dell'ecografia mammaria.

Disegno dello studio: Verranno curate circa 1.380 immagini ecografiche del seno (1.200 set di valutazione + 150 set di test di sicurezza fuori distribuzione + 30 set di sviluppo dei prompt), comprendenti tre categorie diagnostiche: seno normale, lesioni benigne (BI-RADS 2-4B) e lesioni maligne (BI-RADS 3-5). Due radiologi junior (<5 anni di esperienza) e due radiologi senior (>15 anni) annoteranno indipendentemente le immagini secondo ACR BI-RADS v2025, con arbitraggio di un quinto esperto per i casi discordanti.

La difficoltà diagnostica sarà stratificata in tre livelli utilizzando il consenso dell'apprendimento profondo cross-architettura: Livello 1 (semplice, entrambi i modelli corretti), Livello 2 (equivoco, uno corretto/uno errato) e Livello 3 (difficile, entrambi errati, con validazione di esperti senior). Gli MLLM saranno valutati su più dimensioni: accuratezza di classificazione, sensibilità, specificità, punteggio F1, AUC, accordo di kappa di Cohen con il consenso degli esperti, errore di calibrazione atteso (ECE), accuratezza nella descrizione delle caratteristiche morfologiche e qualità del ragionamento a catena del pensiero.

Valutazione della sicurezza: (1) Test di rifiuto fuori distribuzione utilizzando 150 immagini non diagnostiche (immagini degradate, ecografie non mammarie, altre modalità di imaging); (2) Pre-esperimento di stabilità della temperatura su diverse impostazioni dei parametri; (3) Ablazione della modalità di pensiero confrontando le modalità di ragionamento standard e a catena del pensiero. Tutti gli esperimenti utilizzano snapshot di modelli fissi, monitoraggio dell'impronta digitale del sistema e registrazione completa per la riproducibilità.