Apprendimento automatico basato sull'intelligenza artificiale per diagnosticare e classificare l'adenomiosi dalle scansioni ad ultrasuoni: uno studio di sviluppo di modelli multicentrici

Background: L'adenomiosi è una condizione ginecologica benigna caratterizzata dalla presenza di cellule endometriali ectopiche (cellule del rivestimento dell'utero) nel miometrio (strato muscolare dell'utero). A livello globale, sebbene l’adenomiosi sia prevalente nelle donne e nelle ragazze in tutte le fasi della vita, dall’adolescenza alla perimenopausa, rimane sottodiagnosticata. Le donne con adenomiosi sperimentano sintomi debilitanti quali sanguinamento mestruale abbondante, cicli mestruali dolorosi, dolore pelvico cronico ed esiti sfavorevoli della gravidanza che portano ad un impatto a lungo termine sulla loro qualità di vita.

La diagnosi e la classificazione dell'adenomiosi non sono essenziali solo per correlarla con la gravità dei sintomi, ma anche per consigliare le donne sulla prognosi della malattia, sul tipo di gestione e sull'impatto a lungo termine degli esiti dell'adenomiosi. Tuttavia, la classificazione della gravità non è solo un processo lungo e complesso, ma dipende anche dall'esperienza dell'operatore ed è soggettiva. Ottenere gli stessi risultati in una frazione di tempo con una ridotta distorsione dell’operatore indipendentemente dalla sua esperienza sarebbe probabilmente vantaggioso.

Quando si affrontano attività di classificazione delle immagini, l'apprendimento automatico (ML) ha un enorme potenziale nell'aiutare gli operatori sanitari a classificare oggettivamente la gravità dell'adenomiosi in pochi secondi. Il framework di deep learning e lo strumento automatizzato di machine learning sono strumenti all'avanguardia per l'analisi automatizzata delle immagini dell'ecografia transvaginale (TVUS). Può elaborare direttamente e apprendere automaticamente caratteristiche astratte di livello medio-alto acquisite da immagini ecografiche utilizzando un modello di architettura profonda senza richiedere la definizione manuale delle caratteristiche in anticipo. Ciò consente di addestrare, testare e convalidare il modello di machine learning con immagini etichettate di esempio per la classificazione

Lo scopo dello studio è utilizzare le immagini ecografiche annotate dell'utero normale e dell'adenomiosi di varia gravità per addestrare una rete neurale utilizzando il deep learning supervisionato che prevede se un'immagine di input appartiene a una delle seguenti classi: nessuna, lieve, moderata o adenomiosi grave. Questo sarà un progetto nuovo e potrebbe supportare i medici e gli ecografisti nel valutare la gravità dell'adenomiosi in una frazione di tempo in futuro.

Obiettivo: studiare l'uso del modello di riconoscimento delle immagini utilizzando il deep learning supervisionato tramite uno strumento automatizzato di machine learning (Vertex AI) e un framework di deep learning (Pytorch) per la creazione di un algoritmo per la classificazione ecografica della gravità dell'adenomiosi.

Progettazione e impostazioni dello studio:

Tipo di studio: questo sarà uno studio di coorte osservazionale multicentrico. APPRAISE-AI e modello di previsione Strumento di valutazione del rischio di bias: per lo sviluppo del protocollo sono stati citati strumenti di intelligenza artificiale (PROBAST-AI).

Impostazioni: le immagini ecografiche dei pazienti con utero normale e adenomiosi verranno recuperate da dieci centri di fertilità CARE nel Regno Unito. Ciò includerebbe i siti CARE Fertility a Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire e Liverpool.

Popolazione: la coorte di studio comprenderà immagini ecografiche di pazienti che hanno frequentato i centri CARE Fertility for Ultrasound tra febbraio 2022 e febbraio 2024 e a cui è stato diagnosticato utero normale e adenomiosi utilizzando i criteri di valutazione ecografica dell'utero morfologico (MUSA) sullo screening delle immagini. I criteri MUSA delineano le caratteristiche ecografiche del miometrio e delle lesioni miometriali utilizzando termini, definizioni e misurazioni standardizzate.

Il sistema di mappatura schematica della gravità dell'adenomiosi pubblicato in precedenza verrà utilizzato per determinare la gravità dell'adenomiosi uterina sulla revisione delle immagini. Questo è stato scelto per la riproducibilità, il tasso di concordanza tra osservatori da sostanziale a quasi perfetto e la correlazione clinica con la gravità dei sintomi. Ad ogni grado viene attribuito un punteggio da 1 a 4 e la somma dei numeri dei punteggi viene utilizzata per calcolare l'estensione della malattia: lieve (1-3), moderata (4-6) e grave (>7). . Durata: ecografia eseguita tra febbraio 2022 e febbraio 2024. Dimensione del campione: il numero minimo di immagini richieste da Vertex AI Vision per l'addestramento è 100 per categoria. La probabilità di riconoscere con successo una categoria aumenta con il numero di esempi di alta qualità per ciascuna. La dimensione del campione target per testare l'algoritmo per classificare l'adenomiosi sarà compresa tra 1.000 e 10.000 immagini ciascuna per nessuna, adenomiosi lieve, moderata e grave. La serie completa di immagini sarà distribuita equamente tra le categorie di classificazione; tuttavia, potrebbe non essere possibile reperire un numero approssimativamente uguale di immagini per ciascuna categoria. Il set di dati completo verrà suddiviso manualmente in due diversi set di dati in rapporto 9:1; Il 90% delle immagini selezionate verrà utilizzato come dataset di training (training + validazione) e il 10% come dataset di test. Ciò garantirà un'adeguata inclusione di immagini diverse e rappresentative per ciascuna categoria. Il set di dati di test sarà un set di dati indipendente che non verrà utilizzato nella fase di addestramento ma sarà ottenuto dalla stessa struttura dei dati utilizzati nella fase di addestramento.

Minimizzazione del potenziale impatto dei bias: tutte le immagini ecografiche memorizzate dell'utero normale e adenomiotico saranno esaminate da un revisore esperto in scansioni ginecologiche e di fertilità che sarà cieco rispetto alle caratteristiche di base delle donne per evitare bias di identificazione e reclutamento. Due revisori classificheranno in modo indipendente la gravità dell'adenomiosi in lieve, moderata e grave per 1000 serie di immagini per stabilire la concordanza.

Dettagli del software AI:

Tipo di machine learning Supervisionato Deep Learning: nell'apprendimento supervisionato, la macchina ha bisogno di esempi etichettati per apprendere. Lo scopo dello studio è insegnare a una macchina a riconoscere la diversa gravità dell'adenomiosi diagnosticata mediante ecografia. Le immagini della scansione ad ultrasuoni etichettate come "Nessuno", "Lieve", "Moderato" e "Grave" verranno caricate come input. Studiando gli esempi, l'algoritmo imparerà a riconoscere cosa distingue un utero normale da un'adenomiosi lieve e un grado di adenomiosi lieve da uno grave e ad assegnare la corretta classificazione ad ogni nuova immagine che sarà chiamato ad analizzare.

Tipo di framework e versione: Google Cloud Vertex AI Vision API V1 come strumento di machine learning automatizzato e la versione più aggiornata di Pytorch come framework di deep machine learning.

Acquisizione e selezione dei dati di input: i dati di input per il modello verranno recuperati dalle immagini ecografiche dei pazienti che hanno frequentato i centri di fertilità sopra menzionati per gli ultrasuoni tra febbraio 2022 e febbraio 2024 e sono stati diagnosticati con utero normale e adenomiosi allo screening delle immagini. Le immagini ecografiche idonee dei partecipanti con utero adenomiotico verranno estratte come immagini bidimensionali (2D) e/o tridimensionali (3D) dopo aver rimosso gli identificatori del paziente. Se una paziente ha più di un'immagine di utero adenomiotico o normale, verranno incluse tutte queste immagini. Queste immagini verranno esaminate da un revisore per ridurre il rischio di bias e formattate per garantire che contengano la caratteristica ecografica dell'adenomiosi di interesse nell'immagine. Queste immagini revisionate e formattate verranno etichettate come nessuna, lieve, moderata e grave da due revisori esperti nella diagnosi ecografica e nella classificazione dell'adenomiosi. Tre serie di immagini di input verranno caricate sul framework di machine learning:

1. Set di addestramento: l'80% dei dati dell'immagine si troverà nel set di addestramento. Il modello "vede" e inizialmente apprende da questi dati.
2. Set di convalida: anche il set di convalida fa parte del processo di addestramento, ma è mantenuto separato per ottimizzare gli iperparametri del modello. Il 10% delle immagini totali diverse dal set di dati di addestramento verrà utilizzato in modo da ottimizzare la struttura del modello in modo che sia puoi generalizzare meglio.
3. Set di test: il set di test entra in scena solo dopo il processo di addestramento. Verrà utilizzato per testare le prestazioni del modello sui dati che non ha ancora visto. Il 10% delle immagini totali verrà utilizzato come set di prova. Le immagini di test senza etichetta verranno caricate nel sistema e le prestazioni del modello di intelligenza artificiale (AI) verranno confrontate con lo standard, ovvero la classificazione originale da parte degli investigatori. La suddivisione dei dati totali dell'immagine in set di addestramento, set di convalida e set di test verrà eseguita manualmente. Gestione di dati di input di scarsa qualità o non disponibili: queste immagini verranno escluse.

Criteri di ammissibilità:

Inclusione:

A. Partecipanti: donne che frequentano il suddetto centro di fertilità per ecografie tra febbraio 2022 e febbraio 2024 per qualsiasi indicazione e vengono diagnosticate con utero normale e adenomiosi all'ecografia sullo screening delle immagini.

B. Dati di input: immagini 2D e/o 3D conclusive di buona qualità dell'utero normale e dell'utero adenomiotico in cui le caratteristiche ecografiche dell'adenomiosi sono chiaramente visibili.

Esclusione:

A. Partecipanti: donne con fibromi intramurali singoli o multipli coesistenti e anomalie della cavità endometriale.

B. Dati di input: ecografia inconcludente sulla valutazione da parte del revisore, immagini di scarsa qualità in cui le caratteristiche ecografiche dell'adenomiosi non sono chiare e verranno escluse immagini che non possono essere classificate in una delle quattro categorie.

Consenso:

Lo studio è puramente osservazionale e non viene condotto alcun intervento o passaggio aggiuntivo come parte dello studio. Le immagini ecografiche dell'utero normale e adenomiotico sarebbero state acquisite al momento di una donna sottoposta a TVUS che fa parte della pratica clinica di routine. Poiché la macchina ecografica consente l'esportazione di immagini senza informazioni identificabili del paziente, dai dati (che includono solo immagini ecografiche) verranno rimosse le informazioni identificabili del paziente (nome e data di nascita) prima che i dati vengano estratti. È stata fatta riferimento alla lista di controllo pre-domanda del NHS Health Research Authority Confidentiality Advisory Group (CAG) per determinare l'idoneità di questo progetto a elaborare le informazioni dei pazienti senza consenso. Pertanto, non verrà richiesto alcun consenso informato ai partecipanti allo studio poiché verranno utilizzati solo i dati anonimizzati già disponibili.

Risultati e analisi statistica

Risultati primari: precisione media (valore predittivo positivo), precisione, richiamo, area sotto la curva caratteristica operativa del ricevitore (AUC), sensibilità, specificità e accuratezza del modello saranno i risultati principali di interesse per il modello di machine learning automatizzato e profondo. Tutte le analisi verranno eseguite utilizzando il software statistico Stata (versione 18, TX, USA) per il modello framework di deep machine learning (ML) e utilizzando il software di apprendimento automatico automatizzato per il modello ML automatizzato. Dopo che il modello automatizzato è stato addestrato, verrà effettuata un'analisi dettagliata composta da un riepilogo delle prestazioni del modello (output del modello). Comprenderanno quanto segue:

• Soglia del punteggio: la soglia del punteggio si riferisce al livello di confidenza che il modello deve avere per assegnare una categoria a un elemento del test. Il dispositivo di scorrimento della soglia del punteggio nella console Google Cloud è uno strumento visivo per testare l'effetto delle diverse soglie per tutte le categorie e le singole categorie nel set di dati. Durante la valutazione verrà adottata una soglia di punteggio che fornisca un buon equilibrio tra falsi positivi e falsi negativi.
• Veri positivi, veri negativi, falsi positivi e falsi negativi
• Precisione e richiamo: da tutto il set di immagini di prova a cui è stata assegnata una categoria, la precisione indica quante effettivamente avrebbero dovuto essere classificate con quell'etichetta e il richiamo indica a quante è stata effettivamente assegnata l'etichetta. L'etichetta dello standard di riferimento si riferisce alla categorizzazione da parte dei ricercatori.
• Curve di precisione/richiamo

Risultato secondario: valutazione dell'accordo tra valutatori tra due revisori nella valutazione ecografica dell'adenomiosi utilizzando la kappa di Fleiss. I coefficienti K utilizzati per l'interpretazione della forza dell'accordo saranno: ≤0=scarso, da 0,01 a 0,20=leggero, da 0,21 a 0,40=discreto, da 0,41 a 0,60=moderato, da 0,61 a 0,80=sostanziale e da 0,81 a 1=quasi perfetto .

Gestione dei dati e conservazione dei registri: i dati (immagini ecografiche anonimizzate) verranno archiviati in Google Cloud in conformità con il Data Protection Act 2018.

Le immagini ecografiche idonee dei partecipanti con utero normale e adenomiotico verranno estratte come immagini 2D e/o 3D dopo aver rimosso gli identificatori del paziente. Una volta completato lo studio, le immagini archiviate su Google Cloud verranno eliminate.

Controllo e garanzia di qualità: i principi di buona pratica clinica saranno seguiti per tutta la durata dello studio.

Segnalazione di eventi avversi: considerando la natura osservazionale dello studio e l'assenza di passaggi aggiuntivi coinvolti nel disegno dello studio oltre alla TVUS di base, non sono coinvolte considerazioni sulla sicurezza.

Considerazioni etiche:

L'approvazione etica è stata ottenuta dal Comitato di revisione istituzionale locale (IRB) e dal team di ricerca e sviluppo di CARE Fertility.

Riservatezza e protezione dei dati: verrà utilizzato un numero identificativo univoco dell'immagine per identificare i partecipanti allo studio. Tutti i dati personali utilizzati nello studio saranno trattati in conformità con il Data Protection Act 2018 e saranno considerati strettamente confidenziali.

Finanziamento: i fondi per questo progetto sono stati forniti dal Centro nazionale per la ricerca sull'aborto spontaneo di Tommy, Birmingham, Regno Unito.

Conflitti di interessi: non sono presenti conflitti di interessi associati a questo studio.

Modifiche: eventuali modifiche al protocollo o alla documentazione dello studio saranno avviate dal ricercatore capo. Tutte le modifiche sostanziali saranno sottoposte all'IRB per l'approvazione seguita dall'implementazione delle modifiche in tutti i siti coinvolti nello studio. Le modifiche saranno documentate nella sezione "Emendamento del protocollo" del protocollo di studio.

Fine della definizione del progetto: la raccolta e la preparazione dei dati, la formazione e la valutazione del modello e la stesura del manoscritto avranno luogo in un periodo di 12 mesi.

Aspetti futuri dello studio: l'obiettivo a lungo termine è quello di analizzare questo modello di intelligenza artificiale convalidato internamente per la convalida esterna in centri esterni del Servizio sanitario nazionale (NHS) utilizzando il sistema PACS di immagini archiviate e correlarlo con l'istopatologia dei campioni di isterectomia. Ciò comporterebbe anche l’analisi dell’utilità clinica valutando l’impatto del modello sul processo decisionale e sui risultati. Se le prestazioni del modello sono adeguate in termini di valore predittivo positivo, precisione e utilità clinica, verrà implementato per l'utilizzo in tempo reale utilizzando la previsione online. Il modello può essere utilizzato per richieste di classificazione sotto forma di applicazione online o come applicazione integrata nelle macchine ad ultrasuoni.

Politica di pubblicazione: i risultati dello studio saranno condivisi attraverso i media scientifici e sociali. I risultati dello studio saranno presentati a una rivista sottoposta a revisione paritaria nel campo dell'ecografia ginecologica (Ultrasound in Obstetrics and Gynecology (UOG)) e della salute digitale (The Lancet Digital Health). Il manoscritto sarà preparato dalla dottoressa Ishita Mishra e la paternità sarà determinata in base al grado di contributo dell'individuo allo studio e alla scrittura del manoscritto.