Kunstig intelligens-basert maskinlæring for å diagnostisere og klassifisere adenomyose fra ultralydskanninger: en multisenter modellutviklingsstudie

Bakgrunn: Adenomyose er en godartet gynekologisk tilstand som karakteriseres av tilstedeværelsen av ektopiske endometrieceller (celler i livmorslimhinnen) i myometrium (muskellaget i livmoren). Globalt, selv om adenomyose er utbredt hos kvinner og jenter i alle stadier av livet, fra ungdom til perimenopause, forblir den underdiagnostisert. Kvinner med adenomyose opplever svekkende symptomer på kraftig menstruasjonsblødning, smertefulle menstruasjonssykluser, kroniske bekkensmerter og uønskede graviditetsutfall som fører til en langsiktig innvirkning på livskvaliteten deres.

Diagnose og klassifisering av adenomyose er ikke bare viktig for å korrelere med symptomets alvorlighetsgrad, men også for å gi råd til kvinner om sykdomsprognose, type behandling og den langsiktige effekten av adenomyoseutfall. Klassifisering av alvorlighetsgrad er imidlertid ikke bare en tidkrevende og kompleks prosess, men den avhenger også av operatørens erfaring og er subjektiv. Å oppnå de samme resultatene på en brøkdel av tid med redusert operatørskjevhet uavhengig av ekspertisen til operatøren vil sannsynligvis være fordelaktig.

Når det gjelder bildeklassifiseringsoppgaver, har maskinlæring (ML) et enormt potensial for å hjelpe helsepersonell med å klassifisere alvorlighetsgraden av adenomyose objektivt på sekunder. Deep learning framework og automatisert maskinlæringsverktøy er toppmoderne verktøy for automatisert transvaginal ultralydskanning (TVUS) bildeanalyse. Den kan direkte behandle og automatisk lære abstrakte funksjoner på middels til høyt nivå hentet fra ultralydbilder ved hjelp av en dyp arkitekturmodell uten å kreve manuell definisjon av funksjoner på forhånd. Dette gjør det mulig å trene, teste og validere maskinlæringsmodellen med eksempelmerkede bilder for klassifisering

Målet med studien er å bruke de kommenterte ultralydbildene av normal livmor og av adenomyose av varierende alvorlighetsgrad for å trene et nevralt nettverk ved å bruke overvåket dyp læring som forutsier om et inngangsbilde tilhører en av følgende klasser: ingen, mild, moderat eller alvorlig adenomyose. Dette vil være et nytt prosjekt og kan hjelpe klinikere og sonografer i å vurdere alvorlighetsgraden av adenomyose på en brøkdel av en gang i fremtiden.

Mål: Å undersøke bruken av bildegjenkjenningsmodell ved bruk av overvåket dyp læring via automatisert maskinlæringsverktøy (Vertex AI) og rammeverk for dyp læring (Pytorch) for å lage en algoritme for ultralydklassifisering av alvorlighetsgraden av adenomyose.

Studiedesign og innstillinger:

Type studie: Dette vil være en multisenter observasjonskohortstudie. APPRAISE-AI og Prediction model Risk Of Bias Assessment Tool- Artificial Intelligence (PROBAST-AI) verktøy har blitt referert til for protokollutvikling.

Innstillinger: Ultralydbildene av pasienter med normal livmor og adenomyose vil bli hentet fra ti CARE fertilitetssentre i Storbritannia. Dette vil inkludere CARE fertilitetssteder i Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire og Liverpool.

Populasjon: Studiekohorten vil bestå av ultralydbilder av pasienter som deltok på CARE Fertilitetssentre for ultralyd mellom februar 2022 og februar 2024 og ble diagnostisert med normal livmor og adenomyose ved bruk av Morfologisk Uterus Sonografisk Assessment (MUSA) kriterier for screening av bilder. MUSA-kriteriene skisserer ultralydfunksjonene til myometrium og myometrielle lesjoner ved bruk av standardiserte termer, definisjoner og målinger.

Tidligere publiserte skjematisk kartleggingssystem for alvorlighetsgrad av adenomyose vil bli brukt for å bestemme alvorlighetsgraden av livmoradenomyose ved gjennomgang av bilder. Dette er valgt på grunn av reproduserbarhet, betydelig til nesten perfekt interobservatøravtalefrekvens og klinisk korrelasjon med symptomets alvorlighetsgrad. En poengsum fra til 1 til 4 tilskrives hver karakter, og summen av poengtallene brukes til å beregne forlengelsen av sykdommen: mild (1-3), moderat (4-6) og alvorlig (>7) . Varighet: Ultralyd utført mellom februar 2022 til februar 2024 Prøvestørrelse: Minimum antall bilder som kreves av Vertex AI Vision for trening er 100 per kategori. Sannsynligheten for å lykkes med å gjenkjenne en kategori går opp med antallet høykvalitetseksempler for hver. Målprøvestørrelsen for å teste algoritmen for å klassifisere adenomyose vil være mellom 1000-10 000 bilder hver for ingen, mild, moderat og alvorlig adenomyose. Det komplette settet med bilder vil bli fordelt likt på tvers av klassifiseringskategorier; Det kan imidlertid hende at det ikke er mulig å hente ut omtrent like mange bilder for hver kategori. Det komplette datasettet vil bli delt manuelt i to forskjellige datasett i forholdet 9:1; 90 % av de valgte bildene vil bli brukt som treningsdatasett (trening + validering) og 10 % som testdatasett. Dette vil sikre tilstrekkelig inkludering av ulike og representative bilder for hver kategori. Testdatasettet vil være et uavhengig datasett som ikke brukes i opplæringsfasen, men hentes fra samme anlegg som data som brukes i opplæringsfasen.

Minimering av den potensielle effekten av skjevheter: Alle lagrede ultralydbilder av normal og adenomyotisk livmor vil bli screenet av en anmelder med erfaring innen gynekologisk og fertilitetsskanning som vil bli blindet for kvinnenes grunnlinjekarakteristika for å unngå identifikasjon og rekrutteringsskjevhet. To anmeldere vil uavhengig klassifisere alvorlighetsgraden av adenomyose i mild, moderat og alvorlig for 1000 sett med bilder for å etablere samsvar.

AI-programvaredetaljer:

Type maskinlæring Supervised Deep learning: I veiledet læring trenger maskinen merkede eksempler for å lære. Målet med studien er å lære en maskin å gjenkjenne varierende alvorlighetsgrad av ultralyddiagnostisert adenomyose. Ultralydskannende bilder merket som "Ingen", "Mild", "Moderat" og "Alvorlig" vil bli lastet opp som input. Ved å studere eksemplene vil algoritmen lære å gjenkjenne hva som skiller en normal livmor fra mild adenomyose og en mild fra en alvorlig grad av adenomyose og å tildele riktig klassifisering til hvert nytt bilde den blir bedt om å analysere.

Type rammeverk og versjon: Google Cloud Vertex AI Vision API V1 som automatisert maskinlæringsverktøy og den mest oppdaterte versjonen av Pytorch som dypt maskinlæringsrammeverk.

Innhenting av inngangsdata og utvalg: Inndata til modellen vil bli hentet fra ultralydbilder av pasienter som deltok på de ovennevnte fertilitetssentrene for ultralyd mellom februar 2022 til februar 2024 og ble diagnostisert med normal livmor og adenomyose ved screening av bilder. Kvalifiserte ultralydbilder av adenomyotiske livmordeltakere vil bli trukket ut som todimensjonale (2D) og/eller tredimensjonale (3D) bilder etter fjerning av pasientidentifikatorene. Hvis en pasient har mer enn ett bilde av adenomyotisk eller normal livmor, vil alle disse bildene inkluderes. Disse bildene vil bli vurdert av en anmelder for å redusere risikoen for skjevhet og formatert for å sikre at de inneholder adenomyose-ultralyden som er karakteristisk for bildet. Disse gjennomgåtte og formaterte bildene vil bli merket som ingen, milde, moderate og alvorlige av to anmeldere med erfaring i ultralyddiagnose og klassifisering av adenomyose. Tre sett med inngangsbilder vil bli lastet opp på maskinlæringsrammeverket:

1. Treningssett: 80 % av bildedataene vil være i treningssettet. Modellen "ser" og lærer i utgangspunktet av disse dataene.
2. Valideringssett: Valideringssettet er også en del av treningsprosessen, men det holdes separat for å justere modellens hyperparametre. 10 % av de totale bildene som er forskjellige fra treningsdatasettet vil bli brukt for å finjustere modellstrukturen slik at den kan generalisere bedre.
3. Testsett: Testsettet kommer inn på scenen først etter treningsprosessen. Den vil bli brukt til å teste ytelsen til modellen på data den ennå ikke har sett. 10 % av de totale bildene vil bli brukt som testsett. Umerkede testbilder vil bli lastet opp til systemet og ytelsen til modellen for kunstig intelligens (AI) vil bli sammenlignet med standarden, dvs. den opprinnelige klassifiseringen av etterforskerne. Splitting av de totale bildedataene i treningssett, valideringssett og testsett vil gjøres manuelt. Håndtering av dårlig kvalitet eller utilgjengelige inndata: Disse bildene vil bli ekskludert.

Kvalifikasjonskriterier:

Inkludering:

A. Deltakere: Kvinner som går på det ovennevnte fertilitetssenteret for ultralyd mellom februar 2022 og februar 2024 for enhver indikasjon og diagnostiseres med normal livmor og adenomyose på ultralyd ved screening av bilder.

B. Inndata: God kvalitet og avgjørende 2D- og/eller 3D-bilder av normal livmor og adenomyotisk livmor hvor ultralydkarakteristikkene til adenomyose er tydelig synlige.

Utelukkelse:

A. Deltakere: Kvinner med sameksisterende enkelt eller flere intramurale myomer og abnormiteter i endometriehulen.

B. Inndata: Uklare ultralyd etter vurdering av anmelder, bilder av dårlig kvalitet der ultralydkarakteristikkene til adenomyose er uklare og bilder som ikke kan klassifiseres i en av de fire kategoriene vil bli ekskludert.

Tillatelse:

Studien er rent observasjonsbasert uten intervensjon eller ytterligere trinn som blir utført som en del av studien. Ultralydbilder av normal og adenomyotisk livmor ville blitt tatt på det tidspunktet en kvinne hadde en TVUS som er en del av rutinemessig klinisk praksis. Siden ultralydmaskinen tillater eksport av bilder uten pasientidentifiserbar informasjon, vil dataene (som kun inkluderer ultralydbilder) få pasientidentifiserbar informasjon (navn og fødselsdato) fjernet før dataene trekkes ut. NHS Health Research Authority Confidentiality Advisory Group (CAG) sjekkliste før søknad har blitt henvist for å fastslå om dette prosjektet er kvalifisert til å behandle pasientinformasjon uten samtykke. Derfor vil det ikke bli bedt om informert samtykke fra studiedeltakerne, da kun anonymiserte data som allerede er tilgjengelig vil bli brukt.

Utfall og statistisk analyse

Primære utfall: Gjennomsnittlig presisjon (positiv prediktiv verdi), presisjon, gjenkalling, areal under mottakerens driftskarakteristiske kurve (AUC), sensitivitet, spesifisitet og nøyaktighet av modellen vil være de primære resultatene av interesse for automatisert og dyp maskinlæringsmodell. Alle analysene vil bli gjort ved hjelp av Stata Statistical Software (Release 18, TX, USA) for rammemodell for dyp maskinlæring (ML) og ved hjelp av automatisert maskinlæringsprogramvare for automatisert ML-modell. Etter at den automatiserte modellen er opplært, detaljert analyse bestående av oppsummering av modellens ytelse som vil bli rapportert (modellutdata). Den vil inkludere følgende:

• Poengterskel: Poenggrensen refererer til graden av tillit modellen må ha for å tilordne en kategori til et testelement. Poenggrenseskyveknappen i Google Cloud-konsollen er et visuelt verktøy for å teste effekten av ulike terskler for alle kategorier og individuelle kategorier i datasettet. En poenggrense som gir en god balanse mellom falske positive og falske negative vil bli tatt i bruk under evalueringen.
• Ekte positive, sanne negative, falske positive og falske negative
• Presisjon og tilbakekalling: Fra alle testsettet med bilder som ble tildelt en kategori, indikerer presisjon hvor mange som faktisk skulle kategoriseres med den etiketten, og tilbakekalling indikerer hvor mange som faktisk ble tildelt etiketten. Referansestandardetiketten refererer til kategoriseringen av etterforskerne.
• Presisjons-/gjenkallingskurver

Sekundært resultat: Evaluering av interterrater-avtale mellom to anmeldere i ultralydvurderingen av adenomyose ved bruk av Fleiss's kappa. K-koeffisienter som brukes for å tolke styrken til enighet vil være: ≤0=dårlig, 0,01 til 0,20=svak, 0,21 til 0,40=rettferdig, 0,41 til 0,60=moderat, 0,61 til 0,80=betydelig og 0,81 til 1=svært perfekt .

Datahåndtering og journalføring: Data (avidentifiserte ultralydbilder) vil bli lagret i Google Cloud i samsvar med Data Protection Act 2018.

Kvalifiserte ultralydbilder av normale og adenomyotiske livmordeltakere vil bli trukket ut som 2D- og/eller 3D-bilder etter fjerning av pasientidentifikatorene. Etter fullføring av studien vil bilder som er lagret på Google Cloud bli slettet.

Kvalitetskontroll og -sikring: Prinsipper for god klinisk praksis vil bli fulgt gjennom hele studiens varighet.

Rapportering av uønskede hendelser: Tatt i betraktning studiens observasjonelle natur og ingen ekstra trinn involvert i studiedesignet annet enn baseline TVUS, er det ingen sikkerhetshensyn involvert.

Etiske hensyn:

Etikkgodkjenning er innhentet fra det lokale Institutional Review Board (IRB) og fra CARE Fertility forsknings- og utviklingsteam.

Konfidensialitet og databeskyttelse: Et unikt bildeidentifikasjonsnummer vil bli brukt for identifikasjon av studiedeltakere. Alle personopplysningene som brukes i studien vil bli behandlet i samsvar med databeskyttelsesloven 2018 og vil bli sett på som strengt konfidensielle.

Finansiering: Midler til dette prosjektet er hentet fra Tommy's National Center for Miscarriage Research, Birmingham, Storbritannia.

Interessekonflikter: Det er ingen interessekonflikter knyttet til denne studien.

Endringer: Eventuelle endringer i studieprotokollen eller dokumentasjonen vil bli initiert av hovedetterforskeren. Alle vesentlige endringer vil bli sendt inn til IRB for godkjenning etterfulgt av implementering av endringene på alle områder som er involvert i studien. Endringer vil bli dokumentert i delen "Protokollendring" i studieprotokollen.

Slutt på prosjektdefinisjon: Datainnsamling og forberedelse, opplæring og evaluering av modell og skriving av manuskript vil foregå over en periode på 12 måneder.

Fremtidige studieaspekter: Det langsiktige målet er å analysere denne internt validerte AI-modellen for ekstern validering i eksterne sentre i National Health Service (NHS) ved å bruke PACS-systemet med arkiverte bilder og korrelere det med histopatologien til hysterektomiprøver. Dette vil også innebære analyse av klinisk nytte ved å vurdere effekten av modellen på beslutningstaking og resultater. Hvis modellens ytelse er hensiktsmessig med tanke på positiv prediktiv verdi, presisjon og klinisk nytte, vil den bli implementert for sanntidsbruk ved bruk av online prediksjon. Modellen kan distribueres for klassifiseringsforespørsler i form av elektronisk søknad eller som en applikasjon integrert i ultralydmaskiner.

Publikasjonspolicy: Resultatene av studien vil bli delt gjennom vitenskapelige og sosiale medier, Studieresultatene vil bli sendt til et fagfellevurdert tidsskrift innen fagfeltet gynekologisk ultralyd (Ultrasound in Obstetrics and Gynecology (UOG)) og digital helse (The Lancet Digital Health). Manuskriptet vil bli utarbeidet av Dr Ishita Mishra og forfatterskap vil bli bestemt i henhold til den enkeltes grad av bidrag til studiet og skrivingen av manuskriptet.