Kunstig intelligens-baseret maskinlæring til at diagnosticere og klassificere adenomyose fra ultralydsscanninger: en multicentermodeludviklingsundersøgelse

Baggrund: Adenomyose er en godartet gynækologisk tilstand kendetegnet ved tilstedeværelsen af ​​ektopiske endometrieceller (celler i livmoderslimhinden) i myometrium (muskellaget i livmoderen). På verdensplan, selvom adenomyose er udbredt hos kvinder og piger på tværs af alle faser af livet, fra teenager til perimenopause, forbliver den underdiagnosticeret. Kvinder med adenomyose oplever invaliderende symptomer på kraftig menstruationsblødning, smertefulde menstruationscyklusser, kroniske bækkensmerter og uheldige graviditetsudfald, der fører til en langsigtet indvirkning på deres livskvalitet.

Diagnose og klassificering af adenomyose er ikke kun afgørende for at korrelere med symptomernes sværhedsgrad, men også i rådgivning af kvinder om sygdomsprognose, type behandling og den langsigtede virkning af adenomyose-resultater. Klassificering af sværhedsgraden er dog ikke kun en tidskrævende og kompleks proces, men den afhænger også af operatørens oplevelse og er subjektiv. At opnå de samme resultater på en brøkdel af tid med reduceret operatørbias uafhængigt af operatørens ekspertise vil sandsynligvis være fordelagtigt.

Når man beskæftiger sig med billedklassificeringsopgaver, har Machine learning (ML) et enormt potentiale til at hjælpe sundhedspersonale med at klassificere sværhedsgraden af ​​adenomyose objektivt på få sekunder. Deep learning framework og automatiseret maskinlæringsværktøj er state-of-the-art værktøjer til automatiseret transvaginal ultralydsscanning (TVUS) billedanalyse. Den kan direkte behandle og automatisk lære abstrakte funktioner på mellem- til højniveau, erhvervet fra ultralydsbilleder ved hjælp af en dyb arkitekturmodel uden at kræve den manuelle definition af funktioner på forhånd. Dette gør det muligt at træne, teste og validere maskinlæringsmodellen med eksempler på mærkede billeder til klassificering

Formålet med undersøgelsen er at bruge de kommenterede ultralydsbilleder af normal livmoder og af adenomyose af varierende sværhedsgrad til at træne et neuralt netværk ved hjælp af superviseret dyb læring, der forudsiger, om et inputbillede tilhører en af ​​følgende klasser: ingen, mild, moderat eller svær adenomyose. Dette vil være et nyt projekt og kan støtte klinikere og sonografer i at vurdere sværhedsgraden af ​​adenomyose på en brøkdel af en gang i fremtiden.

Formål: At undersøge brugen af ​​billedgenkendelsesmodel, der anvender overvåget deep learning via automatiseret maskinlæringsværktøj (Vertex AI) og deep learning framework (Pytorch) til at skabe en algoritme til ultralydsklassificering af sværhedsgraden af ​​adenomyose.

Studiedesign og indstillinger:

Undersøgelsestype: Dette vil være et multicenter observationskohortestudie. APPRAISE-AI og Prediction model Risk Of Bias Assessment Tool- Artificial Intelligence (PROBAST-AI) værktøjer er blevet henvist til protokoludvikling.

Indstillinger: Ultralydsbillederne af patienter med normal livmoder og adenomyose vil blive hentet fra ti CARE fertilitetscentre i Storbritannien. Dette vil omfatte CARE-fertilitetssteder i Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire og Liverpool.

Population: Studiekohorten vil bestå af ultralydsbilleder af patienter, der deltog i CARE Fertilitetscentre for ultralyd mellem februar 2022 og februar 2024 og blev diagnosticeret med normal uterus og adenomyose ved hjælp af Morfologisk Uterus Sonografisk Assessment (MUSA) kriterier for screening af billeder. MUSA-kriterierne skitserer ultralydsegenskaberne ved myometrium og myometriale læsioner ved hjælp af standardiserede termer, definitioner og målinger.

Tidligere offentliggjorte skematisk kortlægningssystem for adenomyoses sværhedsgrad vil blive brugt til at bestemme sværhedsgraden af ​​uterin adenomyose ved gennemgang af billeder. Dette er blevet valgt på grund af reproducerbarhed, væsentlig til næsten perfekt interobservatøroverensstemmelsesrate og klinisk korrelation med symptomets sværhedsgrad. En score fra til 1 til 4 tildeles hver karakter, og summen af ​​scoretallene bruges til at beregne sygdommens forlængelse: mild (1-3), moderat (4-6) og svær (>7) . Varighed: Ultralyd udført mellem februar 2022 og februar 2024 Prøvestørrelse: Det mindste antal billeder, der kræves af Vertex AI Vision til træning, er 100 pr. kategori. Sandsynligheden for at genkende en kategori med succes går op med antallet af eksempler af høj kvalitet for hver. Målprøvestørrelsen til at teste algoritmen til at klassificere adenomyose vil være mellem 1000-10.000 billeder hver for ingen, mild, moderat og svær adenomyose. Det komplette sæt billeder vil blive fordelt ligeligt på tværs af klassifikationskategorier; dog er det muligvis ikke muligt at hente et omtrent lige antal billeder for hver kategori. Det komplette datasæt vil blive opdelt manuelt i to forskellige datasæt i forholdet 9:1; 90% af de valgte billeder vil blive brugt som træningsdatasæt (træning + validering) og 10% som testdatasæt. Dette vil sikre tilstrækkelig medtagelse af forskellige og repræsentative billeder for hver kategori. Testdatasættet vil være et uafhængigt datasæt, der ikke bruges i træningsfasen, men vil blive hentet fra samme facilitet som data brugt i træningsfasen.

Minimering af den potentielle påvirkning af skævheder: Alle lagrede ultralydsbilleder af normal og adenomyotisk livmoder vil blive screenet af en anmelder med erfaring i gynækologisk scanning og fertilitetsscanning, som vil blive blindet for kvindernes baseline-karakteristika for at undgå identifikation og rekrutteringsbias. To anmeldere vil uafhængigt klassificere sværhedsgraden af ​​adenomyose i mild, moderat og svær for 1000 sæt billeder for at etablere overensstemmelse.

AI software detaljer:

Type maskinlæring Supervised Deep learning: I superviseret læring har maskinen brug for mærkede eksempler for at lære. Formålet med undersøgelsen er at lære en maskine at genkende varierende sværhedsgrad af ultralydsdiagnosticeret adenomyose. Ultralydsscanningsbilleder mærket som "Ingen", "Mild", "Moderat" og "Svær" vil blive uploadet som input. Ved at studere eksemplerne vil algoritmen lære at genkende, hvad der adskiller en normal livmoder fra mild adenomyose og en mild fra en svær grad af adenomyose og at tildele den korrekte klassificering til hvert nyt billede, den bliver bedt om at analysere.

Type ramme og version: Google Cloud Vertex AI Vision API V1 som automatiseret maskinlæringsværktøj og den mest opdaterede version af Pytorch som dyb maskinlæringsramme.

Indhentning af inputdata og udvælgelse: Inputdata til modellen vil blive hentet fra ultralydsbilleder af patienter, der besøgte ovennævnte fertilitetscentre til ultralyd mellem februar 2022 og februar 2024 og fik diagnosen normal livmoder og adenomyose ved screening af billeder. Kvalificerede ultralydsbilleder af adenomyotiske uterusdeltagere vil blive ekstraheret som todimensionelle (2D) og/eller tredimensionelle (3D) billeder efter fjernelse af patientidentifikatorerne. Hvis en patient har mere end ét billede af adenomyotisk eller normal livmoder, vil alle disse billeder blive inkluderet. Disse billeder vil blive gennemgået af en anmelder for at reducere risikoen for bias og formateret for at sikre, at de indeholder den adenomyose-ultralydskarakteristik, der er af interesse for billedet. Disse gennemgåede og formaterede billeder vil blive mærket som ingen, milde, moderate og svære af to anmeldere med erfaring i ultralydsdiagnose og klassificering af adenomyose. Tre sæt inputbilleder vil blive uploadet til maskinlæringsrammen:

1. Træningssæt: 80 % af billeddataene vil være i træningssættet. Modellen "ser" og lærer i første omgang af disse data.
2. Valideringssæt: Valideringssættet er også en del af træningsprocessen, men det holdes adskilt for at tune modellens hyperparametre.10 % af de samlede billeder, der er forskellige fra træningsdatasættet, vil blive brugt for at finjustere modelstrukturen, så den kan generalisere bedre.
3. Testsæt: Testsættet går først ind på scenen efter træningsprocessen. Det vil blive brugt til at teste modellens ydeevne på de data, den endnu ikke har set. 10% af de samlede billeder vil blive brugt som testsæt. Umærkede testbilleder vil blive uploadet til systemet, og ydeevnen af ​​en kunstig intelligens (AI) model vil blive sammenlignet med standarden, dvs. den oprindelige klassificering af efterforskerne. Opdeling af de samlede billeddata i træningssæt, valideringssæt og testsæt vil ske manuelt. Håndtering af dårlig kvalitet eller utilgængelige inputdata: Disse billeder vil blive udelukket.

Berettigelseskriterier:

Inkludering:

A. Deltagere: Kvinder, der går på det ovennævnte fertilitetscenter til ultralyd mellem februar 2022 og februar 2024 for enhver indikation og diagnosticeres med normal livmoder og adenomyose på ultralyd ved screening af billeder.

B. Inputdata: God kvalitet og afgørende 2D- og/eller 3D-billeder af normal livmoder og adenomyotisk uterus, hvor ultralydskarakteristikaene ved adenomyose er tydeligt synlige.

Undtagelse:

A. Deltagere: Kvinder med sameksisterende enkelte eller multiple intramurale fibromer og abnormiteter i endometriehulen.

B. Inputdata: Inkonklusive ultralyd efter vurdering af anmelderen, billeder af dårlig kvalitet, hvor ultralydskarakteristikaene ved adenomyose er uklare, og billeder, der ikke kan klassificeres i en af ​​de fire kategorier, vil blive udelukket.

Samtykke:

Undersøgelsen er rent observationsorienteret uden intervention eller yderligere trin, der udføres som en del af undersøgelsen. Ultralydsbilleder af normal og adenomyotisk livmoder ville være blevet erhvervet på det tidspunkt, hvor en kvinde fik en TVUS, som er en del af rutinemæssig klinisk praksis. Da ultralydsmaskinen tillader eksport af billeder uden patientidentificerbar information, vil dataene (som kun omfatter ultralydsbilleder) få patientidentificerbare oplysninger (navn og fødselsdato), før dataene udtrækkes. NHS Health Research Authority Confidentiality Advisory Group (CAG) tjekliste før ansøgning er blevet henvist til at afgøre, om dette projekt er berettiget til at behandle patientoplysninger uden samtykke. Der vil derfor ikke blive anmodet om informeret samtykke fra undersøgelsens deltagere, da kun anonymiserede data, der allerede er tilgængelige, vil blive brugt.

Resultat og statistisk analyse

Primære resultater: Gennemsnitlig præcision (positiv prædiktiv værdi), præcision, genkaldelse, areal under modtagerens operationskarakteristikkurve (AUC), følsomhed, specificitet og nøjagtighed af modellen vil være de primære resultater af interesse for automatiseret og dyb maskinlæringsmodel. Alle analyserne vil blive udført ved hjælp af Stata Statistical Software (Release 18, TX, USA) for deep machine learning (ML) rammemodel og ved hjælp af den automatiserede maskinlæringssoftware til automatiseret ML-model. Efter at den automatiserede model er trænet, detaljeret analyse bestående af opsummering af modellens ydeevne, som vil blive rapporteret (model output). Den vil omfatte følgende:

• Scoretærskel: Scoretærsklen refererer til den grad af tillid, modellen skal have for at tildele en kategori til et testemne. Scoretærskelskyderen i Google Cloud-konsollen er et visuelt værktøj til at teste effekten af ​​forskellige tærskler for alle kategorier og individuelle kategorier i datasættet. En scoretærskel, som giver en god balance mellem falske positive og falske negative, vil blive vedtaget under evalueringen.
• Sande positive, sande negative, falske positive og falske negative
• Præcision og genkaldelse: Fra alle de testsæt af billeder, der blev tildelt en kategori, angiver præcision, hvor mange der faktisk skulle kategoriseres med den pågældende etiket, og genkald angiver, hvor mange der rent faktisk blev tildelt etiketten. Referencestandardmærket henviser til efterforskernes kategorisering.
• Præcisions-/genkaldskurver

Sekundært resultat: Evaluering af interterrater-overenskomst mellem to bedømmere i ultralydsvurderingen af ​​adenomyose ved hjælp af Fleiss's kappa. K-koefficienter, der bruges til fortolkning af overensstemmelsesstyrken, vil være: ≤0=dårlig, 0,01 til 0,20=svag, 0,21 til 0,40=rimelig, 0,41 til 0,60=moderat, 0,61 til 0,80=væsentlig og 0,81 til 1=meget perfekt .

Datahåndtering og registrering: Data (afidentificerede ultralydsbilleder) vil blive lagret i Google Cloud i overensstemmelse med Data Protection Act 2018.

Kvalificerede ultralydsbilleder af normale og adenomyotiske livmoderdeltagere vil blive ekstraheret som 2D- og/eller 3D-billeder efter fjernelse af patientidentifikatorerne. Efter afslutning af undersøgelsen slettes billeder gemt på Google Cloud.

Kvalitetskontrol og -sikring: Principper for god klinisk praksis vil blive fulgt under hele studiets varighed.

Rapportering af uønskede hændelser: I betragtning af undersøgelsens observationelle karakter og intet yderligere trin involveret i undersøgelsesdesignet ud over baseline TVUS, er der ingen sikkerhedsovervejelser involveret.

Etiske overvejelser:

Etisk godkendelse er opnået fra det lokale Institutional Review Board (IRB) og fra CARE Fertility forsknings- og udviklingsteam.

Fortrolighed og databeskyttelse: Et unikt billedidentifikationsnummer vil blive brugt til identifikation af studiedeltagere. Alle de personlige data, der bruges i undersøgelsen, vil blive behandlet i overensstemmelse med Data Protection Act 2018 og vil blive betragtet som strengt fortrolige.

Finansiering: Midler til dette projekt er hentet fra Tommy's National Center for Miscarriage Research, Birmingham, Storbritannien.

Interessekonflikter: Der er ingen interessekonflikter forbundet med denne undersøgelse.

Ændringer: Eventuelle ændringer til undersøgelsesprotokollen eller dokumentationen vil blive initieret af den ansvarlige efterforsker. Alle væsentlige ændringer vil blive sendt til IRB til godkendelse efterfulgt af implementering af ændringerne på alle steder, der er involveret i undersøgelsen. Ændringer vil blive dokumenteret i afsnittet "Protocol Amendment" i undersøgelsesprotokollen.

Slut på projektdefinition: Dataindsamling og forberedelse, træning og evaluering af modellen og skrivning af manuskript vil foregå over en periode på 12 måneder.

Fremtidige undersøgelsesaspekter: Det langsigtede mål er at analysere denne internt validerede AI-model til ekstern validering i eksterne centre i National Health Service (NHS) ved hjælp af PACS-system af arkiverede billeder og korrelere det med histopatologi af hysterektomiprøver. Dette vil også involvere analyse af klinisk nytte ved at vurdere modellens indflydelse på beslutningstagning og resultater. Hvis modellens ydeevne er passende med hensyn til positiv prædiktiv værdi, præcision og klinisk anvendelighed, vil den blive implementeret til brug i realtid ved hjælp af online forudsigelse. Modellen kan implementeres til klassificeringsanmodninger i form af onlineapplikation eller som en applikation integreret i ultralydsmaskiner.

Publikationspolitik: Resultaterne af undersøgelsen vil blive delt gennem videnskabelige og sociale medier. Undersøgelsens resultater vil blive indsendt til et peer-reviewed tidsskrift inden for området gynækologisk ultralyd (Ultrasound in Obstetrics and Gynecology (UOG)) og digital sundhed (The Lancet Digital Health). Manuskriptet vil blive udarbejdet af Dr. Ishita Mishra, og forfatterskabet vil blive bestemt i henhold til den enkeltes grad af bidrag til studiet og skrivningen af ​​manuskriptet.