Artificiell intelligens-baserad maskininlärning för att diagnostisera och klassificera adenomyos från ultraljudsundersökningar: en multicenter modellutvecklingsstudie

Bakgrund: Adenomyos är ett benignt gynekologiskt tillstånd som kännetecknas av närvaron av ektopiska endometrieceller (celler i livmoderns slemhinna) i myometriet (muskelskiktet i livmodern). Globalt, även om adenomyos är utbredd hos kvinnor och flickor i alla skeden av livet, från tonåren till perimenopaus, förblir den underdiagnostiserad. Kvinnor med adenomyos upplever försvagande symtom på kraftiga menstruationsblödningar, smärtsamma menstruationscykler, kronisk bäckensmärta och ogynnsamma graviditetsutfall som leder till en långsiktig inverkan på deras livskvalitet.

Diagnos och klassificering av adenomyos är inte bara viktigt för att korrelera med symtomens svårighetsgrad utan också för att ge kvinnor råd om sjukdomsprognosen, typ av behandling och den långsiktiga effekten av adenomyosresultat. Att klassificera svårighetsgraden är dock inte bara en tidskrävande och komplex process, utan den beror också på operatörens erfarenhet och är subjektiv. Att uppnå samma resultat på en bråkdel av tiden med minskad operatörsbias oberoende av operatörens expertis skulle sannolikt vara fördelaktigt.

När det gäller bildklassificeringsuppgifter har maskininlärning (ML) en enorm potential för att hjälpa vårdpersonal att klassificera svårighetsgraden av adenomyos objektivt på några sekunder. Ramverk för djupinlärning och automatiserat maskininlärningsverktyg är toppmoderna verktyg för automatisk transvaginal ultraljudsskanning (TVUS) bildanalys. Den kan direkt bearbeta och automatiskt lära sig abstrakta funktioner på medelhög till hög nivå som erhållits från ultraljudsbilder med hjälp av en djup arkitekturmodell utan att kräva manuell definition av funktioner i förväg. Detta gör det möjligt för en att träna, testa och validera maskininlärningsmodellen med exempelmärkta bilder för klassificering

Syftet med studien är att använda de kommenterade ultraljudsbilderna av normal livmoder och av adenomyos av varierande svårighetsgrad för att träna ett neuralt nätverk med hjälp av övervakad djupinlärning som förutsäger om en ingångsbild tillhör någon av följande klasser: ingen, mild, måttlig eller allvarlig adenomyos. Detta kommer att vara ett nytt projekt och kan stödja läkare och sonografer i att bedöma svårighetsgraden av adenomyos på en bråkdel av en gång i framtiden.

Mål: Att undersöka användningen av en bildigenkänningsmodell som använder övervakad djupinlärning via automatiserat maskininlärningsverktyg (Vertex AI) och ramverk för djupinlärning (Pytorch) för att skapa en algoritm för ultraljudsklassificering av svårighetsgraden av adenomyos.

Studiedesign och inställningar:

Typ av studie: Detta kommer att vara en multicenter observationskohortstudie. APPRAISE-AI och Prediction model Risk Of Bias Assessment Tool-Artificial Intelligence (PROBAST-AI) verktyg har hänvisats till för protokollutveckling.

Inställningar: Ultraljudsbilderna av patienter med normal livmoder och adenomyos kommer att hämtas från tio CARE fertilitetscentra i Storbritannien. Detta skulle inkludera CARE fertilitetsplatser i Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire och Liverpool.

Population: Studiekohorten kommer att bestå av ultraljudsbilder av patienter som besökte CARE Fertilitetscenter för ultraljud mellan februari 2022 och februari 2024 och som diagnostiserades med normal livmoder och adenomyos med hjälp av Morfologisk Uterus Sonografisk Assessment (MUSA) kriterier för screening av bilder. MUSA-kriterierna beskriver ultraljudsegenskaperna hos myometrium och myometriella lesioner med hjälp av standardiserade termer, definitioner och mätningar.

Tidigare publicerade schematiskt kartläggningssystem för adenomyos svårighetsgrad kommer att användas för att bestämma svårighetsgraden av uterus adenomyos vid granskning av bilder. Detta har valts på grund av reproducerbarhet, betydande till nästan perfekt överensstämmelsefrekvens mellan observatörer och klinisk korrelation med symtomens svårighetsgrad. En poäng som sträcker sig från till 1 till 4 tillskrivs varje grad och summan av poängtalen används för att beräkna förlängningen av sjukdomen: mild (1-3), måttlig (4-6) och svår (>7) . Varaktighet: Ultraljud utfört mellan februari 2022 till februari 2024 Provstorlek: Det minsta antalet bilder som krävs av Vertex AI Vision för träning är 100 per kategori. Sannolikheten för att framgångsrikt känna igen en kategori ökar med antalet högkvalitativa exempel för varje. Målprovstorleken för att testa algoritmen för att klassificera adenomyos kommer att vara mellan 1000-10 000 bilder vardera för ingen, mild, måttlig och svår adenomyos. Den kompletta uppsättningen bilder kommer att fördelas lika över klassificeringskategorier; men det kanske inte går att köpa ungefär lika många bilder för varje kategori. Den kompletta datamängden kommer att delas upp manuellt i två olika datamängder i förhållandet 9:1; 90 % av de valda bilderna kommer att användas som träningsdatauppsättning (träning + validering) och 10 % som testdatauppsättning. Detta kommer att säkerställa tillräcklig inkludering av olika och representativa bilder för varje kategori. Testdatauppsättningen kommer att vara en oberoende datauppsättning som inte används i träningsfasen utan kommer att hämtas från samma anläggning som data som används i träningsfasen.

Minimering av potentiell påverkan av fördomar: Alla lagrade ultraljudsbilder av normal och adenomyotisk livmoder kommer att screenas av en granskare med erfarenhet av gynekologisk scanning och fertilitetsskanning som kommer att bli blind för kvinnornas baslinjeegenskaper för att undvika identifiering och rekryteringsbias. Två granskare kommer oberoende av varandra att klassificera svårighetsgraden av adenomyos i mild, måttlig och svår för 1000 uppsättningar bilder för att fastställa överensstämmelse.

AI-programvara detaljer:

Typ av maskininlärning Övervakad djupinlärning: Vid övervakad inlärning behöver maskinen märkta exempel för att lära sig. Syftet med studien är att lära en maskin att känna igen olika svårighetsgrad av ultraljudsdiagnostiserad adenomyos. Ultraljudsbilder märkta som "Ingen", "Lätt", "Måttlig" och "Svår" kommer att laddas upp som indata. Genom att studera exemplen kommer algoritmen att lära sig att känna igen vad som skiljer en normal livmoder från mild adenomyos och en mild från en allvarlig grad av adenomyos och att tilldela rätt klassificering till varje ny bild som den ombeds analysera.

Typ av ramverk och version: Google Cloud Vertex AI Vision API V1 som automatiserat maskininlärningsverktyg och den mest uppdaterade versionen av Pytorch som djupt maskininlärningsramverk.

Inhämtning av indata och urval: Indata till modellen kommer att hämtas från ultraljudsbilder av patienter som besökt ovan nämnda fertilitetscentra för ultraljud mellan februari 2022 och februari 2024 och diagnostiserades med normal livmoder och adenomyos vid screening av bilder. Kvalificerade ultraljudsbilder av deltagare i adenomyotiska livmoder kommer att extraheras som tvådimensionella (2D) och/eller tredimensionella (3D) bilder efter att patientidentifierarna har tagits bort. Om en patient har mer än en bild av adenomyotisk eller normal livmoder, kommer alla dessa bilder att inkluderas. Dessa bilder kommer att granskas av en granskare för att minska risken för bias och formateras för att säkerställa att de innehåller adenomyos-ultraljudskarakteristiken av intresse i bilden. Dessa granskade och formaterade bilder kommer att märkas som inga, milda, måttliga och svåra av två granskare med erfarenhet av ultraljudsdiagnostik och klassificering av adenomyos. Tre uppsättningar indatabilder kommer att laddas upp på ramverket för maskininlärning:

1. Träningsset: 80 % av bilddata kommer att finnas i träningssetet. Modellen "ser" och lär sig initialt av dessa data.
2. Valideringsuppsättning: Valideringsuppsättningen är också en del av träningsprocessen, men den hålls separat för att justera modellens hyperparametrar. 10 % av de totala bilderna som skiljer sig från träningsdatauppsättningen kommer att användas för att finjustera modellstrukturen så att den kan generalisera bättre.
3. Testset: Testsetet går in i scenen först efter träningsprocessen. Den kommer att användas för att testa modellens prestanda på data som den ännu inte har sett. 10 % av de totala bilderna kommer att användas som testset. Omärkta testbilder kommer att laddas upp till systemet och prestandan hos modellen med artificiell intelligens (AI) kommer att jämföras med standarden, dvs. den ursprungliga klassificeringen av utredarna. Uppdelningen av den totala bilddatan i träningsset, valideringsset och testset kommer att göras manuellt. Hantering av dålig kvalitet eller otillgänglig indata: Dessa bilder kommer att exkluderas.

Behörighetskriterier:

Inkludering:

A. Deltagare: Kvinnor som besöker ovan nämnda fertilitetscenter för ultraljud mellan februari 2022 och februari 2024 för alla indikationer och diagnostiseras med normal livmoder och adenomyos på ultraljud vid screening av bilder.

B. Indata: God kvalitet och avgörande 2D- och/eller 3D-bilder av normal livmoder och adenomyotisk livmoder där ultraljudsegenskaperna för adenomyos är tydligt synliga.

Uteslutning:

A. Deltagare: Kvinnor med samexisterande enstaka eller flera intramurala myom och avvikelser i endometrialhålan.

B. Indata: Osäkra ultraljud vid bedömning av granskaren, bilder av dålig kvalitet där ultraljudsegenskaperna för adenomyos är oklara och bilder som inte kan klassificeras i någon av de fyra kategorierna kommer att exkluderas.

Samtycke:

Studien är enbart observationell utan att någon intervention eller ytterligare steg genomförs som en del av studien. Ultraljudsbilder av normal och adenomyotisk livmoder skulle ha tagits vid tidpunkten för en kvinna som hade en TVUS som är en del av rutinmässig klinisk praxis. Eftersom ultraljudsmaskinen tillåter export av bilder utan patientidentifierbar information kommer data (som endast inkluderar ultraljudsbilder) att ha patientidentifierbar information (namn och födelsedatum) borttagen innan data extraheras. NHS Health Research Authority Confidentiality Advisory Group (CAG) checklista före ansökan har hänvisats för att fastställa om detta projekt är berättigat att behandla patientinformation utan samtycke. Därför kommer inget informerat samtycke att begäras från studiedeltagarna eftersom endast anonymiserade data som redan är tillgängliga kommer att användas.

Utfall och statistisk analys

Primära resultat: Genomsnittlig precision (positivt prediktivt värde), precision, återkallelse, area under mottagarens funktionskarakteristikkurva (AUC), modellens känslighet, specificitet och noggrannhet kommer att vara de primära resultaten av intresse för automatiserad och djup maskininlärningsmodell. Alla analyser kommer att göras med hjälp av Stata Statistical Software (Release 18, TX, USA) för rammodell för djup maskininlärning (ML) och med hjälp av den automatiserade maskininlärningsmjukvaran för automatiserad ML-modell. Efter att den automatiserade modellen tränats, detaljerad analys bestående av en sammanfattning av modellens prestanda som kommer att rapporteras (modellutdata). Den kommer att innehålla följande:

• Poängtröskel: Poängtröskeln hänvisar till nivån av förtroende som modellen måste ha för att tilldela en kategori till ett testobjekt. Poängtröskelreglaget i Google Cloud-konsolen är ett visuellt verktyg för att testa effekten av olika trösklar för alla kategorier och enskilda kategorier i datamängden. En poängtröskel som ger en bra balans mellan falskt positiva och falskt negativa kommer att antas under utvärderingen.
• Sanna positiva, sanna negativa, falska positiva och falska negativa
• Precision och återkallelse: Från alla testuppsättningar bilder som tilldelades en kategori, anger precision hur många som faktiskt skulle kategoriseras med den etiketten och återkallelse anger hur många som faktiskt tilldelades etiketten. Referensstandardetiketten hänvisar till utredarnas kategorisering.
• Precisions-/återkallningskurvor

Sekundärt utfall: Utvärdering av överensstämmelse mellan två granskare vid ultraljudsbedömning av adenomyos med Fleiss's kappa. K-koefficienter som används för tolkning av överensstämmelsens styrka kommer att vara: ≤0=dålig, 0,01 till 0,20=låg, 0,21 till 0,40=tillfredsställande, 0,41 till 0,60=måttlig, 0,61 till 0,80=stor och 0,81 till 1=mycket perfekt .

Datahantering och journalföring: Data (avidentifierade ultraljudsbilder) kommer att lagras i Google Cloud i enlighet med Data Protection Act 2018.

Kvalificerade ultraljudsbilder av normala och adenomyotiska livmoderdeltagare kommer att extraheras som 2D- och/eller 3D-bilder efter att patientidentifierarna har tagits bort. Efter avslutad studie kommer bilder lagrade på Google Cloud att raderas.

Kvalitetskontroll och -säkring: Principer för god klinisk praxis kommer att följas under hela studietiden.

Rapportering av biverkningar: Med tanke på studiens observationskaraktär och inga ytterligare steg involverade i studiedesignen förutom baseline TVUS, finns det inga säkerhetsöverväganden inblandade.

Etiska överväganden:

Etikgodkännande har erhållits från den lokala institutionella granskningsnämnden (IRB) och från CARE Fertility forsknings- och utvecklingsteam.

Sekretess och dataskydd: Ett unikt bildidentifikationsnummer kommer att användas för identifiering av studiedeltagare. Alla personuppgifter som används i studien kommer att behandlas i enlighet med Data Protection Act 2018 och kommer att betraktas som strikt konfidentiella.

Finansiering: Medel för detta projekt har hämtats från Tommy's National Center for Miscarriage Research, Birmingham, Storbritannien.

Intressekonflikter: Det finns inga intressekonflikter förknippade med denna studie.

Ändringar: Eventuella ändringar av studieprotokollet eller dokumentationen kommer att initieras av chefsutredaren. Alla väsentliga ändringar kommer att skickas till IRB för godkännande följt av implementering av ändringarna på alla platser som är involverade i studien. Ändringar kommer att dokumenteras i avsnittet "Protocol Amendment" i studieprotokollet.

Slut på projektdefinition: Datainsamling och förberedelse, utbildning och utvärdering av modellen och skrivande av manuskript kommer att ske under en period av 12 månader.

Framtida studieaspekter: Det långsiktiga syftet är att analysera denna internt validerade AI-modell för extern validering i externa centra i National Health Service (NHS) med hjälp av PACS-systemet för arkiverade bilder och korrelera den med histopatologin hos hysterektomiprover. Detta skulle också involvera analys av klinisk användbarhet genom att bedöma modellens inverkan på beslutsfattande och resultat. Om modellens prestanda är lämplig i termer av positivt prediktivt värde, precision och klinisk användbarhet, kommer den att implementeras för realtidsanvändning med hjälp av online-prediktion. Modellen kan användas för klassificeringsförfrågningar i form av onlineapplikation eller som en applikation integrerad i ultraljudsmaskiner.

Publiceringspolicy: Resultaten av studien kommer att delas via vetenskapliga och sociala medier. Studieresultaten kommer att skickas till en peer-reviewed tidskrift inom området gynekologiskt ultraljud (Ultrasound in Obstetrics and Gynecology (UOG)) och digital hälsa (The Lancet Digital Health). Manuskriptet kommer att förberedas av Dr Ishita Mishra och författarskap kommer att bestämmas i enlighet med individens grad av bidrag till studiet och skrivningen av manuskriptet.