Op kunstmatige intelligentie gebaseerd machinaal leren om adenomyose te diagnosticeren en te classificeren op basis van echografieën: een multicenter modelontwikkelingsstudie

Achtergrond: Adenomyose is een goedaardige gynaecologische aandoening die wordt gekenmerkt door de aanwezigheid van ectopische endometriumcellen (cellen van het baarmoederslijmvlies) in het myometrium (spierlaag van de baarmoeder). Hoewel adenomyose wereldwijd veel voorkomt bij vrouwen en meisjes in alle levensfasen, van de adolescentie tot de perimenopauze, blijft er sprake van onderdiagnostiek. Vrouwen met adenomyose ervaren slopende symptomen van hevige menstruatiebloedingen, pijnlijke menstruatiecycli, chronische bekkenpijn en ongewenste zwangerschapsresultaten, wat op de lange termijn een impact heeft op hun levenskwaliteit.

Diagnose en classificatie van adenomyose is niet alleen essentieel om te correleren met de ernst van de symptomen, maar ook om vrouwen te adviseren over de ziekteprognose, het type behandeling en de langetermijnimpact van de uitkomsten van adenomyose. Het classificeren van de ernst is echter niet alleen een tijdrovend en complex proces, maar hangt ook af van de ervaring van de operator en is subjectief. Het zou waarschijnlijk gunstig zijn om in een fractie van de tijd dezelfde resultaten te bereiken met minder vooringenomenheid van de operator, onafhankelijk van de expertise van de operator.

Bij het omgaan met beeldclassificatietaken heeft Machine Learning (ML) een enorm potentieel om professionals in de gezondheidszorg te helpen bij het objectief classificeren van de ernst van adenomyose in seconden. Deep learning framework en geautomatiseerde machine learning tool zijn state-of-the-art tools voor geautomatiseerde transvaginale echografie (TVUS) beeldanalyse. Het kan abstracte kenmerken van gemiddeld tot hoog niveau die zijn verkregen uit echografiebeelden direct verwerken en automatisch leren met behulp van een diepgaand architectuurmodel, zonder dat de kenmerken vooraf handmatig moeten worden gedefinieerd. Hierdoor kan men het machine learning-model trainen, testen en valideren met voorbeeldgelabelde afbeeldingen voor classificatie

Het doel van het onderzoek is om de geannoteerde echobeelden van een normale baarmoeder en van adenomyose van verschillende ernst te gebruiken om een ​​neuraal netwerk te trainen met behulp van gesuperviseerd deep learning dat voorspelt of een invoerbeeld tot een van de volgende klassen behoort: geen, mild, matig of ernstige adenomyose. Dit wordt een nieuw project en kan artsen en echografisten in de toekomst in een fractie van een tijd ondersteunen bij het beoordelen van de ernst van adenomyose.

Doel: Onderzoek naar het gebruik van een beeldherkenningsmodel dat gebruik maakt van diepgaand leren onder toezicht via een geautomatiseerde machine learning-tool (Vertex AI) en een raamwerk voor diep leren (Pytorch) voor de creatie van een algoritme voor ultrasone classificatie van de ernst van adenomyose.

Studieontwerp en instellingen:

Type onderzoek: Dit zal een multicenter observationeel cohortonderzoek zijn. APPRAISE-AI en voorspellingsmodel Risico op vooringenomenheid Assessmenttool - Er wordt verwezen naar tools voor kunstmatige intelligentie (PROBAST-AI) voor protocolontwikkeling.

Instellingen: De echobeelden van patiënten met een normale baarmoeder en adenomyose worden opgehaald uit tien CARE-vruchtbaarheidscentra in het Verenigd Koninkrijk. Dit omvat CARE Fertility-locaties in Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire en Liverpool.

Populatie: Het onderzoekscohort zal bestaan ​​uit echografiebeelden van patiënten die tussen februari 2022 en februari 2024 CARE-vruchtbaarheidscentra voor echografie bezochten en bij wie de diagnose normale baarmoeder en adenomyose werd gesteld met behulp van Morfologische Uterus Sonografische Beoordeling (MUSA)-criteria bij het screenen van beelden. De MUSA-criteria schetsen de ultrasone kenmerken van myometrium en myometriale laesies met behulp van gestandaardiseerde termen, definities en metingen.

Een eerder gepubliceerd schematisch kaartsysteem van de ernst van adenomyose zal worden gebruikt voor het bepalen van de ernst van baarmoederademyose bij beoordeling van beelden. Hiervoor is gekozen vanwege de reproduceerbaarheid, de substantiële tot bijna perfecte overeenstemming tussen de waarnemers en de klinische correlatie met de ernst van de symptomen. Aan elke graad wordt een score toegekend variërend van 1 tot 4 en de som van de scorenummers wordt gebruikt om de uitbreiding van de ziekte te berekenen: mild (1-3), matig (4-6) en ernstig (>7) . Duur: Echografie uitgevoerd tussen februari 2022 en februari 2024 Steekproefgrootte: Het minimumaantal afbeeldingen dat Vertex AI Vision nodig heeft voor training is 100 per categorie. De kans op het succesvol herkennen van een categorie neemt toe naarmate het aantal voorbeelden van hoge kwaliteit voor elke categorie toeneemt. De beoogde steekproefomvang om het algoritme voor het classificeren van adenomyose te testen, zal tussen de 1000 en 10.000 afbeeldingen bedragen, elk voor geen, milde, matige en ernstige adenomyose. De volledige set afbeeldingen wordt gelijkmatig verdeeld over classificatiecategorieën; Het is echter mogelijk dat het niet mogelijk is om voor elke categorie een ongeveer gelijk aantal afbeeldingen te verkrijgen. De volledige dataset wordt handmatig opgesplitst in twee verschillende datasets in een verhouding van 9:1; 90% van de geselecteerde afbeeldingen wordt gebruikt als trainingsdataset (training + validatie) en 10% als testdataset. Dit zorgt voor een adequate opname van diverse en representatieve afbeeldingen voor elke categorie. De testdataset zal een onafhankelijke dataset zijn die niet wordt gebruikt in de trainingsfase, maar zal worden verkregen uit dezelfde faciliteit als de gegevens die in de trainingsfase worden gebruikt.

Minimalisering van de potentiële impact van biases: Alle opgeslagen echobeelden van normale en adenomyotische baarmoeder zullen worden gescreend door een beoordelaar met ervaring in gynaecologische en vruchtbaarheidsscans, die blind zal zijn voor de basiskenmerken van de vrouwen om identificatie- en rekruteringsbias te voorkomen. Twee recensenten zullen onafhankelijk van elkaar de ernst van adenomyose classificeren in mild, matig en ernstig voor 1000 sets beelden om overeenstemming vast te stellen.

Details van de AI-software:

Type machine learning Supervised Deep learning: Bij begeleid leren heeft de machine gelabelde voorbeelden nodig om te leren. Het doel van het onderzoek is om een ​​machine te leren de verschillende ernst van via echografie gediagnosticeerde adenomyose te herkennen. Echografiebeelden met het label 'Geen', 'Mild', 'Gematigd' en 'Ernstig' worden als invoer geüpload. Door de voorbeelden te bestuderen, zal het algoritme leren herkennen wat een normale baarmoeder onderscheidt van milde adenomyose en een milde van een ernstige mate van adenomyose, en de juiste classificatie toekennen aan elk nieuw beeld dat het moet analyseren.

Type raamwerk en versie: Google Cloud Vertex AI Vision API V1 als geautomatiseerde machine learning tool en de meest up-to-date versie van Pytorch als deep machine learning raamwerk.

Verwerving van invoergegevens en selectie: De invoergegevens voor het model zullen worden opgehaald uit echografiebeelden van patiënten die tussen februari 2022 en februari 2024 de bovengenoemde vruchtbaarheidscentra hebben bezocht voor echografie en bij wie bij screening van de beelden de diagnose normale baarmoeder en adenomyose werd gesteld. In aanmerking komende echografiebeelden van deelnemers aan de adenomyotische baarmoeder worden geëxtraheerd als tweedimensionale (2D) en/of driedimensionale (3D) beelden nadat de patiëntidentificaties zijn verwijderd. Als een patiënt meer dan één afbeelding heeft van een adenomyotische of normale baarmoeder, worden al deze afbeeldingen opgenomen. Deze beelden zullen door een recensent worden beoordeeld om het risico op vertekening te verminderen en worden geformatteerd om ervoor te zorgen dat ze de adenomyose-echografie bevatten die kenmerkend is voor het beeld. Deze beoordeelde en opgemaakte beelden worden door twee beoordelaars met ervaring in echografische diagnose en classificatie van adenomyose bestempeld als geen, mild, matig en ernstig. Er worden drie sets invoerafbeeldingen geüpload naar het machine learning-framework:

1. Trainingsset: 80% van de beeldgegevens bevindt zich in de trainingsset. Het model ‘ziet’ en leert in eerste instantie van deze gegevens.
2. Validatieset: De validatieset maakt ook deel uit van het trainingsproces, maar wordt apart gehouden om de hyperparameters van het model af te stemmen. 10% van de totale afbeeldingen die afwijken van de trainingsdataset zullen worden gebruikt om de modelstructuur te verfijnen, zodat deze kan beter generaliseren.
3. Testset: De testset komt pas na het trainingsproces op het podium. Het zal worden gebruikt om de prestaties van het model te testen op de gegevens die het nog niet heeft gezien. 10% van het totaal aantal beelden zal gebruikt worden als testset. Niet-gelabelde testbeelden zullen naar het systeem worden geüpload en de prestaties van het kunstmatige-intelligentiemodel (AI) zullen worden vergeleken met de standaard, dat wil zeggen de oorspronkelijke classificatie door de onderzoekers. Het opsplitsen van de totale beeldgegevens in trainingsset, validatieset en testset zal handmatig gebeuren. Omgaan met slechte kwaliteit of niet-beschikbare invoergegevens: deze afbeeldingen worden uitgesloten.

Geschiktheidscriteria:

Inclusie:

A. Deelnemers: Vrouwen die tussen februari 2022 en februari 2024 voor welke indicatie dan ook het hierboven genoemde vruchtbaarheidscentrum bezoeken voor echografie en bij screening van beelden de diagnose normale baarmoeder en adenomyose krijgen.

B. Invoergegevens: Goede kwaliteit en sluitende 2D- en/of 3D-beelden van normale baarmoeder en adenomyotische baarmoeder waarbij de echografische kenmerken van adenomyose duidelijk zichtbaar zijn.

Uitsluiting:

A. Deelnemers: Vrouwen met naast elkaar bestaande enkelvoudige of meervoudige intramurale vleesbomen en afwijkingen aan de endometriumholte.

B. Invoergegevens: Onduidelijke echografie bij beoordeling door de beoordelaar, beelden van slechte kwaliteit waarbij de echo-eigenschappen van adenomyose onduidelijk zijn en beelden die niet in één van de vier categorieën kunnen worden ingedeeld, worden uitgesloten.

Toestemming:

Het onderzoek is puur observationeel en er wordt geen interventie of extra stap uitgevoerd als onderdeel van het onderzoek. Echografiebeelden van de normale en adenomyotische baarmoeder zouden zijn verkregen op het moment dat een vrouw een TVUS had, wat deel uitmaakt van de routinematige klinische praktijk. Omdat het echoapparaat de export van beelden toestaat zonder identificeerbare patiëntinformatie, wordt uit de gegevens (waartoe uitsluitend echografiebeelden behoren) de identificeerbare patiëntinformatie (naam en geboortedatum) verwijderd voordat de gegevens worden geëxtraheerd. Er is verwezen naar de checklist vóór de aanvraag van de NHS Health Research Authority Confidentiality Advisory Group (CAG) om te bepalen of dit project in aanmerking komt om patiëntinformatie zonder toestemming te verwerken. Daarom zal er geen geïnformeerde toestemming worden gevraagd aan de deelnemers aan het onderzoek, aangezien alleen geanonimiseerde gegevens die al beschikbaar zijn, zullen worden gebruikt.

Resultaat en statistische analyse

Primaire uitkomsten: Gemiddelde precisie (positief voorspellende waarde), precisie, herinnering, gebied onder de receiver operating karakteristieke curve (AUC), gevoeligheid, specificiteit en nauwkeurigheid van het model zullen de primaire uitkomsten zijn die van belang zijn voor een geautomatiseerd en diepgaand machine learning-model. Alle analyses zullen worden uitgevoerd met behulp van Stata Statistical Software (Release 18, TX, VS) voor een deep machine learning (ML) raamwerkmodel en met behulp van de geautomatiseerde machine learning-software voor een geautomatiseerd ML-model. Nadat het geautomatiseerde model is getraind, vindt er een gedetailleerde analyse plaats, bestaande uit een samenvatting van de prestaties van het model, die zal worden gerapporteerd (modeluitvoer). Het zal het volgende omvatten:

• Scoredrempel: De scoredrempel verwijst naar het vertrouwensniveau dat het model moet hebben om een ​​categorie aan een testitem toe te wijzen. De schuifregelaar voor de scoredrempel in de Google Cloud-console is een visueel hulpmiddel om het effect van verschillende drempels voor alle categorieën en individuele categorieën in de dataset te testen. Tijdens de evaluatie wordt een scoredrempel gehanteerd die een goed evenwicht biedt tussen valse positieven en valse negatieven.
• Echte positieven, echte negatieven, valse positieven en valse negatieven
• Precisie en herinnering: Van alle testsets met afbeeldingen waaraan een categorie is toegewezen, geeft de precisie aan hoeveel er daadwerkelijk met dat label moesten worden gecategoriseerd, en geeft de herinnering aan hoeveel er daadwerkelijk het label kregen. Het referentiestandaardlabel verwijst naar de categorisering door de onderzoekers.
• Precisie/recall-curven

Secundaire uitkomst: Evaluatie van de interbeoordelaarsovereenkomst tussen twee reviewers bij de echografie van adenomyose met behulp van Fleiss's kappa. K-coëfficiënten die worden gebruikt voor de interpretatie van de mate van overeenstemming zijn: ≤0=slecht, 0,01 tot 0,20=licht, 0,21 tot 0,40=redelijk, 0,41 tot 0,60=matig, 0,61 tot 0,80=substantieel en 0,81 tot 1=bijna perfect .

Gegevensverwerking en bijhouden van gegevens: Gegevens (geanonimiseerde echografiebeelden) worden opgeslagen in de Google Cloud in overeenstemming met de Data Protection Act 2018.

In aanmerking komende echografiebeelden van deelnemers aan de normale en adenomyotische baarmoeder worden geëxtraheerd als 2D- en/of 3D-beelden nadat de patiëntidentificaties zijn verwijderd. Na voltooiing van het onderzoek worden afbeeldingen die zijn opgeslagen op Google Cloud verwijderd.

Kwaliteitscontrole en -borging: de principes van goede klinische praktijken zullen gedurende de gehele duur van het onderzoek worden gevolgd.

Rapportage van bijwerkingen: Gezien de observationele aard van het onderzoek en er geen extra stap betrokken is bij de onderzoeksopzet anders dan TVUS bij baseline, zijn er geen veiligheidsoverwegingen betrokken.

Ethische overwegingen:

Ethische goedkeuring is verkregen van de plaatselijke Institutional Review Board (IRB) en van het onderzoeks- en ontwikkelingsteam van CARE Fertility.

Vertrouwelijkheid en gegevensbescherming: Er zal een uniek beeldidentificatienummer worden gebruikt voor de identificatie van studiedeelnemers. Alle persoonsgegevens die in het onderzoek worden gebruikt, worden verwerkt in overeenstemming met de Wet bescherming persoonsgegevens 2018 en worden als strikt vertrouwelijk beschouwd.

Financiering: De fondsen voor dit project zijn afkomstig van Tommy's National Center for Miscarriage Research, Birmingham, Verenigd Koninkrijk.

Belangenconflicten: Er zijn geen belangenconflicten verbonden aan dit onderzoek.

Wijzigingen: Eventuele wijzigingen in het onderzoeksprotocol of de documentatie worden geïnitieerd door de hoofdonderzoeker. Alle substantiële wijzigingen zullen ter goedkeuring worden voorgelegd aan de IRB, gevolgd door implementatie van de wijzigingen op alle locaties die bij het onderzoek betrokken zijn. Wijzigingen zullen worden gedocumenteerd in de sectie 'Protocolwijziging' van het onderzoeksprotocol.

Einde projectdefinitie: Het verzamelen en voorbereiden van gegevens, training en evaluatie van het model en het schrijven van het manuscript zullen plaatsvinden over een periode van 12 maanden.

Toekomstige studieaspecten: Het langetermijndoel is om dit intern gevalideerde AI-model te analyseren voor externe validatie in externe centra van de National Health Service (NHS) met behulp van het PACS-systeem van gearchiveerde beelden en het te correleren met de histopathologie van hysterectomiespecimens. Dit zou ook een analyse van het klinische nut inhouden door de impact van het model op de besluitvorming en de resultaten te beoordelen. Als de prestaties van het model geschikt zijn in termen van positieve voorspellende waarde, precisie en klinische bruikbaarheid, zal het worden geïmplementeerd voor realtime gebruik met behulp van online voorspellingen. Het model kan worden ingezet voor classificatieverzoeken in de vorm van een online applicatie of als een applicatie geïntegreerd in echografiemachines.

Publicatiebeleid: De resultaten van het onderzoek zullen worden gedeeld via wetenschappelijke en sociale media. De onderzoeksresultaten zullen worden ingediend bij een peer-reviewed tijdschrift op het gebied van gynaecologische echografie (Ultrasound in Obstetrics and Gynecology (UOG)) en digitale gezondheid (The Lancet Digitale Gezondheid). Het manuscript wordt voorbereid door dr. Ishita Mishra en het auteurschap wordt bepaald op basis van de mate waarin het individu bijdraagt ​​aan de studie en het schrijven van het manuscript.