Strojové učení založené na umělé inteligenci k diagnostice a klasifikaci adenomyózy z ultrazvukových skenů: multicentrická modelová vývojová studie

Východiska: Adenomyóza je benigní gynekologický stav charakterizovaný přítomností ektopických endometriálních buněk (buňky výstelky dělohy) v myometriu (svalové vrstvě dělohy). Globálně, ačkoli adenomyóza převládá u žen a dívek ve všech fázích života, počínaje dospívajícími až po perimenopauzu, zůstává nedostatečně diagnostikována. Ženy s adenomyózou pociťují oslabující příznaky silného menstruačního krvácení, bolestivé menstruační cykly, chronickou pánevní bolest a nepříznivé výsledky těhotenství, které mají dlouhodobý dopad na kvalitu jejich života.

Diagnóza a klasifikace adenomyózy je nezbytná nejen pro korelaci se závažností symptomů, ale také pro poradenství ženám ohledně prognózy onemocnění, typu léčby a dlouhodobého dopadu výsledků adenomyózy. Klasifikace závažnosti je však nejen časově náročný a složitý proces, ale závisí také na zkušenostech operátora a je subjektivní. Dosažení stejných výsledků za zlomek času se sníženou zaujatostí operátora nezávisle na odbornosti operátora by bylo pravděpodobně prospěšné.

Při řešení úloh klasifikace snímků má strojové učení (ML) obrovský potenciál pomoci zdravotnickým pracovníkům objektivně klasifikovat závažnost adenomyózy během několika sekund. Rámec hlubokého učení a nástroj pro automatické strojové učení jsou nejmodernější nástroje pro analýzu obrazu pomocí automatizovaného transvaginálního ultrazvukového skenování (TVUS). Dokáže přímo zpracovávat a automaticky se učit abstraktní prvky střední až vysoké úrovně získané z ultrazvukových snímků pomocí modelu hluboké architektury, aniž by bylo nutné předem ručně definovat vlastnosti. To umožňuje trénovat, testovat a ověřovat model strojového učení pomocí příkladů označených obrázků pro klasifikaci

Cílem studie je použít anotované ultrazvukové snímky normální dělohy a adenomyózy různé závažnosti k trénování neuronové sítě pomocí řízeného hlubokého učení, které předpovídá, zda vstupní snímek patří do jedné z následujících tříd: žádný, mírný, střední nebo těžká adenomyóza. Půjde o nový projekt a může v budoucnu podpořit klinické lékaře a sonografy při hodnocení závažnosti adenomyózy ve zlomku času.

Cíl: Prozkoumat využití modelu rozpoznávání obrazu využívajícího supervidované hluboké učení prostřednictvím nástroje automatického strojového učení (Vertex AI) a rámce hlubokého učení (Pytorch) pro vytvoření algoritmu pro ultrazvukovou klasifikaci závažnosti adenomyózy.

Návrh a nastavení studie:

Typ studie: Půjde o multicentrickou observační kohortovou studii. APPRAISE-AI a Prediction model Risk Of Bias Assessment Tool - Nástroje umělé inteligence (PROBAST-AI) byly použity pro vývoj protokolů.

Nastavení: Ultrazvukové snímky pacientek s normální dělohou a adenomyózou budou získány z deseti center pro plodnost CARE ve Spojeném království. To by zahrnovalo střediska CARE Fertility v Birminghamu, Tamworthu, Nottinghamu, Northamptonu, Sheffieldu, Leedsu, Manchesteru, Boltonu, Cheshire a Liverpoolu.

Populace: Studijní kohorta bude obsahovat ultrazvukové snímky pacientek, které navštěvovaly CARE Fertility centra pro ultrazvuk mezi únorem 2022 až únorem 2024 a byla u nich diagnostikována normální děloha a adenomyóza pomocí kritérií Morphological Uterus Sonographic Assessment (MUSA) při screeningu snímků. Kritéria MUSA nastiňují ultrazvukové rysy myometria a myometriálních lézí pomocí standardizovaných termínů, definic a měření.

Dříve publikovaný schematický mapovací systém závažnosti adenomyózy bude použit pro stanovení závažnosti děložní adenomyózy na základě přehledu snímků. Toto bylo zvoleno kvůli reprodukovatelnosti, podstatné až téměř dokonalé míře shody mezi pozorovateli a klinické korelaci se závažností symptomů. Každému stupni se přiřadí skóre v rozsahu od 1 do 4 a součet čísel skóre se použije k výpočtu rozšíření onemocnění: mírné (1-3), střední (4-6) a těžké (>7). . Trvání: Ultrazvuk prováděný od února 2022 do února 2024 Velikost vzorku: Minimální počet snímků požadovaný Vertex AI Vision pro trénink je 100 na kategorii. Pravděpodobnost úspěšného rozpoznání kategorie se zvyšuje s počtem vysoce kvalitních příkladů pro každou z nich. Cílová velikost vzorku pro testování algoritmu pro klasifikaci adenomyózy bude mezi 1000–10 000 snímky, každý pro žádnou, mírnou, střední a těžkou adenomyózu. Kompletní sada obrázků bude rovnoměrně rozdělena mezi klasifikační kategorie; nemusí však být možné získat přibližně stejný počet obrázků pro každou kategorii. Kompletní datová sada bude ručně rozdělena do dvou různých datových sad v poměru 9:1; 90 % vybraných snímků bude použito jako tréninkový datový soubor (trénink + validace) a 10 % jako testovací datový soubor. To zajistí odpovídající zahrnutí různorodých a reprezentativních obrázků pro každou kategorii. Testovací datový soubor bude nezávislý datový soubor, který se nepoužívá ve fázi školení, ale bude získán ze stejného zařízení jako data použitá ve fázi školení.

Minimalizace potenciálního dopadu zkreslení: Všechny uložené ultrazvukové snímky normální a adenomyotické dělohy budou podrobeny screeningu recenzentem se zkušenostmi v gynekologickém skenování a skenování plodnosti, který bude zaslepený vůči základním charakteristikám žen, aby se zabránilo zkreslení identifikace a náboru. Dva recenzenti nezávisle klasifikují závažnost adenomyózy na mírnou, střední a závažnou pro 1000 sad snímků, aby byla stanovena konkordance.

Podrobnosti o softwaru AI:

Typ strojového učení Hluboké učení pod dohledem: Při učení pod dohledem potřebuje stroj k učení označené příklady. Cílem studie je naučit stroj rozpoznávat různou závažnost ultrazvukem diagnostikované adenomyózy. Jako vstup budou odeslány snímky ultrazvukového skenování označené jako „Žádné“, „Mírné“, „Střední“ a „Závažné“. Prostudováním příkladů se algoritmus naučí rozpoznat, co odlišuje normální dělohu od mírné adenomyózy a mírného od těžkého stupně adenomyózy, a přiřadit správnou klasifikaci každému novému snímku, který má analyzovat.

Typ rámce a verze: Google Cloud Vertex AI Vision API V1 jako nástroj pro automatické strojové učení a nejaktuálnější verze Pytorch jako rámec hlubokého strojového učení.

Získávání vstupních dat a výběr: Vstupní data do modelu budou získána z ultrazvukových snímků pacientek, které v období od února 2022 do února 2024 navštěvovaly ultrazvuk ve výše uvedených centrech fertility a na screeningu snímků jim byla diagnostikována normální děloha a adenomyóza. Vhodné ultrazvukové snímky účastnic adenomyotické dělohy budou extrahovány jako dvourozměrné (2D) a/nebo trojrozměrné (3D) snímky po odstranění identifikátorů pacientky. Pokud má pacientka více než jeden snímek adenomyotické nebo normální dělohy, budou zahrnuty všechny tyto snímky. Tyto snímky budou zkontrolovány recenzentem, aby se snížilo riziko zkreslení, a naformátovány tak, aby bylo zajištěno, že obsahují ultrazvukovou charakteristiku adenomyózy, která je na snímku zajímavá. Tyto zkontrolované a formátované snímky budou označeny jako žádné, mírné, střední a závažné dvěma recenzenty se zkušenostmi v ultrazvukové diagnostice a klasifikaci adenomyózy. Do rámce strojového učení budou nahrány tři sady vstupních obrázků:

1. Tréninková sada: 80 % obrazových dat bude v trénovací sadě. Model „vidí“ a zpočátku se z těchto dat učí.
2. Validační sada: Validační sada je také součástí trénovacího procesu, ale je uchovávána odděleně, aby se ladily hyperparametry modelu. 10 % z celkových obrázků odlišných od trénovací datové sady bude použito k doladění struktury modelu tak, aby lze lépe zobecnit.
3. Testovací souprava: Testovací souprava vstupuje do fáze až po tréninkovém procesu. Bude sloužit k testování výkonu modelu na datech, která ještě neviděl. 10 % z celkového počtu snímků bude použito jako testovací sada. Neoznačené testovací snímky budou nahrány do systému a výkon modelu umělé inteligence (AI) bude porovnán se standardem, tj. původní klasifikací vyšetřovatelů. Rozdělení celkových obrazových dat do tréninkové sady, validační sady a testovací sady bude provedeno ručně. Zpracování nekvalitních nebo nedostupných vstupních dat: Tyto obrázky budou vyloučeny.

Kritéria způsobilosti:

Zařazení:

A. Účastníci: Ženy navštěvující výše uvedené centrum pro plodnost na ultrazvuk mezi únorem 2022 až únorem 2024 z jakékoli indikace a jsou diagnostikovány s normální dělohou a adenomyózou na ultrazvuku při screeningu snímků.

B. Vstupní data: Dobrá kvalita a průkazné 2D a/nebo 3D snímky normální dělohy a adenomyotické dělohy, kde jsou jasně viditelné ultrazvukové charakteristiky adenomyózy.

Vyloučení:

A. Účastníci: Ženy s koexistujícími jednoduchými nebo vícenásobnými intramurálními fibroidy a abnormalitami endometriální dutiny.

B. Vstupní údaje: Neprůkazné ultrazvukové vyšetření při hodnocení recenzentem, nekvalitní snímky s nejasnými ultrazvukovými charakteristikami adenomyózy a snímky, které nelze zařadit do jedné ze čtyř kategorií, budou vyloučeny.

Souhlas:

Studie je čistě observační a jako součást studie není prováděn žádný zásah nebo další krok. Ultrazvukové snímky normální a adenomyotické dělohy by byly získány v době, kdy ženy měly TVUS, což je součást rutinní klinické praxe. Vzhledem k tomu, že ultrazvukový přístroj umožňuje export snímků bez identifikovatelných informací o pacientovi, data (která zahrnují pouze ultrazvukové snímky) budou mít před extrakcí dat odstraněny informace o pacientovi (jméno a datum narození). Kontrolní seznam před podáním žádosti úřadu NHS Health Research Authority Confidentiality Advisory Group (CAG) byl předložen k určení způsobilosti tohoto projektu ke zpracování informací o pacientech bez souhlasu. Od účastníků studie tedy nebude vyžadován žádný informovaný souhlas, protože budou použita pouze anonymizovaná data, která jsou již k dispozici.

Výsledky a statistická analýza

Primární výsledky: Průměrná přesnost (kladná prediktivní hodnota), přesnost, vybavování, plocha pod křivkou provozní charakteristiky přijímače (AUC), citlivost, specifičnost a přesnost modelu budou primárními výsledky zájmu pro automatizovaný a hluboký model strojového učení. Všechny analýzy budou provedeny pomocí Stata Statistical Software (vydání 18, TX, USA) pro model rámce hlubokého strojového učení (ML) a pomocí softwaru pro automatizované strojové učení pro automatizovaný model ML. Po natrénování automatizovaného modelu následuje podrobná analýza sestávající ze shrnutí výkonu modelu, který bude reportován (výstup modelu). Bude obsahovat následující:

• Práh skóre: Práh skóre odkazuje na úroveň spolehlivosti, kterou model musí mít, aby přiřadil kategorii k testované položce. Posuvník prahu skóre v konzoli Google Cloud je vizuální nástroj k testování účinku různých prahových hodnot pro všechny kategorie a jednotlivé kategorie v datové sadě. Během hodnocení bude přijata prahová hodnota skóre, která poskytuje dobrou rovnováhu mezi falešně pozitivními a falešně negativními výsledky.
• Skutečně pozitivní, pravdivé negativní, falešně pozitivní a falešně negativní
• Přesnost a zapamatování: Ze všech testovacích sad obrázků, kterým byla přiřazena kategorie, přesnost udává, kolik skutečně mělo být kategorizováno tímto štítkem, a vyvolání udává, kolik z nich bylo skutečně označeno. Označení referenčního standardu odkazuje na kategorizaci podle výzkumníků.
• Křivky přesnosti/vyvolání

Sekundární výstup: Hodnocení shody mezi dvěma recenzenty při ultrazvukovém hodnocení adenomyózy pomocí Fleissovy kappa. K-koeficienty použité pro interpretaci síly shody budou: ≤0=špatná, 0,01 až 0,20=malá, 0,21 až 0,40=správná, 0,41 až 0,60=střední, 0,61 až 0,80=podstatná a 0,81 až 1= .

Manipulace s daty a uchovávání záznamů: Data (De-identified Ultrasound images) budou uložena v Google Cloud v souladu se zákonem o ochraně dat z roku 2018.

Vhodné ultrazvukové snímky normálních a adenomyotických účastnic dělohy budou extrahovány jako 2D a/nebo 3D snímky po odstranění identifikátorů pacientky. Po dokončení studie budou snímky uložené ve službě Google Cloud smazány.

Kontrola a zajištění kvality: Po celou dobu trvání studie budou dodržovány zásady správné klinické praxe.

Hlášení nežádoucích příhod: Vzhledem k observační povaze studie a žádnému dalšímu kroku zahrnutému do návrhu studie kromě výchozího TVUS nejsou zahrnuta žádná bezpečnostní hlediska.

Etická hlediska:

Etický souhlas byl získán od místní Institutional Review Board (IRB) a od výzkumného a vývojového týmu CARE Fertility.

Důvěrnost a ochrana dat: Pro identifikaci účastníků studie bude použito jedinečné identifikační číslo snímku. Veškeré osobní údaje použité ve studii budou zpracovány v souladu se zákonem o ochraně osobních údajů z roku 2018 a budou považovány za přísně důvěrné.

Financování: Finanční prostředky na tento projekt byly získány z Tommy's National Center for Miscarriage Research, Birmingham, Spojené království.

Střet zájmů: S touto studií nejsou spojeny žádné střety zájmů.

Změny: Jakékoli změny protokolu studie nebo dokumentace budou iniciovány hlavním zkoušejícím. Všechny podstatné změny budou předloženy IRB ke schválení a následně budou provedeny změny ve všech lokalitách zahrnutých do studie. Změny budou zdokumentovány v části protokolu studie „Dodatek protokolu“.

Konec definice projektu: Shromažďování a příprava dat, školení a hodnocení modelu a psaní rukopisu bude probíhat po dobu 12 měsíců.

Aspekty budoucí studie: Dlouhodobým cílem je analyzovat tento interně validovaný model AI pro externí validaci v externích centrech Národní zdravotní služby (NHS) pomocí systému PACS archivovaných snímků a korelovat jej s histopatologií vzorků po hysterektomii. To by také zahrnovalo analýzu klinické užitečnosti posouzením dopadu modelu na rozhodování a výsledky. Pokud je výkon modelu vhodný z hlediska pozitivní prediktivní hodnoty, přesnosti a klinické užitečnosti, bude implementován pro použití v reálném čase pomocí online predikce. Model může být nasazen pro klasifikační požadavky ve formě online aplikace nebo jako aplikace integrovaná do ultrazvukových přístrojů.

Publikační politika: Výsledky studie budou sdíleny prostřednictvím vědeckých a sociálních médií, Výsledky studie budou předloženy recenzovanému časopisu v oboru gynekologického ultrazvuku (Ultrasound in Obstetrics and Gynecology (UOG)) a digitálního zdraví (The Lancet Digital Health). Rukopis připraví Dr. Ishita Mishra a autorství bude určeno podle míry přispění jednotlivce ke studiu a psaní rukopisu.