Auf künstlicher Intelligenz basierendes maschinelles Lernen zur Diagnose und Klassifizierung von Adenomyose anhand von Ultraschallscans: eine multizentrische Modellentwicklungsstudie

Hintergrund: Adenomyose ist eine gutartige gynäkologische Erkrankung, die durch das Vorhandensein ektopischer Endometriumzellen (Zellen der Gebärmutterschleimhaut) im Myometrium (Muskelschicht der Gebärmutter) gekennzeichnet ist. Obwohl Adenomyose weltweit bei Frauen und Mädchen in allen Lebensphasen, von der Pubertät bis zur Perimenopause, weit verbreitet ist, wird sie nach wie vor unterdiagnostiziert. Frauen mit Adenomyose leiden unter schwächenden Symptomen wie starken Menstruationsblutungen, schmerzhaften Menstruationszyklen, chronischen Unterleibsschmerzen und ungünstigen Schwangerschaftsausgängen, die sich langfristig auf ihre Lebensqualität auswirken.

Die Diagnose und Klassifizierung der Adenomyose ist nicht nur für die Korrelation mit der Schwere der Symptome von entscheidender Bedeutung, sondern auch für die Beratung von Frauen über die Krankheitsprognose, die Art der Behandlung und die langfristigen Auswirkungen der Adenomyose-Ergebnisse. Allerdings ist die Einstufung des Schweregrads nicht nur ein zeitaufwändiger und komplexer Prozess, sondern hängt auch von der Erfahrung des Bedieners ab und ist subjektiv. Es wäre wahrscheinlich von Vorteil, die gleichen Ergebnisse in einem Bruchteil der Zeit mit einer geringeren Voreingenommenheit des Bedieners zu erzielen, unabhängig von der Fachkenntnis des Bedieners.

Bei der Bearbeitung von Bildklassifizierungsaufgaben bietet maschinelles Lernen (ML) ein enormes Potenzial, um medizinisches Fachpersonal dabei zu unterstützen, den Schweregrad der Adenomyose in Sekundenschnelle objektiv zu klassifizieren. Das Deep-Learning-Framework und das automatisierte maschinelle Lerntool sind hochmoderne Werkzeuge für die automatisierte Bildanalyse des transvaginalen Ultraschallscans (TVUS). Es kann mithilfe eines tiefen Architekturmodells abstrakte Merkmale mittlerer bis hoher Ebene, die aus Ultraschallbildern erfasst wurden, direkt verarbeiten und automatisch erlernen, ohne dass Merkmale im Voraus manuell definiert werden müssen. Dies ermöglicht es, das Modell des maschinellen Lernens mit beispielhaft beschrifteten Bildern zur Klassifizierung zu trainieren, zu testen und zu validieren

Das Ziel der Studie besteht darin, die annotierten Ultraschallbilder des normalen Uterus und der Adenomyose unterschiedlicher Schwere zu verwenden, um mithilfe von überwachtem Deep Learning ein neuronales Netzwerk zu trainieren, das vorhersagt, ob ein Eingabebild zu einer der folgenden Klassen gehört: keine, leicht, mittel oder schwere Adenomyose. Dies wird ein neuartiges Projekt sein und könnte Klinikern und Sonographen dabei helfen, den Schweregrad der Adenomyose in Zukunft in Bruchteilen einer Zeit einzustufen.

Ziel: Untersuchung der Verwendung eines Bilderkennungsmodells unter Verwendung von überwachtem Deep Learning mithilfe eines automatisierten Tools für maschinelles Lernen (Vertex AI) und eines Deep-Learning-Frameworks (Pytorch) zur Erstellung eines Algorithmus zur Ultraschallklassifizierung des Schweregrads der Adenomyose.

Studiendesign und -settings:

Art der Studie: Es handelt sich um eine multizentrische beobachtende Kohortenstudie. Für die Protokollentwicklung wurden APPRAISE-AI und Prognosemodell-Risiko-von-Bias-Bewertungstools – Tools für künstliche Intelligenz (PROBAST-AI) herangezogen.

Einstellungen: Die Ultraschallbilder von Patienten mit normalem Uterus und Adenomyose werden von zehn CARE-Fruchtbarkeitszentren im Vereinigten Königreich abgerufen. Dazu würden CARE Fertility-Standorte in Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire und Liverpool gehören.

Population: Die Studienkohorte wird Ultraschallbilder von Patienten umfassen, die zwischen Februar 2022 und Februar 2024 CARE Fertility-Zentren für Ultraschall besucht haben und bei denen anhand der Kriterien der Morphological Uterus Sonographic Assessment (MUSA) beim Screening von Bildern eine normale Gebärmutter und Adenomyose diagnostiziert wurden. Die MUSA-Kriterien beschreiben die Ultraschallmerkmale von Myometrium und Myometriumläsionen unter Verwendung standardisierter Begriffe, Definitionen und Messungen.

Ein zuvor veröffentlichtes schematisches Kartierungssystem für den Schweregrad der Adenomyose wird zur Bestimmung des Schweregrads der Uterusadenomyose bei der Überprüfung von Bildern verwendet. Dies wurde aufgrund der Reproduzierbarkeit, der erheblichen bis nahezu perfekten Übereinstimmungsrate zwischen Beobachtern und der klinischen Korrelation mit der Schwere der Symptome gewählt. Jedem Grad wird eine Bewertung zwischen 1 und 4 zugeordnet und die Summe der Bewertungszahlen wird zur Berechnung der Ausbreitung der Krankheit verwendet: leicht (1–3), mittelschwer (4–6) und schwer (>7). . Dauer: Ultraschall durchgeführt zwischen Februar 2022 und Februar 2024. Stichprobengröße: Die Mindestanzahl an Bildern, die Vertex AI Vision für das Training benötigt, beträgt 100 pro Kategorie. Die Wahrscheinlichkeit, eine Kategorie erfolgreich zu erkennen, steigt mit der Anzahl qualitativ hochwertiger Beispiele für jede Kategorie. Die angestrebte Stichprobengröße zum Testen des Algorithmus zur Klassifizierung von Adenomyose wird jeweils zwischen 1.000 und 10.000 Bildern für keine, leichte, mittelschwere und schwere Adenomyose liegen. Der vollständige Bildsatz wird gleichmäßig auf die Klassifizierungskategorien verteilt. Allerdings ist es möglicherweise nicht möglich, für jede Kategorie eine annähernd gleiche Anzahl an Bildern zu beschaffen. Der komplette Datensatz wird manuell im Verhältnis 9:1 in zwei verschiedene Datensätze aufgeteilt; 90 % der ausgewählten Bilder werden als Trainingsdatensatz (Training + Validierung) und 10 % als Testdatensatz verwendet. Dadurch wird sichergestellt, dass für jede Kategorie ausreichend unterschiedliche und repräsentative Bilder berücksichtigt werden. Der Testdatensatz ist ein unabhängiger Datensatz, der nicht in der Trainingsphase verwendet wird, sondern von derselben Einrichtung wie die in der Trainingsphase verwendeten Daten bezogen wird.

Minimierung der potenziellen Auswirkungen von Verzerrungen: Alle gespeicherten Ultraschallbilder des normalen und adenomyotischen Uterus werden von einem Gutachter mit Erfahrung in der Gynäkologie und Fruchtbarkeitsuntersuchung überprüft, der keine Kenntnis von den Ausgangsmerkmalen der Frauen hat, um Identifizierungs- und Rekrutierungsverzerrungen zu vermeiden. Zwei Gutachter klassifizieren unabhängig voneinander den Schweregrad der Adenomyose anhand von 1000 Bildsätzen in leicht, mittelschwer und schwer, um eine Übereinstimmung herzustellen.

Details zur KI-Software:

Art des maschinellen Lernens Supervised Deep Learning: Beim überwachten Lernen benötigt die Maschine beschriftete Beispiele zum Lernen. Ziel der Studie ist es, einer Maschine beizubringen, unterschiedliche Schweregrade einer mittels Ultraschall diagnostizierten Adenomyose zu erkennen. Als Eingabe werden Ultraschallbilder mit den Bezeichnungen „Keine“, „Leicht“, „Mittel“ und „Schwer“ hochgeladen. Anhand der Beispiele wird der Algorithmus lernen, zu erkennen, was einen normalen Uterus von einer leichten Adenomyose und einen leichten von einem schweren Grad der Adenomyose unterscheidet, und jedem neuen Bild, das analysiert werden soll, die richtige Klassifizierung zuzuweisen.

Art des Frameworks und Version: Google Cloud Vertex AI Vision API V1 als automatisiertes Machine-Learning-Tool und die aktuellste Version von Pytorch als Deep-Machine-Learning-Framework.

Erfassung von Eingabedaten und Auswahl: Eingabedaten für das Modell werden aus Ultraschallbildern von Patienten abgerufen, die zwischen Februar 2022 und Februar 2024 die oben genannten Fruchtbarkeitszentren für Ultraschalluntersuchungen aufgesucht haben und bei denen beim Screening der Bilder eine normale Gebärmutter und Adenomyose diagnostiziert wurden. Geeignete Ultraschallbilder von Teilnehmern am adenomyotischen Uterus werden als zweidimensionale (2D) und/oder dreidimensionale (3D) Bilder extrahiert, nachdem die Patientenidentifikatoren entfernt wurden. Wenn eine Patientin mehr als ein Bild eines adenomyotischen oder normalen Uterus hat, werden alle diese Bilder einbezogen. Diese Bilder werden von einem Gutachter überprüft, um das Risiko einer Verzerrung zu verringern, und formatiert, um sicherzustellen, dass sie die interessierenden Adenomyose-Ultraschallmerkmale im Bild enthalten. Diese überprüften und formatierten Bilder werden von zwei Prüfern mit Erfahrung in der Ultraschalldiagnose und Klassifizierung von Adenomyose als „kein“, „leicht“, „mäßig“ und „schwer“ gekennzeichnet. Drei Sätze von Eingabebildern werden auf das Framework für maschinelles Lernen hochgeladen:

1. Trainingssatz: 80 % der Bilddaten befinden sich im Trainingssatz. Das Modell „sieht“ und lernt zunächst aus diesen Daten.
2. Validierungssatz: Der Validierungssatz ist ebenfalls Teil des Trainingsprozesses, wird jedoch separat gehalten, um die Hyperparameter des Modells abzustimmen. 10 % der Gesamtbilder, die sich vom Trainingsdatensatz unterscheiden, werden verwendet, um die Modellstruktur so zu optimieren, dass sie funktioniert kann besser verallgemeinern.
3. Testsatz: Der Testsatz betritt die Bühne erst nach dem Trainingsprozess. Es wird verwendet, um die Leistung des Modells anhand der Daten zu testen, die es noch nicht gesehen hat. 10 % der Gesamtbilder werden als Testsatz verwendet. Unbeschriftete Testbilder werden in das System hochgeladen und die Leistung des Modells der künstlichen Intelligenz (KI) wird mit dem Standard, d. h. der ursprünglichen Klassifizierung durch die Forscher, verglichen. Die Aufteilung der gesamten Bilddaten in Trainingssatz, Validierungssatz und Testsatz erfolgt manuell. Umgang mit Eingabedaten schlechter Qualität oder nicht verfügbaren Eingabedaten: Diese Bilder werden ausgeschlossen.

Zulassungskriterien:

Aufnahme:

A. Teilnehmer: Frauen, die zwischen Februar 2022 und Februar 2024 das oben genannte Fruchtbarkeitszentrum für Ultraschalluntersuchungen aus jeglicher Indikation aufsuchen und bei der Ultraschallbilduntersuchung eine normale Gebärmutter und eine Adenomyose diagnostiziert wird.

B. Eingabedaten: Gute Qualität und aussagekräftige 2D- und/oder 3D-Bilder des normalen Uterus und des adenomyotischen Uterus, bei denen die Ultraschallmerkmale der Adenomyose deutlich sichtbar sind.

Ausschluss:

A. Teilnehmer: Frauen mit gleichzeitig bestehenden einzelnen oder mehreren intramuralen Myomen und Anomalien der Endometriumhöhle.

B. Eingabedaten: Nicht schlüssiger Ultraschall bei der Beurteilung durch den Gutachter, Bilder von schlechter Qualität, bei denen die Ultraschallmerkmale der Adenomyose unklar sind, und Bilder, die nicht in eine der vier Kategorien eingeteilt werden können, werden ausgeschlossen.

Zustimmung:

Bei der Studie handelt es sich um eine reine Beobachtungsstudie, ohne dass im Rahmen der Studie Interventionen oder zusätzliche Schritte durchgeführt werden. Ultraschallbilder des normalen und adenomyotischen Uterus wurden zum Zeitpunkt einer Frau mit TVUS aufgenommen, was Teil der klinischen Routinepraxis ist. Da das Ultraschallgerät den Export von Bildern ohne patientenidentifizierbare Informationen ermöglicht, werden aus den Daten (die nur Ultraschallbilder umfassen) patientenidentifizierbare Informationen (Name und Geburtsdatum) entfernt, bevor die Daten extrahiert werden. Die Checkliste der Confidentiality Advisory Group (CAG) der NHS Health Research Authority vor der Antragstellung wurde herangezogen, um die Eignung dieses Projekts für die Verarbeitung von Patienteninformationen ohne Einwilligung zu ermitteln. Daher wird von den Studienteilnehmern keine Einwilligung nach Aufklärung eingeholt, da nur bereits verfügbare anonymisierte Daten verwendet werden.

Ergebnis und statistische Analyse

Primäre Ergebnisse: Durchschnittliche Präzision (positiver Vorhersagewert), Präzision, Rückruf, Fläche unter der Receiver Operating Characteristic Curve (AUC), Sensitivität, Spezifität und Genauigkeit des Modells sind die primären Ergebnisse, die für automatisierte und tiefgreifende maschinelle Lernmodelle von Interesse sind. Alle Analysen werden mit der Stata Statistical Software (Release 18, TX, USA) für das Rahmenmodell für tiefes maschinelles Lernen (ML) und mit der Software für automatisiertes maschinelles Lernen für das automatisierte ML-Modell durchgeführt. Nachdem das automatisierte Modell trainiert wurde, erfolgt eine detaillierte Analyse, bestehend aus einer Zusammenfassung der Modellleistung, die gemeldet wird (Modellausgabe). Das wird Folgendes umfassen:

• Bewertungsschwellenwert: Der Bewertungsschwellenwert bezieht sich auf das Maß an Konfidenz, das das Modell haben muss, um einem Testelement eine Kategorie zuzuweisen. Der Schieberegler für den Bewertungsschwellenwert in der Google Cloud-Konsole ist ein visuelles Tool zum Testen der Wirkung verschiedener Schwellenwerte für alle Kategorien und einzelne Kategorien im Datensatz. Bei der Bewertung wird ein Punkteschwellenwert festgelegt, der ein gutes Gleichgewicht zwischen falsch-positiven und falsch-negativen Ergebnissen gewährleistet.
• Echt-Positive, Wahr-Negative, Falsch-Positive und Falsch-Negative
• Präzision und Erinnerung: Von allen Testbildern, denen eine Kategorie zugewiesen wurde, gibt die Präzision an, wie viele tatsächlich mit dieser Bezeichnung kategorisiert werden sollten, und die Erinnerung gibt an, wie vielen tatsächlich die Bezeichnung zugewiesen wurde. Das Referenzstandard-Label bezieht sich auf die Kategorisierung durch die Prüfer.
• Präzisions-/Rückrufkurven

Sekundärer Endpunkt: Bewertung der Interrater-Übereinstimmung zwischen zwei Gutachtern bei der Ultraschallbeurteilung von Adenomyose mittels Fleiss-Kappa. Die zur Interpretation der Stärke der Übereinstimmung verwendeten K-Koeffizienten sind: ≤0 = schlecht, 0,01 bis 0,20 = gering, 0,21 bis 0,40 = mittelmäßig, 0,41 bis 0,60 = mäßig, 0,61 bis 0,80 = erheblich und 0,81 bis 1 = nahezu perfekt .

Datenverarbeitung und Aufzeichnungen: Daten (anonymisierte Ultraschallbilder) werden gemäß dem Datenschutzgesetz von 2018 in der Google Cloud gespeichert.

Geeignete Ultraschallbilder von Teilnehmern mit normalem und adenomyotischem Uterus werden nach Entfernen der Patientenidentifikatoren als 2D- und/oder 3D-Bilder extrahiert. Nach Abschluss der Studie werden die in Google Cloud gespeicherten Bilder gelöscht.

Qualitätskontrolle und -sicherung: Während der gesamten Studiendauer werden die Grundsätze einer guten klinischen Praxis befolgt.

Meldung von unerwünschten Ereignissen: Da es sich bei der Studie um eine Beobachtungsstudie handelt und abgesehen vom Baseline-TVUS kein zusätzlicher Schritt in das Studiendesign einbezogen ist, gibt es keine Sicherheitsbedenken.

Ethische Überlegungen:

Die Ethikgenehmigung wurde vom örtlichen Institutional Review Board (IRB) und vom Forschungs- und Entwicklungsteam von CARE Fertility eingeholt.

Vertraulichkeit und Datenschutz: Zur Identifizierung der Studienteilnehmer wird eine eindeutige Bildidentifikationsnummer verwendet. Alle im Rahmen der Studie verwendeten personenbezogenen Daten werden gemäß dem Datenschutzgesetz 2018 verarbeitet und streng vertraulich behandelt.

Finanzierung: Die Mittel für dieses Projekt stammen vom Tommy's National Centre for Miscarriage Research, Birmingham, Vereinigtes Königreich.

Interessenkonflikte: Mit dieser Studie sind keine Interessenkonflikte verbunden.

Änderungen: Alle Änderungen des Studienprotokolls oder der Dokumentation werden vom Chefermittler veranlasst. Alle wesentlichen Änderungen werden dem IRB zur Genehmigung vorgelegt, gefolgt von der Umsetzung der Änderungen an allen an der Studie beteiligten Standorten. Änderungen werden im Abschnitt „Protokolländerung“ des Studienprotokolls dokumentiert.

Ende der Projektdefinition: Die Datenerfassung und -vorbereitung, die Schulung und Bewertung des Modells sowie das Verfassen eines Manuskripts erfolgen über einen Zeitraum von 12 Monaten.

Zukünftige Studienaspekte: Das langfristige Ziel besteht darin, dieses intern validierte KI-Modell für die externe Validierung in externen Zentren des National Health Service (NHS) mithilfe des PACS-Systems archivierter Bilder zu analysieren und es mit der Histopathologie von Hysterektomieproben zu korrelieren. Dies würde auch eine Analyse des klinischen Nutzens umfassen, indem die Auswirkungen des Modells auf die Entscheidungsfindung und die Ergebnisse bewertet werden. Wenn die Leistung des Modells im Hinblick auf positiven Vorhersagewert, Präzision und klinischen Nutzen angemessen ist, wird es für die Echtzeitnutzung mittels Online-Vorhersage implementiert. Das Modell kann für Klassifizierungsanfragen in Form einer Online-Anwendung oder als in Ultraschallgeräte integrierte Anwendung eingesetzt werden.

Veröffentlichungsrichtlinie: Die Ergebnisse der Studie werden über wissenschaftliche und soziale Medien verbreitet. Die Studienergebnisse werden an eine von Experten begutachtete Zeitschrift im Bereich gynäkologischer Ultraschall (Ultrasound in Obstetrics and Gynecology (UOG)) und digitale Gesundheit (The Lancet Digital Health). Das Manuskript wird von Dr. Ishita Mishra erstellt und die Urheberschaft wird entsprechend dem Grad des individuellen Beitrags zum Studium und Verfassen des Manuskripts bestimmt.