Interpretation der fetalen Echokardiographie durch künstliche Intelligenz (LIFE)

Einführung:

Angeborene Herzfehler (KHK) sind weltweit die am häufigsten anzutreffende fetale Fehlbildung. Die Inzidenz angeborener Herzfehler scheint etwa 1 pro 100 lebend geborene Säuglinge zu betragen und ist bei Säuglingen, die vor der Entbindung sterben, sogar noch höher (1). Die fetale Echokardiographie (FE) hat sich von der reinen Beschreibung der anatomischen Anomalien des Herzens hin zu einer quantitativen Beurteilung seiner Funktion, Dimension und Form entwickelt (2). Derzeit wird die FE während der Untersuchung im zweiten Trimester manuell vom Sonographen durchgeführt. Allerdings weist nur die Hälfte der innerhalb des ersten Lebensjahres operierten Babys einen pränatalen Nachweis auf (3), was die Notwendigkeit einer Verbesserung der fetalen Herzdiagnostik erklärt. Viele Studien zeigten das Vorhandensein einer signifikanten Diskrepanz zwischen der prä- und postnatalen Diagnose der KHK, die durch eine manuell durchgeführte FE erhalten wurde (4, 5).

Intelligente Entscheidungsunterstützungssysteme (ISs) sind Frameworks, die in der Lage sind, Daten zu sammeln und zu analysieren, mit anderen Systemen zu kommunizieren, aus Erfahrungen zu lernen und sich an neue Fälle anzupassen. Technisch gesehen sind IS fortschrittliche Maschinen, die die Umgebung, der sie ausgesetzt waren, mithilfe künstlicher Intelligenz (KI) beobachten und darauf reagieren (6). Dieses Projekt zielt darauf ab, eine gegenseitige Befruchtung von FE und IS zu fördern, die ein enormes Potenzial für die Entwicklung neuer grundlegender Theorien und praktischer Methoden bietet, die über die Grenzen der beteiligten Disziplinen hinausgehen und zu neuen wirkungsvollen Methoden führen, die die medizinische Praxis und Entdeckung unterstützen.

Methoden und Analyse:

Bei der durchzuführenden Studie handelt es sich um eine Querschnittsstudie, die in zwei getrennte Teile unterteilt ist: den Schulungsteil der maschinellen Lernansätze innerhalb des vorgeschlagenen Rahmens und die Testphase an zuvor nicht gesehenen Einzelbildern und schließlich an tatsächlichen Videoscans. Alle schwangeren Frauen im ersten und zweiten Trimester kommen für die Studie infrage. Schwangere werden zu ihrer routinemäßigen Ultraschalluntersuchung und Überwachung aufgenommen, erstmals zwischen der 12-13+6 Schwangerschaftswoche (für den Anomalie-Scan des ersten Trimesters) und / oder zwischen der 18-24 Schwangerschaftswoche (für den Anomalie-Scan des zweiten Trimesters) . Die zweidimensionale Bewertung jedes fetalen Herzens umfasst einen Cine-Loop-Sweep, der aus der Vierkammer-Ansichtsebene erhalten wird, indem der Schallkopf kranial in Richtung des oberen Mediastinums bewegt wird, wodurch die Visualisierung der folgenden Ebenen ermöglicht wird: Vierkammeransicht, links und rechts ventrikuläre Ausflusswege, drei Gefäße und Luftröhrenansicht. Alle von den US-Geräten gespeicherten Videodateien werden in der Cloud gesammelt. Jeder Ultraschalldurchlauf wird von der OB-GYN/Cardio (OBC)-Abteilung in Einzelbilder aufgeteilt. Der Bereich Data Science / IT (DSIT) verarbeitet die Frames zur Einhaltung der Anonymisierungsvorschriften. Zur Identifizierung der Schlüsselmerkmale werden die Rahmen vom OBC in die Klassen gruppiert, die die Ebenenansichten für jedes Trimester darstellen. DSIT wird verschiedene hochmoderne DL-vortrainierte Algorithmen auf dem Datensatz mit Ebenenansichten ausprobieren. Alle neueren DL-Einträge werden auf die aktuellen zwei Szenarien der Schlüsselansichtsidentifikation und der semantischen Segmentierung zugeschnitten und getestet. Ihre Leistungsergebnisse (ihre Vorhersage gegen die vom OBC markierte Ground Truth) werden im Vergleich durch einen statistischen Test analysiert. Das Genauigkeit-Geschwindigkeits-Gleichgewicht wird bei der Rangfolge der Anflüge berücksichtigt, da das System schließlich auf einem Video performt. Sobald ein neues Video in der Praxis verfügbar ist, wird das für die jeweilige Aufgabe ausgewählte Modell das Schlüsselmerkmal oder den segmentierten Bereich auf dem Video hervorheben und auch ein gewisses Maß an Vertrauen in seine Erkennung geben. Die OBC-Ärzte validieren alle Zwischenbefunde auf Frame-Ebene sowie die Aussagekraft der Videokennzeichnung und -segmentierung. Die Ergebnisse des Modells auf den Videos des ersten und zweiten Trimesters desselben Patienten werden verglichen, um die Diskrepanz zu beurteilen.

AI (KÜNSTLICHE INTELLIGENZ) ANALYSE

Datenbankaufbau:

Der Datensatz für die KI-Analyse wird aus Bildern erstellt, die aus Ultraschallscans extrahiert wurden, die in der apikalen Ebene aufgenommen wurden. Folglich wird ein Klassifikationsproblem mit vier Kategorien betrachtet, die den gegebenen Schlüsselansichten entsprechen. Eine zusätzliche Klasse Andere wird bestimmt und mit Bildern von anderen unwichtigen Einzelbildern aus dem Scan gefüllt.

Bildvorverarbeitung für fötale Herzscans:

Der erste Schritt wird durch die Extraktion dargestellt, die durch Umwandeln des Bildes in eine Grauskala und Anwenden eines Schwellenwerts durchgeführt wird. Auf diese Weise wird das Hintergrundrauschen verworfen. Um die kleinen Brücken zwischen dem interessierenden Bereich und anderen Bereichen im Bild zu eliminieren, wird Erosion unter Verwendung eines 10x10-Pixel-Kernels angewendet. Nach der Erosion können neben dem interessierenden Bereich mehrere kleinere "Inseln" im Bild erscheinen. Die Interessenzone hat zwei Eigenschaften, die sie von den übrigen Inseln unterscheiden: Sie bedeckt immer den zentralen Bereich des Bildes und hat die höchste Fläche. Um die nicht relevanten Inseln zu eliminieren, werden zuerst die Punkte identifiziert, die den zentralen Bereich des Bildes bedecken, dann wird der Punkt mit der höchsten Flächenabdeckung ausgewählt. Der erkannte Punkt wird gefüllt, dann wird die Dimension wiederhergestellt, indem ein Dilatationsalgorithmus angewendet wird, der denselben Kernel von 10x10 Pixeln verwendet. Um zu verhindern, dass die feinen Details um die erweiterte Stelle herum verloren gehen, wird ihre konvexe Hülle gezogen und gefüllt. Am Ende wird der erzeugte Punkt als Maske verwendet, um den interessierenden Bereich aus dem Originalbild zu extrahieren.

Experimentelle Ergebnisse:

Drei Varianten der Datenerhebung werden betrachtet: die ursprünglichen doppelseitigen (Standard + Doppler) Proben, die Doppler-Einzelausschnitte und fusionierte Bildpaare von resultierenden Standard- und Doppler-Ausschnitten.

Die ResNet18- und ResNet50-Architekturen mit ähnlichem Aufbau werden nacheinander für jeden Datensatz angewendet, um die Eignung der Vorverarbeitung zu bewerten.

Da die Datensammlungen mit beschnittenen Bildern Repräsentanten aus allen Ausgangsbildern enthalten, haben alle Sets somit die gleiche Anzahl von Items und die gleiche Struktur pro Klasse sowie für die Trainings-, Validierungs- und Testtrennungen. Für eine objektive Bewertung liegen alle Bilder, die von einem Patienten extrahiert werden, innerhalb derselben Trennung des Datensatzes, also Training, Validierung oder Test. Dies tritt auch dann auf, wenn mehrere Videodateien für einen Patienten zu unterschiedlichen Zeitpunkten erstellt wurden (z. Wochen auseinander) rechtzeitig.

Die Bilder werden auf 224 × 224 Pixel verkleinert. Die 1cycle-Richtlinie wird verwendet und die Implementierung erfolgt mithilfe von fastai- und PyTorch-Bibliotheken. Die anfänglichen Modellgewichte werden durch Transferlernen übernommen, wie es auf dem ImageNet-Datensatz vortrainiert wurde. Es werden die Standardoptionen für Datenerweiterungen verwendet. Der Trainingsprozess umfasst 2 Schritte, die jeweils nur 10 Epochen umfassen. Innerhalb der ersten Trainingssitzung werden alle Layer eingefroren, mit Ausnahme der Batch-Normalisierungslayer und des Kopfes des Modells. Seine Wahl steuert, wie die Gewichtungen des Netzwerks in Bezug auf den Verlustgradienten angepasst werden, und die Auswahl eines geeigneten Werts ist wesentlich, um das Modell zu einem lokalen Minimum konvergieren zu lassen und somit eine verbesserte Genauigkeit in einer kleineren Anzahl von Epochen zu erreichen. Die Stapelgröße wird gleich 32 angenommen. Das Modell, das die höchste Genauigkeit der Validierungsdaten erreicht, wird auf das Testset angewendet. Für jede der 2 Architekturen und für jeden separaten Datensatz werden 5 wiederholte Anträge gestellt und die gemeldeten Ergebnisse für jeden Fall werden als Durchschnitt über die 5 Ergebnisse berechnet. Die Läufe werden in Google Colab mit Tesla T4 für die GPU durchgeführt. B. Der erfolgreiche Ansatz der Gradientenklassenaktivierungskarte (Grad-CAM) wird verwendet, um die Entscheidungen des Modells für die Aorta- und andere Kennzeichnung für jeden Datensatz zu skizzieren. Die Diagramme werden aus den 5 Läufen abgeleitet, die für jeden unterschiedlichen Aufbau (Architektur, Datensatz) berechnet werden.