Validierung der klinischen Anpassungsfähigkeit des Foundation-Modells für die neuroimaging-basierte Diagnose

Neurologische Störungen stellen eine ernsthafte Bedrohung für die menschliche Gesundheit dar und verursachen eine erhebliche sozioökonomische Belastung. Bildgebende Untersuchungen, einschließlich CT und MRT, spielen eine unverzichtbare Rolle bei der Krankheitsfrüherkennung, nicht-invasiven Diagnostik und der Entscheidungsfindung zur Behandlung. Künstliche Intelligenz (KI)-Werkzeuge haben vielversprechende klinische Anwendungsaussichten gezeigt, um die Produktivität von Radiologen zu steigern und die Wartezeiten der Patienten zu verkürzen, insbesondere in kritischen Versorgungssituationen und medizinisch unterversorgten Regionen. Obwohl KI-Werkzeuge, die auf Grundlagenmodellen trainiert sind, eine zuverlässige Generalisierung aufweisen und sich an komplexe klinische Szenarien anpassen können sollten, fehlt es aktuellen KI-Systemen oft an robuster Validierung in der klinischen Praxis.

Angesichts der wachsenden Anforderungen an die Präzisionsmedizin und der Flut an medizinischen Bilddaten sind klinische Studien unerlässlich, um die diagnostische Wirksamkeit von KI-unterstützten Systemen und ihre Anwendbarkeit in breiteren klinischen Umgebungen zu validieren. Basierend auf einem multidisziplinären Team (das Expertise in KI, Radiologie, Notfallmedizin, Neurologie und Pathologie vereint) und früheren Forschungserfahrungen hat diese Studie ein umfassendes und robustes Forschungsprotokoll entwickelt, um die Zuverlässigkeit der Studie zu gewährleisten und letztlich die klinische Translation zu erleichtern.

Diese Studie geht von der Hypothese aus, dass die Arbeitsleistung der Radiologen, die mit dem Neuroimaging-Grundlagenmodell für Hirn-CT und MRT zusammenarbeiten, nicht schlechter ist als die derjenigen, die eigenständig arbeiten. Für die sekundären Endpunkte untersuchen wir die Leistung der KI-Radiologen-Kollaboration von KI-Werkzeugen in der realen klinischen Umgebung. Die klinische Studie umfasst drei Teilstudien:

1. Identifizierung abnormer Fälle Hirnscans, einschließlich normaler und aller neurologischen Erkrankungen auf CT und MRT, wurden zufällig zwei Gruppen von Radiologen zugewiesen, um sie mit oder ohne vorhergesagte Kennzeichnung durch das KI-unterstützte System als normale oder abnormale Fälle zu klassifizieren. Vergleich der Sensitivität, Spezifität und Effizienz von Radiologen, die mit KI zusammenarbeiten oder eigenständig arbeiten.
2. Studie zur Identifizierung kritischer Werte Die Studie umfasste eine prospektive, randomisierte Auswahl von Notfall-CT-Daten aus einem Zeitfenster von 1 bis 3 Tagen. Die Leistung der drei Paradigmen – nur Mensch, nur KI und Mensch+KI – wurde separat basierend auf der diagnostischen Genauigkeit, Zeit-Effizienz und der kritischen Metrik der Vorlaufzeit bei der Identifizierung dringender Befunde bewertet, wenn KI integriert wurde, im Vergleich zu nur Mensch.
3. Krankheitsklassifikationsexperiment Ein prospektiv ausgewählter Datensatz aus einem bestimmten Zeitraum, der sowohl CT- als auch MRT-Untersuchungen umfasste, wurde genutzt. Das Experiment vergleicht die Leistung von drei diagnostischen Ansätzen: Nur menschliche Interpretation, nur KI-Analyse und menschlich-KI-kollaborative Interpretation. Teil I: Aufgabenbearbeitungszeit, diagnostische Genauigkeit und diagnostische Trefferquote (für Fälle mit mehreren Kennzeichnungen) wurden berechnet und zwischen den drei Methoden wie folgt verglichen: (1) Radiologen wählen unabhängig bereitgestellte Krankheitsvorlagen für die Berichterstellung aus und nutzen sie, dann extrahieren sie Diagnosekennzeichnungen aus den Berichten; (2) Radiologen erstellen Berichte während sie Bilder betrachten, unterstützt durch KI-generierte Kategoriekennzeichnungen und KI-zugewiesene Berichtsvorlagen basierend auf dem "Midnights"-Hauptklassifikationssystem; (3) KI generiert automatisch den vollständigen Bericht und Klassifikationskennzeichnungen. Teil II: Die ursprünglich berichterstattenden Radiologen wurden zurückgerufen, um die Studien neu zu interpretieren, und diese Neubewertung wurde mit Unterstützung von KI-generierten Kennzeichnungen und passenden Vorlagen durchgeführt. Teil III: Unter Nutzung der Klassifikationsfähigkeiten eines großen Sprachmodells/Grundlagenmodells wurde das System auf mehreren externen Testdatensätzen mit großen Stichproben evaluiert, um Genauigkeit und Verarbeitungszeit zu messen. Zusätzlich wurde eine randomisierte Teilmenge von Fällen aus verschiedenen Kategorien für die Bewertung durch Neuroradiologen ausgewählt, um die Rate verpasster und fehlerhafter Diagnosen zu berechnen.