DYNAMISCHE KI: Digitale Innovation mit Fernverwaltung und prädiktiver Modellierung zur Integration der COPD-Versorgung mit auf künstlicher Intelligenz basierenden Erkenntnissen: Eine Studie zu Akzeptanz, Machbarkeit und Sicherheit (DYNAMIC AI)

Hintergrund: COPD-Bedarf, Herausforderung und Chance.

Die chronisch obstruktive Lungenerkrankung (COPD) ist eine globale Herausforderung für die Gesundheitsversorgung. Während im gesamten Kontinuum der COPD-Patienten Lücken in der Versorgungsqualität bestehen, sind COPD-Exazerbationen für einen großen Teil der Krankheitslast, der unerwünschten Folgen und der Gesundheitskosten verantwortlich. Menschen mit COPD legen Wert darauf, Exazerbationen und daraus resultierende Krankenhausaufenthalte zu vermeiden. Die Patientencharta für COPD (März 2021) fordert eine proaktive, präventive Behandlung, um das Risiko von Exazerbationen und vorzeitigem Tod zu verringern1. Die digitale Transformation mit gemeinsam entwickelten digitalen Tools und neuen Innovationen wie tragbaren Sensoren und KI-basierter prädiktiver Modellierung bietet die Möglichkeit, diese Lücken in der COPD-Versorgungsqualität zu schließen und diese Neuausrichtung der Versorgung zu erreichen.

DYNAMISCH: Transformation, Implementierung und Evidenz digitaler COPD-Dienste des NHS GG&C.

Das Programm „DYNAMIC“ (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) startete 2018. Dies basierte auf einer Innovationspartnerschaft zwischen den Innovationsteams von NHS GG&C Respiratory Medicine und West of Scotland sowie mit LenusHealth (damals StormID). Die anfängliche Finanzierung erfolgte durch einen Katalysatorpreis für digitale Gesundheitstechnologie von InnovateUK. Die anschließende Finanzierung durch das Technology Enabled Care (TEC)-Programm der schottischen Regierung hat den Dienst fortgesetzt und eine Ausweitung der Bereitstellung ermöglicht.

Unsere Vision war es, die digitale Transformation eines COPD-Dienstes durch die Entwicklung, Implementierung und Evaluierung gemeinsam konzipierter digitaler Tools einzuleiten. Wir haben die „LenusCOPD“-Webanwendungen für Patienten und Kliniker sowie die Support-Website mitgestaltet, die auf Zyklen von Benutzererfahrungstests basieren. Unser Ziel war es, Instrumente zu etablieren, die von Patienten während der Nachsorge nachhaltig genutzt werden können, und das COPD-Co-Management zu unterstützen, mit der Erwartung, in einer COPD-Hochrisikokohorte eine Reduzierung der Einweisungen im Zusammenhang mit Atemwegsinfektionen und der belegten Tage im Bett zu erreichen. Beweise wurden in der Beobachtungskohortenstudie „RECEIVER“ und anschließend in der Scale-up-Servicebewertung „DYNAMIC-SCOT“ gesammelt.

Wichtigste Ergebnisse von RECEIVER / DYNAMIC-SCOT2:

• Die Teilnehmer nutzen weiterhin die LenusCOPD-Patienten-App mit durchschnittlich 3,5 Interaktionen pro Person und Woche, die länger als ein Jahr nach dem Onboarding andauern.
• COPD-bedingte Krankenhauseinweisungen und belegte Betttage wurden nach der Einführung von LenusCOPD bei Teilnehmern mit einer schweren Exazerbation in der Vorgeschichte im Vorjahr reduziert, wobei die mittlere Zeit bis zur Wiedereinweisung 380 Tage betrug, verglichen mit 50 Tagen in einer zeitgenössischen entsprechenden Kontrollpatientenkohorte.
• Die mittlere Zeit bis zur Aufnahme oder zum Tod betrug 43 Tage bei Kontrollpatienten, 338 Tage bei RECEIVER-Teilnehmern und 400 Tage bei DYNAMIC-SCOT-Teilnehmern mit einer schweren Exazerbation im Vorjahr.
• Das 12-Monats-Risiko einer Aufnahme oder eines Todes betrug 74 % bei den Kontrollpatienten, 53 % bei RECEIVER und 47 % bei den Teilnehmern der DYNAMIC-SCOT-Subkohorte.

Diese Machbarkeits- und Nutzenergebnisse unterstützen die groß angelegte Einführung dieser digitalen Tools. Die erweiterte Bereitstellung des LenusCOPD-Kerndienstes wird im NHS GG&C 2022–2024 fortgesetzt, unterstützt durch erneuerte TEC-Mittel der schottischen Regierung. Derzeit haben etwa 400 Patienten den digitalen COPD-Dienst in Anspruch genommen (März 2022), wobei die Zahl der Nutzer voraussichtlich steigen wird, da LenusCOPD zur Unterstützung der Genesung und Neuausrichtung der COPD-Diagnose, regelmäßigen Überprüfungen und Lungenrehabilitationsdienste eingesetzt wird. Diese kontinuierliche Einführung und unsere Innovationspartnerschaft bieten die Testinfrastruktur für die Implementierung und Bewertung zusätzlicher Innovationen, einschließlich der in dieser klinischen Untersuchung vorgeschlagenen Erkenntnisse der künstlichen Intelligenz für die MDT-Entscheidungsunterstützung.

Begründung: Trainierte und validierte COPD-Risikovorhersagemodelle

Die oben beschriebenen Herausforderungen boten die Möglichkeit, mithilfe von KI Modelle zur Vorhersage des Patientenrisikos zu entwickeln. Die im Rahmen des Dienstes gesammelten Daten wurden zusammen mit historischen Daten aus elektronischen Gesundheitsakten verwendet, um eine Reihe von Risikovorhersagemodellen zu erstellen. Zur Entwicklung jedes Modells wurden die folgenden Schritte unternommen.

• Datenexploration – Datenexploration und Visualisierungen zur Identifizierung von Merkmalen, Verzerrungen und anderen Problemen mit den Datensätzen.
• Problemformulierung – wie definiert man die interessierende Zielvariable und welcher Modellierungsansatz soll verwendet werden?
• Datenaufteilung – Definieren der Strategie für die Aufteilung der Datensätze, die für Training, Validierung und Tests verwendet werden sollen.
• Datenbereinigung und Umgang mit fehlenden Daten – Identifizierung fehlerhafter Daten und Ausreißer im Datensatz und Definition einer Strategie für den Umgang mit fehlenden Daten (Imputation, Ausschluss, Zulassen fehlender Werte).
• Feature Engineering – Der Prozess der Umwandlung und Aggregation der Rohdaten in Features, die für das Modelltraining verwendet werden. Feature Engineering ermöglicht es, aus den Daten umfassendere Erkenntnisse zu gewinnen.
• Modelltraining – Erkundung verschiedener Algorithmen für maschinelles Lernen und Auswahl des besten Kandidaten für das jeweilige Problem. Die verarbeiteten Merkmale werden dann für das Modelltraining verwendet.
• Modellvalidierung – Validierung und Berichterstattung über die Modellleistung mithilfe des Hold-out-Testdatensatzes.
• Modellerklärbarkeit – Verwendung von Methoden Dritter, um die Modellvorhersagen so interpretierbar und erklärbar wie möglich zu machen.
• Modellgerechtigkeit – Untersuchung der Modellleistung bei interessierenden Untergruppen und mögliche Neuschulung des Modells, um etwaige Ungleichheiten zu berücksichtigen.

Ausführliche Informationen zur Modellentwicklung finden Sie in der Prüferbroschüre und im Modellgenehmigungsbericht. Die Ausgabe für jedes der Modelle ist eine Zahl, die die Wahrscheinlichkeit angibt, mit der das gewünschte Ereignis für jeden Patienten eintritt.

Intervention

Wir haben alle Komponenten mitentwickelt, die erforderlich sind, um Ärzten im Rahmen einer COPD-MDT Live-Risikoscores für die 12-Monats-Mortalität und die 3-Monats-Wiederaufnahme auf der Grundlage eines KI-Modells bereitzustellen. Um sicherzustellen, dass der digitale COPD-Produktionsdienst nicht durch die AI Insights-Studie beeinträchtigt wird, wird ein separates Kliniker-Dashboard entwickelt, um diese Modellvorhersagen anzuzeigen. Das Ergebnis des Exazerbationsmodells ist eine „Check-in“-Nachricht, die an die Patienten gesendet wird und darauf hinweist, dass sich ihre Daten möglicherweise geändert haben. Sie werden aufgefordert, ihren Selbstmanagementplan zu überprüfen und/oder sich bei Bedarf an das klinische Team zu wenden, um Rat einzuholen. Dies ist in Tabelle 1 zusammengefasst, mit der Beispiel-Check-in-Nachricht in Abbildung 1.

Alle zum Ausführen dieser Modelle erforderlichen Quelldatenfeeds wurden im NHS GG&C Azure-Mandanten mithilfe von Azure Data Science-VMs (Virtual Machine) eingerichtet. Die Intervention besteht aus: -

Einwilligungsprozess

Weitere Einzelheiten finden Sie im CIP-Abschnitt 10.4 und im Dokument „Standard Operating Procedure for DYNAMIC-AI Consent“. Die Support-Website für digitale LenusCOPD-Dienste https://support.nhscopd.scot Bietet detaillierte Patienteninformationen und Links zu Erklärungsvideos, die den Einwilligungsprozess unterstützen. Studieninformationen werden auf dieser Open-Access-Website erst verfügbar sein, wenn alle Studiengenehmigungen vorliegen. Der Webinhalt kann vor der Genehmigung unter https://support.test.nhscopd.scot/dynamic-ai überprüft werden

Die LenusCOPD-Patienten-App enthält die Einwilligungsbildschirme, auf denen eingeladene Patienten Informationen über die Studie einsehen und ihre Einwilligung akzeptieren, ablehnen oder zurückstellen und über die Support-Website auf weitere Informationen zugreifen oder eine Diskussion mit dem Studienteam anfordern können. Die Einwilligungsseite des LenusCOPD-Klinik-Dashboards AI Insights enthält die Benutzeroberfläche zum Aktivieren der Einwilligung in der Patienten-App, zum Widerrufen der Einwilligung auf Anfrage des Patienten und zum Überprüfen des Einwilligungsstatus.

Datenpipelines für KI-Erkenntnisse Diese cloudbasierten digitalen Verbindungen erfassen und aggregieren relevante Gesundheitsaktendaten (Demografie, Diagnosen, Aufnahmen, Verschreibungen, Laborergebnisse) von eingewilligten Teilnehmern. Die Daten werden aggregiert, pseudonymisiert und in geeignete Formate zur Nutzung durch den AI Insights-Dienst umgewandelt. Die Prozesse zur Bereitstellung dieser Daten werden vom NHS GG&C SafeHaven-Team mit einer Standardarbeitsanweisung genehmigt und unterstützt.

AI Insights-Modellbereitstellungspipeline Die cloudbasierte digitale Pipeline erfasst die vorverarbeiteten Daten aus der Datenpipeline zur Verwendung durch die Modelle für maschinelles Lernen und erstellt Modellvorhersagen und Erklärbarkeit für einwilligende Teilnehmer zur Verwendung durch die AI Insights Clinician App.

AI-Insights-Dienst Dieser besteht aus Cloud-basierten Back-End-Funktionen und -Prozessen des elektronischen Gesundheitssystems, die Anweisungen empfangen und Aktionen ausführen, um den reibungslosen Ablauf der Intervention sicherzustellen.

AI Insights-Datenbank Der Datenspeicher für den digitalen Dienst AI Insights. Roh- und Zusammenfassungsdaten können als Modellleistungsberichte zur Überprüfung durch Datenwissenschaftler und klinische Leiter, zur klinischen Studieneinheit zur unabhängigen Analyse und zur langfristigen Aufbewahrung (gemäß IRAS-Dokument) exportiert werden.

AI Insights Clinician App Die Webanwendung, die Ärzten klinische Dashboards (Abbildung 1 und 2) zur Verfügung stellt, um Patientenlisten anzuzeigen und zu exportieren und die Ergebnisse des maschinellen Lernmodells sowie Erklärbarkeits- und Fairnessdaten von eingewilligten Teilnehmern zu überprüfen.

LERNZIELE

Hypothesen

Patienten mit COPD werden es akzeptabel finden und damit einverstanden sein, ihre routinemäßigen Gesundheitsdaten zu verwenden, um ihrem klinischen Team KI-Erkenntnisse zur Risikovorhersage bereitzustellen, wobei die Daten für das laufende Modelltraining und die Validierung verwendet werden.

Es wird technisch machbar und sicher sein, aus einem KI-Modell abgeleitete 12-Monats-COPD-Risikovorhersagewerte für die Mortalität zur Überprüfung im COPD AI-MDT innerhalb der Anwendung „AI Insights“ bereitzustellen.

Hauptziele

Bestimmen :

1. die Akzeptanz für Patienten mit COPD und
2. technische Machbarkeit und
3. Sicherheit

der Live-Präsentation des auf künstlicher Intelligenz basierenden 12-Monats-Mortalitätsrisiko-Vorhersage-Scores aus der LenusCOPD AI Insights-Anwendung bei multidisziplinären Teambesprechungen von COPD-Ärzten im NHS GG&C.

Primäre Machbarkeits-, Akzeptanz- und Sicherheitsmessungen

Diese werden deskriptiv gemeldet, da keine Pilotdaten vorliegen, die eine Leistungsberechnung oder eine A-priori-Erfolgsmetrik ermöglichen könnten.

1. Die Bewertung der Akzeptanz basiert auf dem Anteil der eingeladenen Patienten, die der Teilnahme an der DYNAMIC-AI-Studie zustimmen.
2. Die Bewertung der technischen Machbarkeit erfolgt anhand des Anteils der Teilnehmer mit ausreichenden Quelldaten in LenusCOPD, deren 12-Monats-Mortalitätsmodell-Risikoscores berechnet und zur MDT-Überprüfung in der AI-Insights-Modell-App präsentiert werden.
3. Die Bewertung der Sicherheit basiert auf dem Auftreten von gerätebezogenen unerwünschten Ereignissen und auf der prospektiven Bewertung von Modellrisikobewertungen – Maßnahmen von Ärzten basierend auf Modellrisikobewertungen und Kalibrierung vorhergesagter Ereignisse: eingetretene Ereignisse.

Sekundäre Ziele

Sammeln Sie detaillierte Erfahrungen zur Akzeptanz und technischen Machbarkeit mit dem 12-Monats-Modell zur Vorhersage des Sterblichkeitsrisikos.

Erweitern Sie den Datensatz für das Training und die Validierung von 3-monatigen Modellen zur Vorhersage des respiratorischen Aufnahme- und COPD-Exazerbationsrisikos.

Bewerten Sie die technische Machbarkeit (Anteil der einwilligenden Teilnehmer mit Live-Scores in der Modell-App) und deskriptive Einführungserfahrung mit 3-monatigen Atemwegsaufnahme- und COPD-Exazerbationsmodellen, wenn die Überprüfung der Validierungsleistungsdaten zeigt, dass diese für die klinische Einführung bereit sind.

Erstellen Sie einen vorläufigen Erfahrungs- und Nutzendatensatz aus der Nutzung von Live-KI-Erkenntnissen durch ein multidisziplinäres COPD-Team.

Sekundäre explorative Auswertungen

Detaillierte Akzeptanzdaten

Anteil der eingeladenen Patienten, die zusätzliche unterstützende Informationen (Video und schriftliche Materialien) überprüft haben.

Anteil der eingeladenen Patienten, die eine individuelle Eingabe des Arztes benötigen, um ihre Einwilligungsentscheidung zu treffen, wobei Themen aus diesen Diskussionen erwähnt werden, einschließlich etwaiger Abweichungen hinsichtlich der Akzeptanz/Einwilligung für die Studie und der Einwilligung zur Verwendung von Daten für das Modelltraining.

Detaillierte technische Machbarkeits- und Modellleistungsdaten

Wird in Modellleistungsberichten erfasst. Serielle Daten aus der gesamten klinischen Untersuchung, einschließlich:

• Anzahl der Teilnehmer mit fehlenden Modellbewertungen und Gründen (fehlende Daten pro Merkmalsgruppe, Latenz der Datenaktualisierung, Teilnehmerrückzug usw.).
• Modellleistungsmetriken, die anhand des Hold-out-Testdatensatzes für jeden Modelllauf berechnet werden, einschließlich AUC-ROC, Precision-Recall-AUC, Klassifizierungsbericht und Verwirrungsmatrix.
• Für Interessengruppen berechnete Modellgerechtigkeitsmetriken.
• Globale und lokale Erklärbarkeit des Modells zur Veranschaulichung der Entscheidungsfindung und Bioplausibilität des Modells
• Leistung der Modellrisikovorhersage im Vergleich zu den in LenusCOPD erfassten Ereignissen (Tod nach 12 Monaten, respiratorische Krankenhauseinweisung, Exazerbation).
• Driftvariabilität in der Modellleistung mit explorativer Bewertung der Gründe (z. B. fehlende Daten behoben, Änderung der zugrunde liegenden Quelldaten, Zustand des Patienten schwankt) für alle identifizierten unerwarteten Änderungen der Modellleistung oder der individuellen Risikobewertungen.

Erweitern Sie den Datensatz für das Training und die Validierung von 3-monatigen Modellen zur Vorhersage des respiratorischen Krankenhauseinweisungs- und COPD-Exazerbationsrisikos

Es werden Daten von einwilligenden Teilnehmern erhoben. Aktualisierte Modellleistungsberichte werden vom Lenkungsausschuss der Studie überprüft. Wenn diese und Zwischenanalysen mit primärem Endpunkt zufriedenstellend sind, werden diese Modelle dem Live-Dienst hinzugefügt.

Vorläufige Erfahrungen und Nutzendaten aus der MDT-Nutzung von Live-COPD-KI-Erkenntnissen. Anzahl der bei COPD AI-MDT besprochenen Patienten.

Klinische Maßnahmen aus der Überprüfung des Modellrisikoscores in MDT, erfasst in LenusCOPD-Ereignissen und -Notizen.

Wenn das Exazerbationsmodell für den klinischen Live-Einsatz übernommen wird:

• Anzahl der Check-in-Nachrichten, die durch den hohen Risikowert des Exazerbationsmodells ausgelöst wurden – pro Patient und insgesamt für die in LenusCOPD-Nachrichten erfasste Kohorte.
• Anteil der Teilnehmer, bei denen die Meldungen zum Einchecken des Exazerbationsmodells vorübergehend oder dauerhaft deaktiviert sind, erfasst in LenusCOPD-Notizen.
• Ergebnisse von Check-in-Nachrichten – Patient initiiert Kontakt, andere Ereignisse, erfasst in LenusCOPD-Nachrichten und Notizen.

Patientenereignisse (Tod, Krankenhauseinweisung, COPD-Exazerbation; erfasst in LenusCOPD), wie sie prospektiv nach dem Modellrisikoscore auftreten. Beachten Sie die dazwischenliegende MDT-Überprüfung, Nachrichtenübermittlung, Maßnahmen des Klinikers und durch das Modell ausgelöste Patientenaktionen, um vorläufige Erfahrungsdaten über die Auswirkungen von durch Risikovorhersagen ausgelösten Aktionen und deren potenziellen Einfluss auf die spätere Genauigkeit dieser Vorhersagen zu ermitteln. Bei der Auswertung wird die Modellleistung mit potenziellen Ereignissen verglichen, wobei Patienten, bei denen eine durch das Modell ausgelöste Überprüfung/Aktion erfolgte, im Vergleich zu Patienten, bei denen dies nicht der Fall war, berücksichtigt werden. Diese Bewertung wird durch externe retrospektive Validierungsdaten ergänzt, die durch die Einführung des LenusCOPD-Managementdienstes in anderen Gesundheitsbehörden gewonnen wurden. Die Modellleistung der Gruppen mit und ohne Intervention wird auch mit dem Data Science-Team geteilt, um weitere Modellverfeinerungen und Umschulungen zu ermöglichen.

Zugehörige Bewertungen Die Weiterentwicklung von KI-Erkenntnismodellen bis zum Beginn dieser Untersuchung erfolgt im Rahmen des DYNAMIC-Projekts und der RECEIVER-Studienbewertungen. Die externe Validierung der Modellleistung der KI-Erkenntnisse wird anhand anonymisierter elektronischer Gesundheitsakten und LenusCOPD-Dienstdaten von anderen Organisationen als NHS GG&C durchgeführt. Co-Design, klinische Benutzererfahrung und Akzeptanztests von KI-Erkenntnissen werden parallel fortgesetzt. Diese separaten Bewertungen werden durch alle entsprechenden Genehmigungen, Governance und Dokumentation unterstützt.

Untersuchungsplan

Studiendesign

Diese klinische Untersuchung wird gemäß dem UK Policy Framework for Health and Social Care Research (2017) durchgeführt.

Hierbei handelt es sich um eine beobachtende Kohorten-Implementierungswirksamkeitsstudie. Während der gesamten Studie werden in dreimonatigen Abständen vorläufige Wirksamkeitsbewertungen durchgeführt, wobei über die primären Endpunkte berichtet wird, die vom Lenkungsausschuss der Studie überprüft werden. Ergebnisse dieser Zwischenevaluationen können eine Empfehlung zur Anpassung der Umsetzung oder Intervention auslösen – z.B. Änderungen der Einwilligungsinformationen, technische Updates. Vorgeschlagene Anpassungen der Implementierungsstrategie oder Intervention würden vom Studienmanagementausschuss geprüft, wobei alle erforderlichen Änderungen an diesem CIP und der zugehörigen Studiendokumentation dem Sponsor und der REC zur Prüfung vorgelegt würden. Implementierungsänderungen würden erst vorgenommen, wenn alle Überprüfungen abgeschlossen und Genehmigungen eingeholt seien. Der Abschlussbericht der Studie würde alle Änderungen detailliert beschreiben, die auf der Grundlage der Zwischenbewertungen vorgenommen wurden.