DYNAMIC AI: Innowacje cyfrowe ze zdalnym zarządzaniem i modelowaniem predykcyjnym w celu zintegrowania opieki nad POChP ze spostrzeżeniami opartymi na sztucznej inteligencji: studium dopuszczalności, wykonalności i bezpieczeństwa (DYNAMIC AI)

Kontekst: POChP potrzeba, wyzwanie i szansa.

Przewlekła obturacyjna choroba płuc (POChP) stanowi globalne wyzwanie dla opieki zdrowotnej. Chociaż istnieją różnice w jakości opieki nad pacjentami z POChP, zaostrzenia POChP są odpowiedzialne za dużą część obciążenia chorobą, niepożądanych wyników i kosztów opieki zdrowotnej. Osoby z POChP priorytetowo traktują unikanie zaostrzeń i związanych z nimi hospitalizacji. Karta pacjenta na POChP (marzec 2021 r.) wzywała do proaktywnego, zapobiegawczego postępowania w celu zmniejszenia ryzyka zaostrzeń i przedwczesnej śmierci1. Cyfrowa transformacja ze współprojektowanymi narzędziami cyfrowymi i pojawiającymi się innowacjami, takimi jak czujniki do noszenia i modelowanie predykcyjne oparte na sztucznej inteligencji, oferuje możliwość zaradzenia lukom w jakości opieki nad POChP i osiągnięcia tej reorientacji opieki.

DYNAMICZNY: Transformacja usług cyfrowych NHS GG&C POChP, wdrożenie i dowody.

Program „DYNAMIC” (Digital Innovation with Remote Management and Predictive Modeling to Integrate POChP Care) rozpoczął się w 2018 roku. Opierało się to na partnerstwie innowacyjnym między zespołami ds. medycyny oddechowej NHS GG&C i zespołami ds. innowacji w zachodniej Szkocji oraz z LenusHealth (wówczas StormID). Początkowe finansowanie pochodziło z nagrody katalizatora cyfrowej technologii medycznej od InnovateUK. Późniejsze finansowanie w ramach programu TEC (Technology Enabled Care) rządu szkockiego umożliwiło kontynuację usługi i umożliwienie świadczenia usług na większą skalę.

Naszą wizją było zainicjowanie cyfrowej transformacji usługi POChP poprzez opracowanie, wdrożenie i ocenę wspólnie zaprojektowanych narzędzi cyfrowych. Wspólnie zaprojektowaliśmy aplikacje internetowe dla pacjentów i klinicystów „LenusCOPD” oraz witrynę pomocy technicznej w oparciu o cykle testowania doświadczeń użytkowników. Naszym celem było stworzenie narzędzi, które byłyby trwale wykorzystywane przez pacjentów podczas obserwacji i wspieranie współzarządzania POChP z oczekiwaniem na osiągnięcie zmniejszenia liczby przyjęć z powodu chorób układu oddechowego i dni spędzonych w łóżku w kohorcie wysokiego ryzyka POChP. Dowody zebrano w obserwacyjnym badaniu kohortowym „RECEIVER”, a następnie w ocenie usługi „DYNAMIC-SCOT” na większą skalę.

Kluczowe wyniki z RECEIVER / DYNAMIC-SCOT2:

• Uczestnicy nadal korzystają z aplikacji LenusCOPD dla pacjentów, ze średnio 3,5 interakcjami na osobę tygodniowo utrzymującymi się przez ponad 1 rok po wejściu na pokład.
• Liczba przyjęć do szpitala związanych z POChP i liczba dni spędzonych w łóżku uległy zmniejszeniu po włączeniu LenusCOPD u uczestników z ciężkim zaostrzeniem w wywiadzie w poprzednim roku, z medianą czasu do ponownej hospitalizacji wynoszącą 380 dni w porównaniu z 50 dniami we współczesnej dopasowanej kohorcie pacjentów kontrolnych.
• Mediana czasu do przyjęcia lub zgonu wyniosła 43 dni w grupie kontrolnej, 338 dni w grupie RECEIVER i 400 dni w grupie DYNAMIC-SCOT z ciężkim zaostrzeniem w poprzednim roku.
• 12-miesięczne ryzyko przyjęcia do szpitala lub zgonu wynosiło 74% w grupie kontrolnej, 53% w grupie ODBIORNIKA i 47% w podgrupie DYNAMIC-SCOT.

Te wyniki dotyczące wykonalności i użyteczności wspierają wdrażanie tych narzędzi cyfrowych na większą skalę. Skalowalne świadczenie podstawowej usługi LenusCOPD będzie kontynuowane w NHS GG&C 2022-2024, wspierane przez odnowione fundusze TEC rządu szkockiego. Obecnie około 400 pacjentów zostało włączonych do usługi cyfrowej POChP (marzec 2022), przy czym przewiduje się, że liczba użytkowników wzrośnie, ponieważ LenusCOPD jest używany do wspierania powrotu do zdrowia i reorientacji usług diagnostycznych POChP, regularnych przeglądów i rehabilitacji oddechowej. To ciągłe wdrażanie i nasze partnerstwo w zakresie innowacji zapewnia infrastrukturę testową do wdrażania i oceny dodatkowych innowacji, w tym wglądu w sztuczną inteligencję do wspomagania decyzji MDT, zaproponowanego w tym badaniu klinicznym.

Uzasadnienie: Przeszkolone i zatwierdzone modele przewidywania ryzyka POChP

Wyzwania opisane powyżej stanowiły okazję do wykorzystania sztucznej inteligencji do opracowania modeli przewidywania ryzyka pacjenta. Dane zebrane w ramach usługi wraz z historycznymi danymi Elektronicznej Dokumentacji Medycznej posłużyły do ​​stworzenia zestawu modeli predykcji ryzyka. W celu opracowania każdego modelu podjęto następujące kroki.

• Eksploracja danych — eksploracja danych i wizualizacje w celu identyfikacji cech, błędów i innych problemów ze zbiorami danych.
• Sformułowanie problemu - jak zdefiniować zmienną docelową będącą przedmiotem zainteresowania i jakie podejście do modelowania zastosować.
• Podział danych — zdefiniowanie strategii podziału zbiorów danych, które mają być używane do uczenia, walidacji i testowania.
• Czyszczenie danych i obsługa brakujących danych - identyfikacja błędnych danych, wartości odstających w zbiorze danych oraz definiowanie strategii postępowania z brakującymi danymi (imputacja, wykluczenie, dopuszczenie brakujących wartości).
• Inżynieria cech — proces przekształcania i agregowania nieprzetworzonych danych w funkcje, które mają być używane do szkolenia modeli. Inżynieria cech pozwala na uzyskanie lepszego wglądu w dane.
• Szkolenie modelowe - eksploracja różnych algorytmów uczenia maszynowego i wybór najlepszego kandydata do rozwiązania problemu. Przetworzone funkcje są następnie wykorzystywane do uczenia modeli.
• Walidacja modelu - walidacja i raportowanie wydajności modelu przy użyciu zestawu danych z testu hold-out.
• Wyjaśnialność modelu - wykorzystanie metod innych firm, aby prognozy modelu były jak najbardziej możliwe do interpretacji i wytłumaczenia.
• Uczciwość modelu — badanie wydajności modelu w podgrupach zainteresowania i potencjalne przeszkolenie modelu w celu uwzględnienia wszelkich nierówności.

Aby uzyskać szczegółowe informacje na temat opracowywania modelu, należy zapoznać się z broszurą badacza i raportem dotyczącym zatwierdzenia modelu. Wynikiem każdego z modeli jest liczba reprezentująca prawdopodobieństwo wystąpienia interesującego zdarzenia dla każdego pacjenta.

Interwencja

Wspólnie zaprojektowaliśmy wszystkie elementy wymagane do dostarczania ocen ryzyka opartych na modelu sztucznej inteligencji na żywo dla 12-miesięcznej śmiertelności i 3-miesięcznej ponownej hospitalizacji klinicystom w ramach POChP-MDT. Aby mieć pewność, że badanie AI Insights nie wpłynie na produkcyjną usługę cyfrową POChP, zostanie opracowany osobny pulpit klinicysty, który umożliwi przedstawienie tych przewidywań modelowych. Wynikiem modelu zaostrzeń będzie wiadomość „check-in” wysyłana do pacjentów, podkreślająca, że ​​mogą wprowadzić pewne zmiany w swoich danych, zachęcająca ich do przeglądu planu samodzielnego leczenia i/lub skontaktowania się z zespołem klinicznym w celu uzyskania porady, jeśli zajdzie taka potrzeba. Podsumowano to w tabeli 1, z przykładowym komunikatem zameldowania na rysunku 1.

Wszystkie źródłowe źródła danych wymagane do uruchamiania tych modeli zostały ustanowione w dzierżawie platformy Azure NHS GG&C przy użyciu maszyn wirtualnych Azure Data Science (maszyna wirtualna). Interwencja polega na: -

Proces zgody

Dalsze szczegóły znajdują się w sekcji 10.4 CIP oraz w dokumencie „Standardowa procedura operacyjna dla zgody DYNAMIC-AI”. Witryna pomocy technicznej usługi cyfrowej LenusCOPD https://support.nhscopd.scot zawiera szczegółowe informacje o pacjencie i linki do filmów wyjaśniających, które wspierają proces wyrażania zgody. Informacje o badaniu nie będą dostępne na tej ogólnodostępnej stronie internetowej, dopóki nie zostaną uzyskane wszystkie zgody na badania. Treść internetowa jest dostępna do wglądu przed zatwierdzeniem pod adresem https://support.test.nhscopd.scot/dynamic-ai

Aplikacja LenusCOPD dla pacjentów zawiera ekrany zgody, na których zaproszeni pacjenci mogą przeglądać informacje o badaniu i akceptować, odrzucać lub odraczać zgodę oraz uzyskiwać dostęp do dalszych informacji za pośrednictwem witryny pomocy technicznej lub poprosić o dyskusję z zespołem badawczym. Strona zgody AI wglądu w pulpit klinicysty LenusCOPD zawiera interfejs użytkownika do aktywowania zgody w aplikacji pacjenta, cofania zgody na żądanie pacjenta i sprawdzania statusu zgody.

Potoki danych AI Insights Te oparte na chmurze połączenia cyfrowe pobierają i agregują odpowiednie dane dotyczące zdrowia (dane demograficzne, diagnozy, przyjęcia, recepty, wyniki badań laboratoryjnych) od uczestników, którzy wyrazili na to zgodę. Dane są agregowane, pseudonimizowane i konwertowane do formatów odpowiednich do użytku przez usługę AI Insights. Procesy dostarczania tych danych są zatwierdzone i wspierane przez zespół NHS GG&C SafeHaven, ze standardową procedurą operacyjną.

Potok obsługujący model AI Insights Cyfrowy potok oparty na chmurze pobiera wstępnie przetworzone dane z potoku danych do wykorzystania przez modele uczenia maszynowego, tworząc prognozy modeli i wyjaśnienia dla wyrażających zgodę uczestników do wykorzystania przez aplikację AI Insights Clinician.

Usługa wglądu w sztuczną inteligencję Składa się z funkcji i procesów zaplecza elektronicznego systemu opieki zdrowotnej w chmurze, które otrzymują instrukcje i wykonują działania w celu zapewnienia sprawnego przebiegu interwencji.

Baza danych AI Insights Magazyn danych dla usługi cyfrowej AI Insights. Surowe i podsumowujące dane można eksportować jako raporty wydajności modeli do przeglądu przez analityków danych i liderów klinicznych, do jednostki badań klinicznych w celu niezależnej analizy i długoterminowego przechowywania (zgodnie z dokumentem IRAS).

Aplikacja dla klinicystów AI Insights Aplikacja internetowa, która zapewnia klinicystom pulpity nawigacyjne (rysunek 1 i 2) umożliwiające przeglądanie i eksportowanie list pacjentów oraz przeglądanie wyników modeli uczenia maszynowego, wyjaśnialności i rzetelności danych uzyskanych od uczestników, którzy wyrazili na to zgodę.

CELE STUDIÓW

hipotezy

Pacjenci z POChP uznają to za akceptowalne i wyrażą zgodę na wykorzystanie ich rutynowych danych dotyczących opieki zdrowotnej w celu dostarczenia zespołowi klinicznemu wyników przewidywania ryzyka w oparciu o sztuczną inteligencję, z danymi wykorzystywanymi do ciągłego szkolenia i walidacji modeli.

Technicznie wykonalne i bezpieczne będzie dostarczenie wyników przewidywania ryzyka POChP w 12-miesięcznej śmiertelności na podstawie modelu AI do przeglądu w AI-MDT POChP w aplikacji „Insights AI”.

Główne cele

Określić :

1. akceptacji dla pacjentów z POChP i
2. możliwości techniczne i
3. bezpieczeństwo

prezentowania na żywo opartej na sztucznej inteligencji 12-miesięcznej prognozy ryzyka śmiertelności z aplikacji LenusCOPD AI na spotkaniach interdyscyplinarnych zespołów klinicystów POChP w NHS GG&C.

Podstawowe pomiary wykonalności, dopuszczalności i bezpieczeństwa

Zostaną one przedstawione opisowo, ponieważ nie ma danych pilotażowych, które umożliwiłyby obliczenie mocy lub a priori miernik sukcesu.

1. Ocena dopuszczalności będzie oparta na proporcjach zaproszonych pacjentów, którzy wyrażą zgodę na udział w badaniu DYNAMIC-AI.
2. Oceną wykonalności technicznej będzie odsetek uczestników z odpowiednimi danymi źródłowymi w LenusPOChP, którzy mają obliczone i przedstawione do przeglądu MDT w aplikacji modelowej AI-insights model śmiertelności w ciągu 12 miesięcy.
3. Ocena bezpieczeństwa będzie oparta na wystąpieniu zdarzeń niepożądanych związanych z urządzeniem oraz na podstawie prospektywnej oceny modelowych ocen ryzyka – działań klinicystów na podstawie modelowych ocen ryzyka i kalibracji przewidywanych zdarzeń: zaistniałych zdarzeń.

Cele drugorzędne

Zdobądź szczegółowe doświadczenie w zakresie akceptowalności i technicznej wykonalności dzięki 12-miesięcznemu modelowi przewidywania ryzyka śmiertelności.

Rozszerz zestaw danych do szkolenia i walidacji 3-miesięcznych modeli przewidywania ryzyka związanego z oddychaniem i zaostrzeniami POChP.

Oceń techniczną wykonalność (odsetek uczestników, którzy wyrazili zgodę, z wynikami na żywo w aplikacji modelowej) i opisowe doświadczenie adopcyjne z 3-miesięcznymi modelami przyjęć związanych z oddychaniem i zaostrzeniami POChP, jeśli przegląd danych dotyczących walidacji wykaże, że są one gotowe do przyjęcia klinicznego.

Stwórz wstępny zestaw danych dotyczących doświadczenia i użyteczności na podstawie analiz sztucznej inteligencji na żywo przez multidyscyplinarny zespół POChP.

Wtórne oceny eksploracyjne

Szczegółowe dane dotyczące akceptowalności

Odsetek zaproszonych pacjentów, którzy przejrzeli dodatkowe informacje pomocnicze (materiały wideo i pisemne).

Odsetek zaproszonych pacjentów, którzy wymagają indywidualnego wkładu klinicysty w celu podjęcia decyzji o wyrażeniu zgody, z odnotowanymi tematami z tych dyskusji, w tym wszelkimi rozbieżnościami dotyczącymi dopuszczalności/zgody na badanie i zgody na wykorzystanie danych do szkolenia modelowego.

Szczegółowe dane techniczne dotyczące wykonalności i wydajności modelu

Uchwycone w raportach wydajności modelu. Dane seryjne z całego badania klinicznego, w tym:

• liczby uczestników z brakującymi wynikami modelu i przyczynami (brakujące dane na grupę cech, opóźnienie odświeżania danych, wycofanie się uczestnika, inne).
• metryki wydajności modelu obliczone przy użyciu zestawu danych z testu wstrzymania dla każdego przebiegu modelu, w tym AUC-ROC, AUC z precyzją, raport klasyfikacji i macierz pomyłek.
• Modelowe metryki rzetelności obliczone dla grup zainteresowań.
• Globalna i lokalna wyjaśnialność modelu w celu zilustrowania procesu podejmowania decyzji i biowiarygodności modelu
• Wydajność modelu przewidywania ryzyka w porównaniu ze zdarzeniami uchwyconymi w LenusPOChP (zgon w 12 miesiącu, przyjęcie do szpitala z powodu układu oddechowego, zaostrzenie).
• zmienność dryfu wydajności modelu z eksploracyjną oceną przyczyn (np. brakujące dane zostały rozwiązane, zmiana podstawowych danych źródłowych, zmienność stanu pacjenta) dla wszelkich zidentyfikowanych nieoczekiwanych zmian w wydajności modelu lub indywidualnych ocen ryzyka.

Rozszerz zestaw danych do szkolenia i walidacji 3-miesięcznych modeli przewidywania ryzyka związanego z oddychaniem i zaostrzeniem POChP

Dane będą gromadzone od wyrażających zgodę uczestników. Zaktualizowane raporty dotyczące działania modelu zostaną sprawdzone przez komitet sterujący badania. Jeśli te i tymczasowe analizy z podstawowym punktem końcowym są zadowalające, te modele zostaną dodane do usługi na żywo.

Wstępne doświadczenie i dane użytkowe z MDT wykorzystanie wglądu AI w POChP na żywo Liczba pacjentów omówionych na POChP AI-MDT.

Działania kliniczne podjęte na podstawie przeglądu punktacji ryzyka modelu w MDT, uchwycone w zdarzeniach i notatkach LenusPOChP.

Jeśli model zaostrzenia przyjęty do użytku klinicznego na żywo:

• Liczba komunikatów kontrolnych wywołanych przez wynik wysokiego ryzyka z modelu zaostrzeń — na pacjenta i łącznie dla kohorty przechwyconej w komunikatach LenusCOPD.
• Odsetek uczestników, u których komunikaty kontrolne modelu zaostrzeń są tymczasowo lub na stałe wyłączone, uchwycone w notatkach LenusCOPD.
• Wyniki z wiadomości meldunkowych - pacjent inicjuje kontakt, inne zdarzenie, uchwycone w wiadomościach i notatkach LenusCOPD.

Zdarzenia pacjenta (zgon, przyjęcie do szpitala, zaostrzenie POChP; uchwycone w LenusPOChP) występujące prospektywnie po modelowej ocenie ryzyka. Zwracając uwagę na interweniujący przegląd MDT, komunikaty, działania klinicysty, działania pacjenta wyzwalane przez model w celu ustalenia wstępnych danych z doświadczenia na temat wpływu działań wyzwalanych przewidywaniem ryzyka i ich potencjalnego wpływu na późniejszą dokładność tych przewidywań. Ocena porówna działanie modelu z potencjalnymi zdarzeniami, biorąc pod uwagę pacjentów, u których model wywołał przegląd/działanie, z tymi, którzy tego nie zrobili. Ocena ta zostanie uzupełniona zewnętrznymi retrospektywnymi danymi walidacyjnymi uzyskanymi po przyjęciu usługi zarządzania LenusPOChP w innych radach ds. zdrowia. Wydajność modelu w grupach z interwencją i bez interwencji zostanie również udostępniona zespołowi Data Science, aby umożliwić dalsze udoskonalanie modelu i ponowne szkolenie.

Powiązane oceny W ramach projektu DYNAMIC i ewaluacji próby RECEIVER prowadzony jest ciągły rozwój modeli wglądu w sztuczną inteligencję, aż do momentu rozpoczęcia tego badania. Zewnętrzna walidacja wydajności modelu spostrzeżeń AI zostanie przeprowadzona przy użyciu zdezidentyfikowanej elektronicznej dokumentacji medycznej i danych serwisowych LenusCOPD z organizacji innych niż NHS GG&C. Równolegle będzie kontynuowane wspólne projektowanie, kliniczne doświadczenia użytkowników i testy akceptowalności spostrzeżeń AI. Te oddzielne oceny są poparte wszystkimi odpowiednimi zatwierdzeniami, zarządzaniem i dokumentacją.

PLAN BADANIA

Projekt badania

Niniejsze badanie kliniczne zostanie przeprowadzone zgodnie z brytyjskimi ramami polityki w zakresie badań nad zdrowiem i opieką społeczną (2017).

Jest to obserwacyjne kohortowe badanie skuteczności wdrażania. Tymczasowe oceny skuteczności będą przeprowadzane w 3-miesięcznych odstępach czasu w całym badaniu, a raporty dotyczące głównych punktów końcowych będą przeglądane przez komitet sterujący badania. Wyniki tych ocen śródokresowych mogą skutkować wydaniem zalecenia dotyczącego dostosowania wdrożenia lub interwencji – np. zmiany informacji o zgodzie, aktualizacje techniczne. Proponowane dostosowania strategii wdrażania lub interwencji zostaną rozpatrzone przez komitet zarządzający badaniem, a wszelkie wymagane poprawki do niniejszego CIP i powiązanej dokumentacji badania zostaną przedłożone do rozpatrzenia przez sponsora i REC. Zmiany wdrożeniowe zostaną wprowadzone dopiero po zakończeniu wszystkich przeglądów i uzyskaniu zatwierdzeń. Raport końcowy z badania wyszczególniałby wszelkie zmiany dokonane na podstawie ocen śródokresowych.