DYNAMIC AI: Digitální inovace se vzdálenou správou a prediktivním modelováním k integraci péče o CHOPN s pohledy na základě umělé inteligence: Studie přijatelnosti, proveditelnosti a bezpečnosti (DYNAMIC AI)

Pozadí: Potřeba, výzva a příležitost CHOPN.

Chronická obstrukční plicní nemoc (CHOPN) je celosvětovou výzvou v oblasti zdravotnictví. Zatímco v rámci celého kontinua pacientů s CHOPN existují rozdíly v kvalitě péče, exacerbace CHOPN jsou zodpovědné za velkou část zátěže onemocněním, nepříznivých výsledků a nákladů na zdravotní péči. Lidé s CHOPN upřednostňují předcházení exacerbacím a následným hospitalizacím. Charta pacientů pro CHOPN (březen 2021) požadovala proaktivní, preventivní léčbu s cílem snížit riziko exacerbací a předčasné smrti1. Digitální transformace se společně navrženými digitálními nástroji a novými inovacemi, jako jsou nositelné senzory a prediktivní modelování založené na umělé inteligenci, nabízí příležitost vyřešit tyto nedostatky v kvalitě péče o CHOPN a dosáhnout této nové orientace péče.

DYNAMIC: Transformace, implementace a evidence digitálních služeb NHS GG&C CHOPN.

Program „DYNAMIC“ (digitální inovace se vzdálenou správou a prediktivním modelováním pro integraci péče o CHOPN) byl zahájen v roce 2018. To bylo založeno na inovačním partnerství mezi respirační medicínou NHS GG&C a inovačními týmy Západního Skotska a s LenusHealth (tehdy StormID). Počáteční financování bylo z ceny katalyzátoru digitální zdravotnické technologie od InnovateUK. Následné financování programu Skotské vlády Technology Enabled Care (TEC) pokračovalo ve službě a umožnilo poskytování škálovatelných služeb.

Naší vizí bylo zahájit digitální transformaci služby CHOPN s vývojem, implementací a hodnocením společně navržených digitálních nástrojů. Společně jsme navrhli webové aplikace pro pacienty a lékaře LenusCOPD a webové stránky podpory založené na cyklech testování uživatelské zkušenosti. Zaměřili jsme se na vytvoření nástrojů, které by pacienti udržitelně využívali během sledování, a na podporu společného managementu CHOPN s očekáváním dosažení snížení počtu hospitalizací souvisejících s dýcháním a obsazených lůžek u vysoce rizikové kohorty CHOPN. Důkazy byly shromážděny v observační kohortové studii „RECEIVER“ a následně v škálovaném hodnocení služby „DYNAMIC-SCOT“.

Klíčové výsledky z RECEIVER / DYNAMIC-SCOT2:

• Účastníci pokračují v používání pacientské aplikace LenusCOPD, přičemž průměrně 3,5 interakcí na osobu za týden trvá déle než 1 rok po nástupu.
• Počet hospitalizací související s CHOPN a počet obsazených lůžek se po nástupu LenusCOPD snížil u účastníků s anamnézou těžké exacerbace v předchozím roce, s mediánem doby do opětovného přijetí 380 dnů ve srovnání s 50 dny v současné odpovídající kontrolní kohortě pacientů.
• Medián doby do přijetí nebo úmrtí byl 43 dní u kontroly, 338 dní u RECEIVER a 400 dní u účastníků DYNAMIC-SCOT s těžkou exacerbací v předchozím roce.
• 12měsíční riziko přijetí nebo úmrtí bylo 74 % u kontrolních pacientů, 53 % u RECEIVER a 47 % u účastníků subkohorty DYNAMIC-SCOT.

Tyto výsledky proveditelnosti a užitečnosti podporují rozšíření těchto digitálních nástrojů. Rozšířené poskytování základní služby LenusCOPD bude pokračovat v NHS GG&C 2022–2024, podporované obnoveným financováním TEC skotské vlády. V současné době je do digitální služby CHOPN (březen 2022) připojeno přibližně 400 pacientů, přičemž se očekává, že počet uživatelů poroste, protože LenusCOPD se používá k podpoře obnovy a přeorientování diagnostických, pravidelných kontrol a služeb plicní rehabilitace CHOPN. Toto pokračující přijímání a naše inovační partnerství poskytuje infrastrukturu testovacího lůžka pro implementaci a hodnocení dalších inovací, včetně náhledů umělé inteligence pro podporu rozhodování MDT navržených v tomto klinickém výzkumu.

Odůvodnění: Trénované a ověřené modely predikce rizika CHOPN

Výzvy nastíněné výše představovaly příležitost využít AI k vývoji modelů predikce rizik pro pacienty. Data shromážděná v rámci služby spolu s historickými daty elektronických zdravotních záznamů byla použita k vytvoření sady modelů predikce rizik. Při vývoji každého modelu byly podniknuty následující kroky.

• Průzkum dat – průzkum dat a vizualizace k identifikaci funkcí, zkreslení a dalších problémů s datovými sadami.
• Formulace problému - jak definovat cílovou proměnnou zájmu a jaký přístup k modelování použít.
• Rozdělení dat – definování strategie pro rozdělení datových sad, které mají být použity pro školení, ověřování a testování.
• Čištění dat a manipulace s chybějícími daty – identifikace chybných dat, odlehlých hodnot v datové sadě a definování strategie pro řešení chybějících dat (imputace, vyloučení, povolení chybějících hodnot).
• Feature Engineering – proces transformace a agregace nezpracovaných dat do funkcí, které se použijí pro trénování modelu. Funkce umožňuje získat z dat lepší přehled.
• Trénink modelu – zkoumání různých algoritmů strojového učení a výběr nejlepšího kandidáta pro daný problém. Zpracované vlastnosti se pak použijí pro trénování modelu.
• Validace modelu – validace a vykazování výkonu modelu pomocí datového souboru výdržného testu.
• Vysvětlitelnost modelu – použití metod třetích stran, aby byly předpovědi modelu co nejlépe interpretovatelné a vysvětlitelné.
• Spravedlivost modelu – zkoumání výkonnosti modelu na zájmových podskupinách a potenciální přetrénování modelu, aby se zohlednily případné nerovnosti.

Úplné podrobnosti o vývoji modelu naleznete v brožuře zkoušejícího a ve zprávě o schválení modelu. Výstupem pro každý z modelů je číslo reprezentující pravděpodobnost, že u každého pacienta nastane událost zájmu.

Zásah

Společně jsme navrhli všechny komponenty potřebné k poskytování rizikového skóre založeného na živém modelu umělé inteligence pro 12měsíční mortalitu a 3měsíční opětovné přijetí ke klinickým lékařům v rámci CHOPN-MDT. Aby bylo zajištěno, že produkční digitální služba CHOPN nebude ovlivněna studií AI Insights, bude vyvinut samostatný panel klinického lékaře, který tyto modelové předpovědi zpřístupní. Výstupem modelu exacerbace bude „check-in“ zpráva zaslaná pacientům, zdůrazňující, že mají nějaké možné změny ve svých datech, která je vyzve, aby přezkoumali svůj plán sebeřízení a/nebo kontaktovali klinický tým s žádostí o radu, pokud je to nutné. To je shrnuto v tabulce 1 s příkladem zprávy pro přihlášení na obrázku 1.

Všechny zdroje zdrojových dat potřebné ke spuštění těchto modelů byly vytvořeny v pronájmu Azure NHS GG&C pomocí virtuálních počítačů Azure Data Science (Virtual Machine). Intervence se skládá z: -

Proces souhlasu

Další podrobnosti jsou v CIP části 10.4 a v dokumentu „Standardní provozní postup pro souhlas DYNAMIC-AI“. Web podpory digitálních služeb LenusCOPD https://support.nhscopd.scot poskytuje podrobné informace o pacientovi a odkazy na vysvětlující videa, která podporují proces souhlasu. Informace o studii nebudou na této webové stránce s otevřeným přístupem zveřejněny, dokud nebudou získána všechna schválení studie. Webový obsah je k dispozici ke kontrole před schválením na https://support.test.nhscopd.scot/dynamic-ai

Pacientská aplikace LenusCOPD obsahuje obrazovky se souhlasem, kde mohou pozvaní pacienti zobrazit informace o studii a přijmout, odmítnout nebo odložit souhlas a získat přístup k dalším informacím prostřednictvím webové stránky podpory nebo požádat o diskusi se studijním týmem. Stránka souhlasu s AI statistikami klinického panelu LenusCOPD obsahuje uživatelské rozhraní pro aktivaci souhlasu v aplikaci pro pacienta, odvolání souhlasu na žádost pacienta a kontrolu stavu souhlasu.

Datové kanály AI insights Tato cloudová digitální připojení zpracovávají a agregují relevantní data zdravotních záznamů (demografie, diagnózy, přijetí, předepisování, laboratorní výsledky) od schválených účastníků. Data jsou agregována, pseudonymizována a převedena do vhodných formátů pro použití službou AI insights. Procesy poskytování těchto údajů jsou schváleny a podporovány týmem NHS GG&C SafeHaven se standardním operačním postupem.

Potrubí pro obsluhu modelu AI insights Cloudový digitální kanál zpracovává předem zpracovaná data z datového kanálu pro použití v modelech strojového učení, vytváří předpovědi modelů a vysvětluje je pro souhlasné účastníky pro použití aplikací AI Insights Clinician App.

Služba AI insights Skládá se z cloudových back-endových funkcí a procesů elektronického zdravotního systému, které přijímají pokyny a provádějí akce k zajištění hladkého průběhu zásahu.

Databáze AI insights Úložiště dat pro digitální službu AI Insights. Nezpracovaná a souhrnná data lze exportovat jako modelové zprávy o výkonu pro přezkoumání vědci o údajích a klinickými vedoucími, do jednotky klinických studií pro nezávislou analýzu a pro dlouhodobé uchování (podle dokumentu IRAS).

Aplikace AI insights pro lékaře Webová aplikace, která lékařům poskytuje klinické řídicí panely (obrázek 1 a 2) k zobrazení a exportu seznamů pacientů a ke kontrole výsledků modelu strojového učení, dat vysvětlitelnosti a spravedlnosti od souhlasných účastníků.

STUDIJNÍ CÍLE

Hypotézy

Pacienti s CHOPN budou považovat za přijatelné a budou souhlasit s používáním svých rutinních údajů o zdravotní péči k tomu, aby svému klinickému týmu poskytli skóre predikce rizika AI s údaji používanými pro průběžné školení a ověřování modelů.

Bude technicky proveditelné a bezpečné poskytnout 12měsíční skóre predikce rizika CHOPN odvozené z AI modelu pro přezkoumání v COPD AI-MDT v aplikaci „AI insights“.

Primární cíle

Chcete-li určit:

1. přijatelnosti pro pacienty s CHOPN a
2. technická proveditelnost a
3. bezpečnost

prezentace živého 12měsíčního skóre predikce rizika úmrtnosti založené na umělé inteligenci z aplikace LenusCOPD AI insights na setkáních multidisciplinárních týmů lékařů s CHOPN v NHS GG&C.

Primární měření proveditelnosti, přijatelnosti a bezpečnosti

Ty budou hlášeny popisně, protože neexistují žádná pilotní data, která by informovala o výpočtu výkonu nebo apriorní metrice úspěšnosti.

1. Hodnocení přijatelnosti bude založeno na podílu pozvaných pacientů, kteří souhlasí s účastí ve studii DYNAMIC-AI.
2. Hodnocení technické proveditelnosti bude poměrem účastníků s adekvátními zdrojovými údaji v LenusCOPD, kteří mají 12měsíční skóre rizika modelu úmrtnosti vypočítané a prezentované pro přezkoumání MDT v aplikaci modelu AI-insights.
3. Hodnocení bezpečnosti bude založeno na výskytu nežádoucích příhod souvisejících se zařízením az prospektivního hodnocení modelových rizikových skóre - akcí klinických lékařů na základě modelových rizikových skóre a kalibrace předpokládaných příhod: nastalých příhod.

Sekundární cíle

Získejte podrobné zkušenosti s přijatelností a technickou proveditelností s 12měsíčním modelem predikce rizika úmrtnosti.

Rozšiřte soubor dat pro školení a validaci modelů předpovědi rizika 3měsíčního příjmu souvisejícího s dýcháním a exacerbace CHOPN.

Vyhodnoťte technickou proveditelnost (podíl schválených účastníků s živými skóre v modelové aplikaci) a popisné zkušenosti s adopcí s modely 3měsíčního příjmu souvisejícího s dýcháním a modely exacerbace CHOPN, pokud kontrola údajů o výkonu ověření naznačuje, že jsou připraveny ke klinickému přijetí.

Vytvořte si předběžný soubor dat o zkušenostech a užitných vlastnostech z používání živých náhledů AI multidisciplinárním týmem CHOPN.

Sekundární průzkumná hodnocení

Podrobné údaje o přijatelnosti

Podíl pozvaných pacientů, kteří si přečetli další podpůrné informace (video a písemné materiály).

Podíl pozvaných pacientů, kteří vyžadují individuální vstup od klinického lékaře k informování o svém rozhodnutí o souhlasu, se zaznamenanými tématy z těchto diskusí včetně jakýchkoli rozdílů v přijatelnosti/souhlasu se studií a souhlasu s použitím dat pro modelový trénink.

Podrobné údaje o technické proveditelnosti a výkonu modelu

Zachyceno ve zprávách výkonu modelu. Sériová data v rámci klinických zkoušek včetně:

• počet účastníků s chybějícími modelovými skóre a důvody (chybějící data na skupinu funkcí, latence obnovy dat, stažení účastníka, jiné).
• metriky výkonnosti modelu vypočítané pomocí datového souboru výdržného testu pro každý běh modelu včetně AUC-ROC, přesnosti vyvolání AUC, klasifikační zprávy a matoucí matice.
• Modelové metriky spravedlnosti vypočítané pro zájmové skupiny.
• Globální a místní vysvětlitelnost modelu pro ilustraci rozhodování o modelu a biologické věrohodnosti
• Provedení modelové predikce rizika ve srovnání s událostmi zachycenými v LenusCOPD (smrt ve 12 měsících, hospitalizace související s dýcháním, exacerbace).
• variabilita driftu ve výkonu modelu s průzkumným vyhodnocením důvodů (např. chybějící data vyřešena, změna podkladových zdrojových dat, kolísání stavu pacienta) pro jakékoli identifikované neočekávané změny ve výkonnosti modelu nebo skóre jednotlivých rizik.

Rozšiřte datovou sadu pro školení a validaci 3měsíčních modelů předpovědi rizik spojených s respiračním příjmem a exacerbací CHOPN

Údaje budou shromažďovány od souhlasných účastníků. Aktualizované zprávy o výkonnosti modelu budou přezkoumány řídícím výborem studie. Pokud jsou tyto a prozatímní analýzy s primárním koncovým bodem uspokojivé, budou tyto modely přidány do živé služby.

Předběžné údaje o zkušenostech a užitečnosti z MDT použití živých náhledů na AI CHOPN Počet pacientů diskutovaných na CHOPN AI-MDT.

Klinické akce převzaté z hodnocení modelového rizikového skóre v MDT, zachycené v událostech a poznámkách LenusCOPD.

Pokud je model exacerbace přijat pro živé klinické použití:

• Počet kontrolních zpráv spouštěných vysoce rizikovým skóre z modelu exacerbace – na pacienta a celkem za kohortu zachycenou ve zprávách LenusCOPD.
• Podíl účastníků, u kterých jsou zprávy o přihlášení k modelu exacerbace dočasně nebo trvale vypnuté, zachycené v poznámkách LenusCOPD.
• Výsledky zpráv o odbavení – pacient zahájí kontakt, jinou událost, zachycenou ve zprávách a poznámkách LenusCOPD.

Příhody pacienta (smrt, přijetí do nemocnice, exacerbace CHOPN; zachycené u LenusCOPD), jak k nim prospektivně dochází podle modelového rizikového skóre. Všímejte si intervenující kontroly MDT, zasílání zpráv, akce lékaře, akce pacienta spouštěné modelem za účelem stanovení předběžných zkušeností o dopadu akcí spouštěných předpovědí rizika a jejich potenciálního vlivu na následnou přesnost těchto předpovědí. Hodnocení bude porovnávat výkonnost modelu vs. prospektivní události s ohledem na pacienty, u kterých byla modelem spuštěna kontrola/akce, vs. Toto hodnocení bude doplněno o externí retrospektivní validační data získaná z přijetí služby řízení LenusCOPD v jiných zdravotnických radách. Výkon modelu ve skupinách se zásahem i bez něj bude také sdílen s týmem Data Science, aby bylo možné model dále zdokonalovat a přeškolovat.

Související hodnocení V rámci projektu DYNAMIC a zkušebních hodnocení RECEIVER probíhá pokračující vývoj modelů AI insights až do okamžiku zahájení tohoto šetření. Externí ověření výkonnosti modelu AI insights bude prováděno pomocí deidentifikovaných elektronických zdravotních záznamů a dat služeb LenusCOPD od jiných organizací než NHS GG&C. Souběžně bude pokračovat společný design, klinická uživatelská zkušenost a testování přijatelnosti poznatků AI. Tato samostatná hodnocení jsou podpořena všemi příslušnými schváleními, řízením a dokumentací.

PLÁN VYŠETŘOVÁNÍ

Studovat design

Toto klinické vyšetření bude provedeno v souladu s britským politickým rámcem pro výzkum zdravotní a sociální péče (2017).

Toto je observační kohortová studie účinnosti implementace. Průběžná hodnocení účinnosti budou prováděna v 3měsíčních intervalech v průběhu studie, přičemž zprávy o primárních koncových bodech budou přezkoumány řídícím výborem studie. Výsledky těchto průběžných hodnocení mohou vyvolat doporučení k přizpůsobení implementace nebo intervence – např. změny v informacích o souhlasu, technické aktualizace. Navrhované úpravy implementační strategie nebo intervence budou zváženy řídícím výborem studie, přičemž jakékoli požadované změny tohoto CIP a související dokumentace studie budou předloženy k posouzení zadavateli a REC. Změny implementace by byly provedeny až po dokončení všech kontrol a získání schválení. Závěrečná zpráva studie by podrobně obsahovala veškeré změny provedené na základě průběžných hodnocení.