DYNAMISK AI: Digital innovation med fjernstyring og prædiktiv modellering for at integrere KOL-pleje med kunstig intelligens-baseret indsigt: en undersøgelse af acceptabel, gennemførlighed og sikkerhed (DYNAMIC AI)

Baggrund: KOL behov, udfordring og mulighed.

Kronisk obstruktiv lungesygdom (KOL) er en global sundhedsudfordring. Mens plejekvalitetskløfter eksisterer på tværs af kontinuummet af patienter med KOLs præsentation, er KOL-eksacerbationer ansvarlige for en stor del af sygdomsbyrden, uønskede resultater og sundhedsomkostninger. Mennesker med KOL prioriterer at undgå eksacerbationer og deraf følgende indlæggelser. Patientcharteret for KOL (marts 2021) opfordrede til proaktiv, forebyggende behandling for at reducere risikoen for eksacerbationer og for tidlig død1. Digital transformation med co-designede digitale værktøjer og nye innovationer såsom bærbare sensorer og AI-baseret prædiktiv modellering giver mulighed for at adressere disse KOL-plejekvalitetshuller og opnå denne plejeomlægning.

DYNAMISK: NHS GG&C COPD digital service transformation, implementering og evidens.

Programmet 'DYNAMIC' (Digital Innovation med Remote Management og Predictive Modeling to Integrate COPD Care) startede i 2018. Dette var baseret på et innovationspartnerskab mellem NHS GG&C respiratory medicine og West of Scotland innovationsteams og med LenusHealth (dengang StormID). Den oprindelige finansiering var fra en pris for digital sundhedsteknologi-katalysator fra InnovateUK. Efterfølgende finansiering af Scottish Government Technology Enabled Care (TEC)-program har fortsat tjenesten og tilladt opskalering.

Vores vision var at igangsætte digital transformation af en KOL-tjeneste med udvikling, implementering og evaluering af co-designede digitale værktøjer. Vi co-designede "LenusCOPD" patient- og klinikers webapplikationer og supportwebsted baseret på cyklusser af brugeroplevelsestest. Vi havde til formål at etablere værktøjer, der ville blive bæredygtigt brugt af patienter under opfølgningen, og understøtte COPD co-management med en forventning om at opnå reduktion i respiratoriske relaterede indlæggelser og besatte sengedage i en højrisiko KOL kohorte. Evidens blev indsamlet i 'RECEIVER' observationskohortestudiet og efterfølgende i den opskalerede 'DYNAMIC-SCOT' tjenesteevaluering.

Nøgleresultater fra RECEIVER / DYNAMIC-SCOT2:

• Deltagerne fortsætter med at bruge LenusCOPD-patientappen med et gennemsnit på 3,5 interaktioner pr. person pr. uge, vedvarende >1 år efter ombordstigning.
• KOL-relaterede hospitalsindlæggelser og besatte sengedage blev reduceret efter LenusCOPD onboarding hos deltagere med en historie med en alvorlig eksacerbation i det foregående år, med en median tid til genindlæggelse på 380 dage sammenlignet med 50 dage i en nutidig matchet kontrolpatientkohorte.
• Mediantid til indlæggelse eller død var 43 dage i kontrol, 338 dage i RECEIVER og 400 dage hos DYNAMIC-SCOT deltagere med en alvorlig eksacerbation i det foregående år.
• 12-måneders risiko for indlæggelse eller død var 74 % hos kontrolpatienter, 53 % hos RECEIVER og 47 % hos deltagerne i DYNAMIC-SCOT subkohorten.

Disse gennemførligheds- og nytteresultater understøtter opskalering af disse digitale værktøjer. Opskalering af leveringen af ​​kerne LenusCOPD-tjenesten vil fortsætte i NHS GG&C 2022-2024, støttet af fornyet skotsk regerings TEC-finansiering. I øjeblikket er ~400 patienter blevet ombord på den digitale KOL-tjeneste (marts 2022), og antallet af brugere forventes at stige, efterhånden som LenusKOL bruges til at støtte genopretning og nyorientering af KOL-diagnostik, regelmæssig gennemgang og pulmonal rehabilitering. Denne fortsatte vedtagelse og vores innovationspartnerskab giver test-bed-infrastrukturen til at implementere og evaluere yderligere innovationer, herunder den kunstige intelligens-indsigt til MDT-beslutningsstøtte, der foreslås i denne kliniske undersøgelse.

Begrundelse: Trænede og validerede KOL-risikoforudsigelsesmodeller

Udfordringerne skitseret ovenfor gav mulighed for at bruge AI til at udvikle modeller til forudsigelse af patientrisiko. De data, der blev indsamlet som en del af tjenesten, blev sammen med historiske elektroniske sundhedsjournaldata brugt til at skabe en række risikoforudsigelsesmodeller. Følgende trin blev taget for at udvikle hver model.

• Dataudforskning - dataudforskning og visualiseringer for at identificere funktioner, skævheder og andre problemer med datasættene.
• Problemformulering - hvordan man definerer målvariablen af ​​interesse, og hvilken modelleringstilgang der skal bruges.
• Dataopdeling - definerer strategien for opdeling af de datasæt, der skal bruges til træning, validering og test.
• Datarensning og manglende datahåndtering - identificering af fejlagtige data, outliers i datasættet og definering af en strategi for håndtering af manglende data (imputation, ekskludering, tillade manglende værdier).
• Feature Engineering - Processen med at transformere og aggregere de rå data til funktioner, der skal bruges til modeltræning. Funktionsteknik giver mulighed for at få større indsigt fra dataene.
• Modeltræning - udforskning af forskellige maskinlæringsalgoritmer og valg af den bedste kandidat til det aktuelle problem. De bearbejdede funktioner bruges derefter til modeltræning.
• Modelvalidering - validering og rapportering om modelydelse ved hjælp af hold-out-testdatasættet.
• Modelforklarlighed - brug af tredjepartsmetoder for at gøre modelforudsigelserne så fortolkelige og forklarelige som muligt.
• Model Fairness - undersøgelse af modellens ydeevne på undergrupper af interesse og potentiel modelomdannelse for at tage højde for eventuelle uligheder.

For alle detaljer om modeludvikling henvises til efterforskerbrochuren og modelgodkendelsesrapporten. Outputtet for hver af modellerne er et tal, der er repræsentativt for sandsynligheden for, at begivenheden af ​​interesse finder sted for hver patient.

Intervention

Vi har co-designet alle de komponenter, der kræves for at levere levende AI-modelbaserede risikoscore for 12-måneders dødelighed og 3-måneders genindlæggelse til klinikere inden for en KOL-MDT. For at sikre, at den digitale produktion af KOL-tjenesten ikke påvirkes af AI Insights-undersøgelsen, vil der blive udviklet et separat kliniker-dashboard til at vise disse modelforudsigelser. Outputtet af eksacerbationsmodellen vil være en "check-in"-meddelelse, der sendes til patienterne, der fremhæver, at de har nogle mulige ændringer i deres data, hvilket beder dem om at gennemgå deres selvledelsesplan og/eller kontakte det kliniske team for at få råd, hvis det er nødvendigt. Dette er opsummeret i tabel 1 med eksemplet på check-in-meddelelsen i figur 1.

Alle de kildedatafeeds, der kræves for at køre disse modeller, er blevet etableret i NHS GG&C Azure-lejemål ved hjælp af Azure data science VM'er (Virtual Machine). Interventionen består af: -

Samtykkeproces

Yderligere detaljer findes i CIP afsnit 10.4 og i dokumentet "Standard driftsprocedure for DYNAMIC-AI-samtykke". LenusCOPDs digitale supportwebsted https://support.nhscopd.scot giver de detaljerede patientoplysninger og links til forklaringsvideoer, der understøtter samtykkeprocessen. Undersøgelsesoplysninger ville ikke være live på dette websted med åben adgang, før alle undersøgelsesgodkendelser er opnået. Webindholdet er tilgængeligt til gennemgang før godkendelser på https://support.test.nhscopd.scot/dynamic-ai

LenusCOPD-patientappen indeholder samtykkeskærmbillederne, hvor inviterede patienter kan se oplysninger om undersøgelsen og acceptere, afvise eller udsætte samtykke og få adgang til yderligere information via supportwebstedet eller anmode om diskussion med undersøgelsesteamet. LenusCOPD clinician dashboard AI insights samtykkesiden indeholder brugergrænsefladen til aktivering af samtykke i patientappen, tilbagekaldelse af samtykke, når patienten anmoder om det, og revision af samtykkestatus.

AI-indsigtsdatapipelines Disse skybaserede digitale forbindelser indtager og samler relevante sundhedsjournaldata (demografi, diagnoser, indlæggelser, ordinering, laboratorieresultater) fra samtykkede deltagere. Data aggregeres, pseudonymiseres og konverteres til passende formater til brug for AI-indsigtstjenesten. Processer til at levere disse data er godkendt og understøttet af NHS GG&C SafeHaven-teamet med en standarddriftsprocedure.

AI-indsigtsmodel, der betjener pipeline Den skybaserede digitale pipeline indtager de forbehandlede data fra datapipelinen til brug for maskinlæringsmodellerne, hvilket producerer modelforudsigelser og forklaringsmuligheder for at give samtykke til deltagere til brug af AI Insights Clinician-appen.

AI insights service Denne består af cloud-baserede elektroniske sundhedssystem backend-funktioner og processer, som modtager instruktioner og udfører handlinger for at sikre en problemfri afvikling af interventionen.

AI Insights-database Datalageret for AI Insights digitale tjeneste. Rådata og sammenfattende data kan eksporteres som modelpræstationsrapporter til gennemgang af datavidenskab og kliniske kundeemner, til kliniske forsøgsenheder til uafhængig analyse og til langtidsopbevaring (i henhold til IRAS-dokumentet).

AI insights clinician app Webapplikationen, der giver klinikere kliniske dashboards (figur 1 og 2) til at se og eksportere patientlister og gennemgå maskinlæringsmodellens resultater, forklarings- og retfærdighedsdata fra samtykkede deltagere.

STUDIEMÅL

Hypoteser

Patienter med KOL vil finde det acceptabelt og give samtykke til at bruge deres rutinemæssige sundhedsdata til at give AI-indsigt risikoforudsigelsesscore til deres kliniske team, med data brugt til løbende modeltræning og validering.

Det vil være teknisk muligt og sikkert at levere AI-modelafledte 12-måneders KOL-risikoforudsigelsesscore til gennemgang i KOL AI-MDT i applikationen 'AI-indsigt'.

Primære mål

For at bestemme:

1. acceptabiliteten for patienter med KOL og
2. teknisk gennemførlighed og
3. sikkerhed

at præsentere live kunstig intelligens-baseret 12-måneders risiko-forudsigelsesscore for dødelighed fra LenusCOPD AI-indsigtsapplikationen til KOL-klinikeres tværfaglige teammøder i NHS GG&C.

Primære gennemførligheds-, acceptabilitets- og sikkerhedsmålinger

Disse vil blive rapporteret beskrivende, da der ikke er nogen pilotdata til at informere om en effektberegning eller a priori succesmetrik.

1. Evaluering af accept vil blive baseret på andelen af ​​inviterede patienter, som giver samtykke til at deltage i DYNAMIC-AI-studiet.
2. Evaluering af teknisk gennemførlighed vil være andelen af ​​deltagere med tilstrækkelige kildedata i LenusCOPD, som har 12-måneders mortalitetsmodel-risikoscore beregnet og præsenteret til MDT-gennemgang i AI-insights model-appen.
3. Evaluering af sikkerhed vil være baseret på forekomsten af ​​udstyrsrelaterede uønskede hændelser og fra den prospektive evaluering af modelrisikoscorer - handlinger fra klinikere baseret på modelrisikoscore og kalibrering af forudsagte hændelser: indtruffet hændelser.

Sekundære mål

Få detaljeret accept og teknisk gennemførlighedserfaring med 12-måneders risikoforudsigelsesmodellen for dødelighed.

Udvid datasæt til træning og validering af 3-måneders respiratorisk-relateret indlæggelse og risikoforudsigelsesmodeller for KOL-eksacerbation.

Evaluer teknisk gennemførlighed (andel af samtykkede deltagere med livescore i model-app) og beskrivende adoptionserfaring med 3-måneders respiratorisk-relateret indlæggelse og KOL-eksacerbationsmodeller, hvis gennemgang af valideringsdata indikerer, at disse er klar til klinisk adoption.

Etabler et foreløbigt erfarings- og nyttedatasæt fra brug af live AI-indsigt af et KOL-multidisciplinært team.

Sekundære eksplorative evalueringer

Detaljerede acceptable data

Andel af inviterede patienter, som gennemgik yderligere understøttende information (video og skriftligt materiale).

Andel af inviterede patienter, som kræver individuel klinikerinput for at informere deres samtykkebeslutning, med temaer fra disse diskussioner noteret, herunder enhver divergens om accept/samtykke til undersøgelsen og samtykke til at bruge data til modeltræning.

Detaljerede tekniske gennemførligheds- og modelydelsesdata

Indfanget i modelpræstationsrapporter. Seriedata på tværs af den kliniske undersøgelse, herunder:

• antal deltagere med manglende modelscore og årsager (manglende data pr. funktionsgruppe, forsinkelse af dataopdatering, deltagertilbagetrækning, andre).
• modelpræstationsmålinger beregnet ved hjælp af hold-out-testdatasættet for hver modelkørsel, inklusive AUC-ROC, AUC for præcisionsgenkaldelse, klassificeringsrapport og forvirringsmatrix.
• Modelretfærdighedsmålinger beregnet for interessegrupper.
• Global og lokal forklaringsevne for modellen for at illustrere modelbeslutningstagning og bioplausibilitet
• Udførelse af modelrisikoforudsigelse vs hændelser fanget i LenusCOPD (død efter 12 måneder, respiratorisk-relateret hospitalsindlæggelse, eksacerbation).
• drift-variabilitet i modellens ydeevne med undersøgende evaluering af årsager (f.eks. manglende data løst, ændring i underliggende kildedata, patienttilstand svinger) for eventuelle identificerede uventede ændringer i modellens ydeevne eller individuelle risikoscore.

Udvid datasæt til træning og validering af 3-måneders respiratorisk-relateret indlæggelse og KOL-eksacerbationsrisikoforudsigelsesmodeller

Data vil blive indsamlet fra samtykkende deltagere. Opdaterede modelpræstationsrapporter vil blive gennemgået af studiestyregruppen. Hvis disse og foreløbige analyser med primært endepunkt er tilfredsstillende, vil disse modeller blive tilføjet til live-tjenesten.

Foreløbige erfaringer og nyttedata fra MDT-brug af levende KOL AI-indsigt Antal patienter diskuteret ved KOL AI-MDT.

Kliniske handlinger taget fra modelrisikoscoregennemgang i MDT, fanget i LenusCOPD hændelser og noter.

Hvis eksacerbationsmodel anvendes til levende klinisk brug:

• Antal check-in-meddelelser udløst af højrisikoscore fra eksacerbationsmodel - pr. patient og i alt for kohorte, der er fanget i LenusCOPD-meddelelser.
• Andel af deltagere, hvor indtjekningsmeddelelser for eksacerbationsmodeller slås fra midlertidigt eller permanent, fanget i LenusCOPD-noter.
• Udfald fra check-in beskeder - patienten initierer kontakt, anden hændelse, fanget i LenusCOPD beskeder og noter.

Patienthændelser (død, hospitalsindlæggelse, KOL-eksacerbation; indfanget i LenusKOL), som de opstår prospektivt efter modelrisikoscore. Bemærk mellemliggende MDT-gennemgang, meddelelser, klinikers handling, patienthandling udløst af model for at etablere foreløbige erfaringsdata om virkningen af ​​risiko-forudsigelsesudløste handlinger og deres potentielle indflydelse på den efterfølgende nøjagtighed af disse forudsigelser. Evalueringen vil sammenligne modellens ydeevne vs prospektive hændelser under hensyntagen til patienter, der havde en modeludløst gennemgang/handling, i forhold til dem, der ikke havde. Denne evaluering vil blive suppleret med eksterne retrospektive valideringsdata, der er indhentet fra vedtagelse af LenusCOPD management service i andre sundhedsnævn. Modellens præstation på grupperne med og uden intervention vil også blive delt med Data Science-teamet for at give mulighed for yderligere modelforbedring og genoptræning.

Relaterede evalueringer Fortsat udvikling af AI-indsigtsmodeller frem til påbegyndelsen af ​​denne undersøgelse udføres inden for DYNAMIC-projektet og RECEIVER-testevalueringerne. Ekstern validering af AI-indsigtens modelydelse vil blive udført ved hjælp af afidentificerede elektroniske sundhedsjournaler og LenusCOPD-servicedata fra andre organisationer end NHS GG&C. Co-design, klinisk brugeroplevelse og acceptabilitetstest af AI-indsigt vil fortsætte parallelt. Disse separate evalueringer understøttes af alle relevante godkendelser, styring og dokumentation.

UNDERSØGELSESPLAN

Studere design

Denne kliniske undersøgelse vil blive udført i henhold til UK Policy Framework for Health and Social Care Research (2017).

Dette er en observationel kohorte implementering-effektivitet undersøgelse. Midlertidige effektivitetsevalueringer vil blive gennemført med 3-måneders intervaller på tværs af forsøget, med rapportering om de primære endepunkter gennemgået af undersøgelsens styregruppe. Resultater fra disse midtvejsevalueringer kan udløse en anbefaling om at tilpasse implementeringen eller interventionen – f.eks. ændringer i samtykkeoplysninger, tekniske opdateringer. Foreslåede tilpasninger til implementeringsstrategien eller interventionen vil blive overvejet af undersøgelsens ledelseskomité, med eventuelle nødvendige ændringer til denne CIP og tilhørende undersøgelsesdokumentation indsendt til sponsor- og REC-overvejelse. Implementeringsændringer ville først blive foretaget, når alle gennemgange var gennemførte og godkendelser opnået. Undersøgelsens endelige rapport vil indeholde detaljerede oplysninger om eventuelle ændringer, der er foretaget baseret på de foreløbige evalueringer.