DYNAMIC AI: Digital innovasjon med ekstern styring og prediktiv modellering for å integrere KOLS-omsorg med kunstig intelligens-basert innsikt: en akseptabilitets-, gjennomførbarhets- og sikkerhetsstudie (DYNAMIC AI)

Bakgrunn: KOLS-behov, utfordring og mulighet.

Kronisk obstruktiv lungesykdom (KOLS) er en global helseutfordring. Mens omsorgskvalitetsgap eksisterer på tvers av kontinuumet av pasientens presentasjon av KOLS, er KOLS-eksaserbasjoner ansvarlige for en stor del av sykdomsbyrden, uønskede utfall og helsekostnader. Personer med KOLS prioriterer å unngå eksacerbasjoner og påfølgende sykehusinnleggelser. Pasientcharteret for KOLS (mars 2021), ba om proaktiv, forebyggende behandling for å redusere risikoen for eksaserbasjoner og for tidlig død1. Digital transformasjon med co-designede digitale verktøy og nye innovasjoner som bærbare sensorer og AI-basert prediktiv modellering gir muligheten til å adressere disse KOLS omsorgskvalitetshullene og oppnå denne reorienteringen av omsorgen.

DYNAMISK: NHS GG&C COPD digital tjenestetransformasjon, implementering og bevis.

'DYNAMIC'-programmet (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) startet i 2018. Dette var basert på et innovasjonspartnerskap mellom NHS GG&C respiratory medicine og West of Scotland innovasjonsteam og med LenusHealth (den gang StormID). Opprinnelig finansiering kom fra en digital helseteknologi-katalysatorpris fra InnovateUK. Påfølgende finansiering av Scottish Government Technology Enabled Care (TEC)-program har fortsatt tjenesten og tillatt oppskalering.

Vår visjon var å sette i gang digital transformasjon av en KOLS-tjeneste med utvikling, implementering og evaluering av co-designede digitale verktøy. Vi co-designet "LenusCOPD" nettapplikasjoner for pasient og kliniker og støttenettsted basert på sykluser med testing av brukeropplevelse. Vi hadde som mål å etablere verktøy som kan brukes på en bærekraftig måte av pasienter under oppfølging, og støtte KOLS-sambehandling med en forventning om å oppnå reduksjon i respirasjonsrelaterte innleggelser og okkuperte sengedager i en høyrisiko-KOLS-kohort. Bevis ble samlet i «RECEIVER»-observasjonskohortstudien og deretter i den oppskalerte «DYNAMIC-SCOT»-tjenesteevalueringen.

Nøkkelresultater fra RECEIVER / DYNAMIC-SCOT2:

• Deltakerne fortsetter å bruke LenusCOPD-pasientappen, med et gjennomsnitt på 3,5 interaksjoner per person per uke vedvarende >1 år etter ombordstigning.
• KOLS-relaterte sykehusinnleggelser og okkuperte sengedager ble redusert etter LenusKOLS ombordstigning hos deltakere med en historie med alvorlig forverring i det foregående året, med en median tid til reinnleggelse på 380 dager sammenlignet med 50 dager i en moderne matchet kontrollpasientkohort.
• Median tid til innleggelse eller død var 43 dager i kontroll, 338 dager i RECEIVER og 400 dager hos DYNAMIC-SCOT deltakere med en alvorlig forverring i det foregående året.
• 12-måneders risiko for innleggelse eller død var 74 % hos kontrollpasienter, 53 % hos RECEIVER og 47 % hos deltakerne i DYNAMIC-SCOT-subkohorten.

Disse gjennomførbarhets- og nytteresultatene støtter oppskalering av disse digitale verktøyene. Oppskalering av kjernen LenusCOPD-tjenesten vil fortsette i NHS GG&C 2022-2024, støttet av fornyet Scottish Government TEC-finansiering. For øyeblikket har ~400 pasienter blitt ombord på den digitale KOLS-tjenesten (mars 2022), med brukertall som forventes å stige ettersom LenusKOLS brukes til å støtte utvinning og reorientering av KOLS-diagnostikk, regelmessig gjennomgang og lungerehabilitering. Denne fortsatte bruken og innovasjonspartnerskapet vårt gir test-bed-infrastrukturen for å implementere og evaluere ytterligere innovasjoner, inkludert kunstig intelligens-innsikten for MDT-beslutningsstøtte foreslått i denne kliniske undersøkelsen.

Begrunnelse: Opplærte og validerte KOLS-risikoprediksjonsmodeller

Utfordringene skissert ovenfor ga en mulighet til å bruke AI til å utvikle prediksjonsmodeller for pasientrisiko. Dataene samlet inn som en del av tjenesten, sammen med historiske elektroniske helsejournaldata ble brukt til å lage en pakke med risikoprediksjonsmodeller. Følgende trinn ble tatt for å utvikle hver modell.

• Datautforskning – datautforskning og visualiseringer for å identifisere funksjoner, skjevheter og andre problemer med datasettene.
• Problemformulering - hvordan definere målvariabelen av interesse, og hvilken modelleringstilnærming som skal brukes.
• Datadeling - definerer strategien for å dele opp datasettene som skal brukes til opplæring, validering og testing.
• Datarydding og manglende datahåndtering - identifisere feilaktige data, uteliggere i datasettet, og definere en strategi for å håndtere manglende data (imputering, ekskludering, tillate manglende verdier).
• Feature Engineering - Prosessen med å transformere og aggregere rådataene til funksjoner som skal brukes til modelltrening. Funksjonsteknikk gjør det mulig å hente ut større innsikt fra dataene.
• Modelltrening - utforskning av forskjellige maskinlæringsalgoritmer og valg av den beste kandidaten for problemet. De bearbeidede funksjonene brukes deretter til modelltrening.
• Modellvalidering - validering og rapportering om modellytelse ved bruk av hold-out-testdatasettet.
• Modellforklarbarhet – bruk av tredjepartsmetoder for å gjøre modellprediksjonene så tolkbare og forklarbare som mulig.
• Modellrettferdighet - undersøker modellytelse på undergrupper av interesse og potensiell modellomopplæring for å ta hensyn til eventuelle ulikheter.

For fullstendige detaljer om modellutvikling, se etterforskerbrosjyren og modellgodkjenningsrapporten. Utgangen for hver av modellene er et tall som er representativt for sannsynligheten for at den aktuelle hendelsen skal skje for hver pasient.

Innblanding

Vi har co-designet alle komponentene som kreves for å gi live AI-modellbasert risikoscore for 12-måneders dødelighet og 3-måneders reinnleggelse til klinikere innenfor en KOLS-MDT. For å sikre at den digitale produksjons-KOLS-tjenesten ikke påvirkes av AI Insights-studien, vil et eget klinikerdashbord bli utviklet for å vise disse modellspådommene. Utdataene fra eksacerbasjonsmodellen vil være en "innsjekkingsmelding" sendt til pasientene, som fremhever at de har noen mulige endringer i dataene sine, og ber dem om å gjennomgå planen for selvledelse og/eller kontakte det kliniske teamet for råd om nødvendig. Dette er oppsummert i tabell 1, med eksempelinnsjekkingsmeldingen i figur 1.

Alle kildedatastrømmene som kreves for å kjøre disse modellene, er etablert i NHS GG&C Azure-leieforhold, ved å bruke Azure data science VM-er (Virtual Machine). Intervensjonen består av: -

Samtykkeprosess

Ytterligere detaljer finnes i CIP avsnitt 10.4 og i dokumentet "Standard operasjonsprosedyre for DYNAMIC-AI-samtykke". LenusCOPDs digitale støttenettsted https://support.nhscopd.scot gir den detaljerte pasientinformasjonen og lenker til forklaringsvideoer som støtter samtykkeprosessen. Studieinformasjon ville ikke være tilgjengelig på dette åpne nettstedet før alle studiegodkjenninger ble innhentet. Nettinnholdet er tilgjengelig for gjennomgang før godkjenning på https://support.test.nhscopd.scot/dynamic-ai

LenusCOPD-pasientappen inneholder samtykkeskjermer der inviterte pasienter kan se informasjon om studien og godta, avvise eller utsette samtykke og få tilgang til ytterligere informasjon via støttenettstedet, eller be om diskusjon med studieteamet. Samtykkesiden for LenusCOPD-kliniker AI-innsikt inneholder brukergrensesnittet for å aktivere samtykke i pasientappen, tilbakekalle samtykke når pasienten ber om det og revidere samtykkestatus.

AI-innsiktsdatapipelines Disse skybaserte digitale forbindelsene tar inn og samler relevante helsejournaldata (demografi, diagnoser, innleggelser, forskrivning, laboratorieresultater) fra samtykkende deltakere. Data blir samlet, pseudonymisert og konvertert til passende formater for bruk av AI-innsiktstjenesten. Prosesser for å gi disse dataene er godkjent og støttet av NHS GG&C SafeHaven-teamet, med en standard operasjonsprosedyre.

AI-innsiktsmodellserveringspipeline Den skybaserte digitale pipelinen inntar de forhåndsbehandlede dataene fra datapipelinen for bruk av maskinlæringsmodellene, og produserer modellforutsigelser og forklarbarhet for samtykkende deltakere for bruk av AI Insights Clinician-appen.

AI-innsiktstjeneste Denne består av skybaserte elektroniske helsesystem-backend-funksjoner og prosesser som mottar instruksjoner og utfører handlinger for å sikre en jevn drift av intervensjonen.

AI Insights-database Datalageret for den digitale tjenesten AI Insights. Rådata og oppsummeringsdata kan eksporteres som modellytelsesrapporter for gjennomgang av datavitenskap og kliniske kundeemner, til enheten for kliniske studier for uavhengig analyse og for langsiktig oppbevaring (i henhold til IRAS-dokumentet).

AI Insights clinician app Nettapplikasjonen som gir klinikere kliniske dashboards (figur 1 og 2) for å se og eksportere pasientlister og gjennomgå maskinlæringsmodellresultater, forklarings- og rettferdighetsdata fra samtykkende deltakere.

STUDIEMÅL

Hypoteser

Pasienter med KOLS vil finne det akseptabelt og samtykke til bruk av rutinemessige helsedata for å gi AI-innsikt risikoprediksjonsscore til det kliniske teamet deres, med data som brukes til pågående modelltrening og validering.

Det vil være teknisk mulig og trygt å gi AI-modell avledet 12-måneders dødelighet KOLS risiko prediksjonsscore for gjennomgang i KOLS AI-MDT i 'AI insights'-applikasjonen.

Primære mål

Å bestemme :

1. akseptabiliteten for pasienter med KOLS og
2. teknisk gjennomførbarhet og
3. sikkerhet

å presentere kunstig intelligens-basert 12-måneders risikoprediksjonsscore for dødelighet fra LenusCOPD AI-innsiktsapplikasjonen til KOLS-klinikeres tverrfaglige teammøter i NHS GG&C.

Primære gjennomførbarhet, akseptabilitet og sikkerhetsmålinger

Disse vil bli rapportert beskrivende ettersom det ikke er noen pilotdata for å informere en effektberegning eller a priori suksessmetrikk.

1. Evaluering av aksept vil være basert på andel av inviterte pasienter som samtykker til å delta i DYNAMIC-AI-studien.
2. Evaluering av teknisk gjennomførbarhet vil være andelen deltakere med tilstrekkelige kildedata i LenusCOPD som har 12-måneders mortalitetsmodell-risikoscore beregnet og presentert for MDT-gjennomgang i AI-insights modell-appen.
3. Evaluering av sikkerhet vil være basert på forekomsten av utstyrsrelaterte uønskede hendelser og fra den prospektive evalueringen av modellrisikoskåre - handlinger fra klinikere basert på modellrisikoskåre og kalibrering av forutsagte hendelser: oppståtte hendelser.

Sekundære mål

Skaff deg detaljert aksepterbarhet og teknisk gjennomførbarhetserfaring med 12-måneders prediksjonsmodell for dødelighetsrisiko.

Utvid datasett for trening og validering av 3-måneders respirasjonsrelatert innleggelse og risikoprediksjonsmodeller for KOLS-eksaserbasjon.

Evaluer teknisk gjennomførbarhet (andel av samtykkende deltakere med live score i modellappen) og beskrivende adopsjonserfaring med 3-måneders respirasjonsrelatert innleggelse og KOLS-eksaserbasjonsmodeller, hvis gjennomgang av valideringsytelsesdata indikerer at disse er klare for klinisk adopsjon.

Etabler et foreløpig erfarings- og nyttedatasett fra bruk av levende AI-innsikt av et KOLS tverrfaglig team.

Sekundære utforskende evalueringer

Detaljerte akseptabilitetsdata

Andel inviterte pasienter som gjennomgikk tilleggsstøtteinformasjon (video og skriftlig materiale).

Andel av inviterte pasienter som trenger individuelle klinikerinnspill for å informere om samtykkebeslutningen, med temaer fra disse diskusjonene notert, inkludert eventuelle divergenser om aksept/samtykke for studien og samtykke til å bruke data for modelltrening.

Detaljert teknisk gjennomførbarhet og modellytelsesdata

Fanget i modellytelsesrapporter. Seriedata på tvers av den kliniske undersøkelsen, inkludert:

• antall deltakere med manglende modellscore og årsaker (manglende data per funksjonsgruppe, latens på dataoppdatering, deltakeruttak, andre).
• modellytelsesberegninger beregnet ved hjelp av hold-out-testdatasettet for hver modellkjøring, inkludert AUC-ROC, presisjonsgjenkalling AUC, klassifiseringsrapport og forvirringsmatrise.
• Modellverdier for rettferdighet beregnet for interessegrupper.
• Global og lokal forklaringsevne for modellen for å illustrere modellbeslutningstaking og bioplausibilitet
• Ytelse av modellrisikoprediksjon vs hendelser fanget i LenusKOLS (død ved 12 måneder, respirasjonsrelatert sykehusinnleggelse, eksacerbasjon).
• drift-variabilitet i modellytelse med utforskende evaluering av årsaker (f.eks. manglende data løst, endring i underliggende kildedata, pasienttilstand svinger) for eventuelle identifiserte uventede endringer i modellytelse eller individuelle risikoskårer.

Utvid datasett for trening og validering av 3-måneders respirasjonsrelatert innleggelse og risikoprediksjonsmodeller for KOLS-eksaserbasjon

Data vil bli samlet fra samtykkende deltakere. Oppdaterte modellytelsesrapporter vil bli gjennomgått av studiestyringskomiteen. Hvis disse og interimsanalyser med primært endepunkt er tilfredsstillende vil disse modellene bli lagt til live-tjenesten.

Foreløpig erfaring og nyttedata fra MDT-bruk av levende COPD AI-innsikt Antall pasienter diskutert ved COPD AI-MDT.

Kliniske handlinger tatt fra modellrisikoscore-gjennomgang i MDT, fanget i LenusKOLS-hendelser og notater.

Hvis eksaserbasjonsmodellen tas i bruk for levende klinisk bruk:

• Antall innsjekkingsmeldinger utløst av høyrisikoscore fra eksacerbasjonsmodell - per pasient og totalt for kohort fanget i LenusKOLS-meldinger.
• Andel deltakere der innsjekkingsmeldinger for eksacerbasjonsmodeller slås av midlertidig eller permanent, fanget i LenusKOLS-notater.
• Utfall fra innsjekkingsmeldinger - pasienten starter kontakt, annen hendelse, fanget i LenusKOLS-meldinger og notater.

Pasienthendelser (dødsfall, sykehusinnleggelse, forverring av KOLS; fanget i LenusKOLS) når de oppstår prospektivt etter modellrisikoskåre. Merker intervenerende MDT-gjennomgang, meldinger, klinikerhandling, pasienthandling utløst av modell for å etablere foreløpige erfaringsdata om virkningen av risikoprediksjonsutløste handlinger og deres potensielle innflytelse på den påfølgende nøyaktigheten av disse spådommene. Evaluering vil sammenligne modellens ytelse vs prospektive hendelser med tanke på pasienter som hadde en modellutløst gjennomgang/handling vs de som ikke gjorde det. Denne evalueringen vil bli supplert med eksterne retrospektive valideringsdata innhentet fra adopsjon av LenusKOLS-administrasjonstjenesten i andre helsestyrer. Modellprestasjonen på gruppene med og uten intervensjon vil også bli delt med Data Science-teamet for å gi mulighet for ytterligere modellforbedring og omopplæring.

Relaterte evalueringer Fortsatt utvikling av AI-innsiktsmodeller frem til starten av denne undersøkelsen gjennomføres innenfor DYNAMIC-prosjektet og RECEIVER-prøveevalueringene. Ekstern validering av AI-innsiktens modellytelse vil bli utført ved å bruke avidentifisert elektronisk helsejournal og LenusCOPD-tjenestedata fra andre organisasjoner enn NHS GG&C. Samdesign, klinisk brukeropplevelse og akseptabilitetstesting av AI-innsikt vil fortsette parallelt. Disse separate evalueringene støttes av alle passende godkjenninger, styring og dokumentasjon.

UNDERSØKELSESPLAN

Studere design

Denne kliniske undersøkelsen vil bli utført i henhold til UK Policy Framework for Health and Social Care Research (2017).

Dette er en observasjonskohort implementering-effektivitetsstudie. Foreløpige effektivitetsevalueringer vil bli utført med 3-måneders intervaller gjennom hele studien, med rapportering om de primære endepunktene gjennomgått av studiens styringskomité. Resultater fra disse foreløpige evalueringene kan utløse en anbefaling om å tilpasse implementeringen eller intervensjonen – f.eks. endringer i samtykkeinformasjon, tekniske oppdateringer. Foreslåtte tilpasninger til implementeringsstrategien eller intervensjonen vil bli vurdert av studieledelsen, med eventuelle nødvendige endringer i denne CIP og tilhørende studiedokumentasjon sendt inn for sponsor- og REC-vurdering. Implementeringsendringer vil bare bli gjort når alle vurderinger er fullført og godkjenninger er oppnådd. Den endelige rapporten fra studien vil detaljere eventuelle endringer som er gjort basert på foreløpige evalueringer.