Denna sida har översatts automatiskt och översättningens korrekthet kan inte garanteras. Vänligen se engelsk version för en källtext.

DYNAMIC AI: Digital innovation med fjärrstyrning och prediktiv modellering för att integrera KOL-vård med artificiell intelligens-baserade insikter: en studie om acceptans, genomförbarhet och säkerhet (DYNAMIC AI)

13 juni 2023 uppdaterad av: NHS Greater Glasgow and Clyde

Digital innovation med fjärrstyrning och prediktiv modellering för att integrera KOL-vård med artificiell intelligens baserade insikter: en studie om godtagbarhet, genomförbarhet och säkerhet

DYNAMIC AI är en MHRA-reglerad prövning av medicintekniska produkter som kommer att undersöka möjligheten att använda AI-prediktiva modeller inom KOL multidisciplinära teammöten, för att ge kliniker möjlighet att prioritera och optimera KOL-hantering.

Studieöversikt

Status

Rekrytering

Betingelser

Intervention / Behandling

Detaljerad beskrivning

Bakgrund: KOL-behov, utmaning och möjlighet.

Kronisk obstruktiv lungsjukdom (KOL) är en global hälsoutmaning. Även om det finns brister i vårdkvalitet över hela kontinuumet av patienternas med KOLs presentation, är KOL-exacerbationer ansvariga för en stor del av sjukdomsbördan, negativa utfall och vårdkostnader. Personer med KOL prioriterar att undvika exacerbationer och därav följande sjukhusinläggningar. Patientchartern för KOL (mars 2021) efterlyste proaktiv, förebyggande behandling för att minska risken för exacerbationer och för tidig död1. Digital transformation med samdesignade digitala verktyg och framväxande innovationer som bärbara sensorer och AI-baserad prediktiv modellering erbjuder möjligheten att ta itu med dessa KOL-vårdkvalitetsluckor och uppnå denna omorientering av vården.

DYNAMISK: NHS GG&C COPD digital tjänst transformation, implementering och bevis.

Programmet "DYNAMIC" (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) startade 2018. Detta baserades på ett innovationspartnerskap mellan NHS GG&C respiratory medicine och West of Scotland innovationsteam och med LenusHealth (då StormID). Den initiala finansieringen kom från en digital hälsoteknikkatalysatorpris från InnovateUK. Efterföljande finansiering av Scottish Government Technology Enabled Care (TEC) Program har fortsatt tjänsten och tillåtit uppskalning.

Vår vision var att initiera digital transformation av en KOL-tjänst med utveckling, implementering och utvärdering av samdesignade digitala verktyg. Vi samdesignade "LenusCOPD"-webbapplikationerna för patient och läkare och supportwebbplats baserad på cykler av testning av användarupplevelser. Vi strävade efter att etablera verktyg som skulle användas på ett hållbart sätt av patienter under uppföljning, och stödja KOL-samhantering med en förväntan om att uppnå minskning av andningsrelaterade inläggningar och upptagna bädddagar i en högrisk-KOL-kohort. Bevis samlades in i 'RECEIVER' observationskohortstudien och därefter i den uppskalade 'DYNAMIC-SCOT' tjänsteutvärderingen.

Nyckelresultat från RECEIVER / DYNAMIC-SCOT2:

  • Deltagarna fortsätter att använda LenusCOPD-patientappen, med ett genomsnitt på 3,5 interaktioner per person och vecka ihållande >1 år efter ombordstigning.
  • KOL-relaterade sjukhusinläggningar och upptagna bädddagar minskade efter LenusKOL ombordstigning hos deltagare med en historia av en allvarlig exacerbation under föregående år, med en mediantid till återinläggning på 380 dagar jämfört med 50 dagar i en samtida matchad kontrollpatientkohort.
  • Mediantiden till inläggning eller död var 43 dagar i kontroll, 338 dagar i RECEIVER och 400 dagar hos DYNAMIC-SCOT-deltagare med en allvarlig exacerbation under föregående år.
  • 12-månadersrisken för inläggning eller död var 74 % hos kontrollpatienter, 53 % hos RECEIVER och 47 % hos deltagarna i DYNAMIC-SCOT-subkohorten.

Dessa genomförbarhets- och nyttoresultat stödjer uppskalning av dessa digitala verktyg. Uppskalning av den centrala LenusCOPD-tjänsten kommer att fortsätta i NHS GG&C 2022-2024, med stöd av förnyad finansiering från den skotska regeringens TEC. För närvarande har ~400 patienter tagits ombord på den digitala KOL-tjänsten (mars 2022), och antalet användare förväntas öka när LenusKOL används för att stödja återhämtning och omorientering av KOL-diagnostik, regelbunden granskning och lungrehabilitering. Detta fortsatta antagande och vårt innovationspartnerskap tillhandahåller testbäddsinfrastrukturen för att implementera och utvärdera ytterligare innovationer, inklusive artificiell intelligens-insikter för MDT-beslutsstöd som föreslås i denna kliniska undersökning.

Motivering: Utbildade och validerade KOL-riskprediktionsmodeller

De utmaningar som beskrivs ovan gav en möjlighet att använda AI för att utveckla modeller för förutsägelse av patientrisk. De data som samlades in som en del av tjänsten, tillsammans med historiska elektroniska hälsojournaldata, användes för att skapa en uppsättning riskprediktionsmodeller. Följande steg togs för att utveckla varje modell.

  • Datautforskning – datautforskning och visualiseringar för att identifiera funktioner, fördomar och andra problem med datamängderna.
  • Problemformulering - hur man definierar målvariabeln av intresse och vilken modelleringsmetod som ska användas.
  • Datadelning - definierar strategin för att dela upp datamängder som ska användas för utbildning, validering och testning.
  • Datarensning och hantering av saknad data - identifiera felaktiga data, extremvärden i datamängden och definiera en strategi för att hantera saknad data (imputering, uteslutning, tillåtelse av saknade värden).
  • Feature Engineering - Processen att omvandla och aggregera rådata till funktioner som ska användas för modellträning. Funktionsteknik möjliggör större insikt att hämtas från data.
  • Modellträning - utforskning av olika maskininlärningsalgoritmer och val av den bästa kandidaten för det aktuella problemet. De bearbetade funktionerna används sedan för modellträning.
  • Modellvalidering - validering och rapportering av modellprestanda med hjälp av hold-out-testdataset.
  • Modellförklarbarhet - användning av tredjepartsmetoder för att göra modellförutsägelserna så tolkbara och förklarliga som möjligt.
  • Model Fairness - undersöker modellens prestanda på undergrupper av intressen och potentiell modellomskolning för att ta hänsyn till eventuella ojämlikheter.

För fullständig information om modellutveckling, se utredarbroschyren och modellgodkännanderapporten. Resultatet för var och en av modellerna är ett antal som är representativt för sannolikheten för att händelsen av intresse ska inträffa för varje patient.

Intervention

Vi har samdesignat alla komponenter som krävs för att tillhandahålla levande AI-modellbaserade riskpoäng för 12-månaders dödlighet och 3-månaders återinläggning till läkare inom en KOL-MDT. För att säkerställa att den digitala produktionen av KOL inte påverkas av AI Insights-studien kommer en separat instrumentpanel för kliniker att utvecklas för att ta fram dessa modellförutsägelser. Resultatet av exacerbationsmodellen kommer att vara ett "incheckningsmeddelande" som skickas till patienterna, som markerar att de har några möjliga förändringar i sina data, som uppmanar dem att se över sin självförvaltningsplan och/eller kontakta det kliniska teamet för råd om det behövs. Detta sammanfattas i tabell 1, med exemplet på incheckningsmeddelandet i figur 1.

Alla källdataflöden som krävs för att köra dessa modeller har etablerats i NHS GG&C Azure-hyreskontrakt, med hjälp av virtuella datorer för Azure data science (Virtual Machine). Insatsen består av: -

Samtyckesprocess

Ytterligare detaljer finns i CIP-avsnitt 10.4 och i dokumentet "Standarddriftsprocedur för DYNAMIC-AI-samtycke". LenusCOPDs digitala supportwebbplats https://support.nhscopd.scot tillhandahåller detaljerad patientinformation och länkar till förklaringsvideor som stöder samtyckesprocessen. Studieinformationen skulle inte finnas tillgänglig på denna webbsida med öppen tillgång förrän alla studiegodkännanden erhölls. Webbinnehållet är tillgängligt för granskning före godkännande på https://support.test.nhscopd.scot/dynamic-ai

LenusCOPD-patientappen innehåller samtyckesskärmarna där inbjudna patienter kan se information om studien och acceptera, avvisa eller skjuta upp samtycke och få tillgång till ytterligare information via supportwebbplatsen, eller begära diskussion med studieteamet. LenusCOPD clinician dashboard AI insights samtyckessida innehåller användargränssnittet för att aktivera samtycke i patientappen, återkalla samtycke när det begärs av patienten och granska samtyckesstatus.

AI-insiktsdatapipelines Dessa molnbaserade digitala anslutningar tar in och aggregerar relevant hälsojournaldata (demografi, diagnoser, antagningar, förskrivningar, laboratorieresultat) från samtyckta deltagare. Data aggregeras, pseudonymiseras och konverteras till lämpliga format för användning av AI-insiktstjänsten. Processer för att tillhandahålla dessa data är godkända och stöds av NHS GG&C SafeHaven-teamet, med ett standardförfarande.

AI Insights-modellbetjäningspipeline Den molnbaserade digitala pipelinen matar in förbearbetade data från datapipelinen för användning av maskininlärningsmodellerna, producerar modellförutsägelser och förklarar för att ge samtycke till deltagare för användning av AI Insights Clinician-appen.

AI-insiktstjänst Denna består av molnbaserade backend-funktioner och processer för elektroniska hälsosystem som tar emot instruktioner och utför åtgärder för att säkerställa att interventionen fungerar smidigt.

AI Insights databas Datalagret för den digitala tjänsten AI Insights. Rådata och sammanfattande data kan exporteras som modellprestandarapporter för granskning av datavetenskap och kliniska ledningar, till enheten för kliniska prövningar för oberoende analys och för långtidslagring (enligt IRAS-dokument).

AI insights clinician app Webbapplikationen som förser kliniker med kliniska instrumentpaneler (Figur 1 och 2) för att visa och exportera patientlistor och granska resultat av maskininlärningsmodeller, förklarabarhet och rättvisa data från samtyckta deltagare.

STUDIEMÅL

Hypoteser

Patienter med KOL kommer att tycka att det är acceptabelt och samtycker till att använda deras rutinmässiga sjukvårdsdata för att ge AI-insikter om riskförutsägelsepoäng till sitt kliniska team, med data som används för pågående modellträning och validering.

Det kommer att vara tekniskt genomförbart och säkert att tillhandahålla AI-modellen härledda 12-månaders dödlighet KOL risk förutsägelsepoäng för granskning i KOL AI-MDT inom "AI insikter"-applikationen.

Primära mål

Att bestämma :

  1. acceptansen för patienter med KOL och
  2. teknisk genomförbarhet och
  3. säkerhet

att presentera levande artificiell intelligens-baserade 12-månaders mortalitetsrisk-förutsägelsepoäng från LenusCOPD AI insights-applikationen till KOL-klinikers multidisciplinära teammöten i NHS GG&C.

Primära genomförbarhet, acceptabilitet och säkerhetsmätningar

Dessa kommer att rapporteras beskrivande eftersom det inte finns några pilotdata för att informera en effektberäkning eller a priori framgångsmått.

  1. Utvärdering av acceptans kommer att baseras på andelen inbjudna patienter som samtycker till att delta i DYNAMIC-AI-studien.
  2. Utvärdering av teknisk genomförbarhet kommer att vara andelen deltagare med adekvata källdata i LenusCOPD som har 12-månaders mortalitetsmodell-riskpoäng beräknade och presenterade för MDT-granskning i AI-insights modellapp.
  3. Utvärdering av säkerheten kommer att baseras på förekomsten av produktrelaterade biverkningar och från den prospektiva utvärderingen av modellriskpoäng - åtgärder från kliniker baserat på modellriskpoäng och kalibrering av förutsagda händelser: inträffade händelser.

Sekundära mål

Skaffa detaljerad erfarenhet av acceptans och teknisk genomförbarhet med 12-månadersmodellen för förutsägelse av mortalitetsrisk.

Utöka datauppsättningen för träning och validering av 3-månaders respiratorisk-relaterad intagning och KOL-exacerbationsriskmodeller.

Utvärdera teknisk genomförbarhet (andel av samtyckta deltagare med liveresultat i modellappen) och beskrivande adoptionserfarenhet med 3-månaders andningsrelaterad intagning och KOL-exacerbationsmodeller, om granskning av valideringsprestandadata indikerar att dessa är redo för klinisk adoption.

Upprätta en preliminär erfarenhets- och nyttodataset från användning av live AI-insikter av ett multidisciplinärt KOL-team.

Sekundära explorativa utvärderingar

Detaljerade acceptansdata

Andel inbjudna patienter som granskat ytterligare stödjande information (video och skriftligt material).

Andel av inbjudna patienter som behöver enskild klinikerinput för att informera sitt samtyckesbeslut, med teman från dessa diskussioner noterade inklusive eventuella skillnader i acceptans/samtycke för studien och samtycke till att använda data för modellträning.

Detaljerad teknisk genomförbarhet och modellprestandadata

Fångas i modellprestandarapporter. Seriedata över den kliniska undersökningen inklusive:

  • antal deltagare med saknade modellpoäng och orsaker (saknad data per funktionsgrupp, latens för datauppdatering, återkallande av deltagare, andra).
  • modellprestandamått beräknade med hjälp av uthållningstestdataset för varje modellkörning inklusive AUC-ROC, precisionsåterkallande AUC, klassificeringsrapport och förvirringsmatris.
  • Modellmätningar för rättvisa beräknade för intressegrupper.
  • Global och lokal förklaringsbarhet för modellen för att illustrera modellbeslut och bioplausibilitet
  • Prestanda av modellriskprediktion kontra händelser som fångats i LenusCOPD (död vid 12 månader, andningsrelaterad sjukhusinläggning, exacerbation).
  • driftvariabilitet i modellprestanda med utforskande utvärdering av orsaker (t.ex. saknade data lösta, förändringar i underliggande källdata, patienttillstånd fluktuerar) för alla identifierade oväntade förändringar i modellprestanda eller individuella riskpoäng.

Utöka datauppsättningen för träning och validering av 3-månaders respiratorisk-relaterad intagning och KOL-exacerbationsriskmodeller

Data kommer att samlas in från samtyckande deltagare. Uppdaterade modellprestandarapporter kommer att granskas av studiens styrgrupp. Om dessa och interimsanalyser med primär endpoint är tillfredsställande kommer dessa modeller att läggas till livetjänsten.

Preliminära erfarenheter och användbarhetsdata från MDT-användning av levande KOL AI-insikter Antal patienter diskuterade vid KOL AI-MDT.

Kliniska åtgärder tagna från modell riskpoänggranskning i MDT, fångad i LenusCOPD-händelser och anteckningar.

Om exacerbationsmodellen används för levande klinisk användning:

  • Antal incheckningsmeddelanden som utlösts av högriskpoäng från exacerbationsmodell - per patient och totalt för kohort som fångats i LenusCOPD-meddelanden.
  • Andel deltagare där exacerbationsmodellens incheckningsmeddelanden stängs av tillfälligt eller permanent, fångat i LenusCOPD-anteckningar.
  • Resultat från incheckningsmeddelanden - patienten initierar kontakt, annan händelse, fångad i LenusCOPD-meddelanden och anteckningar.

Patienthändelser (död, sjukhusinläggning, exacerbation av KOL; fångad i LenusKOL) när de inträffar prospektivt efter modellriskpoäng. Notera ingripande MDT-granskning, meddelanden, klinikers åtgärder, patientåtgärder utlösta av modellen för att fastställa preliminära erfarenhetsdata om effekten av riskförutsägelseutlösta åtgärder och deras potentiella inverkan på den efterföljande noggrannheten av dessa förutsägelser. Utvärderingen kommer att jämföra modellens prestanda kontra potentiella händelser med hänsyn till patienter som hade en modellutlöst granskning/åtgärd jämfört med de som inte gjorde det. Denna utvärdering kommer att kompletteras med externa retrospektiva valideringsdata som erhållits från antagandet av LenusCOPD-hanteringstjänsten i andra hälsonämnder. Modellens prestanda för grupperna med och utan intervention kommer också att delas med Data Science-teamet för att möjliggöra ytterligare modellförfining och omträning.

Relaterade utvärderingar Fortsatt utveckling av AI-insiktsmodeller fram till startpunkten för denna undersökning genomförs inom DYNAMIC-projektet och RECEIVER-försöksutvärderingarna. Extern validering av AI-insikternas modellprestanda kommer att utföras med hjälp av avidentifierade elektroniska patientjournaler och LenusCOPD-tjänstdata från andra organisationer än NHS GG&C. Samdesign, klinisk användarupplevelse och acceptanstestning av AI-insikter kommer att fortsätta parallellt. Dessa separata utvärderingar stöds av alla lämpliga godkännanden, styrning och dokumentation.

UNDERSÖKNINGSPLAN

Studera design

Denna kliniska undersökning kommer att utföras enligt UK Policy Framework for Health and Social Care Research (2017).

Detta är en observationskohorts genomförande-effektivitetsstudie. Interimistiska effektivitetsutvärderingar kommer att genomföras med 3-månadersintervaller under hela studien, med rapportering om de primära effektmåtten som granskas av studiens styrkommitté. Resultat från dessa interimsutvärderingar kan utlösa en rekommendation om att anpassa genomförandet eller interventionen – t.ex. ändringar i samtyckesinformation, tekniska uppdateringar. Föreslagna anpassningar av implementeringsstrategin eller interventionen kommer att övervägas av studiens ledningskommitté, med eventuella nödvändiga ändringar av detta CIP och tillhörande studiedokumentation inlämnade för sponsor och REC. Implementeringsändringar skulle endast göras när alla granskningar var klara och godkännanden erhållits. Slutrapporten för studien skulle innehålla detaljerade uppgifter om eventuella ändringar som gjorts baserat på interimsutvärderingarna.

Studietyp

Observationell

Inskrivning (Beräknad)

500

Kontakter och platser

Det här avsnittet innehåller kontaktuppgifter för dem som genomför studien och information om var denna studie genomförs.

Studiekontakt

Studera Kontakt Backup

Studieorter

Deltagandekriterier

Forskare letar efter personer som passar en viss beskrivning, så kallade behörighetskriterier. Några exempel på dessa kriterier är en persons allmänna hälsotillstånd eller tidigare behandlingar.

Urvalskriterier

Åldrar som är berättigade till studier

  • Barn
  • Vuxen
  • Äldre vuxen

Tar emot friska volontärer

Nej

Testmetod

Icke-sannolikhetsprov

Studera befolkning

Personer med KOL som bor inom NHS Greater Glasgow och Clyde Health Board

Beskrivning

Inklusionskriterier:

Aktuell aktiv användare av NHS Scotland COPD digital service. Bosatt och under vård av NHS GG&C COPD multidisciplinära team. Samtycke, tillgång till teknik (smarttelefon, surfplatta, dator och daglig tillgång till internet), förmåga att förstå skriftlig engelska och bekräftad diagnos av KOL är krav för användning av den digitala KOL-tjänsten

-

Exklusions kriterier:

Brist på tillhandahållande av informerat samtycke.

-

Studieplan

Det här avsnittet ger detaljer om studieplanen, inklusive hur studien är utformad och vad studien mäter.

Hur är studien utformad?

Designdetaljer

Vad mäter studien?

Primära resultatmått

Resultatmått
Åtgärdsbeskrivning
Tidsram
Acceptans för patienter
Tidsram: 12 månader

Utvärdering av acceptansen för patienter med KOL av att presentera levande artificiell intelligens-baserad 12-månaders riskförutsägelsepoäng för dödlighet från LenusCOPD AI insights-applikationen, till KOL-klinikers multidisciplinära teammöten i NHS GG&C:

Utvärderingen kommer att baseras på andelen inbjudna patienter som samtycker till att delta i DYNAMIC-AI-studien.

12 månader
Teknisk genomförbarhet
Tidsram: 12 månader

Teknisk genomförbarhet för att presentera levande artificiell intelligens-baserad 12-månaders förutsägelse av dödlighetsriskpoäng från LenusCOPD AI insights-applikationen till KOL-klinikers multidisciplinära teammöten i NHS GG&C:

Utvärdering av genomförbarhet kommer att vara andelen deltagare som har adekvata källdata i LenusCOPD och som har 12-månaders dödlighetsmodell-riskpoäng beräknade och presenterade för MDT-granskning i AI-insights modellapp

12 månader
Säkerhet
Tidsram: 12 månader

Säkerheten med att presentera levande artificiell intelligens-baserad 12-månaders förutsägelse av dödlighetsriskpoäng från LenusCOPD AI insights-applikationen till KOL-klinikers multidisciplinära teammöten i NHS GG&C

Utvärdering av säkerhet kommer att baseras på förekomsten av produktrelaterade biverkningar och från den prospektiva utvärderingen av modellriskpoäng - åtgärder från kliniker baserat på modellriskpoäng och kalibrering av förutsagda händelser: inträffade händelser

12 månader

Sekundära resultatmått

Resultatmått
Åtgärdsbeskrivning
Tidsram
erfarenhet av acceptans och teknisk genomförbarhet
Tidsram: 12 månader
Skaffa detaljerad erfarenhet av acceptans och teknisk genomförbarhet med 12-månadersmodellen för förutsägelse av mortalitetsrisk.
12 månader
Utöka dataset för utbildning och validering
Tidsram: 12 månader
Utöka datauppsättningen för träning och validering av 3-månaders respiratorisk-relaterad intagning och KOL-exacerbationsriskmodeller
12 månader
Utvärdera teknisk genomförbarhet och beskrivande erfarenhet av användning
Tidsram: 12 månader
Utvärdera teknisk genomförbarhet (andel av samtyckta deltagare med liveresultat i modellappen) och beskrivande adoptionserfarenhet med 3-månaders andningsrelaterad intagning och KOL-exacerbationsmodeller, om granskning av valideringsprestandadata indikerar att dessa är redo för klinisk adoption
12 månader
preliminär erfarenhet och verktygsdatauppsättning
Tidsram: 12 månader
Upprätta en preliminär erfarenhets- och nyttodataset från användning av live AI-insikter av ett multidisciplinärt KOL-team.
12 månader

Samarbetspartners och utredare

Det är här du hittar personer och organisationer som är involverade i denna studie.

Studieavstämningsdatum

Dessa datum spårar framstegen för inlämningar av studieposter och sammanfattande resultat till ClinicalTrials.gov. Studieposter och rapporterade resultat granskas av National Library of Medicine (NLM) för att säkerställa att de uppfyller specifika kvalitetskontrollstandarder innan de publiceras på den offentliga webbplatsen.

Studera stora datum

Studiestart (Faktisk)

1 april 2023

Primärt slutförande (Beräknad)

31 mars 2024

Avslutad studie (Beräknad)

31 augusti 2024

Studieregistreringsdatum

Först inskickad

13 juni 2023

Först inskickad som uppfyllde QC-kriterierna

13 juni 2023

Första postat (Faktisk)

22 juni 2023

Uppdateringar av studier

Senaste uppdatering publicerad (Faktisk)

22 juni 2023

Senaste inskickade uppdateringen som uppfyllde QC-kriterierna

13 juni 2023

Senast verifierad

1 juni 2023

Mer information

Termer relaterade till denna studie

Andra studie-ID-nummer

  • INGN20RM641

Plan för individuella deltagardata (IPD)

Planerar du att dela individuella deltagardata (IPD)?

OBESLUTSAM

Läkemedels- och apparatinformation, studiedokument

Studerar en amerikansk FDA-reglerad läkemedelsprodukt

Nej

Studerar en amerikansk FDA-reglerad produktprodukt

Nej

Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .

Prenumerera