- ICH GCP
- Amerikanska kliniska prövningsregistret
- Klinisk prövning NCT05914220
DYNAMIC AI: Digital innovation med fjärrstyrning och prediktiv modellering för att integrera KOL-vård med artificiell intelligens-baserade insikter: en studie om acceptans, genomförbarhet och säkerhet (DYNAMIC AI)
Digital innovation med fjärrstyrning och prediktiv modellering för att integrera KOL-vård med artificiell intelligens baserade insikter: en studie om godtagbarhet, genomförbarhet och säkerhet
Studieöversikt
Detaljerad beskrivning
Bakgrund: KOL-behov, utmaning och möjlighet.
Kronisk obstruktiv lungsjukdom (KOL) är en global hälsoutmaning. Även om det finns brister i vårdkvalitet över hela kontinuumet av patienternas med KOLs presentation, är KOL-exacerbationer ansvariga för en stor del av sjukdomsbördan, negativa utfall och vårdkostnader. Personer med KOL prioriterar att undvika exacerbationer och därav följande sjukhusinläggningar. Patientchartern för KOL (mars 2021) efterlyste proaktiv, förebyggande behandling för att minska risken för exacerbationer och för tidig död1. Digital transformation med samdesignade digitala verktyg och framväxande innovationer som bärbara sensorer och AI-baserad prediktiv modellering erbjuder möjligheten att ta itu med dessa KOL-vårdkvalitetsluckor och uppnå denna omorientering av vården.
DYNAMISK: NHS GG&C COPD digital tjänst transformation, implementering och bevis.
Programmet "DYNAMIC" (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) startade 2018. Detta baserades på ett innovationspartnerskap mellan NHS GG&C respiratory medicine och West of Scotland innovationsteam och med LenusHealth (då StormID). Den initiala finansieringen kom från en digital hälsoteknikkatalysatorpris från InnovateUK. Efterföljande finansiering av Scottish Government Technology Enabled Care (TEC) Program har fortsatt tjänsten och tillåtit uppskalning.
Vår vision var att initiera digital transformation av en KOL-tjänst med utveckling, implementering och utvärdering av samdesignade digitala verktyg. Vi samdesignade "LenusCOPD"-webbapplikationerna för patient och läkare och supportwebbplats baserad på cykler av testning av användarupplevelser. Vi strävade efter att etablera verktyg som skulle användas på ett hållbart sätt av patienter under uppföljning, och stödja KOL-samhantering med en förväntan om att uppnå minskning av andningsrelaterade inläggningar och upptagna bädddagar i en högrisk-KOL-kohort. Bevis samlades in i 'RECEIVER' observationskohortstudien och därefter i den uppskalade 'DYNAMIC-SCOT' tjänsteutvärderingen.
Nyckelresultat från RECEIVER / DYNAMIC-SCOT2:
- Deltagarna fortsätter att använda LenusCOPD-patientappen, med ett genomsnitt på 3,5 interaktioner per person och vecka ihållande >1 år efter ombordstigning.
- KOL-relaterade sjukhusinläggningar och upptagna bädddagar minskade efter LenusKOL ombordstigning hos deltagare med en historia av en allvarlig exacerbation under föregående år, med en mediantid till återinläggning på 380 dagar jämfört med 50 dagar i en samtida matchad kontrollpatientkohort.
- Mediantiden till inläggning eller död var 43 dagar i kontroll, 338 dagar i RECEIVER och 400 dagar hos DYNAMIC-SCOT-deltagare med en allvarlig exacerbation under föregående år.
- 12-månadersrisken för inläggning eller död var 74 % hos kontrollpatienter, 53 % hos RECEIVER och 47 % hos deltagarna i DYNAMIC-SCOT-subkohorten.
Dessa genomförbarhets- och nyttoresultat stödjer uppskalning av dessa digitala verktyg. Uppskalning av den centrala LenusCOPD-tjänsten kommer att fortsätta i NHS GG&C 2022-2024, med stöd av förnyad finansiering från den skotska regeringens TEC. För närvarande har ~400 patienter tagits ombord på den digitala KOL-tjänsten (mars 2022), och antalet användare förväntas öka när LenusKOL används för att stödja återhämtning och omorientering av KOL-diagnostik, regelbunden granskning och lungrehabilitering. Detta fortsatta antagande och vårt innovationspartnerskap tillhandahåller testbäddsinfrastrukturen för att implementera och utvärdera ytterligare innovationer, inklusive artificiell intelligens-insikter för MDT-beslutsstöd som föreslås i denna kliniska undersökning.
Motivering: Utbildade och validerade KOL-riskprediktionsmodeller
De utmaningar som beskrivs ovan gav en möjlighet att använda AI för att utveckla modeller för förutsägelse av patientrisk. De data som samlades in som en del av tjänsten, tillsammans med historiska elektroniska hälsojournaldata, användes för att skapa en uppsättning riskprediktionsmodeller. Följande steg togs för att utveckla varje modell.
- Datautforskning – datautforskning och visualiseringar för att identifiera funktioner, fördomar och andra problem med datamängderna.
- Problemformulering - hur man definierar målvariabeln av intresse och vilken modelleringsmetod som ska användas.
- Datadelning - definierar strategin för att dela upp datamängder som ska användas för utbildning, validering och testning.
- Datarensning och hantering av saknad data - identifiera felaktiga data, extremvärden i datamängden och definiera en strategi för att hantera saknad data (imputering, uteslutning, tillåtelse av saknade värden).
- Feature Engineering - Processen att omvandla och aggregera rådata till funktioner som ska användas för modellträning. Funktionsteknik möjliggör större insikt att hämtas från data.
- Modellträning - utforskning av olika maskininlärningsalgoritmer och val av den bästa kandidaten för det aktuella problemet. De bearbetade funktionerna används sedan för modellträning.
- Modellvalidering - validering och rapportering av modellprestanda med hjälp av hold-out-testdataset.
- Modellförklarbarhet - användning av tredjepartsmetoder för att göra modellförutsägelserna så tolkbara och förklarliga som möjligt.
- Model Fairness - undersöker modellens prestanda på undergrupper av intressen och potentiell modellomskolning för att ta hänsyn till eventuella ojämlikheter.
För fullständig information om modellutveckling, se utredarbroschyren och modellgodkännanderapporten. Resultatet för var och en av modellerna är ett antal som är representativt för sannolikheten för att händelsen av intresse ska inträffa för varje patient.
Intervention
Vi har samdesignat alla komponenter som krävs för att tillhandahålla levande AI-modellbaserade riskpoäng för 12-månaders dödlighet och 3-månaders återinläggning till läkare inom en KOL-MDT. För att säkerställa att den digitala produktionen av KOL inte påverkas av AI Insights-studien kommer en separat instrumentpanel för kliniker att utvecklas för att ta fram dessa modellförutsägelser. Resultatet av exacerbationsmodellen kommer att vara ett "incheckningsmeddelande" som skickas till patienterna, som markerar att de har några möjliga förändringar i sina data, som uppmanar dem att se över sin självförvaltningsplan och/eller kontakta det kliniska teamet för råd om det behövs. Detta sammanfattas i tabell 1, med exemplet på incheckningsmeddelandet i figur 1.
Alla källdataflöden som krävs för att köra dessa modeller har etablerats i NHS GG&C Azure-hyreskontrakt, med hjälp av virtuella datorer för Azure data science (Virtual Machine). Insatsen består av: -
Samtyckesprocess
Ytterligare detaljer finns i CIP-avsnitt 10.4 och i dokumentet "Standarddriftsprocedur för DYNAMIC-AI-samtycke". LenusCOPDs digitala supportwebbplats https://support.nhscopd.scot tillhandahåller detaljerad patientinformation och länkar till förklaringsvideor som stöder samtyckesprocessen. Studieinformationen skulle inte finnas tillgänglig på denna webbsida med öppen tillgång förrän alla studiegodkännanden erhölls. Webbinnehållet är tillgängligt för granskning före godkännande på https://support.test.nhscopd.scot/dynamic-ai
LenusCOPD-patientappen innehåller samtyckesskärmarna där inbjudna patienter kan se information om studien och acceptera, avvisa eller skjuta upp samtycke och få tillgång till ytterligare information via supportwebbplatsen, eller begära diskussion med studieteamet. LenusCOPD clinician dashboard AI insights samtyckessida innehåller användargränssnittet för att aktivera samtycke i patientappen, återkalla samtycke när det begärs av patienten och granska samtyckesstatus.
AI-insiktsdatapipelines Dessa molnbaserade digitala anslutningar tar in och aggregerar relevant hälsojournaldata (demografi, diagnoser, antagningar, förskrivningar, laboratorieresultat) från samtyckta deltagare. Data aggregeras, pseudonymiseras och konverteras till lämpliga format för användning av AI-insiktstjänsten. Processer för att tillhandahålla dessa data är godkända och stöds av NHS GG&C SafeHaven-teamet, med ett standardförfarande.
AI Insights-modellbetjäningspipeline Den molnbaserade digitala pipelinen matar in förbearbetade data från datapipelinen för användning av maskininlärningsmodellerna, producerar modellförutsägelser och förklarar för att ge samtycke till deltagare för användning av AI Insights Clinician-appen.
AI-insiktstjänst Denna består av molnbaserade backend-funktioner och processer för elektroniska hälsosystem som tar emot instruktioner och utför åtgärder för att säkerställa att interventionen fungerar smidigt.
AI Insights databas Datalagret för den digitala tjänsten AI Insights. Rådata och sammanfattande data kan exporteras som modellprestandarapporter för granskning av datavetenskap och kliniska ledningar, till enheten för kliniska prövningar för oberoende analys och för långtidslagring (enligt IRAS-dokument).
AI insights clinician app Webbapplikationen som förser kliniker med kliniska instrumentpaneler (Figur 1 och 2) för att visa och exportera patientlistor och granska resultat av maskininlärningsmodeller, förklarabarhet och rättvisa data från samtyckta deltagare.
STUDIEMÅL
Hypoteser
Patienter med KOL kommer att tycka att det är acceptabelt och samtycker till att använda deras rutinmässiga sjukvårdsdata för att ge AI-insikter om riskförutsägelsepoäng till sitt kliniska team, med data som används för pågående modellträning och validering.
Det kommer att vara tekniskt genomförbart och säkert att tillhandahålla AI-modellen härledda 12-månaders dödlighet KOL risk förutsägelsepoäng för granskning i KOL AI-MDT inom "AI insikter"-applikationen.
Primära mål
Att bestämma :
- acceptansen för patienter med KOL och
- teknisk genomförbarhet och
- säkerhet
att presentera levande artificiell intelligens-baserade 12-månaders mortalitetsrisk-förutsägelsepoäng från LenusCOPD AI insights-applikationen till KOL-klinikers multidisciplinära teammöten i NHS GG&C.
Primära genomförbarhet, acceptabilitet och säkerhetsmätningar
Dessa kommer att rapporteras beskrivande eftersom det inte finns några pilotdata för att informera en effektberäkning eller a priori framgångsmått.
- Utvärdering av acceptans kommer att baseras på andelen inbjudna patienter som samtycker till att delta i DYNAMIC-AI-studien.
- Utvärdering av teknisk genomförbarhet kommer att vara andelen deltagare med adekvata källdata i LenusCOPD som har 12-månaders mortalitetsmodell-riskpoäng beräknade och presenterade för MDT-granskning i AI-insights modellapp.
- Utvärdering av säkerheten kommer att baseras på förekomsten av produktrelaterade biverkningar och från den prospektiva utvärderingen av modellriskpoäng - åtgärder från kliniker baserat på modellriskpoäng och kalibrering av förutsagda händelser: inträffade händelser.
Sekundära mål
Skaffa detaljerad erfarenhet av acceptans och teknisk genomförbarhet med 12-månadersmodellen för förutsägelse av mortalitetsrisk.
Utöka datauppsättningen för träning och validering av 3-månaders respiratorisk-relaterad intagning och KOL-exacerbationsriskmodeller.
Utvärdera teknisk genomförbarhet (andel av samtyckta deltagare med liveresultat i modellappen) och beskrivande adoptionserfarenhet med 3-månaders andningsrelaterad intagning och KOL-exacerbationsmodeller, om granskning av valideringsprestandadata indikerar att dessa är redo för klinisk adoption.
Upprätta en preliminär erfarenhets- och nyttodataset från användning av live AI-insikter av ett multidisciplinärt KOL-team.
Sekundära explorativa utvärderingar
Detaljerade acceptansdata
Andel inbjudna patienter som granskat ytterligare stödjande information (video och skriftligt material).
Andel av inbjudna patienter som behöver enskild klinikerinput för att informera sitt samtyckesbeslut, med teman från dessa diskussioner noterade inklusive eventuella skillnader i acceptans/samtycke för studien och samtycke till att använda data för modellträning.
Detaljerad teknisk genomförbarhet och modellprestandadata
Fångas i modellprestandarapporter. Seriedata över den kliniska undersökningen inklusive:
- antal deltagare med saknade modellpoäng och orsaker (saknad data per funktionsgrupp, latens för datauppdatering, återkallande av deltagare, andra).
- modellprestandamått beräknade med hjälp av uthållningstestdataset för varje modellkörning inklusive AUC-ROC, precisionsåterkallande AUC, klassificeringsrapport och förvirringsmatris.
- Modellmätningar för rättvisa beräknade för intressegrupper.
- Global och lokal förklaringsbarhet för modellen för att illustrera modellbeslut och bioplausibilitet
- Prestanda av modellriskprediktion kontra händelser som fångats i LenusCOPD (död vid 12 månader, andningsrelaterad sjukhusinläggning, exacerbation).
- driftvariabilitet i modellprestanda med utforskande utvärdering av orsaker (t.ex. saknade data lösta, förändringar i underliggande källdata, patienttillstånd fluktuerar) för alla identifierade oväntade förändringar i modellprestanda eller individuella riskpoäng.
Utöka datauppsättningen för träning och validering av 3-månaders respiratorisk-relaterad intagning och KOL-exacerbationsriskmodeller
Data kommer att samlas in från samtyckande deltagare. Uppdaterade modellprestandarapporter kommer att granskas av studiens styrgrupp. Om dessa och interimsanalyser med primär endpoint är tillfredsställande kommer dessa modeller att läggas till livetjänsten.
Preliminära erfarenheter och användbarhetsdata från MDT-användning av levande KOL AI-insikter Antal patienter diskuterade vid KOL AI-MDT.
Kliniska åtgärder tagna från modell riskpoänggranskning i MDT, fångad i LenusCOPD-händelser och anteckningar.
Om exacerbationsmodellen används för levande klinisk användning:
- Antal incheckningsmeddelanden som utlösts av högriskpoäng från exacerbationsmodell - per patient och totalt för kohort som fångats i LenusCOPD-meddelanden.
- Andel deltagare där exacerbationsmodellens incheckningsmeddelanden stängs av tillfälligt eller permanent, fångat i LenusCOPD-anteckningar.
- Resultat från incheckningsmeddelanden - patienten initierar kontakt, annan händelse, fångad i LenusCOPD-meddelanden och anteckningar.
Patienthändelser (död, sjukhusinläggning, exacerbation av KOL; fångad i LenusKOL) när de inträffar prospektivt efter modellriskpoäng. Notera ingripande MDT-granskning, meddelanden, klinikers åtgärder, patientåtgärder utlösta av modellen för att fastställa preliminära erfarenhetsdata om effekten av riskförutsägelseutlösta åtgärder och deras potentiella inverkan på den efterföljande noggrannheten av dessa förutsägelser. Utvärderingen kommer att jämföra modellens prestanda kontra potentiella händelser med hänsyn till patienter som hade en modellutlöst granskning/åtgärd jämfört med de som inte gjorde det. Denna utvärdering kommer att kompletteras med externa retrospektiva valideringsdata som erhållits från antagandet av LenusCOPD-hanteringstjänsten i andra hälsonämnder. Modellens prestanda för grupperna med och utan intervention kommer också att delas med Data Science-teamet för att möjliggöra ytterligare modellförfining och omträning.
Relaterade utvärderingar Fortsatt utveckling av AI-insiktsmodeller fram till startpunkten för denna undersökning genomförs inom DYNAMIC-projektet och RECEIVER-försöksutvärderingarna. Extern validering av AI-insikternas modellprestanda kommer att utföras med hjälp av avidentifierade elektroniska patientjournaler och LenusCOPD-tjänstdata från andra organisationer än NHS GG&C. Samdesign, klinisk användarupplevelse och acceptanstestning av AI-insikter kommer att fortsätta parallellt. Dessa separata utvärderingar stöds av alla lämpliga godkännanden, styrning och dokumentation.
UNDERSÖKNINGSPLAN
Studera design
Denna kliniska undersökning kommer att utföras enligt UK Policy Framework for Health and Social Care Research (2017).
Detta är en observationskohorts genomförande-effektivitetsstudie. Interimistiska effektivitetsutvärderingar kommer att genomföras med 3-månadersintervaller under hela studien, med rapportering om de primära effektmåtten som granskas av studiens styrkommitté. Resultat från dessa interimsutvärderingar kan utlösa en rekommendation om att anpassa genomförandet eller interventionen – t.ex. ändringar i samtyckesinformation, tekniska uppdateringar. Föreslagna anpassningar av implementeringsstrategin eller interventionen kommer att övervägas av studiens ledningskommitté, med eventuella nödvändiga ändringar av detta CIP och tillhörande studiedokumentation inlämnade för sponsor och REC. Implementeringsändringar skulle endast göras när alla granskningar var klara och godkännanden erhållits. Slutrapporten för studien skulle innehålla detaljerade uppgifter om eventuella ändringar som gjorts baserat på interimsutvärderingarna.
Studietyp
Inskrivning (Beräknad)
Kontakter och platser
Studiekontakt
- Namn: Jacqueline Anderson
- E-post: Jacqueline.Anderson@ggc.scot.nhs.uk
Studera Kontakt Backup
- Namn: Ruairidh Davison
- E-post: Ruairidh.Davison@ggc.scot.nhs.uk
Studieorter
-
-
Scotland
-
Glasgow, Scotland, Storbritannien, G51 4TF
- Rekrytering
- Queen Elizabeth University Hospital
-
Kontakt:
- Jacqueline Anderson
- E-post: Jacqueline.Anderson@ggc.scot.nhs.uk
-
Kontakt:
- Ruairidh Davison
- E-post: Ruairidh.Davison@ggc.scot.nhs.uk
-
-
Deltagandekriterier
Urvalskriterier
Åldrar som är berättigade till studier
- Barn
- Vuxen
- Äldre vuxen
Tar emot friska volontärer
Testmetod
Studera befolkning
Beskrivning
Inklusionskriterier:
Aktuell aktiv användare av NHS Scotland COPD digital service. Bosatt och under vård av NHS GG&C COPD multidisciplinära team. Samtycke, tillgång till teknik (smarttelefon, surfplatta, dator och daglig tillgång till internet), förmåga att förstå skriftlig engelska och bekräftad diagnos av KOL är krav för användning av den digitala KOL-tjänsten
-
Exklusions kriterier:
Brist på tillhandahållande av informerat samtycke.
-
Studieplan
Hur är studien utformad?
Designdetaljer
Vad mäter studien?
Primära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Acceptans för patienter
Tidsram: 12 månader
|
Utvärdering av acceptansen för patienter med KOL av att presentera levande artificiell intelligens-baserad 12-månaders riskförutsägelsepoäng för dödlighet från LenusCOPD AI insights-applikationen, till KOL-klinikers multidisciplinära teammöten i NHS GG&C: Utvärderingen kommer att baseras på andelen inbjudna patienter som samtycker till att delta i DYNAMIC-AI-studien. |
12 månader
|
|
Teknisk genomförbarhet
Tidsram: 12 månader
|
Teknisk genomförbarhet för att presentera levande artificiell intelligens-baserad 12-månaders förutsägelse av dödlighetsriskpoäng från LenusCOPD AI insights-applikationen till KOL-klinikers multidisciplinära teammöten i NHS GG&C: Utvärdering av genomförbarhet kommer att vara andelen deltagare som har adekvata källdata i LenusCOPD och som har 12-månaders dödlighetsmodell-riskpoäng beräknade och presenterade för MDT-granskning i AI-insights modellapp |
12 månader
|
|
Säkerhet
Tidsram: 12 månader
|
Säkerheten med att presentera levande artificiell intelligens-baserad 12-månaders förutsägelse av dödlighetsriskpoäng från LenusCOPD AI insights-applikationen till KOL-klinikers multidisciplinära teammöten i NHS GG&C Utvärdering av säkerhet kommer att baseras på förekomsten av produktrelaterade biverkningar och från den prospektiva utvärderingen av modellriskpoäng - åtgärder från kliniker baserat på modellriskpoäng och kalibrering av förutsagda händelser: inträffade händelser |
12 månader
|
Sekundära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
erfarenhet av acceptans och teknisk genomförbarhet
Tidsram: 12 månader
|
Skaffa detaljerad erfarenhet av acceptans och teknisk genomförbarhet med 12-månadersmodellen för förutsägelse av mortalitetsrisk.
|
12 månader
|
|
Utöka dataset för utbildning och validering
Tidsram: 12 månader
|
Utöka datauppsättningen för träning och validering av 3-månaders respiratorisk-relaterad intagning och KOL-exacerbationsriskmodeller
|
12 månader
|
|
Utvärdera teknisk genomförbarhet och beskrivande erfarenhet av användning
Tidsram: 12 månader
|
Utvärdera teknisk genomförbarhet (andel av samtyckta deltagare med liveresultat i modellappen) och beskrivande adoptionserfarenhet med 3-månaders andningsrelaterad intagning och KOL-exacerbationsmodeller, om granskning av valideringsprestandadata indikerar att dessa är redo för klinisk adoption
|
12 månader
|
|
preliminär erfarenhet och verktygsdatauppsättning
Tidsram: 12 månader
|
Upprätta en preliminär erfarenhets- och nyttodataset från användning av live AI-insikter av ett multidisciplinärt KOL-team.
|
12 månader
|
Samarbetspartners och utredare
Sponsor
Studieavstämningsdatum
Studera stora datum
Studiestart (Faktisk)
Primärt slutförande (Beräknad)
Avslutad studie (Beräknad)
Studieregistreringsdatum
Först inskickad
Först inskickad som uppfyllde QC-kriterierna
Första postat (Faktisk)
Uppdateringar av studier
Senaste uppdatering publicerad (Faktisk)
Senaste inskickade uppdateringen som uppfyllde QC-kriterierna
Senast verifierad
Mer information
Termer relaterade till denna studie
Andra studie-ID-nummer
- INGN20RM641
Plan för individuella deltagardata (IPD)
Planerar du att dela individuella deltagardata (IPD)?
Läkemedels- och apparatinformation, studiedokument
Studerar en amerikansk FDA-reglerad läkemedelsprodukt
Studerar en amerikansk FDA-reglerad produktprodukt
Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .