DYNAAMINEN AI: Digitaalinen innovaatio etähallinnan ja ennakoivan mallinnuksen avulla keuhkoahtaumatautihoidon integroimiseksi tekoälyyn perustuviin näkemyksiin: hyväksyttävyys-, toteutettavuus- ja turvallisuustutkimus (DYNAMIC AI)

Taustaa: COPD:n tarve, haaste ja mahdollisuus.

Krooninen obstruktiivinen keuhkosairaus (COPD) on maailmanlaajuinen terveydenhuollon haaste. Vaikka hoidon laadussa on eroja keuhkoahtaumatautipotilaiden jatkumossa, keuhkoahtaumatautien paheneminen on vastuussa suuresta osasta sairauden taakkaa, haittavaikutuksia ja terveydenhuollon kustannuksia. Keuhkoahtaumatautia sairastavat ihmiset haluavat välttää pahenemisvaiheita ja niistä johtuvia sairaalahoitoja. Keuhkoahtaumatautia koskevassa potilasperuskirjassa (maaliskuu 2021) vaadittiin ennakoivaa, ennaltaehkäisevää hoitoa pahenemisriskin ja ennenaikaisen kuoleman vähentämiseksi1. Digitaalinen muutos yhteissuunniteltujen digitaalisten työkalujen ja uusien innovaatioiden, kuten puettavien antureiden ja tekoälypohjaisen ennakoivan mallinnuksen, avulla tarjoaa mahdollisuuden korjata nämä keuhkoahtaumatautien hoidon laatupuutteet ja saavuttaa hoidon uudelleen suuntaaminen.

DYNAAMINEN: NHS GG&C COPD:n digitaalisen palvelun muutos, toteutus ja todisteet.

DYNAMIC (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) -ohjelma käynnistyi vuonna 2018. Tämä perustui innovaatiokumppanuuteen NHS GG&C:n hengityslääketieteen ja West of Scotlandin innovaatiotiimien sekä LenusHealthin (silloin StormID) kanssa. Alkuperäinen rahoitus saatiin InnovateUK:n digitaalisen terveysteknologian katalysaattoripalkinnosta. Myöhempi Scottish Government Technology Enabled Care (TEC) -ohjelman rahoitus on jatkanut palvelua ja mahdollistanut laajenemisen.

Visiomme oli käynnistää keuhkoahtaumatautipalvelun digitaalinen muutos kehittämällä, toteuttamalla ja arvioimalla yhdessä suunniteltuja digitaalisia työkaluja. Suunnittelimme yhdessä "LenusCOPD"-potilas- ja lääkäriverkkosovellukset ja -sivustot, jotka perustuvat käyttökokemuksen testausjaksoihin. Tavoitteenamme oli luoda työkaluja, joita potilaat voisivat käyttää kestävästi seurannan aikana, ja tukea keuhkoahtaumatautien yhteishallintaa ennakoiden saavuttavamme keuhkoahtaumatautiriskin kohortin hengitysteihin liittyvien hoitoon pääsyn ja varattujen vuodepäivien vähenemisen. Todisteita kerättiin havainnointikohorttitutkimuksessa "RECEIVER" ja sen jälkeen laajennetussa "DYNAMIC-SCOT"-palvelun arvioinnissa.

Tärkeimmät tulokset RECEIVER / DYNAMIC-SCOT2:sta:

• Osallistujat jatkavat LenusCOPD-potilassovelluksen käyttöä, ja keskimäärin 3,5 vuorovaikutusta henkilöä kohti viikossa jatkuu yli vuoden kuluttua aloituksesta.
• Keuhkoahtaumatautiin liittyvien sairaalahoitojen ja varattujen vuodepäivien määrä väheni LenusCOPD:n aloittamisen jälkeen osallistujilla, joilla on ollut vakava paheneminen edellisenä vuonna, ja mediaaniaika takaisinottoon oli 380 päivää verrattuna 50 päivään vastaavassa vertailupotilasryhmässä.
• Mediaaniaika pääsyyn tai kuolemaan oli 43 päivää kontrollissa, 338 päivää RECEIVER-ryhmässä ja 400 päivää DYNAMIC-SCOT-osallistujissa, joilla oli vakava paheneminen edellisenä vuonna.
• 12 kuukauden sisäänpääsyn tai kuoleman riski oli 74 % kontrollipotilailla, 53 % RECEIVER-ryhmällä ja 47 % DYNAMIC-SCOT-alakohortin osallistujilla.

Nämä toteutettavuus- ja hyödyllisyystulokset tukevat näiden digitaalisten työkalujen laajempaa käyttöönottoa. LenusCOPD-ydinpalvelun laajennettu tarjonta jatkuu NHS GG&C 2022-2024, jota tukee Skotlannin hallituksen TEC-rahoitus. Tällä hetkellä noin 400 potilasta on otettu COPD-digitaalipalveluun (maaliskuu 2022), ja käyttäjämäärän odotetaan nousevan, kun LenusCOPD:tä käytetään tukemaan keuhkoahtaumatautien diagnostisten, säännöllisten tarkistusten ja keuhkojen kuntoutuspalvelujen toipumista ja uudelleen suuntaamista. Tämä jatkuva käyttöönotto ja innovaatiokumppanuutemme tarjoavat testialustan infrastruktuurin lisäinnovaatioiden toteuttamiseen ja arvioimiseen, mukaan lukien tässä kliinisessä tutkimuksessa ehdotetut tekoälyn näkemykset MDT-päätöstukea varten.

Perustelut: Koulutetut ja validoidut COPD-riskin ennustamismallit

Edellä kuvatut haasteet tarjosivat mahdollisuuden käyttää tekoälyä potilaiden riskien ennustemallien kehittämiseen. Palvelun osana kerätyistä tiedoista ja historiallisista sähköisen sairauskertomuksen tiedoista luotiin riskiennustemallisarja. Seuraavat vaiheet suoritettiin kunkin mallin kehittämiseksi.

• Tietojen tutkiminen – tietojen tutkiminen ja visualisoinnit ominaisuuksien, harhojen ja muiden tietojoukkojen ongelmien tunnistamiseksi.
• Ongelman muotoilu - kuinka määritellään kiinnostava kohdemuuttuja ja mitä mallinnustapaa käyttää.
• Tietojen jakaminen – strategian määrittäminen koulutukseen, validointiin ja testaukseen käytettävien tietojoukkojen jakamiseen.
• Tietojen puhdistus ja puuttuvien tietojen käsittely - virheellisten tietojen, poikkeavien aineiston tunnistaminen ja puuttuvien tietojen käsittelystrategian määrittäminen (imputointi, poissulkeminen, puuttuvien arvojen salliminen).
• Feature Engineering - Prosessi, jossa raakadata muunnetaan ja yhdistetään ominaisuuksiksi, joita käytetään mallikoulutuksessa. Ominaisuussuunnittelu mahdollistaa paremman käsityksen saamisesta tiedoista.
• Mallikoulutus - erilaisten koneoppimisalgoritmien tutkiminen ja parhaan ehdokkaan valinta käsillä olevaan ongelmaan. Käsiteltyjä ominaisuuksia käytetään sitten mallikoulutukseen.
• Mallin validointi – mallin suorituskyvyn validointi ja raportointi pitotestitietojoukon avulla.
• Mallin selitettävyys - kolmannen osapuolen menetelmien käyttö mallin ennusteiden tekemiseksi mahdollisimman tulkittavissa ja selitettävissä.
• Mallin oikeudenmukaisuus - mallien suorituskyvyn tutkiminen kiinnostuksen kohteiden alaryhmissä ja mahdollinen mallin uudelleenkoulutus mahdollisten epätasa-arvojen huomioon ottamiseksi.

Lisätietoja mallin kehittämisestä on tutkijan esitteessä ja mallin hyväksyntäraportissa. Kunkin mallin tulos on luku, joka edustaa todennäköisyyttä, että kiinnostava tapahtuma tapahtuu kullekin potilaalle.

Interventio

Olemme yhdessä suunnitelleet kaikki komponentit, joita tarvitaan elävien tekoälymalliin perustuvien riskipisteiden tarjoamiseen 12 kuukauden kuolleisuuden ja 3 kuukauden takaisinoton osalta keuhkoahtaumatauti-MDT:n kliinikoille. Jotta AI Insights -tutkimus ei vaikuta COPD-tuotannon digitaaliseen palveluun, kehitetään erillinen kliinikon hallintapaneeli näiden malliennusteiden esille tuomiseksi. Pahenemismallin tulos on potilaille lähetettävä "check-in" -viesti, jossa korostetaan, että heidän tiedoissaan on joitain mahdollisia muutoksia, ja kehotetaan heitä tarkistamaan itsehoitosuunnitelmansa ja/tai ottamaan tarvittaessa yhteyttä kliiniseen tiimiin neuvoja varten. Tämä on yhteenveto taulukossa 1, jossa on esimerkki sisäänkirjautumisviestistä kuvassa 1.

Kaikki näiden mallien suorittamiseen tarvittavat lähdetietosyötteet on perustettu NHS GG&C Azure -vuokrasopimukseen käyttämällä Azure Data Science -VM:iä (Virtual Machine). Interventio koostuu: -

Suostumusprosessi

Lisätietoja on CIP-osiossa 10.4 ja asiakirjassa "Dynamic-AI-hyväksynnän vakiokäyttömenettely". LenusCOPD-digitaalipalvelun tukisivusto https://support.nhscopd.scot tarjoaa yksityiskohtaiset potilastiedot ja linkit selitysvideoihin, jotka tukevat suostumusprosessia. Tutkimustietoja ei julkaista tällä avoimen pääsyn verkkosivustolla ennen kuin kaikki tutkimusluvat on saatu. Verkkosisältö on tarkastettavissa ennen hyväksyntää osoitteessa https://support.test.nhscopd.scot/dynamic-ai

LenusCOPD-potilassovellus sisältää suostumusnäytöt, joissa kutsutut potilaat voivat tarkastella tutkimukseen liittyviä tietoja ja hyväksyä, hylätä tai lykätä suostumuksensa ja saada lisätietoja tukisivuston kautta tai pyytää keskustelua tutkimusryhmän kanssa. LenusCOPD Clinician Dashboard AI Insights -suostumussivu sisältää käyttöliittymän suostumuksen aktivoimiseen potilassovelluksessa, suostumuksen peruuttamiseen potilaan pyynnöstä ja suostumuksen tilan tarkastamiseen.

AI insights -tietoputket Nämä pilvipohjaiset digitaaliset yhteydet nielevät ja yhdistävät asiaankuuluvia terveystietoja (demografiset tiedot, diagnoosit, vastaanottotiedot, lääkemääräykset, laboratoriotulokset) hyväksytyiltä osallistujilta. Tiedot kootaan, pseudonyymitetään ja muunnetaan sopiviin muotoihin AI Insights -palvelun käyttöön. NHS GG&C SafeHaven -tiimi on hyväksynyt ja tukenut näiden tietojen toimittamisen prosessit normaalin toimintatavan mukaisesti.

AI Insights -mallin palveleva putki Pilvipohjainen digitaalinen putkisto ottaa esikäsitellyn datan dataputkesta koneoppimismallien käyttöön. Se tuottaa malliennusteita ja selitettävyyttä AI Insights Clinician App -sovelluksen käyttöön antaville osallistujille.

AI Insights -palvelu Tämä koostuu pilvipohjaisista sähköisen terveydenhuoltojärjestelmän taustatoiminnoista ja prosesseista, jotka vastaanottavat ohjeita ja suorittavat toimia varmistaakseen toimenpiteen sujuvan toiminnan.

AI Insights -tietokanta Digitaalisen AI Insights -palvelun tietovarasto. Raaka- ja yhteenvetotiedot voidaan viedä mallien suorituskykyraportteina datatieteen ja kliinisten johtajien tarkastettavaksi, kliinisten tutkimusten yksikköön riippumatonta analyysiä varten ja pitkäaikaista säilytystä varten (IRAS-asiakirjan mukaisesti).

AI Insights -kliinikon sovellus Verkkosovellus, joka tarjoaa kliinikoille kliiniset kojelaudat (kuvat 1 ja 2) potilasluetteloiden katseluun ja vientiin sekä koneoppimismallien tulosten, selitettävyyden ja oikeudenmukaisuuden tietojen tarkastelemiseen suostumusten saaneilta osallistujilta.

OPINTOJEN TAVOITTEET

Hypoteesit

Keuhkoahtaumatautipotilaat pitävät hyväksyttävänä rutiininomaisten terveydenhuoltotietojensa käyttöä ja suostuvat käyttämään tekoälyn näkemyksiä riskien ennustepisteistä kliiniselle tiimilleen, ja tietoja käytetään jatkuvassa mallikoulutuksessa ja validoinnissa.

On teknisesti mahdollista ja turvallista tarjota tekoälymallista johdettuja 12 kuukauden kuolleisuuden keuhkoahtaumatautiriskin ennustepisteitä COPD AI-MDT -tutkimuksessa "AI Insights" -sovelluksessa.

Ensisijaiset tavoitteet

Määrittämiseksi :

1. hyväksyttävyyttä keuhkoahtaumatautia sairastaville potilaille ja
2. tekninen toteutettavuus ja
3. turvallisuutta

esittämällä elävään tekoälyyn perustuvan 12 kuukauden kuolleisuusriskin ennustuspisteen LenusCOPD AI Insights -sovelluksesta keuhkoahtaumatautien lääkäreiden monitieteisille tiimikokouksille NHS GG&C:ssä.

Ensisijaiset toteutettavuus-, hyväksyttävyys- ja turvallisuusmittaukset

Nämä raportoidaan kuvailevasti, koska teholaskennassa tai a priori onnistumismittarissa ei ole pilottidataa.

1. Hyväksyttävyyden arviointi perustuu niiden potilaiden osuuteen, jotka on kutsuttu osallistumaan DYNAMIC-AI-tutkimukseen.
2. Teknisen toteutettavuuden arviointi koskee niiden osallistujien osuutta, joilla on riittävät lähdetiedot LenusCOPD:ssä ja joilla on 12 kuukauden kuolleisuusmallin riskipisteet laskettu ja esitetty MDT-arviointia varten AI-insights -mallisovelluksessa.
3. Turvallisuuden arviointi perustuu laitteisiin liittyvien haittatapahtumien esiintymiseen ja mallin riskipisteiden tulevaan arviointiin - kliinikoiden toimiin mallin riskipisteiden perusteella ja ennustettujen tapahtumien kalibrointiin: tapahtuneet tapahtumat.

Toissijaiset tavoitteet

Hanki yksityiskohtaista hyväksyttävyyttä ja teknistä toteutettavuutta koskevaa kokemusta 12 kuukauden kuolleisuusriskin ennustemallilla.

Laajenna tietojoukkoa koulutusta ja validointia varten 3 kuukauden hengitykseen liittyvien vastaanotto- ja keuhkoahtaumatautien pahenemisriskien ennustemallien osalta.

Arvioi tekninen toteutettavuus (suostuneiden osallistujien osuus, joilla on live-pisteet mallisovelluksessa) ja kuvaava adoptiokokemus 3 kuukauden hengitystautiin liittyvillä malleilla ja COPD:n pahenemismalleilla, jos validointitulostietojen tarkastelu osoittaa, että ne ovat valmiita kliiniseen käyttöön.

Luo alustava kokemus- ja hyödyllisyystietojoukko keuhkoahtaumatautia käsittelevän monitieteisen tiimin reaaliaikaisten AI-näkemysten perusteella.

Toissijaiset tutkivat arvioinnit

Yksityiskohtaiset hyväksyttävyystiedot

Kutsuttujen potilaiden osuus, jotka arvioivat lisätietoa (video ja kirjalliset materiaalit).

Niiden kutsuttujen potilaiden osuus, jotka tarvitsevat yksittäisen kliinikon panoksen tehdäkseen suostumuspäätöksensä, ja näiden keskustelujen aiheet huomioidaan, mukaan lukien mahdolliset erot tutkimuksen hyväksyttävyydestä/suostuksesta ja suostumuksesta käyttää tietoja mallikoulutukseen.

Yksityiskohtaiset tekniset toteutettavuustiedot ja mallin suorituskykytiedot

Taltioitu mallin suorituskykyraportteihin. Kliinisen tutkimuksen sarjatiedot, mukaan lukien:

• osallistujien lukumäärä, joilta puuttuvat mallipisteet ja syyt (puuttuva data ominaisuusryhmäkohtaisesti, tietojen päivityksen latenssi, osallistujan vetäytyminen jne.).
• mallin suorituskykymittarit, jotka on laskettu kunkin malliajon pitotestitietojoukon avulla, mukaan lukien AUC-ROC, tarkkuuskutsu AUC, luokitusraportti ja sekavuusmatriisi.
• Mallin oikeudenmukaisuusmittarit lasketaan kiinnostusryhmille.
• Mallin globaali ja paikallinen selitettävyys mallin päätöksenteon ja biologisen uskottavuuden havainnollistamiseksi
• Mallin riskiennusteen suorituskyky verrattuna LenusCOPD:n tapahtumiin (kuolema 12 kuukauden iässä, hengitysteihin liittyvä sairaalahoito, paheneminen).
• mallin suorituskyvyn poikkeavuus ja syiden tutkiva arviointi (esim. puuttuvat tiedot korjattu, taustalla olevien lähdetietojen muutos, potilaan tila vaihtelee) havaittujen odottamattomien muutosten varalta mallin suorituskyvyssä tai yksittäisissä riskipisteissä.

Laajenna tietojoukkoa koulutusta ja validointia varten 3 kuukauden hengitykseen liittyvien vastaanotto- ja keuhkoahtaumatautien pahenemisriskien ennustemallien osalta

Tietoja kerätään suostumuksen antaneilta osallistujilta. Päivitetyt mallien suorituskykyraportit tarkastellaan tutkimuksen ohjauskomiteassa. Jos nämä ja välianalyysit ensisijaisella päätepisteellä ovat tyydyttäviä, nämä mallit lisätään live-palveluun.

Alustavat kokemukset ja hyödyllisyystiedot elävien COPD AI -näkemysten MDT-käytöstä COPD AI-MDT:ssä käsiteltyjen potilaiden määrä.

Kliiniset toimenpiteet, jotka on otettu mallin riskipisteiden tarkastelusta MDT:ssä, tallennettu LenusCOPD-tapahtumiin ja muistiinpanoihin.

Jos pahenemismalli on hyväksytty elävään kliiniseen käyttöön:

• Pahenemismallin korkean riskin pistemäärän laukaisemien sisäänkirjautumisviestien määrä - potilasta kohti ja LenusCOPD-viestinnässä tallennetun kohortin kokonaismäärä.
• LenusCOPD-muistiinpanoihin tallennettujen osallistujien osuus, joissa pahenemismallin sisäänkirjautumisviestit on kytketty pois päältä tilapäisesti tai pysyvästi.
• Lähtöselvitysviestien tulokset - potilas aloittaa yhteydenoton, muun tapahtuman, joka on tallennettu LenusCOPD-viesteihin ja muistiinpanoihin.

Potilastapahtumat (kuolema, sairaalahoito, keuhkoahtaumatautien paheneminen; LenusCOPD:ssä), kun ne tapahtuvat prospektiivisesti mallin riskipisteiden mukaisesti. Huomioi välissä oleva MDT-tarkistus, viestit, lääkärin toiminta, mallin käynnistämä potilaan toiminta, jotta saadaan alustavia kokemustietoja riskien ennusteen käynnistämien toimien vaikutuksesta ja niiden mahdollisesta vaikutuksesta näiden ennusteiden myöhempään tarkkuuteen. Arvioinnissa verrataan mallin suorituskykyä mahdollisiin tapahtumiin ottaen huomioon potilaat, joiden malli laukaisi tarkastelun/toimenpiteen, ja ne, jotka eivät käynnistäneet sitä. Tätä arviointia täydennetään ulkoisilla retrospektiivisillä validointitiedoilla, jotka on hankittu LenusCOPD-hallintapalvelun käyttöönotosta muissa terveyslautakunnissa. Mallin suorituskyky ryhmissä ilman interventiota ja ilman väliintuloa jaetaan myös Data Science -tiimille, jotta mallien tarkentaminen ja uudelleenkoulutus voidaan tehdä.

Aiheeseen liittyvät arvioinnit Tekoälyn näkemysmallien kehittämistä jatketaan tämän tutkimuksen alkuun asti DYNAMIC-projektin ja RECEIVER-koearvioinnin puitteissa. AI Insights -mallin suorituskyvyn ulkoinen validointi suoritetaan käyttämällä tunnistamattomia sähköisiä terveystietoja ja LenusCOPD-palvelutietoja muilta organisaatioilta kuin NHS GG&C:ltä. Tekoälynäkemysten yhteissuunnittelu, kliininen käyttökokemus ja hyväksyttävyystestaus jatkuvat rinnakkain. Näitä erillisiä arviointeja tukevat kaikki asianmukaiset hyväksynnät, hallinto ja dokumentaatio.

TUTKINTASUUNNITELMA

Opintojen suunnittelu

Tämä kliininen tutkimus suoritetaan Yhdistyneen kuningaskunnan terveys- ja sosiaalitutkimuksen politiikan puitteiden (2017) mukaisesti.

Tämä on havainnollinen kohortti toteutuksen tehokkuustutkimus. Välivaiheen tehokkuuden arvioinnit suoritetaan kolmen kuukauden välein koko kokeen ajan, ja tutkimuksen ohjauskomitea tarkastelee ensisijaiset päätepisteet. Näiden väliarviointien tulokset voivat laukaista suosituksen täytäntöönpanon tai toimenpiteiden mukauttamisesta - esim. suostumustietojen muutokset, tekniset päivitykset. Toteutusstrategiaan tai interventioon ehdotettuja mukautuksia harkitsee tutkimuksen hallintokomitea, ja kaikki tarvittavat muutokset tähän CIP:hen ja siihen liittyviin tutkimusdokumentaatioihin toimitetaan sponsorin ja REC:n harkittavaksi. Toteutusmuutoksia tehtäisiin vasta, kun kaikki tarkastukset on suoritettu ja hyväksynnät saatu. Tutkimuksen loppuraportissa esitettäisiin kaikki väliarviointien perusteella tehdyt muutokset.