DYNAMISCHE AI: digitale innovatie met beheer op afstand en voorspellende modellering om COPD-zorg te integreren met op kunstmatige intelligentie gebaseerde inzichten: een onderzoek naar aanvaardbaarheid, haalbaarheid en veiligheid (DYNAMIC AI)

Achtergrond: COPD behoefte, uitdaging en kans.

Chronische obstructieve longziekte (COPD) is een wereldwijde uitdaging in de gezondheidszorg. Hoewel er hiaten in de zorgkwaliteit bestaan ​​in het continuüm van patiënten met COPD, zijn COPD-exacerbaties verantwoordelijk voor een groot deel van de ziektelast, nadelige uitkomsten en zorgkosten. Mensen met COPD geven prioriteit aan het vermijden van exacerbaties en daaruit voortvloeiende ziekenhuisopnames. In het Patiëntenhandvest voor COPD (maart 2021) wordt opgeroepen tot proactief, preventief beheer om het risico op exacerbaties en vroegtijdig overlijden te verminderen1. Digitale transformatie met gezamenlijk ontworpen digitale tools en opkomende innovaties zoals draagbare sensoren en op AI gebaseerde voorspellende modellering biedt de mogelijkheid om deze COPD-zorgkwaliteitskloven aan te pakken en deze zorgheroriëntatie te bereiken.

DYNAMISCH: NHS GG&C COPD digitale dienstverlening transformatie, implementatie en bewijs.

In 2018 is het programma 'DYNAMIC' (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) gestart. Dit was gebaseerd op een innovatiepartnerschap tussen NHS GG&C respiratoire geneeskunde en West of Scotland innovatieteams en met LenusHealth (toen StormID). De eerste financiering was afkomstig van een prijs voor katalysator voor digitale gezondheidstechnologie van InnovateUK. De daaropvolgende financiering van het Technology Enabled Care (TEC)-programma van de Schotse overheid heeft de service voortgezet en schaalvergroting mogelijk gemaakt.

Onze visie was om de digitale transformatie van een COPD-service op gang te brengen met de ontwikkeling, implementatie en evaluatie van gezamenlijk ontworpen digitale tools. We hebben samen de 'LenusCOPD'-webapplicaties voor patiënten en clinici en de ondersteuningswebsite ontworpen op basis van cycli van testen van gebruikerservaringen. We wilden tools ontwikkelen die duurzaam door patiënten zouden worden gebruikt tijdens de follow-up, en co-management van COPD ondersteunen met de verwachting een vermindering van ademhalingsgerelateerde opnames en bezette beddagen in een COPD-cohort met een hoog risico te bereiken. Bewijs werd verzameld in de 'RECEIVER' observationele cohortstudie en vervolgens in de scale-up 'DYNAMIC-SCOT' dienstevaluatie.

Belangrijkste resultaten van ONTVANGER / DYNAMIC-SCOT2:

• Deelnemers blijven de LenusCOPD-patiënt-app gebruiken, met een gemiddelde van 3,5 interacties per persoon per week langer dan 1 jaar na onboarding.
• COPD-gerelateerde ziekenhuisopnames en bezette beddagen werden verminderd na LenusCOPD onboarding bij deelnemers met een voorgeschiedenis van een ernstige exacerbatie in het voorgaande jaar, met een mediane tijd tot heropname van 380 dagen vergeleken met 50 dagen in een contemporaine gematchte controlepatiëntencohort.
• De mediane tijd tot opname of overlijden was 43 dagen bij de controlegroep, 338 dagen bij de RECEIVER en 400 dagen bij de DYNAMIC-SCOT-deelnemers met een ernstige exacerbatie in het voorgaande jaar.
• Het 12 maanden durende risico op opname of overlijden was 74% bij controlepatiënten, 53% bij RECEIVER en 47% bij deelnemers aan het DYNAMIC-SCOT-subcohort.

Deze haalbaarheids- en bruikbaarheidsresultaten ondersteunen de opschaling van deze digitale tools. Opschaling van de kerndienst LenusCOPD zal worden voortgezet in NHS GG&C 2022-2024, ondersteund door hernieuwde TEC-financiering door de Schotse regering. Momenteel zijn ongeveer 400 patiënten aangemeld bij de digitale COPD-dienst (maart 2022), en het aantal gebruikers zal naar verwachting stijgen, aangezien LenusCOPD wordt gebruikt ter ondersteuning van herstel en heroriëntatie van COPD-diagnostiek, regelmatige beoordeling en longrevalidatiediensten. Deze voortdurende acceptatie en ons innovatiepartnerschap bieden de testbankinfrastructuur om aanvullende innovaties te implementeren en te evalueren, waaronder de kunstmatige intelligentie-inzichten voor MDT-beslissingsondersteuning die in dit klinische onderzoek wordt voorgesteld.

Achtergrond: Getrainde en gevalideerde COPD-risicovoorspellingsmodellen

De hierboven geschetste uitdagingen boden een kans om AI te gebruiken om modellen voor het voorspellen van risico's voor patiënten te ontwikkelen. De gegevens die als onderdeel van de service werden verzameld, werden samen met historische gegevens uit het elektronische patiëntendossier gebruikt om een ​​reeks risicovoorspellingsmodellen te creëren. De volgende stappen zijn genomen om elk model te ontwikkelen.

• Gegevensverkenning - gegevensverkenning en visualisaties om kenmerken, vooroordelen en andere problemen met de datasets te identificeren.
• Probleemformulering - hoe de gewenste doelvariabele te definiëren en welke modelleringsbenadering te gebruiken.
• Gegevens splitsen - het definiëren van de strategie voor het splitsen van de datasets die moeten worden gebruikt voor training, validatie en testen.
• Gegevensopschoning en behandeling van ontbrekende gegevens - identificatie van foutieve gegevens, uitbijters in de dataset en het definiëren van een strategie voor het omgaan met ontbrekende gegevens (imputatie, uitsluiting, ontbrekende waarden toestaan).
• Feature Engineering - Het proces van het transformeren en aggregeren van de onbewerkte gegevens in functies die worden gebruikt voor modeltraining. Met feature-engineering kan meer inzicht uit de gegevens worden gehaald.
• Modeltraining - verkenning van verschillende algoritmen voor machine learning en het kiezen van de beste kandidaat voor het betreffende probleem. De verwerkte kenmerken worden vervolgens gebruikt voor modeltraining.
• Modelvalidatie - validatie en rapportage over modelprestaties met behulp van de hold-out testdataset.
• Modelverklaarbaarheid - gebruik van methoden van derden om de modelvoorspellingen zo interpreteerbaar en verklaarbaar mogelijk te maken.
• Eerlijkheid van modellen - onderzoek van modelprestaties op subgroepen van interesse en mogelijke hertraining van modellen om rekening te houden met eventuele ongelijkheden.

Raadpleeg voor volledige details over modelontwikkeling de onderzoekersbrochure en het modelgoedkeuringsrapport. De uitvoer voor elk van de modellen is een getal dat representatief is voor de waarschijnlijkheid dat de gebeurtenis van belang voor elke patiënt plaatsvindt.

Interventie

We hebben samen alle componenten ontworpen die nodig zijn om live op AI-modellen gebaseerde risicoscores te bieden voor 12 maanden mortaliteit en 3 maanden heropname aan clinici binnen een COPD-MDT. Om ervoor te zorgen dat de digitale COPD-productieservice niet wordt beïnvloed door de AI Insights-studie, zal een apart clinici-dashboard worden ontwikkeld om deze modelvoorspellingen aan het licht te brengen. De output van het exacerbatiemodel zal een 'check-in'-bericht zijn dat naar patiënten wordt gestuurd, waarin wordt benadrukt dat ze enkele mogelijke wijzigingen in hun gegevens hebben, en hen wordt gevraagd hun zelfmanagementplan te herzien en/of indien nodig contact op te nemen met het klinische team voor advies. Dit is samengevat in tabel 1, met het voorbeeld van een incheckbericht in figuur 1.

Alle brongegevensfeeds die nodig zijn om deze modellen uit te voeren, zijn tot stand gebracht in NHS GG&C Azure-tenancy, met behulp van Azure data science VM's (Virtual Machine). De tussenkomst bestaat uit: -

Toestemmingsproces

Verdere details zijn te vinden in CIP-sectie 10.4 en in het document "Standard operating procedure for DYNAMIC-AI consent". De ondersteuningswebsite voor digitale service van LenusCOPD https://support.nhscopd.scot biedt de gedetailleerde patiëntinformatie en links naar uitlegvideo's die het toestemmingsproces ondersteunen. Studie-informatie zou pas live op deze open access-website staan ​​als alle studiegoedkeuringen zijn verkregen. De webinhoud kan voorafgaand aan goedkeuring worden beoordeeld op https://support.test.nhscopd.scot/dynamic-ai

De LenusCOPD-patiënt-app bevat de toestemmingsschermen waar uitgenodigde patiënten informatie over het onderzoek kunnen bekijken en toestemming kunnen accepteren, afwijzen of uitstellen en toegang hebben tot verdere informatie via de ondersteuningswebsite, of een gesprek met het onderzoeksteam kunnen aanvragen. De toestemmingspagina voor AI-inzichten van het LenusCOPD-dashboard voor clinici bevat de gebruikersinterface voor het activeren van toestemming in de patiëntenapp, het intrekken van toestemming op verzoek van de patiënt en het controleren van de toestemmingsstatus.

AI-inzichten datapijplijnen Deze cloudgebaseerde digitale verbindingen nemen relevante gezondheidsdossiergegevens (demografische gegevens, diagnoses, opnames, voorschrijven, laboratoriumresultaten) op en verzamelen deze van geautoriseerde deelnemers. Gegevens worden geaggregeerd, gepseudonimiseerd en omgezet in geschikte formaten voor gebruik door de AI-inzichtendienst. Processen voor het verstrekken van deze gegevens worden goedgekeurd en ondersteund door het NHS GG&C SafeHaven-team, met een standaardwerkwijze.

AI-inzichtenmodel voor pijplijn De cloudgebaseerde digitale pijplijn neemt de voorverwerkte gegevens van de datapijplijn op voor gebruik door de machine-learningmodellen, waardoor modelvoorspellingen en verklaarbaarheid worden geproduceerd voor instemmende deelnemers voor gebruik door de AI Insights Clinician-app.

AI-inzichtenservice Dit bestaat uit back-endfuncties en -processen van het elektronische gezondheidssysteem in de cloud die instructies ontvangen en acties uitvoeren om de interventie soepel te laten verlopen.

AI Insights-database De gegevensopslag voor de digitale dienst AI Insights. Ruwe en samengevatte gegevens kunnen worden geëxporteerd als modelprestatierapporten voor beoordeling door datawetenschap en klinische leads, naar de unit voor klinische proeven voor onafhankelijke analyse en voor langdurige retentie (volgens IRAS-document).

AI-inzichten clinicus-app De webapplicatie die clinici voorziet van klinische dashboards (Afbeelding 1 & 2) om patiëntenlijsten te bekijken en te exporteren en om machine-learning modelresultaten, uitlegbaarheid en eerlijkheid van deelnemers met toestemming te bekijken.

STUDIE DOELSTELLINGEN

Hypothesen

Patiënten met COPD zullen het acceptabel vinden en ermee instemmen om hun routinematige gezondheidszorggegevens te gebruiken om AI-inzichten in risicovoorspellingsscores aan hun klinische team te verstrekken, met gegevens die worden gebruikt voor voortdurende modeltraining en validatie.

Het zal technisch haalbaar en veilig zijn om van het AI-model afgeleide COPD-risicovoorspellingsscores voor sterfte over 12 maanden ter beoordeling te verstrekken in de COPD AI-MDT binnen de toepassing 'AI-inzichten'.

Primaire doelen

Om te bepalen :

1. de aanvaardbaarheid voor patiënten met COPD en
2. technische haalbaarheid en
3. veiligheid

van het presenteren van live op kunstmatige intelligentie gebaseerde 12-maanden sterfterisico-voorspellingsscore van de LenusCOPD AI-inzichtentoepassing voor multidisciplinaire teamvergaderingen van COPD-clinici in NHS GG&C.

Primaire haalbaarheids-, aanvaardbaarheids- en veiligheidsmetingen

Deze zullen beschrijvend worden gerapporteerd, aangezien er geen pilootgegevens zijn om een ​​vermogensberekening of a priori successtatistieken te informeren.

1. De beoordeling van de aanvaardbaarheid zal gebaseerd zijn op het aantal uitgenodigde patiënten dat ermee instemt deel te nemen aan het DYNAMIC-AI-onderzoek.
2. Evaluatie van de technische haalbaarheid zal het aandeel deelnemers zijn met voldoende brongegevens in LenusCOPD die 12-maanden mortaliteitsmodel-risicoscores hebben berekend en gepresenteerd voor MDT-beoordeling in de AI-insights-model-app.
3. Evaluatie van de veiligheid zal gebaseerd zijn op het optreden van apparaatgerelateerde bijwerkingen en op de prospectieve evaluatie van modelrisicoscores - acties van clinici op basis van modelrisicoscores en kalibratie van voorspelde gebeurtenissen: opgetreden gebeurtenissen.

Secundaire doelstellingen

Verwerf gedetailleerde acceptatie- en technische haalbaarheidservaring met het 12-maanden voorspellingsmodel voor sterfterisico's.

Breid dataset uit voor training en validatie van 3 maanden respiratoire gerelateerde opname en COPD exacerbatie risico voorspellingsmodellen.

Evalueer de technische haalbaarheid (percentage van goedgekeurde deelnemers met live scores in model-app) en beschrijvende acceptatie-ervaring met 3 maanden respiratoire-gerelateerde opname- en COPD-exacerbatiemodellen, als beoordeling van validatieprestatiegegevens aangeeft dat deze klaar zijn voor klinische acceptatie.

Stel een voorlopige ervarings- en gebruiksdataset op door gebruik te maken van live AI-inzichten door een multidisciplinair COPD-team.

Secundaire verkennende evaluaties

Gedetailleerde aanvaardbaarheidsgegevens

Percentage uitgenodigde patiënten dat aanvullende ondersteunende informatie (video en schriftelijk materiaal) heeft bekeken.

Percentage uitgenodigde patiënten dat de input van een individuele arts nodig heeft om hun toestemmingsbeslissing te onderbouwen, waarbij thema's uit deze discussies worden genoemd, waaronder eventuele meningsverschillen over de aanvaardbaarheid/toestemming voor het onderzoek en toestemming om gegevens te gebruiken voor modeltraining.

Gedetailleerde technische haalbaarheids- en modelprestatiegegevens

Vastgelegd in prestatierapporten van modellen. Seriële gegevens over het klinische onderzoek, waaronder:

• aantal deelnemers met ontbrekende modelscores en redenen (ontbrekende gegevens per kenmerkgroep, latentie van gegevensvernieuwing, terugtrekking van deelnemers, andere).
• modelprestatiestatistieken berekend met behulp van de hold-out-testdataset voor elke modelrun, inclusief AUC-ROC, precisie-recall AUC, classificatierapport en verwarringsmatrix.
• Model rechtvaardigheidsstatistieken berekend voor groepen van belang.
• Globale en lokale verklaarbaarheid van het model om modelbesluitvorming en bioplausibiliteit te illustreren
• Prestaties van modelrisicovoorspelling versus gebeurtenissen vastgelegd in LenusCOPD (overlijden na 12 maanden, ademhalingsgerelateerde ziekenhuisopname, exacerbatie).
• drift-variabiliteit in modelprestaties met verkennende evaluatie van redenen (bijv. ontbrekende gegevens opgelost, verandering in onderliggende brongegevens, toestand van patiënt fluctueert) voor geïdentificeerde onverwachte veranderingen in modelprestaties of individuele risicoscores.

Breid dataset uit voor training en validatie van 3 maanden respiratoire gerelateerde opname en COPD exacerbatie risico voorspellingsmodellen

Gegevens worden verzameld van instemmende deelnemers. Bijgewerkte modelprestatierapporten zullen worden beoordeeld door de stuurgroep van de studie. Als deze en tussentijdse analyses met primair eindpunt naar wens zijn worden deze modellen toegevoegd aan de live service.

Voorlopige ervaring en gebruiksgegevens van MDT-gebruik van live COPD AI-inzichten Aantal patiënten besproken bij COPD AI-MDT.

Klinische acties uit de beoordeling van de modelrisicoscore in MDT, vastgelegd in LenusCOPD-gebeurtenissen en -aantekeningen.

Als het exacerbatiemodel is goedgekeurd voor live klinisch gebruik:

• Aantal check-in berichten getriggerd door hoog-risicoscore van exacerbatiemodel - per patiënt en totaal voor cohort vastgelegd in LenusCOPD-berichten.
• Percentage deelnemers waarbij de incheckberichten van het exacerbatiemodel tijdelijk of permanent zijn uitgeschakeld, vastgelegd in LenusCOPD-notities.
• Resultaten van incheckberichten - patiënt initieert contact, andere gebeurtenis, vastgelegd in LenusCOPD-berichten en notities.

Patiëntgebeurtenissen (overlijden, ziekenhuisopname, COPD-exacerbatie; vastgelegd in LenusCOPD) zoals ze zich prospectief voordoen volgens de modelrisicoscore. Nota nemen van tussenliggende MDT-review, berichtgeving, actie van de arts, actie van de patiënt getriggerd door het model om voorlopige ervaringsgegevens vast te stellen over de impact van door risicovoorspelling getriggerde acties en hun potentiële invloed op de daaropvolgende nauwkeurigheid van die voorspellingen. Evaluatie zal de prestaties van het model vergelijken met toekomstige gebeurtenissen, rekening houdend met patiënten die een door het model getriggerde beoordeling/actie hadden versus degenen die dat niet deden. Deze evaluatie zal worden aangevuld met externe retrospectieve validatiegegevens die zijn verkregen uit de acceptatie van de LenusCOPD-beheerservice in andere gezondheidsraden. De modelprestaties op de groepen met en zonder tussenkomst zullen ook worden gedeeld met het Data Science-team om verdere modelverfijningen en hertraining mogelijk te maken.

Gerelateerde evaluaties Binnen het DYNAMIC-project en RECEIVER-proefevaluaties vindt de verdere ontwikkeling van modellen voor AI-inzichten plaats tot aan het begin van dit onderzoek. Externe validatie van de modelprestaties van de AI-inzichten zal worden uitgevoerd met behulp van geanonimiseerde elektronische medische dossiers en LenusCOPD-servicegegevens van andere organisaties dan NHS GG&C. Co-design, klinische gebruikerservaring en acceptatietesten van AI-inzichten zullen parallel worden voortgezet. Deze afzonderlijke evaluaties worden ondersteund door alle passende goedkeuringen, governance en documentatie.

ONDERZOEKSPLAN

Ontwerp ontwerpen

Dit klinisch onderzoek zal worden uitgevoerd volgens het UK Policy Framework for Health and Social Care Research (2017).

Dit is een observationele cohort-implementatie-effectiviteitsstudie. Tussentijdse evaluaties van de effectiviteit zullen worden uitgevoerd met tussenpozen van 3 maanden gedurende de studie, met rapportage over de primaire eindpunten die worden beoordeeld door de stuurgroep van de studie. Resultaten van deze tussentijdse evaluaties kunnen leiden tot een aanbeveling om de implementatie of interventie aan te passen. wijzigingen in toestemmingsinformatie, technische updates. Voorgestelde aanpassingen aan de implementatiestrategie of interventie zouden worden overwogen door de studiebeheercommissie, waarbij alle vereiste wijzigingen aan dit CIP en de bijbehorende onderzoeksdocumentatie ter overweging door de sponsor en REC zouden worden voorgelegd. Implementatiewijzigingen zouden pas worden aangebracht als alle beoordelingen zijn voltooid en goedkeuringen zijn verkregen. In het eindrapport van de studie worden eventuele wijzigingen op basis van de tussentijdse evaluaties beschreven.