AI DINAMICA: innovazione digitale con gestione remota e modellazione predittiva per integrare la cura della BPCO con approfondimenti basati sull'intelligenza artificiale: uno studio di accettabilità, fattibilità e sicurezza (DYNAMIC AI)

Contesto: bisogno, sfida e opportunità della BPCO.

La broncopneumopatia cronica ostruttiva (BPCO) è una sfida sanitaria globale. Sebbene esistano divari nella qualità dell'assistenza nel continuum dei pazienti con presentazione di BPCO, le riacutizzazioni di BPCO sono responsabili di gran parte del carico di malattia, degli esiti avversi e dei costi sanitari. Le persone con BPCO danno priorità all'evitare le riacutizzazioni e i conseguenti ricoveri. La Carta del paziente per la BPCO (marzo 2021), richiedeva una gestione proattiva e preventiva per ridurre il rischio di riacutizzazioni e morte prematura1. La trasformazione digitale con strumenti digitali co-progettati e innovazioni emergenti come i sensori indossabili e la modellazione predittiva basata sull'intelligenza artificiale offre l'opportunità di affrontare queste lacune nella qualità dell'assistenza alla BPCO e ottenere questo riorientamento dell'assistenza.

DINAMICO: trasformazione, implementazione ed evidenza del servizio digitale NHS GG&C BPCO.

Il programma "DYNAMIC" (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) è iniziato nel 2018. Questo si basava su una partnership di innovazione tra NHS GG&C medicina respiratoria e team di innovazione della Scozia occidentale e con LenusHealth (allora StormID). Il finanziamento iniziale proveniva da un premio catalizzatore di tecnologia sanitaria digitale da InnovateUK. Il successivo finanziamento del programma TEC (Technology Enabled Care) del governo scozzese ha continuato il servizio e ha consentito una fornitura su larga scala.

La nostra visione era quella di avviare la trasformazione digitale di un servizio BPCO con lo sviluppo, l'implementazione e la valutazione di strumenti digitali co-progettati. Abbiamo co-progettato le applicazioni Web per pazienti e medici "LenusCOPD" e il sito Web di supporto basato su cicli di test sull'esperienza dell'utente. Abbiamo mirato a stabilire strumenti che sarebbero stati utilizzati in modo sostenibile dai pazienti durante il follow-up e supportare la co-gestione della BPCO con un'anticipazione del raggiungimento della riduzione dei ricoveri correlati alle vie respiratorie e dei giorni di letto occupati in una coorte di BPCO ad alto rischio. Le prove sono state raccolte nello studio di coorte osservazionale "RECEIVER" e successivamente nella valutazione del servizio "DYNAMIC-SCOT" su larga scala.

Risultati chiave di RECEIVER / DYNAMIC-SCOT2:

• I partecipanti continuano a utilizzare l'app per pazienti LenusCOPD, con una media di 3,5 interazioni per persona a settimana sostenute > 1 anno dopo l'onboarding.
• I ricoveri ospedalieri correlati alla BPCO e i giorni di letto occupati sono stati ridotti dopo l'onboarding di LenusCOPD nei partecipanti con una storia di grave esacerbazione nell'anno precedente, con un tempo mediano alla riammissione di 380 giorni rispetto ai 50 giorni in una coorte di pazienti di controllo abbinata contemporanea.
• Il tempo mediano al ricovero o alla morte è stato di 43 giorni nel controllo, 338 giorni nel RECEIVER e 400 giorni nei partecipanti DYNAMIC-SCOT con una grave riacutizzazione nell'anno precedente.
• Il rischio di ricovero o morte a 12 mesi era del 74% nei pazienti di controllo, del 53% in RECEIVER e del 47% nei partecipanti alla sottocoorte DYNAMIC-SCOT.

Questi risultati di fattibilità e utilità supportano l'adozione su larga scala di questi strumenti digitali. La fornitura su larga scala del servizio principale LenusCOPD continuerà nel NHS GG&C 2022-2024, supportata dal rinnovato finanziamento TEC del governo scozzese. Attualmente circa 400 pazienti sono stati inseriti nel servizio digitale per la BPCO (marzo 2022), con un numero di utenti previsto in aumento man mano che LenusCOPD viene utilizzato per supportare il recupero e il riorientamento dei servizi di diagnostica della BPCO, revisione regolare e riabilitazione polmonare. Questa continua adozione e la nostra partnership per l'innovazione forniscono l'infrastruttura del banco di prova per implementare e valutare ulteriori innovazioni, comprese le informazioni sull'intelligenza artificiale per il supporto decisionale MDT proposte in questa indagine clinica.

Razionale: modelli di previsione del rischio di BPCO addestrati e convalidati

Le sfide delineate sopra hanno offerto l'opportunità di utilizzare l'intelligenza artificiale per sviluppare modelli di previsione del rischio per i pazienti. I dati raccolti nell'ambito del servizio, insieme ai dati storici del Fascicolo Sanitario Elettronico, sono stati utilizzati per creare una suite di modelli di previsione del rischio. Per sviluppare ciascun modello sono stati adottati i seguenti passaggi.

• Esplorazione dei dati: esplorazione e visualizzazione dei dati per identificare caratteristiche, pregiudizi e altri problemi con i set di dati.
• Formulazione del problema: come definire la variabile target di interesse e quale approccio di modellazione utilizzare.
• Suddivisione dei dati: definizione della strategia per la suddivisione dei set di dati da utilizzare per l'addestramento, la convalida e il test.
• Pulizia dei dati e gestione dei dati mancanti: identificazione di dati errati, valori anomali nel set di dati e definizione di una strategia per gestire i dati mancanti (imputazione, esclusione, autorizzazione di valori mancanti).
• Ingegneria delle funzionalità: il processo di trasformazione e aggregazione dei dati grezzi in funzionalità da utilizzare per l'addestramento del modello. L'ingegnerizzazione delle funzionalità consente di trarre maggiori informazioni dai dati.
• Addestramento del modello: esplorazione di diversi algoritmi di apprendimento automatico e scelta del miglior candidato per il problema in questione. Le funzionalità elaborate vengono quindi utilizzate per l'addestramento del modello.
• Convalida del modello: convalida e creazione di report sulle prestazioni del modello utilizzando il set di dati di test di controllo.
• Spiegabilità del modello: utilizzo di metodi di terze parti per rendere le previsioni del modello il più interpretabili e spiegabili possibile.
• Correttezza del modello: esame delle prestazioni del modello su sottogruppi di interesse e potenziale riqualificazione del modello per tenere conto di eventuali disuguaglianze.

Per i dettagli completi sullo sviluppo del modello, fare riferimento alla brochure dello sperimentatore e al rapporto di approvazione del modello. L'output per ciascuno dei modelli è un numero rappresentativo della probabilità che l'evento di interesse si verifichi per ciascun paziente.

Intervento

Abbiamo co-progettato tutti i componenti necessari per fornire punteggi di rischio basati su modelli di intelligenza artificiale in tempo reale per la mortalità a 12 mesi e la riammissione a 3 mesi ai medici all'interno di un BPCO-MDT. Per garantire che il servizio digitale BPCO di produzione non sia influenzato dallo studio AI Insights, verrà sviluppato un dashboard medico separato per far emergere queste previsioni del modello. L'output del modello di riacutizzazione sarà un messaggio di "check-in" inviato ai pazienti, evidenziando che hanno alcune possibili modifiche nei loro dati, spingendoli a rivedere il loro piano di autogestione e/o contattare il team clinico per un consiglio, se necessario. Questo è riassunto nella tabella 1, con il messaggio di check-in di esempio nella figura 1.

Tutti i feed di dati di origine necessari per eseguire questi modelli sono stati stabiliti nella tenancy NHS GG&C Azure, usando macchine virtuali di data science di Azure (macchina virtuale). L'intervento consiste in: -

Processo di consenso

Ulteriori dettagli si trovano nella sezione 10.4 del CIP e nel documento "Procedura operativa standard per il consenso DYNAMIC-AI". Il sito Web di supporto del servizio digitale LenusCOPD https://support.nhscopd.scot fornisce informazioni dettagliate sul paziente e collegamenti a video esplicativi che supportano il processo di consenso. Le informazioni sullo studio non sarebbero state pubblicate su questo sito Web ad accesso aperto fino a quando non fossero state ottenute tutte le approvazioni dello studio. Il contenuto web è disponibile per la revisione prima dell'approvazione su https://support.test.nhscopd.scot/dynamic-ai

L'app paziente LenusCOPD contiene le schermate di consenso in cui i pazienti invitati possono visualizzare le informazioni sullo studio e accettare, rifiutare o rinviare il consenso e accedere a ulteriori informazioni tramite il sito Web di supporto o richiedere una discussione con il team dello studio. La pagina di consenso degli approfondimenti AI del cruscotto clinico di LenusCOPD contiene l'interfaccia utente per l'attivazione del consenso nell'app del paziente, la revoca del consenso quando richiesto dal paziente e lo stato del consenso di controllo.

Pipeline di dati di insight AI Queste connessioni digitali basate su cloud acquisiscono e aggregano i dati relativi alle cartelle cliniche (dati demografici, diagnosi, ricoveri, prescrizioni, risultati di laboratorio) dai partecipanti consenzienti. I dati vengono aggregati, pseudonimizzati e convertiti in formati idonei per l'utilizzo da parte del servizio AI insights. I processi per fornire questi dati sono approvati e supportati dal team NHS GG&C SafeHaven, con una procedura operativa standard.

Pipeline di servizio del modello AI Insights La pipeline digitale basata su cloud acquisisce i dati pre-elaborati dalla pipeline di dati per l'utilizzo da parte dei modelli di apprendimento automatico, producendo previsioni del modello e spiegabilità per i partecipanti consenzienti per l'utilizzo da parte dell'app AI Insights Clinician.

Servizio AI insights Consiste in funzioni e processi back-end del sistema sanitario elettronico basato su cloud che ricevono istruzioni ed eseguono azioni per garantire il regolare svolgimento dell'intervento.

Database AI Insights L'archivio dati per il servizio digitale AI Insights. I dati grezzi e di riepilogo possono essere esportati come report sulle prestazioni del modello per la revisione da parte di data science e lead clinici, all'unità di studi clinici per analisi indipendenti e per la conservazione a lungo termine (come da documento IRAS).

AI insights clinico app L'applicazione Web che fornisce ai medici dashboard clinici (Figure 1 e 2) per visualizzare ed esportare elenchi di pazienti ed esaminare i risultati del modello di machine learning, la spiegabilità e i dati sull'equità dei partecipanti che hanno acconsentito.

OBIETTIVI DI STUDIO

Ipotesi

I pazienti con BPCO lo troveranno accettabile e acconsentiranno all'uso dei loro dati sanitari di routine per fornire punteggi di previsione del rischio di informazioni AI al loro team clinico, con dati utilizzati per la formazione e la convalida del modello in corso.

Sarà tecnicamente fattibile e sicuro fornire punteggi di previsione del rischio di BPCO di mortalità a 12 mesi derivati ​​dal modello AI per la revisione nel COPD AI-MDT all'interno dell'applicazione "AI insights".

Obiettivi primari

Determinare :

1. l'accettabilità per i pazienti con BPCO e
2. fattibilità tecnica e
3. sicurezza

di presentare il punteggio di previsione del rischio di mortalità a 12 mesi basato sull'intelligenza artificiale dal vivo dall'applicazione LenusCOPD AI insights alle riunioni del team multidisciplinare dei medici della BPCO nel NHS GG&C.

Misure primarie di fattibilità, accettabilità e sicurezza

Questi saranno riportati in modo descrittivo in quanto non ci sono dati pilota per informare un calcolo di potenza o una metrica di successo a priori.

1. La valutazione dell'accettabilità si baserà sulla percentuale di pazienti invitati che acconsentiranno a partecipare allo studio DYNAMIC-AI.
2. La valutazione della fattibilità tecnica sarà proporzionata ai partecipanti con dati di origine adeguati in LenusCOPD che hanno punteggi di rischio del modello di mortalità a 12 mesi calcolati e presentati per la revisione MDT nell'app del modello AI-insights.
3. La valutazione della sicurezza si baserà sul verificarsi di eventi avversi correlati al dispositivo e sulla valutazione prospettica dei punteggi di rischio del modello - azioni dei medici basate sui punteggi di rischio del modello e sulla calibrazione degli eventi previsti: eventi accaduti.

Obiettivi secondari

Acquisisci un'esperienza dettagliata di accettabilità e fattibilità tecnica con il modello di previsione del rischio di mortalità a 12 mesi.

Ampliare il set di dati per l'addestramento e la convalida dei modelli di previsione del rischio di riacutizzazione e di ricovero per malattie respiratorie a 3 mesi.

Valutare la fattibilità tecnica (percentuale di partecipanti consenzienti con punteggi in tempo reale nell'app modello) e l'esperienza di adozione descrittiva con modelli di ricovero per malattie respiratorie di 3 mesi e riacutizzazione della BPCO, se la revisione dei dati sulle prestazioni di convalida indica che questi sono pronti per l'adozione clinica.

Stabilire un'esperienza preliminare e un set di dati di utilità dall'uso di intuizioni AI dal vivo da parte di un team multidisciplinare della BPCO.

Valutazioni esplorative secondarie

Dati di accettabilità dettagliati

Proporzione di pazienti invitati che hanno esaminato ulteriori informazioni di supporto (video e materiale scritto).

Proporzione di pazienti invitati che richiedono il contributo del singolo medico per informare la loro decisione di consenso, con temi di queste discussioni annotati tra cui qualsiasi divergenza sull'accettabilità/consenso per lo studio e il consenso all'uso dei dati per la formazione del modello.

Fattibilità tecnica dettagliata e dati sulle prestazioni del modello

Catturato nei rapporti sulle prestazioni del modello. Dati seriali attraverso l'indagine clinica, tra cui:

• numero di partecipanti con punteggi e motivi del modello mancanti (dati mancanti per gruppo di funzionalità, latenza dell'aggiornamento dei dati, ritiro dei partecipanti, altro).
• metriche delle prestazioni del modello calcolate utilizzando il set di dati del test di tenuta per ogni esecuzione del modello, inclusi AUC-ROC, AUC di richiamo di precisione, rapporto di classificazione e matrice di confusione.
• Metriche di equità del modello calcolate per i gruppi di interesse.
• Spiegabilità globale e locale del modello per illustrare il processo decisionale e la bio-plausibilità del modello
• Prestazioni della previsione del rischio del modello rispetto agli eventi acquisiti in LenusBPCO (morte a 12 mesi, ricovero ospedaliero correlato alle vie respiratorie, esacerbazione).
• deriva-variabilità nelle prestazioni del modello con valutazione esplorativa dei motivi (ad es. dati mancanti risolti, modifica dei dati di origine sottostanti, fluttuazioni delle condizioni del paziente) per qualsiasi cambiamento imprevisto identificato nelle prestazioni del modello o nei punteggi di rischio individuali.

Ampliare il set di dati per l'addestramento e la convalida dei modelli di previsione del rischio di riacutizzazione e di ricovero per malattie respiratorie a 3 mesi

I dati verranno raccolti dai partecipanti consenzienti. I rapporti aggiornati sulle prestazioni del modello saranno esaminati dal comitato direttivo dello studio. Se queste e le analisi intermedie con l'endpoint primario sono soddisfacenti, questi modelli verranno aggiunti al servizio live.

Esperienza preliminare e dati di utilità dall'uso di MDT di informazioni in tempo reale sulla BPCO AI Numero di pazienti discussi al COPD AI-MDT.

Azioni cliniche tratte dalla revisione del punteggio di rischio del modello in MDT, acquisite negli eventi e nelle note di LenusCOPD.

Se il modello di riacutizzazione è adottato per uso clinico dal vivo:

• Numero di messaggi di check-in attivati ​​dal punteggio ad alto rischio dal modello di riacutizzazione - per paziente e totale per coorte acquisiti nella messaggistica LenusCOPD.
• Percentuale di partecipanti in cui i messaggi di check-in del modello di riacutizzazione sono disattivati ​​temporaneamente o permanentemente, catturati nelle note di LenusCOPD.
• Risultati dai messaggi di check-in: il paziente avvia il contatto, altri eventi, catturati nei messaggi e nelle note di LenusCOPD.

Eventi del paziente (morte, ricovero in ospedale, riacutizzazione della BPCO; catturati in LenusCOPD) che si verificano in modo prospettico seguendo il punteggio di rischio del modello. Notare la revisione MDT intervenuta, la messaggistica, l'azione del medico, l'azione del paziente innescata dal modello per stabilire dati preliminari sull'esperienza sull'impatto delle azioni innescate dalla previsione del rischio e la loro potenziale influenza sulla successiva accuratezza di tali previsioni. La valutazione confronterà le prestazioni del modello rispetto agli eventi potenziali considerando i pazienti che hanno avuto una revisione/azione attivata dal modello rispetto a quelli che non l'hanno fatto. Questa valutazione sarà integrata da dati di convalida retrospettiva esterna acquisiti dall'adozione del servizio di gestione LenusBPCO in altri enti sanitari. Le prestazioni del modello sui gruppi con e senza intervento saranno condivise anche con il team di Data Science per consentire ulteriori perfezionamenti e riqualificazione del modello.

Valutazioni correlate Nell'ambito del progetto DYNAMIC e delle valutazioni sperimentali di RECEIVER è in corso lo sviluppo continuo di modelli di analisi dell'intelligenza artificiale fino al punto di inizio di questa indagine. La convalida esterna delle prestazioni del modello di analisi dell'intelligenza artificiale verrà effettuata utilizzando cartelle cliniche elettroniche anonimizzate e dati del servizio LenusCOPD di organizzazioni diverse da NHS GG&C. La co-progettazione, l'esperienza clinica dell'utente e i test di accettabilità degli insight sull'intelligenza artificiale continueranno in parallelo. Queste valutazioni separate sono supportate da tutte le approvazioni, la governance e la documentazione appropriate.

PIANO INDAGINE

Progettazione dello studio

Questa indagine clinica sarà condotta secondo lo UK Policy Framework for Health and Social Care Research (2017).

Questo è uno studio di coorte osservazionale sull'efficacia dell'implementazione. Le valutazioni provvisorie dell'efficacia saranno effettuate a intervalli di 3 mesi durante lo studio, con rapporti sugli endpoint primari esaminati dal comitato direttivo dello studio. I risultati di queste valutazioni intermedie possono far scattare una raccomandazione per adattare l'attuazione o l'intervento, ad es. modifiche alle informazioni sul consenso, aggiornamenti tecnici. Gli adattamenti proposti alla strategia o all'intervento di implementazione sarebbero presi in considerazione dal comitato di gestione dello studio, con eventuali modifiche richieste a questo CIP e alla documentazione dello studio associata presentata per l'esame dello sponsor e del REC. Le modifiche all'implementazione verrebbero apportate solo una volta completate tutte le revisioni e ottenute le approvazioni. La relazione finale dello studio descriverà nel dettaglio eventuali modifiche apportate sulla base delle valutazioni intermedie.