DYNAMIC AI : Innovation numérique avec gestion à distance et modélisation prédictive pour intégrer les soins de la MPOC avec des informations basées sur l'intelligence artificielle : une étude d'acceptabilité, de faisabilité et de sécurité (DYNAMIC AI)

Contexte : besoin, défi et opportunité de la MPOC.

La bronchopneumopathie chronique obstructive (BPCO) est un défi sanitaire mondial. Bien qu'il existe des lacunes en matière de qualité des soins dans le continuum de présentation des patients atteints de BPCO, les exacerbations de la BPCO sont responsables d'une grande partie de la charge de morbidité, des résultats indésirables et des coûts des soins de santé. Les personnes atteintes de MPOC accordent la priorité à la prévention des exacerbations et des hospitalisations qui en résultent. La Charte du patient pour la BPCO (mars 2021) appelait à une prise en charge proactive et préventive pour réduire le risque d'exacerbations et de décès prématuré1. La transformation numérique avec des outils numériques co-conçus et des innovations émergentes telles que les capteurs portables et la modélisation prédictive basée sur l'IA offre la possibilité de combler ces lacunes en matière de qualité des soins pour la BPCO et de réaliser cette réorientation des soins.

DYNAMIQUE : transformation, mise en œuvre et preuves du service numérique NHS GG&C MPOC.

Le programme 'DYNAMIC' (Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) a débuté en 2018. Cela reposait sur un partenariat d'innovation entre les équipes d'innovation de médecine respiratoire du NHS GG&C et de l'ouest de l'Écosse et avec LenusHealth (alors StormID). Le financement initial provenait d'un prix catalyseur de technologie de santé numérique d'InnovateUK. Le financement ultérieur du programme TEC (Technology Enabled Care) du gouvernement écossais a permis de poursuivre le service et a permis une mise à l'échelle.

Notre vision était d'initier la transformation numérique d'un service BPCO avec le développement, la mise en place et l'évaluation d'outils numériques co-conçus. Nous avons co-conçu les applications Web pour patients et cliniciens "LenusCOPD" et le site Web de support basé sur des cycles de tests d'expérience utilisateur. Notre objectif était d'établir des outils qui seraient utilisés de manière durable par les patients pendant le suivi et de soutenir la cogestion de la MPOC en anticipant la réduction des admissions liées à la respiration et des jours de lit occupés dans une cohorte à haut risque de MPOC. Des preuves ont été recueillies dans l'étude de cohorte observationnelle « RECEIVER » et, par la suite, dans l'évaluation du service à grande échelle « DYNAMIC-SCOT ».

Principaux résultats de RECEIVER / DYNAMIC-SCOT2 :

• Les participants continuent d'utiliser l'application patient LenusCOPD, avec une moyenne de 3,5 interactions par personne et par semaine maintenues > 1 an après l'intégration.
• Les admissions à l'hôpital liées à la MPOC et les jours de lit occupés ont été réduits après l'intégration de LenusCOPD chez les participants ayant des antécédents d'exacerbation sévère au cours de l'année précédente, avec un délai médian de réadmission de 380 jours contre 50 jours dans une cohorte de patients témoins appariée contemporaine.
• Le délai médian d'admission ou de décès était de 43 jours chez les témoins, de 338 jours chez les participants RECEIVER et de 400 jours chez les participants DYNAMIC-SCOT avec une exacerbation grave au cours de l'année précédente.
• Le risque d'admission ou de décès sur 12 mois était de 74 % chez les patients témoins, de 53 % chez RECEIVER et de 47 % chez les participants de la sous-cohorte DYNAMIC-SCOT.

Ces résultats de faisabilité et d'utilité soutiennent l'adoption à grande échelle de ces outils numériques. La fourniture à grande échelle du service de base LenusCOPD se poursuivra dans le NHS GG&C 2022-2024, soutenue par un financement TEC renouvelé du gouvernement écossais. Actuellement, environ 400 patients ont été intégrés au service numérique MPOC (mars 2022), et le nombre d'utilisateurs devrait augmenter à mesure que LenusCOPD est utilisé pour soutenir la récupération et la réorientation des services de diagnostic, d'examen régulier et de réadaptation pulmonaire de la MPOC. Cette adoption continue et notre partenariat d'innovation fournissent l'infrastructure de banc d'essai pour mettre en œuvre et évaluer des innovations supplémentaires, y compris les informations sur l'intelligence artificielle pour l'aide à la décision MDT proposées dans cette enquête clinique.

Justification : Modèles de prédiction du risque de MPOC entraînés et validés

Les défis décrits ci-dessus ont présenté une opportunité d'utiliser l'IA pour développer des modèles de prédiction des risques pour les patients. Les données recueillies dans le cadre du service, ainsi que les données historiques du dossier de santé électronique, ont été utilisées pour créer une suite de modèles de prédiction des risques. Les étapes suivantes ont été suivies pour développer chaque modèle.

• Exploration de données - exploration et visualisations de données pour identifier les caractéristiques, les biais et d'autres problèmes avec les ensembles de données.
• Formulation du problème - comment définir la variable cible d'intérêt et quelle approche de modélisation utiliser.
• Fractionnement des données - définir la stratégie de fractionnement des ensembles de données à utiliser pour la formation, la validation et les tests.
• Nettoyage des données et traitement des données manquantes - identification des données erronées, des valeurs aberrantes dans l'ensemble de données et définition d'une stratégie de traitement des données manquantes (imputation, exclusion, autorisation des valeurs manquantes).
• Ingénierie des fonctionnalités - Le processus de transformation et d'agrégation des données brutes en fonctionnalités à utiliser pour la formation du modèle. L'ingénierie des fonctionnalités permet de mieux comprendre les données.
• Formation de modèles - exploration de différents algorithmes d'apprentissage automatique et choix du meilleur candidat pour le problème à résoudre. Les caractéristiques traitées sont ensuite utilisées pour la formation du modèle.
• Validation du modèle - validation et rapport sur les performances du modèle à l'aide de l'ensemble de données de test retenu.
• Explicabilité du modèle - utilisation de méthodes tierces pour rendre les prédictions du modèle aussi interprétables et explicables que possible.
• Équité du modèle - examen des performances du modèle sur des sous-groupes d'intérêt et réentraînement potentiel du modèle pour tenir compte de toute inégalité.

Pour plus de détails sur le développement du modèle, reportez-vous à la brochure de l'investigateur et au rapport d'approbation du modèle. La sortie de chacun des modèles est un nombre représentatif de la probabilité que l'événement d'intérêt se produise pour chaque patient.

Intervention

Nous avons co-conçu tous les composants nécessaires pour fournir des scores de risque basés sur un modèle d'IA en direct pour la mortalité à 12 mois et la réadmission à 3 mois aux cliniciens dans le cadre d'un MPOC-MDT. Pour s'assurer que le service numérique de production de MPOC n'est pas impacté par l'étude AI Insights, un tableau de bord séparé pour les cliniciens sera développé pour mettre en évidence ces prédictions de modèle. Le résultat du modèle d'exacerbation sera un message de « vérification » envoyé aux patients, soulignant qu'ils ont des changements possibles dans leurs données, les incitant à revoir leur plan d'autogestion et/ou à contacter l'équipe clinique pour obtenir des conseils si nécessaire. Ceci est résumé dans le tableau 1, avec l'exemple de message d'enregistrement à la figure 1.

Tous les flux de données sources nécessaires à l'exécution de ces modèles ont été établis dans la location NHS GG&C Azure, à l'aide de machines virtuelles de science des données Azure (machine virtuelle). L'intervention consiste à : -

Processus de consentement

De plus amples détails se trouvent dans la section 10.4 du CIP et dans le document "Procédure opératoire standard pour le consentement DYNAMIC-AI". Le site Web d'assistance au service numérique LenusCOPD https://support.nhscopd.scot fournit des informations détaillées sur le patient et des liens vers des vidéos explicatives qui soutiennent le processus de consentement. Les informations sur l'étude ne seront pas disponibles sur ce site Web en libre accès tant que toutes les approbations d'étude n'auront pas été obtenues. Le contenu Web est disponible pour examen avant approbation sur https://support.test.nhscopd.scot/dynamic-ai

L'application patient LenusCOPD contient les écrans de consentement où les patients invités peuvent afficher des informations sur l'étude et accepter, rejeter ou différer le consentement et accéder à des informations supplémentaires via le site Web d'assistance, ou demander une discussion avec l'équipe de l'étude. La page de consentement des informations sur l'IA du tableau de bord du clinicien LenusCOPD contient l'interface utilisateur pour activer le consentement dans l'application patient, révoquer le consentement à la demande du patient et vérifier l'état du consentement.

Pipelines de données AI Insights Ces connexions numériques basées sur le cloud ingèrent et agrègent les données pertinentes des dossiers de santé (démographie, diagnostics, admissions, prescriptions, résultats de laboratoire) des participants consentants. Les données sont agrégées, pseudonymisées et converties dans des formats appropriés pour être utilisées par le service AI Insights. Les processus de fourniture de ces données sont approuvés et pris en charge par l'équipe NHS GG&C SafeHaven, avec une procédure d'exploitation standard.

Pipeline de service de modèle AI Insights Le pipeline numérique basé sur le cloud ingère les données prétraitées du pipeline de données pour une utilisation par les modèles d'apprentissage automatique, produisant des prédictions de modèle et une explicabilité pour les participants consentants à utiliser par l'application AI Insights Clinician.

Service AI Insights Il s'agit de fonctions et de processus back-end du système de santé électronique basés sur le cloud qui reçoivent des instructions et exécutent des actions pour assurer le bon déroulement de l'intervention.

Base de données AI Insights Magasin de données pour le service numérique AI Insights. Les données brutes et récapitulatives peuvent être exportées sous forme de rapports de performances de modèle pour examen par la science des données et les responsables cliniques, vers l'unité des essais cliniques pour une analyse indépendante et pour une conservation à long terme (conformément au document IRAS).

Application clinicien AI Insights L'application Web qui fournit aux cliniciens des tableaux de bord cliniques (Figure 1 et 2) pour afficher et exporter des listes de patients et examiner les résultats du modèle d'apprentissage automatique, l'explicabilité et les données d'équité des participants consentants.

OBJECTIFS DE L'ÉTUDE

Hypothèses

Les patients atteints de MPOC trouveront cela acceptable et consentiront à utiliser leurs données de soins de santé de routine pour fournir à leur équipe clinique des scores de prédiction des risques AI Insights, avec des données utilisées pour la formation et la validation continues du modèle.

Il sera techniquement faisable et sûr de fournir des scores de prédiction du risque de mortalité de BPCO sur 12 mois dérivés d'un modèle d'IA pour examen dans le COPD AI-MDT dans l'application « AI insights ».

Objectifs principaux

Déterminer :

1. l'acceptabilité pour les patients atteints de BPCO et
2. faisabilité technique et
3. sécurité

de présenter le score de prédiction du risque de mortalité sur 12 mois basé sur l'intelligence artificielle en direct de l'application LenusCOPD AI insights aux réunions de l'équipe multidisciplinaire des cliniciens de la MPOC au NHS GG&C.

Mesures primaires de faisabilité, d'acceptabilité et de sécurité

Ceux-ci seront rapportés de manière descriptive car il n'y a pas de données pilotes pour éclairer un calcul de puissance ou une mesure de réussite a priori.

1. L'évaluation de l'acceptabilité sera basée sur la proportion de patients invités qui consentent à participer à l'étude DYNAMIC-AI.
2. L'évaluation de la faisabilité technique sera la proportion de participants disposant de données sources adéquates dans LenusCOPD qui ont des scores de risque de modèle de mortalité sur 12 mois calculés et présentés pour examen MDT dans l'application de modèle AI-insights.
3. L'évaluation de la sécurité sera basée sur la survenue d'événements indésirables liés au dispositif et sur l'évaluation prospective des scores de risque du modèle - actions des cliniciens basées sur les scores de risque du modèle et étalonnage des événements prédits : événements survenus.

Objectifs secondaires

Acquérir une expérience détaillée d'acceptabilité et de faisabilité technique avec le modèle de prévision du risque de mortalité sur 12 mois.

Élargir l'ensemble de données pour la formation et la validation des modèles de prédiction du risque d'admission liée à la respiration et d'exacerbation de la MPOC sur 3 mois.

Évaluer la faisabilité technique (proportion de participants consentants avec des scores en direct dans l'application modèle) et l'expérience d'adoption descriptive avec des modèles d'admission respiratoire et d'exacerbation de la MPOC sur 3 mois, si l'examen des données de performance de validation indique qu'ils sont prêts pour l'adoption clinique.

Établir un ensemble de données d'expérience et d'utilité préliminaire à partir de l'utilisation d'informations d'IA en direct par une équipe multidisciplinaire MPOC.

Évaluations exploratoires secondaires

Données d'acceptabilité détaillées

Proportion de patients invités qui ont examiné des informations supplémentaires à l'appui (vidéo et documents écrits).

Proportion de patients invités qui ont besoin de l'avis d'un clinicien individuel pour éclairer leur décision de consentement, les thèmes de ces discussions étant notés, y compris toute divergence sur l'acceptabilité/le consentement à l'étude et le consentement à utiliser les données pour la formation du modèle.

Faisabilité technique détaillée et données de performance du modèle

Capturé dans les rapports de performances du modèle. Données en série sur l'ensemble de l'investigation clinique, notamment :

• nombre de participants avec des scores de modèle manquants et des raisons (données manquantes par groupe de fonctionnalités, latence d'actualisation des données, retrait des participants, autres).
• les métriques de performance du modèle calculées à l'aide de l'ensemble de données de test d'exclusion pour chaque exécution du modèle, y compris l'AUC-ROC, l'AUC de rappel de précision, le rapport de classification et la matrice de confusion.
• Mesures d'équité du modèle calculées pour les groupes d'intérêt.
• Explicabilité globale et locale du modèle pour illustrer la prise de décision et la bio-plausibilité du modèle
• Performance de la prédiction du risque du modèle par rapport aux événements capturés dans LenusCOPD (décès à 12 mois, admission à l'hôpital pour cause respiratoire, exacerbation).
• dérive-variabilité des performances du modèle avec évaluation exploratoire des raisons (par ex. données manquantes résolues, modification des données sources sous-jacentes, fluctuation de l'état du patient) pour tout changement inattendu identifié dans les performances du modèle ou les scores de risque individuels.

Élargir l'ensemble de données pour la formation et la validation des modèles de prédiction du risque d'admission liée à la respiration et d'exacerbation de la MPOC sur 3 mois

Les données seront accumulées auprès des participants consentants. Les rapports de performance des modèles mis à jour seront examinés par le comité directeur de l'étude. Si ces analyses et les analyses intermédiaires avec le critère d'évaluation principal sont satisfaisantes, ces modèles seront ajoutés au service en direct.

Expérience préliminaire et données d'utilité de l'utilisation par la PCT des informations en direct de l'IA sur la MPOC Nombre de patients discutés lors de la COPD AI-MDT.

Actions cliniques tirées de l'examen du score de risque du modèle dans la PCT, capturées dans les événements et les notes LenusCOPD.

Si le modèle d'exacerbation est adopté pour une utilisation clinique en direct :

• Nombre de messages d'enregistrement déclenchés par le score de risque élevé du modèle d'exacerbation - par patient et total pour la cohorte capturés dans la messagerie LenusCOPD.
• Proportion de participants pour lesquels les messages d'enregistrement du modèle d'exacerbation sont désactivés temporairement ou définitivement, capturés dans les notes LenusCOPD.
• Résultats des messages d'enregistrement - le patient initie un contact, un autre événement, capturé dans la messagerie et les notes LenusCOPD.

Événements patients (décès, admission à l'hôpital, exacerbation de la MPOC ; capturés dans LenusCOPD) tels qu'ils se produisent de manière prospective après le score de risque du modèle. Notant l'examen intermédiaire de la PCT, la messagerie, l'action du clinicien, l'action du patient déclenchée par le modèle pour établir des données d'expérience préliminaires sur l'impact des actions déclenchées par la prédiction des risques et leur influence potentielle sur l'exactitude ultérieure de ces prédictions. L'évaluation comparera la performance du modèle par rapport aux événements prospectifs en considérant les patients qui ont eu une révision/action déclenchée par le modèle par rapport à ceux qui n'en ont pas eu. Cette évaluation sera complétée par des données de validation rétrospectives externes acquises à partir de l'adoption du service de gestion LenusCOPD dans d'autres conseils de santé. Les performances du modèle sur les groupes avec et sans intervention seront également partagées avec l'équipe Data Science pour permettre d'autres raffinements du modèle et une nouvelle formation.

Évaluations connexes Le développement continu des modèles d'intelligence artificielle jusqu'au début de cette enquête est entrepris dans le cadre des évaluations du projet DYNAMIC et de l'essai RECEIVER. La validation externe des performances du modèle AI Insights sera entreprise à l'aide du dossier de santé électronique anonymisé et des données du service LenusCOPD d'organisations autres que NHS GG&C. La co-conception, l'expérience utilisateur clinique et les tests d'acceptabilité des informations sur l'IA se poursuivront en parallèle. Ces évaluations distinctes sont étayées par toutes les approbations, la gouvernance et la documentation appropriées.

PLAN D'ENQUÊTE

Étudier le design

Cette investigation clinique sera réalisée conformément au UK Policy Framework for Health and Social Care Research (2017).

Il s'agit d'une étude observationnelle de cohorte sur l'efficacité de la mise en œuvre. Des évaluations intermédiaires de l'efficacité seront entreprises tous les 3 mois tout au long de l'essai, avec des rapports sur les principaux critères d'évaluation examinés par le comité directeur de l'étude. Les résultats de ces évaluations intermédiaires peuvent déclencher une recommandation pour adapter la mise en œuvre ou l'intervention - par ex. modifications des informations de consentement, mises à jour techniques. Les adaptations proposées à la stratégie de mise en œuvre ou à l'intervention seraient examinées par le comité de gestion de l'étude, avec toutes les modifications requises à ce CIP et à la documentation de l'étude associée soumise à l'examen du sponsor et du CER. Les changements de mise en œuvre ne seraient apportés qu'une fois tous les examens terminés et les approbations obtenues. Le rapport final de l'étude détaillera toute modification apportée sur la base des évaluations intermédiaires.