IA DINÁMICA: Innovación digital con gestión remota y modelado predictivo para integrar la atención de la EPOC con conocimientos basados ​​en inteligencia artificial: un estudio de aceptabilidad, viabilidad y seguridad (DYNAMIC AI)

Antecedentes: necesidad, desafío y oportunidad de la EPOC.

La enfermedad pulmonar obstructiva crónica (EPOC) es un desafío sanitario mundial. Si bien existen brechas en la calidad de la atención a lo largo de la presentación continua de pacientes con EPOC, las exacerbaciones de la EPOC son responsables de una gran proporción de la carga de la enfermedad, los resultados adversos y los costos de atención médica. Las personas con EPOC priorizan evitar las exacerbaciones y las hospitalizaciones resultantes. La Carta del paciente para la EPOC (marzo de 2021) exigía un tratamiento proactivo y preventivo para reducir el riesgo de exacerbaciones y muerte prematura1. La transformación digital con herramientas digitales codiseñadas e innovaciones emergentes, como sensores portátiles y modelos predictivos basados ​​en IA, ofrece la oportunidad de abordar estas brechas en la calidad de la atención de la EPOC y lograr esta reorientación de la atención.

DINÁMICA: Transformación, implementación y evidencia del servicio digital NHS GG&C EPOC.

El programa 'DYNAMIC' (Innovación digital con gestión remota y modelado predictivo para integrar la atención de la EPOC) comenzó en 2018. Esto se basó en una asociación de innovación entre NHS GG&C medicina respiratoria y los equipos de innovación del oeste de Escocia y con LenusHealth (entonces StormID). La financiación inicial provino de un premio catalizador de tecnología de salud digital de InnovateUK. La subsiguiente financiación del Programa de atención habilitada por tecnología (TEC) del gobierno escocés ha continuado el servicio y ha permitido ampliar la prestación.

Nuestra visión era iniciar la transformación digital de un servicio de EPOC con el desarrollo, implementación y evaluación de herramientas digitales codiseñadas. Co-diseñamos las aplicaciones web para pacientes y médicos de "LenusCOPD" y el sitio web de soporte basado en ciclos de pruebas de experiencia del usuario. Nuestro objetivo era establecer herramientas que los pacientes utilizarían de forma sostenible durante el seguimiento y respaldar el control conjunto de la EPOC con la previsión de lograr una reducción de los ingresos relacionados con las vías respiratorias y los días de cama ocupados en una cohorte de EPOC de alto riesgo. La evidencia se recopiló en el estudio de cohorte observacional 'RECEIVER' y, posteriormente, en la evaluación del servicio ampliada 'DYNAMIC-SCOT'.

Resultados clave de RECEIVER / DYNAMIC-SCOT2:

• Los participantes continúan usando la aplicación para pacientes LenusCOPD, con un promedio de 3,5 interacciones por persona por semana durante más de 1 año después de la incorporación.
• Los ingresos hospitalarios relacionados con la EPOC y los días de cama ocupados se redujeron después de la incorporación de LenusCOPD en participantes con antecedentes de una exacerbación grave en el año anterior, con una mediana de tiempo hasta el reingreso de 380 días en comparación con 50 días en una cohorte contemporánea de pacientes de control emparejados.
• La mediana de tiempo hasta el ingreso o la muerte fue de 43 días en el control, 338 días en el RECEPTOR y 400 días en los participantes de DYNAMIC-SCOT con una exacerbación grave en el año anterior.
• El riesgo de ingreso o muerte a los 12 meses fue del 74 % en los pacientes de control, del 53 % en los RECEPTORES y del 47 % en los participantes de la subcohorte DYNAMIC-SCOT.

Estos resultados de viabilidad y utilidad respaldan la adopción a mayor escala de estas herramientas digitales. La provisión ampliada del servicio central LenusCOPD continuará en NHS GG&C 2022-2024, con el respaldo de la financiación renovada del TEC del gobierno escocés. Actualmente, ~400 pacientes se han incorporado al servicio digital de EPOC (marzo de 2022), y se prevé que el número de usuarios aumente a medida que LenusCOPD se utilice para respaldar la recuperación y la reorientación de los servicios de diagnóstico, revisión periódica y rehabilitación pulmonar de la EPOC. Esta adopción continua y nuestra asociación de innovación proporciona la infraestructura de banco de pruebas para implementar y evaluar innovaciones adicionales, incluidos los conocimientos de inteligencia artificial para el apoyo a la toma de decisiones de MDT propuesto en esta investigación clínica.

Justificación: modelos de predicción de riesgo de EPOC entrenados y validados

Los desafíos descritos anteriormente presentaron una oportunidad de utilizar la IA para desarrollar modelos de predicción de riesgo del paciente. Los datos recopilados como parte del servicio, junto con los datos históricos de la historia clínica electrónica, se utilizaron para crear un conjunto de modelos de predicción de riesgos. Se siguieron los siguientes pasos para desarrollar cada modelo.

• Exploración de datos: exploración de datos y visualizaciones para identificar características, sesgos y otros problemas con los conjuntos de datos.
• Formulación del problema: cómo definir la variable objetivo de interés y qué enfoque de modelado utilizar.
• División de datos: definición de la estrategia para dividir los conjuntos de datos que se utilizarán para el entrenamiento, la validación y las pruebas.
• Limpieza de datos y manejo de datos faltantes: identificación de datos erróneos, valores atípicos en el conjunto de datos y definición de una estrategia para tratar los datos faltantes (imputación, exclusión, permitir valores faltantes).
• Ingeniería de características: el proceso de transformar y agregar los datos sin procesar en características que se utilizarán para el entrenamiento del modelo. La ingeniería de características permite obtener una mayor comprensión de los datos.
• Entrenamiento de modelos: exploración de diferentes algoritmos de aprendizaje automático y elección del mejor candidato para el problema en cuestión. Las funciones procesadas se utilizan luego para el entrenamiento del modelo.
• Validación del modelo: validación e informes sobre el rendimiento del modelo utilizando el conjunto de datos de prueba de retención.
• Explicabilidad del modelo: uso de métodos de terceros para hacer que las predicciones del modelo sean tan interpretables y explicables como sea posible.
• Imparcialidad del modelo: examen del rendimiento del modelo en subgrupos de interés y reentrenamiento potencial del modelo para tener en cuenta cualquier desigualdad.

Para obtener detalles completos sobre el desarrollo del modelo, consulte el folleto del investigador y el informe de aprobación del modelo. El resultado de cada uno de los modelos es un número representativo de la probabilidad de que ocurra el evento de interés para cada paciente.

Intervención

Hemos codiseñado todos los componentes necesarios para proporcionar puntuaciones de riesgo basadas en el modelo de IA en vivo para la mortalidad a los 12 meses y el reingreso a los 3 meses para los médicos dentro de un EPOC-MDT. Para garantizar que el servicio digital de producción de EPOC no se vea afectado por el estudio de AI Insights, se desarrollará un tablero clínico separado para mostrar estas predicciones del modelo. El resultado del modelo de exacerbación será un mensaje de "registro" enviado a los pacientes, destacando que tienen algunos posibles cambios en sus datos, instándolos a revisar su plan de autocontrol y/o contactar al equipo clínico para obtener asesoramiento si es necesario. Esto se resume en la tabla 1, con el mensaje de registro de ejemplo en la figura 1.

Todas las fuentes de datos de origen necesarias para ejecutar estos modelos se han establecido en el arrendamiento de NHS GG&C Azure, utilizando máquinas virtuales de ciencia de datos de Azure (máquina virtual). La intervención consiste en: -

proceso de consentimiento

Se encuentran más detalles en la sección 10.4 del CIP y en el documento "Procedimiento operativo estándar para el consentimiento de DYNAMIC-AI". El sitio web de soporte del servicio digital LenusCOPD https://support.nhscopd.scot proporciona información detallada del paciente y enlaces a videos explicativos que respaldan el proceso de consentimiento. La información del estudio no estará activa en este sitio web de acceso abierto hasta que se obtengan todas las aprobaciones del estudio. El contenido web está disponible para su revisión antes de las aprobaciones en https://support.test.nhscopd.scot/dynamic-ai

La aplicación para pacientes LenusCOPD contiene las pantallas de consentimiento donde los pacientes invitados pueden ver información sobre el estudio y aceptar, rechazar o aplazar el consentimiento y acceder a más información a través del sitio web de soporte, o solicitar una discusión con el equipo del estudio. La página de consentimiento de información de IA del panel del médico LenusCOPD contiene la interfaz de usuario para activar el consentimiento en la aplicación del paciente, revocar el consentimiento cuando lo solicite el paciente y auditar el estado del consentimiento.

Canalizaciones de datos de conocimientos de IA Estas conexiones digitales basadas en la nube incorporan y agregan datos de registros de salud relevantes (datos demográficos, diagnósticos, admisiones, prescripciones, resultados de laboratorio) de participantes autorizados. Los datos se agregan, seudonimizan y se convierten en formatos adecuados para que los utilice el servicio de información de inteligencia artificial. Los procesos para proporcionar estos datos están aprobados y respaldados por el equipo NHS GG&C SafeHaven, con un procedimiento operativo estándar.

Canalización de servicio del modelo de conocimientos de IA La canalización digital basada en la nube ingiere los datos preprocesados ​​de la canalización de datos para que los utilicen los modelos de aprendizaje automático, lo que produce predicciones del modelo y explicabilidad para los participantes que dan su consentimiento para su uso por parte de la aplicación AI Insights Clinician.

Servicio de información de inteligencia artificial Consiste en funciones y procesos de back-end del sistema de salud electrónico basado en la nube que reciben instrucciones y realizan acciones para garantizar el buen funcionamiento de la intervención.

Base de datos de AI Insights El almacén de datos para el servicio digital AI Insights. Los datos sin procesar y resumidos se pueden exportar como informes de rendimiento del modelo para su revisión por parte de la ciencia de datos y los líderes clínicos, a la unidad de ensayos clínicos para un análisis independiente y para la retención a largo plazo (según el documento IRAS).

Aplicación clínica AI Insights La aplicación web que proporciona a los médicos paneles clínicos (Figuras 1 y 2) para ver y exportar listas de pacientes y revisar los resultados del modelo de aprendizaje automático, la explicabilidad y los datos justos de los participantes autorizados.

OBJETIVOS DEL ESTUDIO

Hipótesis

Los pacientes con EPOC lo considerarán aceptable y aceptarán el uso de sus datos de atención médica de rutina para proporcionar puntajes de predicción de riesgo de inteligencia artificial a su equipo clínico, y los datos se usarán para la capacitación y validación continua del modelo.

Será técnicamente factible y seguro proporcionar puntajes de predicción de riesgo de EPOC de mortalidad de 12 meses derivados del modelo de IA para su revisión en el AI-MDT de la EPOC dentro de la aplicación 'AI insights'.

Objetivos principales

Para determinar :

1. la aceptabilidad de los pacientes con EPOC y
2. factibilidad técnica y
3. seguridad

de presentar en vivo la puntuación de predicción de riesgo de mortalidad de 12 meses basada en inteligencia artificial de la aplicación LenusCOPD AI insights a las reuniones del equipo multidisciplinario de médicos de EPOC en NHS GG&C.

Medidas primarias de viabilidad, aceptabilidad y seguridad

Estos se informarán de forma descriptiva ya que no hay datos piloto para informar un cálculo de potencia o una métrica de éxito a priori.

1. La evaluación de la aceptabilidad se basará en la proporción de pacientes invitados que den su consentimiento para participar en el estudio DYNAMIC-AI.
2. La evaluación de la viabilidad técnica será la proporción de participantes con datos de origen adecuados en LenusCOPD que tienen puntajes de riesgo del modelo de mortalidad de 12 meses calculados y presentados para la revisión de MDT en la aplicación del modelo AI-insights.
3. La evaluación de la seguridad se basará en la ocurrencia de eventos adversos relacionados con el dispositivo y en la evaluación prospectiva de las puntuaciones de riesgo del modelo: acciones de los médicos basadas en las puntuaciones de riesgo del modelo y la calibración de los eventos previstos: eventos ocurridos.

Objetivos secundarios

Adquiera experiencia detallada en aceptabilidad y viabilidad técnica con el modelo de predicción del riesgo de mortalidad de 12 meses.

Amplíe el conjunto de datos para el entrenamiento y la validación de los modelos de predicción del riesgo de exacerbación de la EPOC y la admisión relacionada con las vías respiratorias de 3 meses.

Evaluar la viabilidad técnica (proporción de participantes autorizados con puntuaciones en vivo en la aplicación modelo) y la experiencia de adopción descriptiva con modelos de exacerbación de EPOC y admisión relacionada con problemas respiratorios de 3 meses, si la revisión de los datos de rendimiento de validación indica que están listos para adopción clínica.

Establezca una experiencia preliminar y un conjunto de datos de utilidad a partir del uso de conocimientos de IA en vivo por parte de un equipo multidisciplinario de EPOC.

Evaluaciones exploratorias secundarias

Datos detallados de aceptabilidad

Proporción de pacientes invitados que revisaron información de apoyo adicional (video y materiales escritos).

Proporción de pacientes invitados que requieren aportes médicos individuales para informar su decisión de consentimiento, con temas de estas discusiones anotadas, incluida cualquier divergencia sobre la aceptabilidad/consentimiento para el estudio y el consentimiento para usar los datos para el entrenamiento del modelo.

Datos detallados de viabilidad técnica y rendimiento del modelo

Capturado en los informes de rendimiento del modelo. Datos seriados a lo largo de la investigación clínica que incluyen:

• número de participantes con puntajes de modelo faltantes y motivos (datos faltantes por grupo de características, latencia de actualización de datos, retiro de participantes, otros).
• Métricas de rendimiento del modelo calculadas utilizando el conjunto de datos de prueba de retención para cada ejecución del modelo, incluidos AUC-ROC, AUC de recuperación de precisión, informe de clasificación y matriz de confusión.
• Métricas de equidad del modelo calculadas para grupos de interés.
• Explicabilidad global y local del modelo para ilustrar la toma de decisiones del modelo y la bioplausibilidad
• Rendimiento del modelo de predicción de riesgo frente a eventos capturados en LenusCOPD (muerte a los 12 meses, ingreso hospitalario por causas respiratorias, exacerbación).
• deriva-variabilidad en el rendimiento del modelo con evaluación exploratoria de las razones (p. datos faltantes resueltos, cambio en los datos de origen subyacentes, la condición del paciente fluctúa) para cualquier cambio inesperado identificado en el rendimiento del modelo o puntajes de riesgo individuales.

Amplíe el conjunto de datos para el entrenamiento y la validación de los modelos de predicción del riesgo de exacerbación de EPOC y admisión relacionada con problemas respiratorios de 3 meses

Los datos se obtendrán de los participantes que hayan dado su consentimiento. Los informes actualizados de rendimiento del modelo serán revisados ​​por el comité directivo del estudio. Si estos y los análisis intermedios con el criterio de valoración principal son satisfactorios, estos modelos se agregarán al servicio en vivo.

Experiencia preliminar y datos de utilidad del uso de MDT de conocimientos de IA de EPOC en vivo Número de pacientes discutidos en COPD AI-MDT.

Acciones clínicas tomadas de la revisión de la puntuación de riesgo del modelo en MDT, capturadas en los eventos y notas de LenusCOPD.

Si se adopta el modelo de exacerbación para uso clínico en vivo:

• Número de mensajes de registro activados por la puntuación de alto riesgo del modelo de exacerbación, por paciente y total para la cohorte capturada en los mensajes de LenusCOPD.
• Proporción de participantes en los que los mensajes de registro del modelo de exacerbación se desactivan de forma temporal o permanente, capturados en las notas de LenusCOPD.
• Resultados de los mensajes de registro: el paciente inicia el contacto, otro evento, capturado en los mensajes y notas de LenusCOPD.

Eventos del paciente (muerte, ingreso hospitalario, exacerbación de la EPOC; capturados en LenusCOPD) a medida que ocurren prospectivamente siguiendo la puntuación de riesgo del modelo. Tomando nota de la revisión del MDT, los mensajes, la acción del médico, la acción del paciente desencadenada por el modelo para establecer datos de experiencia preliminares sobre el impacto de las acciones desencadenadas por la predicción del riesgo y su posible influencia en la precisión posterior de esas predicciones. La evaluación comparará el rendimiento del modelo frente a los eventos prospectivos considerando a los pacientes que tuvieron una revisión/acción desencadenada por el modelo frente a aquellos que no la tuvieron. Esta evaluación se complementará con datos de validación retrospectiva externa adquiridos a partir de la adopción del servicio de gestión LenusCOPD en otras juntas de salud. El rendimiento del modelo en los grupos con y sin intervención también se compartirá con el equipo de ciencia de datos para permitir más refinamientos y reentrenamiento del modelo.

Evaluaciones relacionadas El desarrollo continuo de modelos de conocimientos de IA hasta el comienzo de esta investigación se lleva a cabo dentro del proyecto DYNAMIC y las evaluaciones de prueba RECEIVER. La validación externa del rendimiento del modelo de información de IA se llevará a cabo utilizando registros de salud electrónicos no identificados y datos del servicio LenusCOPD de organizaciones distintas a NHS GG&C. El codiseño, la experiencia clínica del usuario y las pruebas de aceptabilidad de los conocimientos de IA continuarán en paralelo. Estas evaluaciones separadas están respaldadas por todas las aprobaciones, la gobernanza y la documentación correspondientes.

PLAN DE INVESTIGACIÓN

Diseño del estudio

Esta investigación clínica se realizará de acuerdo con el Marco de Políticas para la Investigación de Salud y Atención Social del Reino Unido (2017).

Este es un estudio observacional de efectividad en la implementación de cohortes. Se realizarán evaluaciones de eficacia provisionales a intervalos de 3 meses durante el ensayo, y el comité directivo del estudio revisará los criterios de valoración principales. Los resultados de estas evaluaciones intermedias pueden desencadenar una recomendación para adaptar la implementación o intervención, p. cambios en la información de consentimiento, actualizaciones técnicas. Las adaptaciones propuestas a la estrategia de implementación o intervención serían consideradas por el comité de gestión del estudio, y cualquier enmienda requerida a este CIP y la documentación del estudio asociada se presentarían para la consideración del patrocinador y el REC. Los cambios de implementación solo se realizarían una vez que se hayan completado todas las revisiones y se hayan obtenido las aprobaciones. El informe final del estudio detallaría cualquier cambio realizado sobre la base de las evaluaciones intermedias.