DYNAMIC AI: Inovação digital com gerenciamento remoto e modelagem preditiva para integrar o tratamento da DPOC com insights baseados em inteligência artificial: um estudo de aceitabilidade, viabilidade e segurança (DYNAMIC AI)

Contexto: Necessidade, desafio e oportunidade da DPOC.

A doença pulmonar obstrutiva crônica (DPOC) é um desafio global de saúde. Embora existam lacunas na qualidade dos cuidados em todo o continuum de pacientes com apresentação de DPOC, as exacerbações da DPOC são responsáveis ​​por uma grande proporção da carga da doença, resultados adversos e custos de saúde. Pessoas com DPOC priorizam evitar exacerbações e hospitalizações resultantes. A Carta do Paciente para DPOC (março de 2021) pedia um manejo proativo e preventivo para reduzir o risco de exacerbações e morte prematura1. A transformação digital com ferramentas digitais coprojetadas e inovações emergentes, como sensores vestíveis e modelagem preditiva baseada em IA, oferece a oportunidade de abordar essas lacunas de qualidade do atendimento da DPOC e alcançar essa reorientação do atendimento.

DINÂMICO: Transformação, implementação e evidência de serviços digitais de DPOC do NHS GG&C.

O programa 'DYNAMIC' (Inovação Digital com Gerenciamento Remoto e Modelagem Preditiva para Integrar o Cuidado da DPOC) começou em 2018. Isso foi baseado em uma parceria de inovação entre as equipes de medicina respiratória do NHS GG&C e as equipes de inovação do oeste da Escócia e com a LenusHealth (então StormID). O financiamento inicial veio de um prêmio de catalisador de tecnologia de saúde digital da InnovateUK. O financiamento subsequente do Programa Technology Enabled Care (TEC) do governo escocês deu continuidade ao serviço e permitiu o aumento da oferta.

Nossa visão era iniciar a transformação digital de um serviço de DPOC com o desenvolvimento, implementação e avaliação de ferramentas digitais co-projetadas. Nós co-projetamos os aplicativos da web para pacientes e médicos "LenusCOPD" e o site de suporte com base em ciclos de testes de experiência do usuário. Nosso objetivo era estabelecer ferramentas que seriam usadas de forma sustentável pelos pacientes durante o acompanhamento e apoiar o cogerenciamento da DPOC com a expectativa de alcançar a redução nas admissões relacionadas à respiração e nos dias de cama ocupados em uma coorte de DPOC de alto risco. As evidências foram reunidas no estudo de coorte observacional 'RECEIVER' e subsequentemente na avaliação de serviço 'DYNAMIC-SCOT' em escala.

Principais resultados do RECEIVER / DYNAMIC-SCOT2:

• Os participantes continuam a usar o aplicativo de paciente LenusCOPD, com uma média de 3,5 interações por pessoa por semana mantidas > 1 ano após a integração.
• As internações hospitalares relacionadas à DPOC e os dias ocupados no leito foram reduzidos após a integração no LenusCOPD em participantes com histórico de exacerbação grave no ano anterior, com um tempo médio de reinternação de 380 dias em comparação com 50 dias em uma coorte contemporânea de pacientes de controle pareados.
• O tempo médio para admissão ou morte foi de 43 dias no controle, 338 dias no RECEIVER e 400 dias nos participantes do DYNAMIC-SCOT com uma exacerbação grave no ano anterior.
• O risco de admissão ou morte em 12 meses foi de 74% em pacientes de controle, 53% em RECEIVER e 47% nos participantes da subcoorte DYNAMIC-SCOT.

Esses resultados de viabilidade e utilidade apóiam a adoção em escala dessas ferramentas digitais. A oferta de expansão do serviço LenusCOPD principal continuará no NHS GG&C 2022-2024, apoiada pelo financiamento TEC do governo escocês renovado. Atualmente, cerca de 400 pacientes foram integrados ao serviço digital de DPOC (março de 2022), com previsão de aumento do número de usuários à medida que o LenusCOPD é usado para apoiar a recuperação e reorientação do diagnóstico de DPOC, revisão regular e serviços de reabilitação pulmonar. Essa adoção contínua e nossa parceria de inovação fornecem a infraestrutura de teste para implementar e avaliar inovações adicionais, incluindo os insights de inteligência artificial para suporte à decisão de MDT propostos nesta investigação clínica.

Justificativa: Modelos de previsão de risco de DPOC treinados e validados

Os desafios descritos acima apresentaram uma oportunidade de usar IA para desenvolver modelos de previsão de risco do paciente. Os dados coletados como parte do serviço, juntamente com os dados históricos do Registro Eletrônico de Saúde, foram usados ​​para criar um conjunto de modelos de previsão de risco. Os seguintes passos foram seguidos para desenvolver cada modelo.

• Exploração de dados - exploração de dados e visualizações para identificar recursos, vieses e outros problemas com os conjuntos de dados.
• Formulação do problema - como definir a variável alvo de interesse e qual abordagem de modelagem usar.
• Divisão de dados - definindo a estratégia para dividir os conjuntos de dados a serem usados ​​para treinamento, validação e teste.
• Limpeza de dados e tratamento de dados ausentes - identificando dados errados, outliers no conjunto de dados e definindo uma estratégia para lidar com dados ausentes (imputação, exclusão, permissão de valores ausentes).
• Engenharia de recursos - O processo de transformar e agregar os dados brutos em recursos a serem usados ​​para o treinamento do modelo. A engenharia de recursos permite que uma maior percepção seja extraída dos dados.
• Treinamento de modelo - exploração de diferentes algoritmos de aprendizado de máquina e escolha do melhor candidato para o problema em questão. Os recursos processados ​​são então usados ​​para o treinamento do modelo.
• Validação de modelo - validação e relatório sobre o desempenho do modelo usando o conjunto de dados de teste de validação.
• Explicabilidade do modelo - uso de métodos de terceiros para tornar as previsões do modelo tão interpretáveis ​​e explicáveis ​​quanto possível.
• Equidade do modelo - examinando o desempenho do modelo em subgrupos de interesse e possível retreinamento do modelo para explicar quaisquer desigualdades.

Para obter detalhes completos sobre o desenvolvimento do modelo, consulte o folheto do investigador e o relatório de aprovação do modelo. A saída para cada um dos modelos é um número representativo da probabilidade do evento de interesse acontecer para cada paciente.

Intervenção

Nós co-projetamos todos os componentes necessários para fornecer escores de risco baseados em modelo de IA ao vivo para mortalidade em 12 meses e readmissão em 3 meses para médicos dentro de um COPD-MDT. Para garantir que o serviço digital de DPOC de produção não seja afetado pelo estudo AI Insights, um painel clínico separado será desenvolvido para exibir essas previsões do modelo. O resultado do modelo de exacerbação será uma mensagem de 'check-in' enviada aos pacientes, destacando que eles têm algumas possíveis alterações em seus dados, solicitando que revisem seu plano de autogestão e/ou entrem em contato com a equipe clínica para aconselhamento, se necessário. Isso está resumido na tabela 1, com o exemplo de mensagem de check-in na figura 1.

Todos os feeds de dados de origem necessários para executar esses modelos foram estabelecidos na locação NHS GG&C do Azure, usando VMs de ciência de dados do Azure (máquina virtual). A intervenção consiste em: -

processo de consentimento

Mais detalhes estão na seção CIP 10.4 e no documento "Procedimento operacional padrão para consentimento do DYNAMIC-AI". O site de suporte do serviço digital LenusCOPD https://support.nhscopd.scot fornece as informações detalhadas do paciente e links para vídeos explicativos que apóiam o processo de consentimento. As informações do estudo não estariam disponíveis neste site de acesso aberto até que todas as aprovações do estudo fossem obtidas. O conteúdo da web está disponível para revisão antes das aprovações em https://support.test.nhscopd.scot/dynamic-ai

O aplicativo do paciente LenusCOPD contém as telas de consentimento onde os pacientes convidados podem visualizar informações sobre o estudo e aceitar, rejeitar ou adiar o consentimento e acessar mais informações por meio do site de suporte ou solicitar uma discussão com a equipe do estudo. A página de consentimento de insights de IA do painel clínico do LenusCOPD contém a interface do usuário para ativar o consentimento no aplicativo do paciente, revogar o consentimento quando solicitado pelo paciente e auditar o status do consentimento.

Pipelines de dados de insights de IA Essas conexões digitais baseadas em nuvem ingerem e agregam dados de registro de saúde relevantes (demográficos, diagnósticos, admissões, prescrições, resultados laboratoriais) de participantes consentidos. Os dados são agregados, pseudonimizados e convertidos em formatos adequados para uso pelo serviço de insights de IA. Os processos para fornecer esses dados são aprovados e apoiados pela equipe do NHS GG&C SafeHaven, com um procedimento operacional padrão.

Modelo de insights de IA servindo pipeline O pipeline digital baseado em nuvem ingere os dados pré-processados ​​do pipeline de dados para uso pelos modelos de aprendizado de máquina, produzindo previsões de modelo e explicabilidade para participantes consentidos para uso pelo AI Insights Clinician App.

Serviço de insights de IA Consiste em funções e processos de back-end do sistema de saúde eletrônico baseado em nuvem que recebem instruções e executam ações para garantir o bom andamento da intervenção.

Banco de dados AI insights O armazenamento de dados para o serviço digital AI Insights. Os dados brutos e resumidos podem ser exportados como relatórios de desempenho de modelo para revisão pela ciência de dados e líderes clínicos, para a unidade de ensaios clínicos para análise independente e para retenção de longo prazo (conforme o documento IRAS).

Aplicativo clínico de insights de IA O aplicativo da Web que fornece aos médicos painéis clínicos (Figuras 1 e 2) para visualizar e exportar listas de pacientes e revisar os resultados do modelo de aprendizado de máquina, explicabilidade e dados justos de participantes consentidos.

OBJETIVOS DO ESTUDO

hipóteses

Os pacientes com DPOC acharão aceitável e consentirão o uso de seus dados de saúde de rotina para fornecer pontuações de previsão de risco de insights de IA para sua equipe clínica, com dados usados ​​para treinamento e validação de modelos contínuos.

Será tecnicamente viável e seguro fornecer pontuações de previsão de risco de DPOC de mortalidade de 12 meses derivadas do modelo AI para revisão no COPD AI-MDT dentro do aplicativo 'AI insights'.

Objetivos primários

Para determinar :

1. a aceitabilidade para pacientes com DPOC e
2. viabilidade técnica e
3. segurança

de apresentar a pontuação de previsão de risco de mortalidade de 12 meses baseada em inteligência artificial ao vivo do aplicativo LenusCOPD AI insights para reuniões de equipe multidisciplinar de médicos de DPOC no NHS GG&C.

Medidas primárias de viabilidade, aceitabilidade e segurança

Estes serão relatados de forma descritiva, pois não há dados do piloto para informar um cálculo de potência ou uma métrica de sucesso a priori.

1. A avaliação da aceitabilidade será baseada na proporção de pacientes convidados que consentem em participar do estudo DYNAMIC-AI.
2. A avaliação da viabilidade técnica será a proporção de participantes com dados de origem adequados em LenusCOPD que têm escores de risco de modelo de mortalidade de 12 meses calculados e apresentados para revisão de MDT no aplicativo de modelo AI-insights.
3. A avaliação da segurança será baseada na ocorrência de eventos adversos relacionados ao dispositivo e na avaliação prospectiva dos escores de risco do modelo - ações dos médicos com base nos escores de risco do modelo e calibração de eventos previstos: eventos ocorridos.

Objetivos secundários

Adquira aceitabilidade detalhada e experiência de viabilidade técnica com o modelo de previsão de risco de mortalidade de 12 meses.

Expanda o conjunto de dados para treinamento e validação de admissão relacionada à respiração de 3 meses e modelos de previsão de risco de exacerbação de DPOC.

Avalie a viabilidade técnica (proporção de participantes consentidos com pontuações ao vivo no aplicativo modelo) e a experiência de adoção descritiva com admissão relacionada à respiração de 3 meses e modelos de exacerbação de DPOC, se a análise dos dados de desempenho de validação indicar que eles estão prontos para adoção clínica.

Estabeleça uma experiência preliminar e um conjunto de dados de utilidade a partir do uso de insights de IA ao vivo por uma equipe multidisciplinar de DPOC.

Avaliações exploratórias secundárias

Dados detalhados de aceitabilidade

Proporção de pacientes convidados que revisaram informações de suporte adicionais (vídeo e materiais escritos).

Proporção de pacientes convidados que requerem informações clínicas individuais para informar sua decisão de consentimento, com temas dessas discussões observados, incluindo qualquer divergência sobre aceitabilidade/consentimento para o estudo e consentimento para usar dados para treinamento de modelo.

Viabilidade técnica detalhada e dados de desempenho do modelo

Capturado em relatórios de desempenho do modelo. Dados de série em toda a investigação clínica, incluindo:

• números de participantes com pontuações de modelo ausentes e motivos (dados ausentes por grupo de recursos, latência de atualização de dados, retirada do participante, outros).
• métricas de desempenho do modelo calculadas usando o conjunto de dados de teste de validação para cada execução do modelo, incluindo AUC-ROC, AUC de recuperação de precisão, relatório de classificação e matriz de confusão.
• Métricas de imparcialidade do modelo calculadas para grupos de interesse.
• Explicabilidade global e local para o modelo para ilustrar a tomada de decisão do modelo e a bioplausibilidade
• Desempenho do modelo de previsão de risco versus eventos capturados em LenusCOPD (morte em 12 meses, internação hospitalar relacionada à respiração, exacerbação).
• variabilidade de desvio no desempenho do modelo com avaliação exploratória de razões (por exemplo, dados ausentes resolvidos, alteração nos dados de origem subjacentes, flutuação da condição do paciente) para quaisquer alterações inesperadas identificadas no desempenho do modelo ou pontuações de risco individuais.

Expanda o conjunto de dados para treinamento e validação de modelos de previsão de risco de exacerbação de DPOC e internação relacionada à respiração de 3 meses

Os dados serão acumulados de participantes que consentem. Os relatórios atualizados de desempenho do modelo serão revisados ​​pelo comitê de direção do estudo. Se essas e as análises intermediárias com endpoint primário forem satisfatórias, esses modelos serão adicionados ao serviço ativo.

Experiência preliminar e dados de utilidade do uso de MDT de percepções ao vivo de COPD AI Número de pacientes discutidos em COPD AI-MDT.

Ações clínicas tomadas a partir da revisão do escore de risco do modelo em MDT, capturadas nos eventos e notas do LenusCOPD.

Se o modelo de exacerbação for adotado para uso clínico vivo:

• Número de mensagens de check-in acionadas pela pontuação de alto risco do modelo de exacerbação - por paciente e total para coorte capturadas nas mensagens LenusCOPD.
• Proporção de participantes em que as mensagens de check-in do modelo de exacerbação são desativadas temporária ou permanentemente, capturadas nas notas do LenusCOPD.
• Resultados das mensagens de check-in - o paciente inicia o contato, outro evento, capturado nas mensagens e notas do LenusCOPD.

Eventos do paciente (morte, internação hospitalar, exacerbação da DPOC; capturados no LenusCOPD) à medida que ocorrem prospectivamente seguindo o escore de risco do modelo. Observando a revisão de MDT interveniente, mensagens, ação clínica, ação do paciente desencadeada pelo modelo para estabelecer dados de experiência preliminares sobre o impacto das ações desencadeadas de previsão de risco e sua influência potencial na precisão subsequente dessas previsões. A avaliação irá comparar o desempenho do modelo versus eventos prospectivos, considerando os pacientes que tiveram uma revisão/ação desencadeada pelo modelo versus aqueles que não tiveram. Esta avaliação será complementada por dados externos de validação retrospectiva adquiridos a partir da adoção do serviço de gerenciamento LenusCOPD em outros conselhos de saúde. O desempenho do modelo nos grupos com e sem intervenção também será compartilhado com a equipe de ciência de dados para permitir novos refinamentos e novos treinamentos do modelo.

Avaliações relacionadas O desenvolvimento contínuo de modelos de insights de IA até o início desta investigação está sendo realizado no projeto DYNAMIC e nas avaliações do estudo RECEIVER. A validação externa do desempenho do modelo de insights de IA será realizada usando registros eletrônicos de saúde não identificados e dados de serviço LenusCOPD de organizações que não sejam o NHS GG&C. O co-design, a experiência clínica do usuário e os testes de aceitabilidade dos insights de IA continuarão em paralelo. Essas avaliações separadas são apoiadas por todas as aprovações, governança e documentação apropriadas.

PLANO DE INVESTIGAÇÃO

Design de estudo

Esta investigação clínica será realizada de acordo com o Quadro de Políticas do Reino Unido para Pesquisa em Saúde e Assistência Social (2017).

Este é um estudo de coorte observacional de eficácia de implementação. As avaliações provisórias de eficácia serão realizadas em intervalos de 3 meses durante o estudo, com relatórios sobre os endpoints primários revisados ​​pelo comitê diretor do estudo. Os resultados dessas avaliações intermediárias podem desencadear uma recomendação para adaptar a implementação ou intervenção - por exemplo alterações nas informações de consentimento, atualizações técnicas. As adaptações propostas para a estratégia de implementação ou intervenção seriam consideradas pelo comitê de gerenciamento do estudo, com quaisquer alterações necessárias a este CIP e à documentação do estudo associada enviada para consideração do patrocinador e do REC. As mudanças na implementação só seriam feitas depois que todas as revisões fossem concluídas e as aprovações fossem obtidas. O relatório final do estudo detalharia quaisquer mudanças feitas com base nas avaliações intermediárias.