ДИНАМИЧЕСКИЙ ИИ: цифровые инновации с удаленным управлением и прогнозным моделированием для интеграции лечения ХОБЛ с данными на основе искусственного интеллекта: исследование приемлемости, осуществимости и безопасности (DYNAMIC AI)

Справочная информация: потребности, проблемы и возможности при ХОБЛ.

Хроническая обструктивная болезнь легких (ХОБЛ) является глобальной проблемой здравоохранения. В то время как пробелы в качестве медицинской помощи существуют для всех пациентов с ХОБЛ, обострения ХОБЛ являются причиной значительной доли бремени болезни, неблагоприятных исходов и затрат на здравоохранение. Люди с ХОБЛ уделяют первоочередное внимание предотвращению обострений и связанных с ними госпитализаций. В Хартии пациентов с ХОБЛ (март 2021 г.) содержится призыв к упреждающему профилактическому лечению для снижения риска обострений и преждевременной смерти1. Цифровая трансформация с совместно разработанными цифровыми инструментами и появляющимися инновациями, такими как носимые датчики и прогностическое моделирование на основе ИИ, дает возможность устранить эти пробелы в качестве лечения ХОБЛ и добиться этой переориентации помощи.

DYNAMIC: трансформация цифровых услуг NHS GG&C COPD, внедрение и фактические данные.

Программа «DYNAMIC» (цифровые инновации с удаленным управлением и прогнозным моделированием для интеграции лечения ХОБЛ) началась в 2018 году. Это было основано на инновационном партнерстве между респираторной медициной NHS GG&C и инновационными группами Западной Шотландии, а также с LenusHealth (тогда StormID). Первоначальное финансирование было получено за счет награды за катализатор цифровых технологий здравоохранения от InnovateUK. Последующее финансирование шотландской государственной программы Technology Enabled Care (TEC) продолжило оказание услуг и позволило расширить масштабы предоставления услуг.

Наше видение состояло в том, чтобы инициировать цифровую трансформацию службы ХОБЛ с помощью разработки, внедрения и оценки совместно разработанных цифровых инструментов. Мы совместно разработали веб-приложения «LenusCOPD» для пациентов и врачей, а также веб-сайт поддержки на основе циклов тестирования взаимодействия с пользователем. Мы стремились создать инструменты, которые будут постоянно использоваться пациентами во время последующего наблюдения, и поддержать совместное ведение ХОБЛ с ожиданием достижения снижения числа госпитализаций, связанных с респираторными заболеваниями, и количества занятых койко-дней в когорте ХОБЛ с высоким риском. Доказательства были собраны в наблюдательном когортном исследовании «RECEIVER», а затем в расширенной оценке услуг «DYNAMIC-SCOT».

Основные результаты RECEIVER/DYNAMIC-SCOT2:

• Участники продолжают использовать приложение Lenus для пациентов с ХОБЛ, в среднем 3,5 взаимодействия на человека в неделю в течение > 1 года после регистрации.
• Связанные с ХОБЛ госпитализации и количество занятых койко-дней сократились после включения LenusCOPD в курс лечения у участников с тяжелым обострением в прошлом году в анамнезе, при этом среднее время до повторной госпитализации составило 380 дней по сравнению с 50 днями в современной когорте сопоставимых контрольных пациентов.
• Медиана времени до госпитализации или смерти составила 43 дня в контроле, 338 дней в группе RECEIVER и 400 дней в группе участников DYNAMIC-SCOT с тяжелым обострением в предыдущем году.
• 12-месячный риск госпитализации или смерти составил 74% у пациентов контрольной группы, 53% у получателей и 47% у участников подгруппы DYNAMIC-SCOT.

Эти результаты осуществимости и полезности поддерживают масштабное внедрение этих цифровых инструментов. Расширение масштабов предоставления основной услуги LenusCOPD продолжится в NHS GG&C 2022–2024 при поддержке возобновленного финансирования TEC правительства Шотландии. В настоящее время около 400 пациентов подключены к цифровой службе ХОБЛ (март 2022 г.), и ожидается, что число пользователей будет расти, поскольку LenusCOPD используется для поддержки восстановления и переориентации диагностики ХОБЛ, регулярных осмотров и услуг легочной реабилитации. Это постоянное внедрение и наше инновационное партнерство обеспечивают инфраструктуру испытательного стенда для внедрения и оценки дополнительных инноваций, включая идеи искусственного интеллекта для поддержки принятия решений MDT, предложенные в этом клиническом исследовании.

Обоснование: Обученные и проверенные модели прогнозирования риска ХОБЛ

Проблемы, изложенные выше, предоставили возможность использовать ИИ для разработки моделей прогнозирования риска для пациентов. Данные, собранные в рамках службы, вместе с историческими данными электронной медицинской карты были использованы для создания набора моделей прогнозирования риска. Для разработки каждой модели были предприняты следующие шаги.

• Исследование данных — исследование и визуализация данных для выявления особенностей, предубеждений и других проблем с наборами данных.
• Формулировка проблемы – как определить интересующую целевую переменную и какой подход к моделированию использовать.
• Разделение данных — определение стратегии разделения наборов данных, которые будут использоваться для обучения, проверки и тестирования.
• Очистка данных и обработка отсутствующих данных — выявление ошибочных данных, выбросов в наборе данных и определение стратегии работы с отсутствующими данными (вменение, исключение, допущение отсутствующих значений).
• Разработка функций — процесс преобразования и объединения необработанных данных в функции, которые будут использоваться для обучения модели. Разработка признаков позволяет лучше понять данные.
• Обучение модели — исследование различных алгоритмов машинного обучения и выбор лучшего кандидата для решения поставленной задачи. Обработанные функции затем используются для обучения модели.
• Проверка модели — проверка и отчетность о производительности модели с использованием набора данных тестовой проверки.
• Объяснимость модели — использование сторонних методов, чтобы сделать прогнозы модели максимально интерпретируемыми и объяснимыми.
• Справедливость модели — проверка производительности модели в подгруппах интересов и потенциальное переобучение модели для учета любых неравенств.

Полную информацию о разработке модели см. в брошюре исследователя и отчете об утверждении модели. Выход для каждой из моделей представляет собой число, представляющее вероятность интересующего события, происходящего для каждого пациента.

вмешательство

Мы совместно разработали все компоненты, необходимые для предоставления клиницистам в рамках COPD-MDT оценки риска на основе модели искусственного интеллекта для 12-месячной смертности и 3-месячной повторной госпитализации. Чтобы гарантировать, что исследование AI Insights не повлияет на производственную цифровую службу ХОБЛ, будет разработана отдельная панель для врачей, чтобы отображать эти прогнозы модели. Результатом модели обострения будет сообщение о регистрации, отправляемое пациентам, в котором подчеркивается, что у них есть некоторые возможные изменения в их данных, с предложением им пересмотреть свой план самоконтроля и/или обратиться за консультацией к клинической бригаде, если это необходимо. Это обобщено в таблице 1 с примером сообщения регистрации на рисунке 1.

Все потоки исходных данных, необходимые для запуска этих моделей, были установлены в аренде NHS GG&C Azure с использованием виртуальных машин Azure для обработки данных (виртуальная машина). Вмешательство состоит из:

Процесс согласия

Более подробная информация содержится в разделе 10.4 CIP и в документе «Стандартная рабочая процедура для согласия DYNAMIC-AI». Веб-сайт поддержки цифровых услуг LenusCOPD https://support.nhscopd.scot предоставляет подробную информацию о пациенте и ссылки на пояснительные видеоролики, поддерживающие процесс получения согласия. Информация об исследовании не будет размещена на этом веб-сайте с открытым доступом до тех пор, пока не будут получены все разрешения на проведение исследования. Веб-контент доступен для ознакомления перед утверждением по адресу https://support.test.nhscopd.scot/dynamic-ai.

Приложение для пациентов LenusCOPD содержит экраны согласия, на которых приглашенные пациенты могут просматривать информацию об исследовании и принимать, отклонять или откладывать согласие и получать доступ к дополнительной информации через веб-сайт поддержки или запрашивать обсуждение с исследовательской группой. Страница согласия с данными об искусственном интеллекте на панели мониторинга врача LenusCOPD содержит пользовательский интерфейс для активации согласия в приложении пациента, отзыва согласия по запросу пациента и проверки состояния согласия.

Конвейеры данных искусственного интеллекта Эти облачные цифровые соединения собирают и агрегируют соответствующие данные о состоянии здоровья (демографические данные, диагнозы, госпитализации, назначения, результаты лабораторных исследований) от участников, получивших согласие. Данные агрегируются, псевдонимизируются и преобразуются в подходящие форматы для использования службой анализа ИИ. Процессы предоставления этих данных одобрены и поддерживаются командой NHS GG&C SafeHaven со стандартной операционной процедурой.

Модель AI Insights, обслуживающая конвейер Облачный цифровой конвейер принимает предварительно обработанные данные из конвейера данных для использования моделями машинного обучения, создавая прогнозы модели и объяснимость для согласившихся участников для использования приложением AI Insights Clinician.

Служба аналитики ИИ. Она состоит из серверных функций и процессов облачной электронной системы здравоохранения, которые получают инструкции и выполняют действия для обеспечения бесперебойной работы вмешательства.

База данных AI Insights Хранилище данных для цифрового сервиса AI Insights. Необработанные и сводные данные можно экспортировать в виде отчетов о производительности модели для анализа научными специалистами и клиническими руководителями, в отдел клинических испытаний для независимого анализа и для долгосрочного хранения (согласно документу IRAS).

Приложение AI для врачей Веб-приложение, которое предоставляет врачам клинические информационные панели (рис. 1 и 2) для просмотра и экспорта списков пациентов и анализа результатов модели машинного обучения, данных об объяснимости и справедливости от участников, получивших согласие.

ЦЕЛИ ИССЛЕДОВАНИЯ

Гипотезы

Пациенты с ХОБЛ сочтут это приемлемым и дадут согласие на использование своих обычных медицинских данных для предоставления своей клинической команде оценок прогнозирования рисков с помощью ИИ, а данные будут использоваться для постоянного обучения и проверки модели.

Будет технически осуществимо и безопасно предоставить полученные с помощью ИИ 12-месячные прогнозы риска смертности от ХОБЛ для обзора в COPD AI-MDT в рамках приложения «Понимание ИИ».

Основные цели

Чтобы определить:

1. приемлемость для пациентов с ХОБЛ и
2. техническая возможность и
3. безопасность

представления 12-месячной оценки риска смертности, основанной на искусственном интеллекте, из приложения LenusCOPD AI Insights на совещаниях многопрофильной группы клиницистов по ХОБЛ в NHS GG&C.

Основные измерения осуществимости, приемлемости и безопасности

О них будет сообщено описательно, так как отсутствуют пилотные данные для расчета мощности или априорной метрики успеха.

1. Оценка приемлемости будет основываться на доле приглашенных пациентов, давших согласие на участие в исследовании DYNAMIC-AI.
2. Оценка технической осуществимости будет представлять собой долю участников с адекватными исходными данными в LenusCOPD, у которых есть 12-месячные оценки риска модели смертности, рассчитанные и представленные для обзора MDT в приложении модели AI-insights.
3. Оценка безопасности будет основываться на возникновении нежелательных явлений, связанных с устройством, и на проспективной оценке модельных оценок риска — действиях врачей на основе модельных оценок риска и калибровки прогнозируемых событий: произошедшие события.

Второстепенные цели

Получите подробный опыт приемлемости и технической осуществимости с помощью 12-месячной модели прогнозирования риска смертности.

Расширьте набор данных для обучения и проверки трехмесячной госпитализации по поводу респираторных заболеваний и моделей прогнозирования риска обострения ХОБЛ.

Оцените техническую осуществимость (доля участников, получивших согласие, с показателями в реальном времени в модельном приложении) и описательный опыт внедрения с моделями госпитализации, связанной с респираторными заболеваниями, и обострения ХОБЛ в течение 3 месяцев, если анализ данных эффективности валидации показывает, что они готовы к клиническому внедрению.

Создайте предварительный опыт и полезный набор данных, основанный на использовании данных искусственного интеллекта в реальном времени междисциплинарной командой по ХОБЛ.

Вторичные исследовательские оценки

Подробные данные о приемлемости

Доля приглашенных пациентов, ознакомившихся с дополнительной вспомогательной информацией (видео и письменные материалы).

Доля приглашенных пациентов, которым требуется индивидуальный вклад клинициста для обоснования их решения о согласии, с отмеченными темами этих обсуждений, включая любые расхождения в отношении приемлемости/согласия на исследование и согласия на использование данных для обучения модели.

Подробные технические возможности и данные о производительности модели

Зафиксировано в отчетах о производительности модели. Серийные данные клинического исследования, включая:

• количество участников с отсутствующими оценками модели и причинами (отсутствующие данные по группе функций, задержка обновления данных, уход участников и т. д.).
• метрики производительности модели, рассчитанные с использованием набора данных тестов удержания для каждого запуска модели, включая AUC-ROC, AUC точного отзыва, отчет о классификации и матрицу путаницы.
• Метрики справедливости модели, рассчитанные для групп интересов.
• Глобальная и локальная объяснимость модели для иллюстрации принятия решений и биоправдоподобия модели
• Эффективность модельного прогнозирования риска по сравнению с событиями, зафиксированными в LenusCOPD (смерть через 12 месяцев, госпитализация в связи с респираторными заболеваниями, обострение).
• дрейф-изменчивость в работе модели с исследовательской оценкой причин (например, устранены отсутствующие данные, изменение основных исходных данных, колебания состояния пациента) для любых выявленных неожиданных изменений в производительности модели или индивидуальных оценках риска.

Расширение набора данных для обучения и валидации 3-месячной госпитализации по поводу респираторных заболеваний и моделей прогнозирования риска обострения ХОБЛ

Данные будут получены от давших согласие участников. Обновленные отчеты о производительности модели будут рассмотрены руководящим комитетом исследования. Если эти и промежуточные анализы с первичной конечной точкой будут удовлетворительными, эти модели будут добавлены в действующую службу.

Предварительный опыт и данные о полезности использования MDT информации о COPD AI в реальном времени Количество пациентов, обсуждавшихся на COPD AI-MDT.

Клинические действия, взятые из обзора оценки риска модели в MDT, отражены в событиях LenusCOPD и примечаниях.

Если модель обострения принята для живого клинического использования:

• Количество сообщений о регистрации, инициированных оценкой высокого риска из модели обострения — на пациента и общее количество для когорты, зафиксированное в сообщениях LenusCOPD.
• Доля участников, у которых сообщения о регистрации модели обострения отключены временно или постоянно, отражена в заметках LenusCOPD.
• Результаты из сообщений о регистрации - пациент инициирует контакт, другие события, зафиксированные в сообщениях и заметках LenusCOPD.

События пациента (смерть, госпитализация, обострение ХОБЛ; фиксируются в LenusCOPD) по мере их возникновения проспективно в соответствии с модельной оценкой риска. Отмечая промежуточный обзор MDT, обмен сообщениями, действия врача, действия пациента, инициированные моделью, чтобы установить предварительные данные опыта о влиянии действий, инициированных прогнозированием риска, и их потенциальном влиянии на последующую точность этих прогнозов. Оценка будет сравнивать производительность модели с предполагаемыми событиями, рассматривая пациентов, у которых модель инициировала обзор/действие, и тех, у кого этого не было. Эта оценка будет дополнена данными внешней ретроспективной проверки, полученными при внедрении службы управления LenusCOPD в других органах здравоохранения. Производительность модели в группах с вмешательством и без него также будет передана команде Data Science, чтобы обеспечить дальнейшее уточнение модели и повторное обучение.

Связанные оценки Непрерывная разработка моделей анализа ИИ вплоть до начала этого исследования осуществляется в рамках проекта DYNAMIC и экспериментальных оценок RECEIVER. Внешняя проверка эффективности модели анализа ИИ будет проводиться с использованием деидентифицированных электронных медицинских карт и сервисных данных LenusCOPD от организаций, отличных от NHS GG&C. Совместное проектирование, клинический пользовательский опыт и тестирование приемлемости идей ИИ будут продолжаться параллельно. Эти отдельные оценки поддерживаются всеми соответствующими утверждениями, руководством и документацией.

ПЛАН РАССЛЕДОВАНИЯ

Дизайн исследования

Это клиническое исследование будет проводиться в соответствии с Основами политики Великобритании в области исследований в области здравоохранения и социальной помощи (2017 г.).

Это обсервационное когортное исследование эффективности внедрения. Промежуточные оценки эффективности будут проводиться с интервалом в 3 месяца в течение всего испытания, при этом отчеты по первичным конечным точкам будут рассматриваться руководящим комитетом исследования. Результаты этих промежуточных оценок могут послужить основанием для рекомендации по адаптации внедрения или вмешательства, т.е. изменения в информации о согласии, технические обновления. Предлагаемые изменения стратегии реализации или интервенции будут рассмотрены комитетом по управлению исследованием, а любые необходимые поправки к данному CIP и соответствующей исследовательской документации будут представлены на рассмотрение спонсора и REC. Изменения в реализации будут внесены только после того, как будут завершены все проверки и получены утверждения. В итоговом отчете исследования будут подробно описаны любые изменения, внесенные на основе промежуточных оценок.