Искусственный интеллект для сортировки пациентов, нуждающихся в экстренной или неотложной помощи, которых необходимо направить в больницу (TRIAGE)

Введение - научное обоснование 1.1. Контекст По мере старения населения и увеличения распространенности хронических заболеваний количество врачей общей практики сокращается. Этот растущий дисбаланс между медицинскими потребностями и предложением приводит к трудностям в доступе к первичной медицинской помощи, особенно к неотложной и внеплановой помощи.

Для решения этой проблемы во Франции была создана служба доступа к медицинской помощи (SAS). В случае необходимости неотложной или внеплановой медицинской помощи SAS позволяет лицам, чей врач первичной помощи недоступен, получить доступ к медицинскому работнику. В зависимости от ситуации служба может предоставить медицинскую консультацию, предложить телеконсультацию, направить человека к местному врачу или в отделение неотложной помощи, или даже вызвать мобильную бригаду экстренной медицинской помощи и реанимации (SMUR) или скорую помощь. SAS функционирует как система сортировки, предоставляя ответ, адаптированный к потребностям каждого человека.

Целью данного проекта является изучение некоторых аспектов валидности модели сортировки на основе искусственного интеллекта (ИИ) для пациентов, обращающихся за неотложной или внеплановой помощью, что позволит выявлять пациентов, которым потребуется стационарное лечение.

Этот проект является продолжением предыдущего исследования, в котором была разработана модель с использованием ИИ для сортировки пациентов с помощью SOS Médecins Grand Paris. Как и в SAS, люди, звонящие в SOS Médecins, излагают свою проблему помощнику по медицинской диспетчеризации (MDA), который в большинстве случаев организует визит на дом.

Базы данных SOS Médecins содержат аудиозаписи запросов на медицинскую помощь и медицинские решения, принятые врачами после их визитов на дом, включая то, был ли пациент направлен в больницу (данные о результатах лечения пациентов являются исчерпывающими). Таким образом, с помощью ИИ была разработана прогностическая модель использования пациентами стационарных услуг после визита на дом врача SOS. Модель "слушает" обмены между пациентом и MDA и прогнозирует использование стационарных услуг после визита врача на дом.

Модель и ее разработка являются предметом статьи, в настоящее время представленной для публикации в международном журнале. На этапе тестирования она достигла площади под ROC-кривой (кривой рабочих характеристик приемника) 0,80. В конечном итоге модель на основе ИИ должна работать в реальном времени и предоставлять информацию MDA для помощи в их работе. На данный момент целью этого проекта является завершение валидации системы. Затем ее необходимо будет внедрить и протестировать в реальных условиях, чтобы определить преимущества сортировки пациентов MDA с использованием прогнозов модели.

Следует отметить, что хотя SOS Médecins не то же самое, что SAS, они схожи. Во-первых, две структуры работают схожим образом: с ними по телефону связывается MDA, который пытается ответить на запрос о неотложной или внеплановой помощи. Диапазон возможных ответов одинаков для обеих структур (SOS предлагает не только визиты на дом, но также проводит очные или видеоконсультации и передает определенные звонки в службу экстренной медицинской помощи), как и использование экспертизы врача при необходимости (медицинское регулирование). Во-вторых, SOS Médecins является одним из нижестоящих исполнителей SAS. Более старая и лучше известная широкой публике и медицинским работникам, чем SAS (которая в настоящее время охватывает только 60% территории страны), SOS может иметь процесс набора, очень похожий на этот новый сервис. Насколько нам известно, пока нет статистики по SAS, которая позволила бы сравнить деятельность двух структур. В этом контексте валидация в рамках SAS модели, разработанной с данными SOS, будет необходимой. Если в будущем данные покажут, что две структуры схожи, SAS может получить выгоду от этого проекта, разработанного в SOS. Данные SOS имеют значительное преимущество перед данными SAS: они содержат информацию о результатах лечения пациентов, включая то, обращались ли они в отделение неотложной помощи больницы. Эта маркировка звонков позволила провести обучение с учителем модели ИИ.

Этот проект, который, насколько нам известно, является уникальным, открывает путь для помощи в сортировке, которую можно использовать в SAS (и, возможно, в некоторой степени в отделениях неотложной помощи).

1.2. Преимущества для пациентов и системы здравоохранения Раннее выявление пациентов с высоким риском госпитализации, некоторые из которых имеют состояния, требующие неотложной помощи в специализированных условиях, должно облегчить принятие клинических решений и в конечном итоге улучшить здоровье пациентов. Это в первую очередь касается пациентов с состояниями, прогноз которых напрямую связан со скоростью оказания помощи, такими как тяжелые ишемические, респираторные, травматические или инфекционные состояния, которые получат пользу от госпитализации без ожидания визита врача на дом. Таким образом, преимуществом для пациентов будет сокращение упущенных возможностей из-за ошибок сортировки.

Кроме того, сортировка перед отделениями неотложной помощи (как предлагал предыдущий министр здравоохранения и реализовано в некоторых отделениях неотложной помощи с нехваткой персонала, а также является обычной практикой в Дании) улучшит функционирование больничных отделений неотложной помощи, где избыточная активность влияет на смертность пожилых пациентов, получающих помощь. С точки зрения общественного здравоохранения внедрение эффективной системы сортировки может улучшить доступ к неотложной и внеплановой помощи.

Цели исследования и критерии оценки Модель сортировки на основе ИИ, используемая для выявления пациентов, которых необходимо направить в больницу, уже разработана и протестирована с использованием звонков в SOS Médecins Grand Paris. Статья в настоящее время публикуется. Поэтому данный проект не фокусируется на разработке или внутренней валидации модели сортировки, а на других аспектах, связанных с ее валидацией: проспективной и внешней валидации; сравнении ее прогнозов с прогнозами медицинского эксперта; исследовании социальной дискриминации, которая может быть связана с ее использованием; и определении реальных условий ее использования в медицинских учреждениях.

2.1. Цель и первичная конечная точка Проспективная оценка производительности прогностических моделей на операционных данных реального мира является важным шагом на пути к интеграции этих моделей в клинический контекст и оценке их влияния на лечение пациентов.

- Первичная цель (ПЦ): Проспективная валидация модели сортировки, используемой для выявления пациентов, которые будут направлены в больницу после визита врача на дом.

Площадь под ROC-кривой (AROC) дает общую меру производительности системы классификации.

Следует отметить, что все данные, используемые в этом исследовании, являются ретроспективными. Модель была разработана с использованием данных за 2023 год и ранее (вплоть до 2017 года включительно), а "проспективные" данные - это данные, последующие за ее разработкой, и будут данными за 2024 год.

- Первичная конечная точка (ПКТ): Сравнение AROC, полученных на репрезентативных выборках ретроспективных и проспективных данных из SOS Médecins Paris.

2.2. Вторичные цели и конечные точки Внешняя валидация на данных пациентов с отдельных географических площадок необходима для понимания того, как модели, разработанные на одной площадке, могут быть безопасно и эффективно внедрены на других площадках.

- Вторичная цель №1 (ВЦ1): Внешняя валидация модели сортировки

• Вторичная конечная точка №1 (ВКТ1): Сравнение AROC, полученных на репрезентативных выборках ретроспективных данных из SOS Médecins Grand Paris и Аяччо.
• ВКТ2: Сравнение прогнозов модели сортировки с прогнозами врача-эксперта.
• Вторичная конечная точка №2 (ВКТ2): Сравнение показателей правильного прогнозирования между моделью сортировки и врачом-экспертом на сбалансированной нерепрезентативной выборке (т.е. состоящей из 50% пациентов, направленных в больницу после визита врача на дом, а не 3%, как в реальности) данных из SOS Médecins Grand Paris.

Было обнаружено, что несколько систем сортировки на основе ИИ являются дискриминационными. Два известных примера иллюстрируют этот момент:

• отбор инженеров-программистов, подающих заявки на работу, на основе их резюме: система обучалась на существующих инженерах, которые были преимущественно мужчинами, и она ставила женщин в невыгодное положение;
• Обнаружение меланом по изображениям дерматоскопа: система обучалась на светлых тонах кожи и была не так эффективна на темных тонах кожи.
• ВЦ3: Исследование потенциальных явлений дискриминации, связанных с моделью, в отношении социальных характеристик пациентов.
• Вторичная конечная точка №3 (ВКТ3): Сравнение AROC, полученных на репрезентативных выборках данных SOS Médecins Grand Paris для обоих полов.

Переход от валидированной прогностической модели к эффективному устройству в реальных условиях является известной проблемой в ИИ.

- ВЦ4: Определение реальных условий использования модели MDA.

- Вторичная конечная точка №4 (ВКТ4): Составление технического задания для внедрения системы сортировки MDA

Отбор и исключение лиц из исследования 3.1. Критерии включения Лица любого возраста, получившие визит на дом от врача SOS после звонка в 2024 году или ранее.

3.2. Критерии исключения Лица, не говорящие по-французски. Лица без медицинской страховки.

Описание исследования 4.1. Тип исследования Это по сути исследование по валидации модели сортировки пациентов на основе ИИ. Оно будет проводиться с использованием обсервационных данных.

4.2. Процесс исследования 4.2.1. Место проведения исследования Исследование будет проводиться в помещениях SOS Médecins. Врачи-эксперты из SOS Médecins Grand Paris будут привлечены для выполнения ВЦ2.

4.2.2. Методы набора Данные, собранные SOS Médecins в ходе своей деятельности, будут использованы.

4.2.3. Процедуры ухода за пациентами Проект фокусируется на необходимости использования больниц для удовлетворения спроса на неотложную или внеплановую помощь от пациентов в сообществе. Однако он не будет вмешиваться в уход за пациентами.

4.2.4. Процедуры выхода из исследования Пациенты, которые попросят об исключении, будут исключены.

4.2.5. Сбор данных

• ПЦ (проспективная валидация), ВЦ1 (внешняя валидация) и ВЦ3 (дискриминация):

Используемые данные будут уже собранными в ходе деятельности SOS Médecins. Обе площадки (Париж и Аяччо, Корсика) используют одно и то же программное обеспечение для управления телефонными звонками с момента их получения и записи до конца процесса оказания помощи SOS (т.е. конца визита на дом в нашем случае), включая ввод административных и медицинских данных (файл SOS Médecins). Вот список данных, которые будут использоваться, и как они будут обрабатываться для анализа:

- Транскрипты аудиозаписей разговоров между пациентами и MDA. Прогнозы ИИ будут делаться на основе этих транскриптов (и только этих транскриптов).

• Данные из файла SOS Médecins:
• день недели, месяц, год и время телефонного звонка;
• номер переписного участка места визита будет получен из адреса, предоставленного пациентом. Переписные участки являются наименьшими пространственными единицами, для которых доступны статистические данные при сохранении анонимности жителей. На этом уровне доступны несколько социально-экономических переменных из переписи INSEE (Национального института статистики и экономических исследований), таких как уровень безработицы, выпускники средней школы, рабочие, медианный доход, индекс социального неблагополучия (также известный как FDep для французского индекса депривации) и EDI (индекс экологической депривации). Эти различные переменные предоставляют экологические (в отличие от индивидуальных) меры социального положения лиц, проживающих там;
• причины звонка, определенные MDA, на основе предопределенного списка, но не соответствующие международной классификации. Для одного звонка может быть указано несколько причин;
• уровень срочности (4 уровня), определенный MDA;
• дата и время окончания визита на дом, определенные врачом в конце визита
• Диагнозы консультации, определенные врачом в конце визита, на основе предопределенного списка, но не соответствующие международной классификации. Для одной консультации может быть указано несколько причин.
• Статус пациента в конце визита (закрытый список: оставлен на месте, перевод в отделение неотложной помощи больницы, вызов службы экстренной медицинской помощи).
• способ перевода в отделение неотложной помощи больницы (закрытый список: собственными средствами, скорая помощь, пожарная служба, SMUR).
• ВЦ2 (врач-эксперт):

Некоторые индивидуальные данные будут собраны у врачей-экспертов, участвующих в достижении этой цели: возраст, пол, стаж работы в целом и в SOS Médecins, специальность.

Кроме того, после прочтения транскриптов телефонных разговоров между пациентами и MDA этим врачам будет предложено оценить вероятность перевода пациентов в больницу.

Им будут заданы два вопроса:

• Какова вероятность того, что этот пациент будет госпитализирован после визита врача SOS? Ответьте, поставив крестик на шкале от 0 (без госпитализации) до 100 (госпитализация).
• Насколько вы уверены в этой вероятности? Ответьте, поставив крестик на шкале от 0 (нет уверенности) до 100 (полная уверенность)

Описание вмешательств в исследовании В этом исследовании нет вмешательств, оно строго обсервационное.

Тем не менее, мы описываем здесь организацию работы, которая будет проведена для выполнения ВЦ2 и ВЦ4.

• ВЦ2 (врач-эксперт):

Для сравнения прогнозов модели сортировки об использовании больницы с прогнозами врача-эксперта будут привлечены на добровольной основе врачи из SOS Médecins Grand Paris с более чем пятилетним опытом работы в организации. Каждому из этих врачей будет предложено оценить вероятность использования больницы для нескольких пациентов/звонков (см. §4.2.5. Сбор данных).

- ВЦ4 (реальные условия): Будет создана рабочая группа, состоящая из статистиков, инженеров-программистов, MDA, врачей SOS и исследователей эргономики, чтобы рассмотреть наилучший способ предоставления MDA вероятности использования больницы. Несколько вопросов потребуют решения: как вероятность отображается на экране, порог вероятности, следует ли передавать звонок диспетчерскому врачу (и если да, то при каком пороге), влияние вероятности на уровень срочности звонка, определенный MDA, и возможность предоставления приоритета определенным неотложным запросам. После первоначальной рабочей встречи будет реализована версия с добровольными MDA. После первоначального использования в реальных условиях будет собран отзыв и проведен новый эксперимент. Наконец, будут составлены технические условия для внедрения в реальных условиях (с указанием причин принятых решений), чтобы модель сортировки могла быть внедрена на различных ИТ-платформах.

Статистические анализы 6.1. Расчет количества субъектов - ПЦ (проспективная валидация): Чтобы продемонстрировать, что AROC на проспективных данных отличается от ROC на ретроспективных данных, если наблюдаются AROC 0,75 и 0,80 соответственно, нам потребуется 13 560 пациентов/звонков на выборку (т.е. 407 пациентов, которые будут направлены в больницу, и 13 153 пациента, которые не будут, в соответствии с 3% пациентов, направленных в больницу, наблюдаемых в SOS Médecins Grand Paris), при условии альфа-риска 5%, мощности 90% и двустороннего теста. Этот результат был получен с использованием функции power tworoc статистического программного обеспечения Stata.

- ВЦ1 (внешняя валидация): Согласно тому же расчету, что и для ПЦ, в Аяччо, Корсика, необходимо будет мобилизовать выборку из 13 560 пациентов.

- ВЦ2 (врачи-эксперты): В то время как все другие анализы будут основаны на репрезентативных выборках, этот анализ будет основан на сбалансированной выборке (т.е. состоящей из 50% пациентов, которые будут направлены в больницу, и 50% которые не будут) по двум причинам. При низком уровне направлений в больницу (3%) и небольшом количестве звонков, которые необходимо оценить для каждого из врачей-экспертов, возможной стратегией для врача, желающего обеспечить хорошую производительность, было бы никогда не направлять пациентов в больницу. Кроме того, репрезентативная выборка не позволила бы изучить ложноотрицательные результаты (пациенты с низкой оценкой вероятности направления в больницу, когда на самом деле они будут направлены), поскольку их было бы слишком мало.

Чтобы выявить разницу в показателе правильного прогнозирования между моделью сортировки и врачом-экспертом, потребуется 365 звонков от пациентов, которые используют больницу (и такое же количество пациентов, которые не используют ее), при условии показателя правильного прогнозирования 58% (см. приложения §12.2 для определения этого показателя) и 68% (априорный выбор на 10 дополнительных процентных пунктов) для модели сортировки и врача-эксперта соответственно, с альфа-риском 5%, мощностью 80% и двусторонним тестом (функция power twoproportions в Stata).

Исходя из оценки одного звонка каждые 5 минут, потребуется в общей сложности 61 час времени врача-эксперта. Исходя из 4 часов работы на одного врача, это соответствует 16 врачам-экспертам, которых необходимо набрать.

- ВЦ3 (дискриминация): Согласно тому же расчету, что и для ПЦ, необходимо будет мобилизовать выборку из 13 560 пациентов каждого пола, если мы хотим показать разницу в AROC модели сортировки между мужчинами и женщинами. Соотношение полов людей, звонящих в SOS Médecins Grand Paris, близко к 1. Будут использованы как ретроспективные, так и проспективные выборки из SOS Médecins Grand Paris из ПЦ.

6.2. Описание используемых статистических анализов Исследование будет проводиться в соответствии с рекомендациями TRIPOD-AI, которые являются руководящими принципами для отчетности по прогностическим и диагностическим исследованиям (специально для ИИ)

6.2.1. Отбор лиц для включения в анализы Для всех целей отбор лиц для включения будет осуществляться путем случайной выборки на основе круглого числа лет. Это покроет все часы дня, дни недели и месяцы года. Для ВЦ3 нерепрезентативная выборка будет содержать 50% пациентов, направленных в больницу.

6.2.2. Описательная статистика Описательные анализы будут выполнены для всех собранных переменных. Количественные переменные будут описаны с использованием их среднего значения, медианы, стандартного отклонения, 95% доверительного интервала, межквартильного размаха, минимума, максимума, количества пропущенных значений и количества непригодных значений. Количественные переменные будут описаны их процентами и 95% доверительным интервалом. Время, прошедшее между звонком и окончанием визита, будет представлено. Эти анализы будут выполнены на всех выборках и стратифицированы в соответствии с использованием больницы.

6.2.3. Анализ первичной конечной точки Мы начинаем с представления общей стратегии анализа, которая будет использоваться для различных целей.

Для оценки производительности различных систем сортировки (ИИ и врач-эксперт) на различных выборках (проспективных или ретроспективных, в Париже или Аяччо, Корсика) пациентов будут построены ROC-кривые и кривые точности-полноты (PR), и оценены площади под этими кривыми (AROC и APR). AROC позволяет нам измерить общую производительность системы классификации. APR также будет использоваться, поскольку он особенно информативен при оценке бинарных классификаторов на несбалансированных наборах данных, в которых количество отрицательных результатов значительно превышает количество положительных результатов (что соответствует нашей ситуации). Чтобы сравнить две системы сортировки (ИИ и врач-эксперт, например) или одну и ту же систему сортировки (ИИ, например) на двух разных популяциях (Париж и Аяччо, Корсика, например), будут сравниваться их AROC.

Кроме того, для оценки производительности значимым образом с операционной точки зрения будут рассчитаны чувствительность (Sen), специфичность (Spe), положительные прогностические значения (PPV) и отрицательные прогностические значения (NPV) для различных порогов.

- ПЦ (проспективная валидность): Общая стратегия анализа для модели сортировки ИИ будет проведена на двух репрезентативных выборках, одной ретроспективной (2023 год и предыдущие годы) и одной проспективной (2024 год) из SOS Médecin Grand Paris.

6.2.4. Анализ вторичных конечных точек

- ВЦ1 (внешняя валидность): Общая стратегия анализа, относящаяся к модели сортировки ИИ, будет проведена на двух репрезентативных ретроспективных выборках из SOS Médecin Grand Paris и Аяччо, Корсика.

- ВЦ2 (врачи-эксперты): Показатели правильного прогнозирования двух систем сортировки (ИИ и врачи-эксперты) будут сравниваться с использованием статистического теста.

На более исследовательской основе:

- Будут рассчитаны AROC двух систем сортировки (общая стратегия анализа).

- Различия в прогнозировании между двумя системами сортировки будут смоделированы на основе фактического использования больницы и характеристик пациентов.

- Будут рассчитаны взвешенные каппа-коэффициенты между двумя прогнозами.

- будут проведены анализы чувствительности на основе уровня уверенности, сообщенного врачами-экспертами (особенно высокого и низкого уровня уверенности);

• будут проведены стратифицированные анализы фактического использования больницы (изучение истинно положительных и истинно отрицательных результатов).

По возможности, анализы будут учитывать тот факт, что один и тот же врач-эксперт мог изучить несколько звонков/пациентов.

• ВЦ3 (дискриминация):

Дискриминация будет исследована в соответствии со следующими социальными характеристиками: возраст, пол и социальное положение (оцененное на основе социально-экономических характеристик переписного участка места визита). . Возраст и экологические переменные социального положения будут использоваться в виде тертилей и квинтилей. Будет проведена общая стратегия анализа, относящаяся к модели сортировки ИИ на репрезентативных выборках из SOS Médecin Grand Paris, стратифицированных в соответствии с вышеуказанными социальными характеристиками. Сравнение AROC определит, одинаково ли эффективна сортировка в соответствии с вышеуказанными социальными характеристиками.

Кроме того, сравнение успехов (истинно положительных и истинно отрицательных результатов совместно и отдельно) в соответствии с вышеуказанными характеристиками также будет проведено с использованием однофакторных, а затем многофакторных логистических моделей. Эти анализы будут проведены для различных порогов риска.

- ВЦ4 (реальные условия) После обсуждений среди коллег и тестирования в натуральную величину будут составлены технические условия для внедрения в реальных условиях, чтобы модель сортировки могла быть внедрена на различных ИТ-платформах. Обоснование принятых решений будет указано в этих технических условиях.