Разработка инструмента обработки естественного языка для проведения клинических исследований в области неотложной медицины (NLP-DeVal)

ПРЕДПОСЫЛКИ И ОБОСНОВАНИЕ ИССЛЕДОВАНИЯ

Проведение клинических исследований и исследований по оценке качества медицинской помощи в неотложной медицинской помощи настолько же сложно, насколько и важно. Это сложно, поскольку огромное количество пациентов, нуждающихся в лечении, и хроническая нехватка персонала делают сбор разовых данных непрактичным. Это важно, потому что, в конечном итоге, исследования позволяют врачам и медсестрам скорой помощи основывать свою практику на доказательствах, полученных в их собственных, уникальных условиях, а не на доказательствах, полученных в отдаленных контекстах, как это обычно бывает сегодня.

Единственный способ преодолеть разрыв между потребностями исследований и наличием надежных данных — это извлекать данные непосредственно из электронных медицинских карт (ЭМК) отделений неотложной помощи, избегая специального и трудоемкого сбора данных. Однако это сложная задача, поскольку наиболее полезная информация предоставляется в свободном текстовом формате (например, наличие признаков и симптомов, предполагаемый и подтвержденный диагноз, анамнез). Такие обстоятельства и потребности требуют надежного инструмента обработки естественного языка (NLP) для получения высокосогласованных данных из свободного текста.

Сегодня доступны крупномасштабные языковые модели, которые могут точно интерпретировать естественный язык. Однако эти модели обучаются на огромных объемах общих знаний, взятых в основном из Интернета, поэтому их эффективность в более специализированных областях, таких как медицина, может быть неоптимальной.

Настоящее исследование является частью более крупного проекта под названием eCREAM (обеспечивающего клинические исследования в области неотложной и неотложной медицины) и направлено на разработку и проверку языковой модели (называемой eCREAM_LM) ​​для шести языков, которая может интерпретировать содержимое электронных медицинских записей отделений неотложной помощи и извлекать соответствующую информацию для исследовательских целей.

МЕТОДЫ

Исследование представляет собой обсервационное многоцентровое ретроспективное 24-месячное исследование. В исследовании примут участие 30 центров: 13 из Италии, 4 из Польши, 3 из Греции, Словакии, Словении и Великобритании и 1 из Швейцарии. Никаких компенсаций центры не получат, но их расходы будут покрыты за счет средств проекта.

Разработка и валидация модели eCREAM_LM.

eCREAM_LM будет разрабатываться посредством обучения и тонкой настройки лучшей общей модели, среди моделей с открытым исходным кодом, и будет осуществляться частично параллельными этапами. Модели-кандидаты будут ознакомлены с огромным количеством (миллиардами) медицинских текстов из научной литературы или других общедоступных источников. Одновременно модели также будут подвергаться огромному количеству (миллионам) бесплатных текстовых заметок, полученных из медицинских записей, используемых в участвующих больницах. Затем мы перейдем к тонкой настройке, где будет использовано большое количество (тысячи) клинических записей, полученных, опять же, из медицинских записей участвующих центров. Эти заметки будут комментироваться опытными врачами, что заключается в извлечении информации из заметок для заполнения элементов данных, перечисленных в форме виртуального сбора данных (vCRF). vCRF был создан для соответствующего исследования и содержит набор переменных, полезных для прогнозирования госпитализации пациентов с одышкой или преходящей потерей сознания, что является целью соответствующего исследования. В текущем исследовании vCRF будет служить инструментом проверки языковой модели.

Проверка eCREAM_LM будет осуществляться с использованием набора из 1000 клинических записей, аннотированных, как описано выше, но не используемых на этапе разработки. Эти заметки будут переданы в модель eCREAM_LM с задачей составления vCRF. Согласование заполнения vCRF между врачами-экспертами и eCREAM_LM будет мерой окончательной проверки eCREAM_LM.

Сбор и анонимизация данных

Каждая участвующая больница предоставит бесплатные текстовые заметки, содержащиеся в медицинских картах 150–300 000 взрослых пациентов, проходивших лечение в период с 2021 по 2023 год. Заметки, относящиеся к различным аспектам одного и того же пациента (например, анамнезу, объективному осмотру, результатам анализов), будут отделены друг от друга, так что будет невозможно восстановить полный профиль пациента. Кроме того, из заметок будут удалены любые упоминания о пациенте (например, имя, фамилия, дата рождения) и контекст (например, больница, дата и время прибытия в центр). Этот процесс сводит к минимуму вероятность повторной идентификации пациентов и максимально защищает их права. Вероятность повторной идентификации пациента в базе данных зависит от того, насколько его или ее характеристики отличаются от характеристик других лиц в базе данных. Вероятность наличия уникальных и, следовательно, идентифицируемых пациентов увеличивается с увеличением объема информации, доступной в базе данных, и уменьшается с ее размером. Удалив всю личную и контекстуальную информацию из клинических записей и отделив каждую запись от других, каждая запись будет содержать только несколько характеристик пациента. Кроме того, данные, собранные в больницах одной страны, будут объединены, так что для каждого языка будет создана одна большая база данных. Это эффективно сводит к нулю вероятность того, что в заметках найдутся люди, которых можно однозначно идентифицировать.

Наконец, чтобы исключить возможность того, что в заметках будет содержаться информация о третьих лицах, например имена и номера телефонов родственников пациентов, в каждой больнице будет установлено сертифицированное программное обеспечение для анонимизации, специально разработанное для удаления личных данных из свободного текста.

После анонимизации данные будут централизованы для анализа, а также загружены на основные европейские платформы обмена языковыми ресурсами в научном сообществе.

статистический анализ

При проверке eCREAM_LM мы оценим соответствие между опытными врачами скорой помощи и самим eCREAM_LM при заполнении vCRF. Данные будут относиться к выборке из 1000 заметок для каждого изучаемого языка. Согласование будет оцениваться для каждой переменной vCRF с использованием κ Коэна в качестве меры согласия. eCREAM_LM будет считаться действительным, если κ Коэна больше 0,75.

Размер образца

Предполагая отличное согласие (κ=0,80) между eCREAM_LM и опытными врачами скорой помощи при заполнении vCRF, потребуется выборка из не менее 735 записей для достижения достаточной точности, чтобы гарантировать хорошее согласие (нижний доверительный предел 95% доверительного интервала κ Коэна больше 0,75). Это число представляет собой максимальный размер выборки, полученный при различных сценариях, включающих различное количество категорий (от 2 до 5) для каждой переменной и различные предельные распределения категорий в выборке, включая сбалансированные распределения (например, 5 категорий с 20% выборки). в каждой категории) и очень несбалансированные результаты (например, 5 категорий с 1,8%, 7,3%, 16,4%, 29,1% и 45,5% выборки). Поскольку в некоторых примечаниях интересующая информация может отсутствовать, мы проведем оценку проверки данных на 1000 примечаниях.