Безопасность OpenEvidence и сравнительная эффективность четырех LLM в клинической практике

OpenEvidence-это онлайн-инструмент, созданный из May Clinic Platform Accelerate [OpenEvidence], который агрегирует и синтезирует данные из рецензируемых медицинских исследований, а затем дает ответ на вопросы пользователя с использованием генеративного искусственного интеллекта. Несмотря на то, что он используется рядом клиницистов (включая жителей) сегодня, практически нет опубликованных данных о том, являются ли выходы инструмента точными и соответствующим образом ли эта информация информирует о принятии клинических решений. Точно так же ряд клиницистов обращаются к другим крупным языковым моделям (LLM), чтобы помочь в принятии решений при оказании клинической помощи.

OpenEvidence-это онлайн-инструмент, предназначенный для агрегирования и синтеза данных из рецензируемых клинических исследований, впоследствии генерируя ответы на запросы пользователей посредством применения генеративного ИИ. Несмотря на то, что он все чаще используется как опытными клиницистами, так и стажерами, существует заметное отсутствие опубликованных данных, касающихся точности результатов инструмента, их безопасности и эффективности в надлежащей информировании о принятии клинических решений. Одновременно растущее число клиницистов использует другие публично доступные крупные языковые модели (LLMS) для поддержки принятия решений в клинической помощи. В то время как в ряде исследований изучалась точность ответов LLM на вопросы медицинского совета или клинические виньетки, существует ограниченное исследование их эффективности в реальных клинических условиях, и даже меньшее количество исследований предлагает сравнительный анализ этой производительности.

В обзоре литературы одна статья показывает, что LLM может быть лучше в обнаружении тревоги, чем практикующих, но это было основано на клинических виньетках. [Levkovich et al.] Другой посмотрел на диагностическую чувствительность LLM с использованием показателей результатов, сообщаемых пациентом, в структурированном вопроснике. [Pagano et al.] В дополнительном исследовании, сравнивающем LLM для онкологии, также используются вымышленные виньетки. [Benary et al.] Рандомизированное контрольное исследование с использованием клинических виньеток не показало никакого клинического улучшения для поставщиков, которые имели доступ к LLM. [Goh et al.] В одном тематическом исследовании изучалась интеграция CHATGPT 3.5 в ежедневные раунды и оценил его использование качественно, но не сравнивало ее с другими справочными инструментами LLM или золотым стандартом. [Skryd et al.] Другой сравнивал ответы Chatgpt на критерии уместности Американского колледжа радиологии для боли в молочной железе и скрининга рака молочной железы, но опять же не сравнивал его с другими LLM. [Rao et al.] В нашем обзоре только одно исследование оценило LLM в реальных клинических условиях. Это была серия документов, в которых рассматривалась их использование для принятия сложных решений при уходе за раковином груди, используя небольшое количество фактических случаев и стандартизированный шаблон быстрого приглашения. [Greiewing, Knitza et al.; Greiewing, Gremke et al.] Это исследование обнаружило проблемы с последовательности и ухудшением точности (особенно с GPT 3.5), что привело к выводу, что клиническое использование LLM для этой цели еще не было возможным во время публикации. Тем не менее, лидеры систем здравоохранения видят использование этих инструментов быстро ускоряются в клинической практике. По этой причине исследователи считают, что необходимо изучить их безопасность и клиническую целесообразность принятия решений, которые принимают клиницисты в результате своего использования.

Cambridge Health Alliance (CHA)-это общественная, академическая система здравоохранения безопасности в Бостоне, обслуживающая разнообразную популяцию пациентов. CHA имеет надежную первичную медицинскую помощь и амбулаторную психиатрическую площадку и поддерживает крупную программу медицинского образования в аспирантуре как в Гарвардской медицинской школе, так и в Медицинской школе Университета Тафтса. Исследователи выбрали жителей в качестве наших основных участников исследования, так как многие стажеры уже используют OpenEvidence, и обнаружили, что их более стимулировали для участия в исследовании, если предоставил доступ к инструменту в CHA (где он в противном случае включен в черный список из сетевых служб и запрещено политикой до тех пор, пока не будут определены результаты этого исследования).

Результаты исследования следующие:

Определите, приводит ли использование OpenEvidence к клинически соответствующим решениям жителей в ходе клинической практики в условиях здоровья сообщества.

Определите, как результаты OpenEvidence сравниваются с тремя другими общеиспользуемыми, общедоступными большими языковыми моделями (CHATGPT Openai, Claude's Antropic и Google Gemini) в отношении точности, полноты и предвзятости при решении клинических вопросов в ходе клинической практики в условиях здоровья сообщества.

Методы:

Сбор данных планируется проходить в течение 6-месячного периода, чтобы минимизировать обновления версий поставщиков в течение периода исследования. Жители сгруппированы по специальности в «медицину» (внутренняя медицина/семейная медицина) и «психиатрия» (психиатрия для взрослых/детей). Чтобы упростить сопоставление с соответствующими специализированными экспертами по предметным вопросам, жителей медицины просят использовать OpenEvidence только для случаев первичной медицинской помощи для взрослых (за исключением вопросов, связанных с акушерством/GYN). Жителей психиатрии просят использовать OpenEvidence только для случаев психиатрии для взрослых.

Перед тем, как их приняли в качестве участников, всех стажеров попросили согласиться на следующее:

• Проверьте любой запрос OpenEvidence на инструмент с золотым стандартом, определенный в протоколе исследования, включающий PubMed, UptoDate, Dynamed, руководство по клиническому специальному обществу или другой аналогичный клинический справочный источник, который должен быть задокументирован в форме исследования.
• Не вводите какую -либо личную информацию о здоровье (PHI) в OpenEvidence (как определено ниже).
• Попытайтесь использовать OpenEvidence не менее 3 раза в неделю, если это необходимо для клинической помощи пациента.
• Документируйте 100% их запросов OpenEvidence в исследовательскую форму, чтобы избежать смещения отбора.

Все жители будут проведены краткое обучение по быстрой инженерии для здравоохранения до начала сбора данных. Стандартизированные подсказки не будут использоваться, так как одна из субголов исследования состоит в том, чтобы понять, какие типы запросов жители отправляются в OpenEvidence в реальном мире.

Все жители будут обучаться определению PHI следующим образом:

Запросы не должны включать ни один из PHI, как определено идентификаторами Safe Harbor [HHS]; Запросы могут включать возраст пациентов в течение многих лет (дни/недели/месяцы для педиатрии) и юридический пол; Для пациентов в возрасте 89 лет или старше пользователь должен вместо этого использовать термин «старше 89 лет», чтобы соответствовать стандартам безопасной гавани.

Запросы не должны включать пациентов, подозреваемых в чрезвычайно редких состояниях, как определено Национальной организацией для редких расстройств, поскольку они также подвержены повторной идентификации [NORD]. Если редкое условие изначально не подозревается, но станет подозреваемым в процессе исследования инструмента ИИ, пользователю будет предложено остановить свой запрос в этот момент.

Сбор данных будет включать в себя использование формы Google, соответствующей HIPAA в рамках инфраструктуры Hipaa, облачной инфраструктуры. Форма сбора данных попросит обучаемых сделать следующее:

1. Введите их первоначальный клинический вопрос.
2. Вставьте их подсказку OpenEvice (пронумеровано последовательно для итеративных подсказок) и сгенерированные (ы) открытого открытия (ы).
3. Введите их клинический вывод на основе выхода OpenEvidence.
4. Введите используемый инструмент из золотого стандарта.
5. Укажите их окончательный клинический вывод на основе информации как из OpenEvidence, так и из справочного инструмента Gold Standard.
6. Ответьте на вопрос, в какой степени их первоначальный клинический вывод был изменен с помощью ссылки на золотой стандарт.
7. Ответьте на открытый вопрос о том, заметили ли они какие-либо проблемы клинической безопасности, неточности или предвзятость в результате выпуска от OpenEvidence.

Запросы будут отсортированы по специальности (медицина против психиатрии), и каждый запрос будет получать последовательный номер исследования.

Был набран совет по вопросам экспертов по вопросам врача (МСП), сертифицированный в области внутренней медицины, семейной медицины или психиатрии с клиническим опытом после обучения. Пять лет клинического опыта после тренировки были выбраны на основе того факта, что Малкольм Гладуэлл, в своей книге «« Выходные », утверждает, что 10 000 часов сфокусированной практики необходимо для достижения опыта в области.

МСП будут предложены оценить первоначальные клинические вопросы жителей и их выводы, основанные только на OpenEvidence. Им будет предложено оценить клиническую целесообразность этих выводов по 10-балльной шкале Лайкерта. МСП также будут предоставлены выводы OpenEvidence для каждого запроса, и когда МСП оценивают клиническую целесообразность выводов жителей (<5/10), МСП дополнительно будет задан вопрос о последующем вопросе, чтобы оценить, предоставил ли выходы инструмента в результате инструмента вывод инструмента. Обзор SME будет включать в себя 2,5-5% совпадение между рецензентами для расчета оценки каппа для надежности межсетевого уровня.

Во второй части исследования исследовательская группа сортирует запросы OpenEvidence в темы и выберет случайную выборку запросов из каждой специальности и тему для сравнения между LLM. Исследовательская группа подтверждает, что подсказки не включают никаких PHI в соответствии с протоколом исследования. Затем они скопируют подсказки OpenEvidence, введенные жителями для выбранных запросов, и вставьте их точно в Chatgpt, Gemini и Claude.

Выходы каждого из четырех инструментов (OpenEvidence, CHATGPT, Gemini и Claude) будут вспять в Google Webform. МСП будут предложены оценить каждый выход по шкале Лайкерта для точности, полноты и предвзятости, а также ответить на качественный вопрос, определяющий любые проблемы безопасности пациентов в результате вывода.

Результаты:

Результаты первичного результата будут представлены следующим образом:

Клиническая уместность решения, принятых жителями, использующими OpenEvidence (среднее с SD, медиана), по специальности

• Если в случаях низкой клинической целесообразны
• Надежность взаимосвязи (значение каппа)

Результаты вторичных результатов будут представлены следующим образом:

Для каждой специальности и каждой переменной (точность, полнота и предвзятость), следователи сообщают:

• Показатель «победа» для каждого LLM и средней прибыли от второго балла.
• Размер эффекта (используя каждый LLM в качестве отдельной ссылки) с использованием D -теста Cohen.
• Надежность взаимосвязи (значение каппа)