ChatGPT в диагностике и лечении сложных полинейропатий: сравнительный анализ с неврологами на реальных клинических случаях (REASON)

Фон и обоснование Полинейропатии представляют собой гетерогенную группу заболеваний, поражающих периферическую нервную систему, и являются одним из наиболее распространенных неврологических состояний, встречающихся в клинической практике. Их распространенность оценивается примерно в 1% среди общей популяции и значительно увеличивается с возрастом, достигая почти 4% среди людей среднего возраста и до 13% среди пожилых. Таким образом, периферические невропатии представляют собой основной фактор неврологической заболеваемости и использования медицинских услуг во всем мире.

Установление этиологического диагноза полинейропатии остается клинически сложной задачей. Несмотря на прогресс в лабораторных исследованиях и нейрофизиологических методах, диагностический процесс по-прежнему в значительной степени опирается на тщательную клиническую оценку, включая подробный анамнез пациента и неврологическое обследование, с последующим целенаправленным использованием электрофизиологических и лабораторных исследований. Во многих случаях точный диагноз требует специализированной экспертизы в области нервно-мышечных расстройств.

Доступ к такой экспертизе распределен неравномерно в различных системах здравоохранения. Значительная доля пациентов с периферическими невропатиями изначально оценивается врачами-неспециалистами, включая общих неврологов или клиницистов в условиях первичной или вторичной медицинской помощи. Диагностические задержки и неправильная классификация подтипов невропатии, следовательно, относительно распространены, особенно для редких или атипичных этиологий. Эти проблемы подчеркивают необходимость инструментов, способных поддерживать клиницистов в процессе диагностики.

Последние достижения в области искусственного интеллекта (ИИ), в частности разработка больших языковых моделей (LLM), вызвали растущий интерес к их потенциальному применению в клинической медицине. ChatGPT, разработанный OpenAI и основанный на архитектуре Generative Pre-trained Transformer, представляет собой диалоговую систему ИИ, способную генерировать контекстно-зависимые медицинские рассуждения и диагностические предложения. Появляющиеся исследования предполагают, что LLM могут достигать диагностической эффективности, сопоставимой с эффективностью стажеров-медиков или врачей в определенных задачах клинического рассуждения.

Однако строгая оценка эффективности LLM при сложных неврологических состояниях остается ограниченной. В частности, существует мало доказательств относительно их эффективности в диагностически сложных случаях полинейропатии, типично встречающихся в третичных реферальных центрах. Оценка возможностей и ограничений таких инструментов в этом контексте необходима, прежде чем рассматривать их потенциальную роль в качестве систем поддержки клинических решений.

Целью данного исследования является систематическая оценка диагностической эффективности ChatGPT-4o при применении к реальным случаям полинейропатии и сравнение его эффективности с эффективностью специалистов и неспециалистов-неврологов.

Цели исследования Основной целью данного исследования является оценка диагностической точности ChatGPT-4o в определении ведущего этиологического диагноза в сложных случаях полинейропатии.

В частности, исследование направлено на сравнение диагностической эффективности ChatGPT-4o с эффективностью специалистов по заболеваниям периферических нервов и неврологов-неспециалистов.

Вторичные цели включают оценку способности ChatGPT-4o генерировать соответствующие дифференциальные диагнозы и рекомендовать подходящие подтверждающие диагностические тесты. Исследование также оценит, влияет ли знакомство с диагностическими предложениями, сгенерированными ИИ, на диагностические решения неврологов. Кроме того, исследование оценит согласованность ответов ChatGPT-4o при повторных независимых оценках и охарактеризует типы ошибок, производимых моделью при генерации неправильных диагнозов.

Дизайн исследования Это сравнительное исследование диагностической точности, разработанное для оценки эффективности большой языковой модели на основе искусственного интеллекта по сравнению с неврологами-людьми.

Исследование будет проводиться в двух третичных реферальных центрах по периферическим невропатиям, расположенных в Милане, Италия: Исследовательская больница Humanitas (IRCCS) и Фонд IRCCS Неврологический институт Карло Беста. Эти учреждения предоставляют специализированную помощь пациентам с широким спектром полинейропатий, включая воспалительные, наследственные, метаболические, токсические и паранеопластические этиологии.

Протокол исследования был одобрен Этическим комитетом Исследовательской больницы Humanitas и будет проводиться в соответствии с принципами Хельсинкской декларации.

Популяция исследования и отбор случаев Клинические случаи будут ретроспективно идентифицированы среди пациентов, обследованных в амбулаторных клиниках полинейропатии участвующих учреждений. Подходящие случаи будут включать пациентов с подтвержденным диагнозом полинейропатии, для которых стабильный этиологический диагноз был установлен после как минимум 12 месяцев клинического наблюдения.

Клиническая информация будет извлечена из медицинских записей и использована для подготовки стандартизированных резюме случаев. Данные, включенные в резюме, будут отражать информацию, обычно доступную на раннем этапе диагностической оценки, включая демографические данные пациента, клинический анамнез, результаты неврологического обследования, результаты исследований нервной проводимости и результаты стандартных лабораторных скрининговых тестов.

Из пула подходящих случаев 100 случаев будут случайным образом выбраны с использованием компьютерного метода выборки. Все случаи будут анонимизированы перед анализом.

Ожидается, что окончательный набор данных будет включать широкий спектр этиологий полинейропатии, отражающих реферальные модели третичных нервно-мышечных центров, включая воспалительные невропатии, наследственные невропатии, метаболические невропатии, токсические невропатии и другие менее распространенные состояния.

Оценка случаев ChatGPT-4o Система искусственного интеллекта, оцениваемая в этом исследовании, — это ChatGPT-4o Enterprise, разработанная OpenAI.

Каждое резюме клинического случая будет представлено модели с использованием стандартизированных промптов, инструктирующих модель проанализировать клинический сценарий и предоставить диагностическое рассуждение. По каждому случаю модель попросят сгенерировать:

• один ведущий этиологический диагноз,
• два менее вероятных альтернативных диагноза,
• и один диагностический тест, способный подтвердить ведущий диагноз. Чтобы минимизировать контекстуальную предвзятость, каждый случай будет оцениваться в независимой сессии без предыстории разговора. Весь набор данных будет оценен дважды в двух независимых запусках для оценки воспроизводимости и согласованности ответов модели.

Оценка случаев неврологами В качестве экспертов-людей в исследовании примет участие группа неврологов из нескольких международных центров. Участники будут включать как специалистов по заболеваниям периферических нервов, так и неврологов без специфической субспециализации в области нервно-мышечных расстройств.

Неврологи будут просматривать те же стандартизированные резюме случаев с использованием веб-интерфейса, и от них будет требоваться предоставить ведущий диагноз, два альтернативных дифференциальных диагноза и рекомендованный подтверждающий диагностический тест по каждому случаю.

Оценка будет проводиться в два этапа. На первом этапе неврологи будут независимо просматривать случаи и предоставлять свои диагностические оценки. На втором этапе случаи будут представлены снова вместе с диагностическим выводом, сгенерированным ChatGPT-4o, что позволит неврологам подтвердить или изменить свои предыдущие ответы. Такой дизайн позволит оценить потенциальное влияние предложений, сгенерированных ИИ, на диагностические решения врачей.

Оценка результатов Основным результатом исследования является диагностическая точность для ведущего диагноза, определяемая как доля случаев, в которых предложенный ведущий диагноз совпадает с окончательным подтвержденным этиологическим диагнозом.

Вторичные результаты включают точность дифференциальных диагнозов, уместность рекомендованных подтверждающих диагностических тестов и изменения в диагностической эффективности неврологов после ознакомления с выводами, сгенерированными ИИ.

Все ответы будут оцениваться в сравнении с окончательным подтвержденным диагнозом по каждому случаю. Уместность дифференциальных диагнозов и рекомендаций по диагностическим тестам будет независимо оценена экспертами-неврологами с обширным опытом диагностики полинейропатии.

Клиническая значимость Это исследование предоставит эмпирические доказательства диагностической эффективности большой языковой модели в сложной неврологической области. Непосредственно сравнивая диагностические рассуждения, сгенерированные ИИ, с рассуждениями специалистов и неспециалистов-неврологов, исследование направлено на прояснение потенциальной роли больших языковых моделей в качестве инструментов поддержки принятия решений в неврологии.