Эта страница была переведена автоматически, точность перевода не гарантируется. Пожалуйста, обратитесь к английской версии для исходного текста.

Оценка потенциала больших языковых моделей для консультаций по респираторным заболеваниям (EPLLMMRDC)

24 ноября 2024 г. обновлено: Zining Luo, North Sichuan Medical College

Оценка потенциала больших языковых моделей для консультаций по респираторным заболеваниям: рандомизированное перекрестное исследование

Клиническое исследование направлено на оценку нескольких больших языковых моделей при консультациях по респираторным заболеваниям путем сравнения их эффективности с работой врачей-людей в трех основных сценариях медицинских консультаций.

Основной вопрос, на который необходимо ответить:

  • Как большие языковые модели работают по сравнению с врачами-людьми при диагностике и консультировании по респираторным заболеваниям в различных клинических сценариях?

В трех клинических сценариях, включая раздел онлайн-запросов, раздел диагностики заболеваний и раздел медицинских объяснений, научным сотрудникам или волонтерам будет предложено задать перекрестный вопрос всем магистрам права или реальным врачам, используя заранее определенные онлайн-вопросы и свои собственные проблемы. После каждого допроса проводится короткий период отмывания для устранения потенциальных предубеждений.

Обзор исследования

Статус

Завершенный

Условия

Вмешательство/лечение

Тип исследования

Интервенционный

Регистрация (Действительный)

703

Фаза

  • Непригодный

Контакты и местонахождение

В этом разделе приведены контактные данные лиц, проводящих исследование, и информация о том, где проводится это исследование.

Места учебы

  • Китай
    • Sichuan
      • Nanchong, Sichuan, Китай, 637000
        • The Affiliated Hospital of North Sichuan Medical College

Критерии участия

Исследователи ищут людей, которые соответствуют определенному описанию, называемому критериям приемлемости. Некоторыми примерами этих критериев являются общее состояние здоровья человека или предшествующее лечение.

Критерии приемлемости

Возраст, подходящий для обучения

  • Ребенок
  • Взрослый
  • Пожилой взрослый

Принимает здоровых добровольцев

Нет

Описание

Критерии включения:

  1. Самооценка симптомов распространенных респираторных заболеваний, таких как кашель, чувство стеснения в груди, лихорадка и свистящее дыхание.
  2. Способность участвовать в диалоговых операциях LLM самостоятельно или с минимальным обучением коллег.
  3. Состояние здоровья, признанное экспертами-пульмонологами подходящим для участия в исследовании.

Критерий исключения:

1) Чрезмерно плохое состояние здоровья

Учебный план

В этом разделе представлена ​​подробная информация о плане исследования, в том числе о том, как планируется исследование и что оно измеряет.

Как устроено исследование?

Детали дизайна

  • Основная цель: Диагностика
  • Распределение: Рандомизированный
  • Интервенционная модель: Назначение кроссовера
  • Маскировка: Четырехместный

Оружие и интервенции

Группа участников / Армия
Вмешательство/лечение
Другой: Группа перекрестного сравнения (раздел диагностики заболеваний)
Группа перекрестного сравнения (включая контрольную группу врачей и всех LLM)
Диагностический тест: Диагностика трех врачей-людей
Это вмешательство включает в себя ответы на запросы пациентов от разных врачей-людей. Каждый пациент случайным образом распределяется системой по трем врачам из разных провинций Китая, выбранным из базы данных врачей. Все врачи представляют многочисленные онлайн-консультационные платформы в Китае, а их диагностическая квалификация и медицинские лицензии прошли строгую проверку.
Диагностический тест: Диагностика по ChatGPT-3.5 (с возможностью поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью ChatGPT-3.5 с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистить историю чата от предыдущего пациента и ввести заранее определенный оператор инициализации.
Диагностический тест: Диагностика по ChatGPT-3.5 (без возможности поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью ChatGPT-3.5 без возможности поиска. Прежде чем отвечать на какие-либо вопросы, необходимо очистить историю чата от предыдущего пациента и ввести заранее определенный оператор инициализации.
Диагностический тест: Диагностика по ChatGPT-4.0 (с возможностью поиска)
Это вмешательство включает в себя ответы на вопросы пациентов через ChatGPT-4.0. с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистите историю чата от предыдущего пациента и введите заранее определенный оператор инициализации.
Диагностический тест: Диагностика по ChatGPT-4.0 (без возможности поиска)
Это вмешательство включает в себя ответы на вопросы пациентов через ChatGPT-4.0. без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистите историю чата от предыдущего пациента и введите заранее определенный оператор инициализации.
Диагностический тест: Диагностика по Клоду моментальная (с возможностью поиска)
Это вмешательство включает в себя мгновенный ответ Клода на запросы пациентов с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика по Клоду моментальная (без возможности поиска)
Это вмешательство включает в себя мгновенный ответ Клода на запросы пациентов без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика по Клоду 2 (с возможностью поиска)
Это вмешательство включает в себя ответы на запросы пациентов Клода 2 с помощью возможностей поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика по Клоду 2 (без возможности поиска)
Это вмешательство включает в себя ответы Клода 2 на запросы пациентов без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистить историю чата от предыдущего пациента и ввести заранее определенный оператор инициализации.
Диагностический тест: Диагностика Gemini Pro (с возможностью поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью Gemini Pro с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика с помощью Gemini Pro (без возможности поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью Gemini Pro без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Другой: Группа перекрестного сравнения (раздел медицинских объяснений)
Группа перекрестного сравнения (включая контрольную группу врачей и всех LLM)
Диагностический тест: Диагностика трех врачей-людей
Это вмешательство включает в себя ответы на запросы пациентов от разных врачей-людей. Каждый пациент случайным образом распределяется системой по трем врачам из разных провинций Китая, выбранным из базы данных врачей. Все врачи представляют многочисленные онлайн-консультационные платформы в Китае, а их диагностическая квалификация и медицинские лицензии прошли строгую проверку.
Диагностический тест: Диагностика по ChatGPT-3.5 (с возможностью поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью ChatGPT-3.5 с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистить историю чата от предыдущего пациента и ввести заранее определенный оператор инициализации.
Диагностический тест: Диагностика по ChatGPT-3.5 (без возможности поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью ChatGPT-3.5 без возможности поиска. Прежде чем отвечать на какие-либо вопросы, необходимо очистить историю чата от предыдущего пациента и ввести заранее определенный оператор инициализации.
Диагностический тест: Диагностика по ChatGPT-4.0 (с возможностью поиска)
Это вмешательство включает в себя ответы на вопросы пациентов через ChatGPT-4.0. с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистите историю чата от предыдущего пациента и введите заранее определенный оператор инициализации.
Диагностический тест: Диагностика по ChatGPT-4.0 (без возможности поиска)
Это вмешательство включает в себя ответы на вопросы пациентов через ChatGPT-4.0. без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистите историю чата от предыдущего пациента и введите заранее определенный оператор инициализации.
Диагностический тест: Диагностика по Клоду моментальная (с возможностью поиска)
Это вмешательство включает в себя мгновенный ответ Клода на запросы пациентов с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика по Клоду моментальная (без возможности поиска)
Это вмешательство включает в себя мгновенный ответ Клода на запросы пациентов без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика по Клоду 2 (с возможностью поиска)
Это вмешательство включает в себя ответы на запросы пациентов Клода 2 с помощью возможностей поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика по Клоду 2 (без возможности поиска)
Это вмешательство включает в себя ответы Клода 2 на запросы пациентов без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистить историю чата от предыдущего пациента и ввести заранее определенный оператор инициализации.
Диагностический тест: Диагностика Gemini Pro (с возможностью поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью Gemini Pro с возможностями поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.
Диагностический тест: Диагностика с помощью Gemini Pro (без возможности поиска)
Это вмешательство включает в себя ответы на запросы пациентов с помощью Gemini Pro без возможности поиска, прежде чем отвечать на какие-либо вопросы, очистку истории чата от предыдущего пациента и ввод заранее определенного оператора инициализации.

Что измеряет исследование?

Первичные показатели результатов

Мера результата
Мера Описание
Временное ограничение
Экспертные индикаторы-Точность
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
На основании ответов врачей на проблемы пациентов экспертная комиссия будет использовать 5-балльную шкалу для оценки: 5- Ответы абсолютно точны, отвечают на все вопросы пациента или ставят диагноз путем выявления ключевых моментов пациента. жалоба. 4. Ответы в основном точные, обычно они касаются вопросов пациента или ставят диагноз путем определения ключевых моментов жалобы пациента. 3- Ответы умеренно точные, отвечают на вопросы пациента или ставят диагноз путем определения ключевых моментов жалобы пациента. 2. Ответы редко бывают точными, они едва касаются вопросов пациента или ставят диагноз путем определения ключевых моментов жалобы пациента. 1- Ответы очень неточные, не отвечают на вопросы пациента и не ставят диагноз путем определения ключевых моментов жалобы пациента.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
Экспертные индикаторы-Комплексность
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
На основе ответов врачей на проблемы пациентов экспертная группа будет использовать 5-балльную шкалу для оценки: 5-Ответы очень полные, затрагивают различные аспекты потенциальных заболеваний, соответствующих симптомам пациента, предоставляют подробные консультации, и предлагая свои собственные расширенные интерпретации. 4. Ответы в основном носят исчерпывающий характер, охватывают большинство аспектов потенциальных распространенных заболеваний, связанных с симптомами пациента, и содержат довольно подробные рекомендации. 3-Ответы умеренно полные, затрагивают некоторые аспекты потенциальных распространенных заболеваний, связанных с симптомами пациента, и содержат базовые советы. 2. Ответы редко бывают исчерпывающими, не учитывают различные аспекты потенциальных общих заболеваний, связанных с симптомами пациента, и дают очень ограниченные рекомендации. 1. Ответы не являются исчерпывающими, игнорируя большинство потенциальных заболеваний, связанных с симптомами пациента, и не дают никаких советов.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
Экспертные индикаторы-Правильность
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
На основании ответов врачей на проблемы пациентов экспертная комиссия выставляет оценки по 5-балльной шкале: 5- Ответы полностью правильные, без неуместных или двусмысленных утверждений. 4- Ответы в основном правильные, причем большинство утверждений уместны и недвусмысленны. 3- Ответы в целом правильные, хотя есть неуместные или двусмысленные высказывания, они приемлемы. 2. Ответы частично верны, лишь немногие утверждения являются уместными или недвусмысленными. 1- Ответы совершенно неверные, почти все утверждения неуместны и полны двусмысленностей.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
Экспертные показатели-Этическое соответствие
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
На основании ответа врача на вопрос пациента экспертная группа рассмотрит каждый пункт в соответствии с Хельсинкской декларацией и Международным кодексом медицинской этики, целью которого является определить, есть ли какие-либо ответы или предложения, которые потенциально могут нанести вред пациенту или нарушить его. этические рекомендации. Результаты будут записаны с использованием двоичных переменных: Верно – ответы полностью этичны. Неверно. При наличии неопределенности ответ включает предложения по использованию контролируемых лекарств, а также некоторые неуместные или даже контрпродуктивные советы.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается субъективных экспертных показателей, то оценка будет проводиться в течение двух месяцев.
Индикаторы эмпатии
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается показателей субъективной эмпатии, то оценка будет проводиться в течение двух месяцев.
Результаты шкал CARE, касающихся взаимоотношений врача и пациента, которые заполнялись пациентами после каждого диагностического сеанса. В частности, в разделе онлайн-запросов не применяется оценка шкал CARE.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. Что касается показателей субъективной эмпатии, то оценка будет проводиться в течение двух месяцев.

Вторичные показатели результатов

Мера результата
Мера Описание
Временное ограничение
Регулярные показатели – Общее количество вопросов
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Количество дополнительных вопросов, задаваемых LLM или настоящим врачом пациенту после предоставления основных ответов в ходе полного разговора.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Обычные индикаторы – последующие слова
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Количество слов в дополнительных вопросах, которые магистр права или настоящий врач задает пациенту после предоставления основных ответов в полном разговоре.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Обычные показатели – Общее количество разговоров
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Общее количество диалогов в полном разговоре между пользователем и LLM или реальным врачом, где каждый диалог состоит из одного вопроса и одного ответа.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Обычные показатели – Общая стоимость разговора ($)
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Общая стоимость в долларах за завершение всего разговора.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Обычные индикаторы – Общее время разговора (мин)
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Отсчет времени начинается с ввода пользователя и останавливается, когда LLM или настоящие врачи завершают вывод последнего предложения.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Регулярные показатели – количество заявлений о результатах
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Общее количество слов, написанных магистратурой или настоящими врачами.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Обычные показатели – количество входных заявлений
Временное ограничение: Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.
Сумма количества символов, введенных пользователем.
Каждому участнику, начиная со дня случайного общения, будет предоставлено максимальное время участия — одна неделя. После завершения диалогов система автоматически суммирует все объективные показатели и информацию диалога.

Соавторы и исследователи

Здесь вы найдете людей и организации, участвующие в этом исследовании.

Спонсор

North Sichuan Medical College

Соавторы

University of Glasgow
Affiliated Hospital of North Sichuan Medical College
Nanchong Central Hospital

Следователи

  • Главный следователь: Jiebin Xie, Doctor, North Sichuan Medical College

Публикации и полезные ссылки

Лицо, ответственное за внесение сведений об исследовании, добровольно предоставляет эти публикации. Это может быть что угодно, связанное с исследованием.

Общие публикации

Даты записи исследования

Эти даты отслеживают ход отправки отчетов об исследованиях и сводных результатов на сайт ClinicalTrials.gov. Записи исследований и сообщаемые результаты проверяются Национальной медицинской библиотекой (NLM), чтобы убедиться, что они соответствуют определенным стандартам контроля качества, прежде чем публиковать их на общедоступном веб-сайте.

Изучение основных дат

Начало исследования (Действительный)

1 октября 2023 г.

Первичное завершение (Действительный)

12 декабря 2023 г.

Завершение исследования (Действительный)

12 октября 2024 г.

Даты регистрации исследования

Первый отправленный

4 июня 2024 г.

Впервые представлено, что соответствует критериям контроля качества

8 июня 2024 г.

Первый опубликованный (Действительный)

13 июня 2024 г.

Обновления учебных записей

Последнее опубликованное обновление (Оцененный)

27 ноября 2024 г.

Последнее отправленное обновление, отвечающее критериям контроля качества

24 ноября 2024 г.

Последняя проверка

1 ноября 2024 г.

Дополнительная информация

Термины, связанные с этим исследованием

Дополнительные соответствующие термины MeSH

Другие идентификационные номера исследования

  • 1426887-2024-1
  • 22XQT0309 (Другой номер гранта/финансирования: the cooperation of urban schools in Nanchong City)
  • CBY22-QDA15 (Другой номер гранта/финансирования: the doctoral startup fund of North Sichuan Medical College)
  • 2022LC005 (Другой номер гранта/финансирования: the affiliated hospital of North Sichuan Medical College)
  • 23JCYJPT0014 (Другой номер гранта/финансирования: the scientific research project of the science and technology bureau of Nanchong)

Информация о лекарствах и устройствах, исследовательские документы

Изучает лекарственный продукт, регулируемый FDA США.

Нет

Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.

Нет

Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .

Подписаться