Влияние больших языковых моделей на диагностическое мышление врачей
Обзор исследования
Подробное описание
Диагностические ошибки являются основным источником предотвратимого вреда для пациентов. Недавние достижения в области моделей большого языка (LLM), в частности ChatGPT-4o, показали многообещающие возможности улучшения процесса принятия медицинских решений. Однако мало что известно об их влиянии на диагностические рассуждения врачей (например, терапевтов и хирургов).
Точность диагностики зависит от сложных клинических рассуждений и тщательной оценки данных пациентов. Хотя помощь ИИ потенциально может уменьшить количество ошибок и повысить эффективность, ChatGPT-4o не имеет медицинской проверки и может создавать новые риски из-за генерации неверной информации (также известной как галлюцинации). Чтобы снизить эти риски, врачам необходима соответствующая подготовка для понимания возможностей, ограничений и правильного использования ChatGPT-4o. Учитывая эти неопределенности и важность надлежащего обучения ИИ, перед клиническим внедрением необходима систематическая оценка.
В этом рандомизированном исследовании будет оценено, улучшает ли доступ к ChatGPT-4o диагностические возможности врачей по сравнению с традиционными ресурсами (например, учебниками, медицинскими онлайн-базами данных) в одиночку. Все участвующие врачи должны пройти как минимум 10-часовую программу обучения, охватывающую использование ChatGPT-4o, методы быстрого проектирования и стратегии оценки результатов. Участники предоставят дифференциальные диагнозы с подтверждающими доказательствами и порекомендуют следующие шаги для клинических случаев, а ответы будут оценены слепыми рецензентами.
Тип исследования
Регистрация (Действительный)
Фаза
- Непригодный
Контакты и местонахождение
Места учебы
-
-
Punjab
-
Lahore, Punjab, Пакистан, 54792
- Lahore University of Management Sciences
-
-
Критерии участия
Критерии приемлемости
Возраст, подходящий для обучения
- Ребенок
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Описание
Критерии включения:
- Практикующие врачи с полной или предварительной регистрацией в Медицинском и стоматологическом совете Пакистана (PMDC).
- Завершен экзамен на степень бакалавра медицины и бакалавра хирургии (MBBS). Эквивалентная степень MBBS в США и Канаде называется доктором медицины (MD).
- Участники должны пройти структурированную программу обучения по использованию ChatGPT (или сопоставимой большой языковой модели), общая продолжительность обучения не менее 10 часов. Программа должна включать практическую практику, связанную с аспектами LLM, в частности, быстрое проектирование и оценку содержания.
Критерии исключения:
- Любые другие зарегистрированные практикующие врачи (полные или временные) с PMDC (например, специалисты со степенью бакалавра стоматологической хирургии или BDS).
Учебный план
Как устроено исследование?
Детали дизайна
- Основная цель: Диагностика
- Распределение: Рандомизированный
- Интервенционная модель: Параллельное назначение
- Маскировка: Нет (открытая этикетка)
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Активный компаратор: ЧатGPT-4o
Группе будет предоставлен доступ к ChatGPT-4o.
|
Большая языковая модель OpenAI ChatGPT-4o с интерфейсом чата.
|
|
Без вмешательства: Обычные ресурсы
Группе не будет предоставлен доступ к ChatGPT-4o, но ей будет предложено использовать любые ресурсы, которые они пожелают, кроме больших языковых моделей (PubMed, Google без обзоров AI и т. д.).
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Диагностическое рассуждение
Временное ограничение: Оценивается в один момент времени для каждого случая во время запланированного сеанса оценки диагностических рассуждений, который проводится через 0–4 дня после регистрации участника.
|
Основным результатом будет процент правильных ответов для каждого случая (диапазон: от 0 до 100).
Для каждого случая участникам будет предложено указать три основных диагноза, данные случая, подтверждающие этот диагноз, и данные случая, противоречащие этому диагнозу.
За каждый правдоподобный диагноз участники получат 1 балл.
Результаты, подтверждающие диагноз, и данные, противоречащие диагнозу, также будут оцениваться в зависимости от правильности: 1 балл за частично правильные ответы и 2 балла за полностью правильные ответы.
Затем участникам будет предложено назвать свой главный диагноз, получая один балл за разумный ответ и два балла за наиболее правильный ответ.
Наконец, участников попросят назвать до трех следующих шагов для дальнейшей оценки пациента: один балл присуждается за частично правильный ответ, а два балла — за полностью правильный ответ.
Первичный результат будет сравниваться на уровне случая в рандомизированных группах.
|
Оценивается в один момент времени для каждого случая во время запланированного сеанса оценки диагностических рассуждений, который проводится через 0–4 дня после регистрации участника.
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Время, потраченное на диагностику
Временное ограничение: Оценивается в один момент времени для каждого случая во время запланированного сеанса оценки диагностических рассуждений, который проводится через 0–4 дня после регистрации участника.
|
Мы сравним, сколько времени (в секундах) участники тратят на один случай между двумя группами исследования.
|
Оценивается в один момент времени для каждого случая во время запланированного сеанса оценки диагностических рассуждений, который проводится через 0–4 дня после регистрации участника.
|
Соавторы и исследователи
Соавторы
Следователи
- Главный следователь: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Главный следователь: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Главный следователь: Ayesha Ali, PhD, Lahore University of Management Sciences
Даты записи исследования
Изучение основных дат
Начало исследования (Действительный)
Первичное завершение (Действительный)
Завершение исследования (Действительный)
Даты регистрации исследования
Первый отправленный
Впервые представлено, что соответствует критериям контроля качества
Первый опубликованный (Действительный)
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
Последнее отправленное обновление, отвечающее критериям контроля качества
Последняя проверка
Дополнительная информация
Термины, связанные с этим исследованием
Дополнительные соответствующие термины MeSH
Другие идентификационные номера исследования
- IRB-0342
Планирование данных отдельных участников (IPD)
Планируете делиться данными об отдельных участниках (IPD)?
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
продукт, произведенный в США и экспортированный из США.
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .