Могут ли обратная связь с большой языковой моделью улучшить качество здравоохранения?

Экспериментальный: Клиническая оценка с LLMS и без него

Следователи используют дизайн внутри пациента. Пациенты получают две последовательные оценки от работника по расширению здоровья сообщества: сначала без и затем с помощью большой языковой модели.

Другой: Поддержка клинических решений с большим языком

Большая языковая модель (LLM), интегрированная в электронную медицинскую систему клиники, обеспечивает обратную связь в реальном времени по оценке пациентов. Работники по расширению здоровья сообщества сначала создают стандартную мыльную примечание, отправьте ее в LLM и получают подробную обратную связь и ключевые рекомендации. Затем они могут обновить свою оценку на основе этой обратной связи. Все окончательные решения о лечении принимаются медицинскими сотрудниками, которые независимо оценивают пациентов.

Индикатор ошибки в плане лечения (с потенциалом вреда)

Во время оценки мыла примечания МО просят указать, содержит ли план лечения пациента какие -либо ошибки, условные на собственном диагнозе МО. Это кодируется как 1, если МО указывает, что есть ошибка, а 0 в противном случае.

Вступительный текст (здесь для мыла примечание a): Пожалуйста, оцените, подходит ли лечение в мыле A подходит для состояния этого пациента. Пожалуйста, основывайте это на своем собственном диагнозе, а не диагноз жевания в мыльной примечании A.

За этим следует вопрос: Является ли план лечения пациента в мыле, отмечает совершенно подходящий, учитывая ваш собственный диагноз (учет условного лечения на основе медицинских тестов)? Ответьте «Нет», если пациент должен получить различную медицинскую помощь, учитывая ваш диагноз. Это может включать в себя как незначительные различия (например, пациент должен быть рекомендуется отдыхать) и основные ошибки (например, пациент должен получать совершенно другой набор лекарств). (Параметры ответа: да/нет/не уверен)

Индикатор ошибки в плане лечения, которая вызывает потерю не менее х соревнованных по качеству дней жизни

Эта переменная кодирована как 1, если МО указывает, что существует такая ошибка и 0 в противном случае. X определяется как самый высокий эталон по соответствующей шкале DALY, так что, по крайней мере, 5% пациентов имели ошибку, которая большая в ноте без посторонней помощи. Другими словами, серьезные ошибки - это любые ошибки, которые генерируют рейтинг вреда при 95 -м процентиле вреда в 95 -м процентиле вреда по шкале без посторонней помощи (объединение масштабов для детей и взрослых).

Индикатор для лучшего плана лечения (как определено МО)

Основываясь на рейтинге DALY от мыла. Примечание A против B (экземпляры подсчета без ошибок, как 0 Daly Loss), индикатор кодируется как 1, если у мыльной записки есть лучший план лечения (более низкая потеря DALY) и 0, если MOS судит оба обоих Примечания будут одинаковыми в ответ на следующий вопрос: существуют ли значимые различия в планах лечения мыла Примечание A и B?

Индикатор того, соответствует ли лечение с заранее определенным «стандартом помощи»

Пациенты с группой риска получают скрининг малярии, анемии и ИМП в соответствии с определенными демографическими критериями. Затем набор данных создается с одним наблюдением для каждого (пациент, скрининговый тест, примечание), до шести на одного пациента.

Индикатор лечения, записывает неправильное распределение, был ли пациент неправильно лечил условие, основанное на результате теста или отсутствии симптомов. Переменная кодируется как 1, если пациент проверял положительный результат и либо получен неподходящим, либо отсутствие лечения. Он также кодируется как 1, если пациент проверял отрицательный или не был протестирован на основе экрана симптомов, но получил лечение для состояния. Переменная кодируется только как 0, если пациент проверял отрицательный и не обрабатывался для соответствующего состояния или если он положил положительный результат и получил правильное лечение.

Индикаторы, обозначающие диагноз и выравнивание лечения между жеваниями и MOS

Для каждого лекарства в плане лечения жевания существует «клиническое показание» (диагноз, связанный с препаратом), а также показатель, который указывает, является ли заданный рецепт условным в результате медицинского испытания. Исследовательская группа рассмотрит три показателя матча:

• Любое совпадение содержимого поля «клинического указания» между лекарствами;
• Любое совпадение содержимого поля «лекарства» по показаниям, в том числе о том, является ли лекарство условным на тесте или нет;
• Соответствие как лекарства, так и индикации (и условий тестирования).

Альтернативные показатели для лечения неправильного распределения

Исследовательская группа построит следующие показатели неправильного распределения лечения:

• Неправильное распределение из -за чрезмерного расписания: условие лечится тем, что пациент подтверждается, что он не имеет
• Неправильное распределение из -за недостатки: состояние, которое, как утверждается, не лечил пациент, не лечится
• Неправильное распределение из -за неправильного дозирования или выбора лекарств: состояние, которое испытывает пациент, лечится, но выбранное дозирование или выбранное лекарство неуместны.

Взаимосвязь потери QALY с тяжестью состояния пациента

У пациентов с только легкими заболеваниями масштаб потери Qaly от ошибок может быть ограничена по сравнению с пациентами с более тяжелыми заболеваниями.

Имея это в виду, потеря QALY регрессируется по показателям для легких, умеренных и тяжелых заболеваний (как оценивалось МО), каждый из которых взаимодействовал с индикатором вспомогательного примечания, контролируя фиксированные эффекты пациента. Результаты будут показаны графически.

Показатели уместности решений о медицинском тестировании

Потенциальное неправильное распределение медицинского тестирования осуществляется двумя способами:

1. Для каждого типа теста исследовательская группа будет создавать индикатор, который кодируется как 1, если жеватель рекомендует провести тест, который оказывается отрицательным, и второй индикатор, который составляет 1, если жевание пренебрегает, чтобы запросить тест, который оказывается быть положительным.
2. Во -вторых, исследовательская группа будет построить индикатор на уровне (пациент, тест, примечание), который измеряет, запросили ли жевание и Мо или сопоставимый медицинский тест (например, жевание просили малярию RDT, тогда как МО запросил малярию Bloodsmear )

Объединяя эти показатели, возникает несоответствие, если и только тогда, когда: i) тест не был запрошен с помощью жевания, но был положительным, или ii) тест был запрошен с помощью жевания, но результат был отрицательным, и никакого эквивалентного теста не было упорядочено МО

Среднее и распределение Дейли потеряно

Влияние помощи LLM Lost измеряется непосредственно, а не косвенно (как в вероятности ошибки и серьезной ошибки, которая примечание является лучшей примечанием). Полное распределение рейтингов Дейли для примечаний и неофициальных примечаний также будет показано в результатах.

MO Оценка мыльных примечаний: отклонения от мыла Мо

МО просят оценить для каждого мыла примечание, были ли упорядоченные медицинские тесты необходимыми или клинически полезными, отсутствуют или неверные/ненужные диагнозы, и отсутствуют или неверные/ненужные элементы плана лечения.

МО Оценка мыльных примечаний: понесенные типы вреда

МО просят оценить любой кратковременный вред (дополнительные симптомы или дискомфорт в течение некоторого периода) и любой долгосрочный серьезный вред (риск нарушения, смерть и т. Д.) Из плана лечения в мыльной записке.

МО Оценка мыла Примечания: Измерение здорового времени, потерянного в Дейли

МО также обеспечивает общий рейтинг, который предназначен для отражения «здорового времени, потерянного» от любых ошибок в лечении в мыльной ноте. Для каждой оценки и плана, построенных с помощью жевания (с рекомендациями LLM), МО оценит ожидаемую величину здоровой жизни, которая будет потеряна, если бы план жевания был реализован вместо плана МО.

MD Оценка Chew и Mo Примечания: Ошибка MO.

На первом этапе они рассмотрит только MO -заметки и записывают, есть ли какие -либо ошибки в диагностике или лечении, предложенной в условной ноте или в последней ноте. Если ошибка выявлена, MDS будет оценить ошибку по серьезности, чтобы отличить медицинские ошибки от различий в мнении о пациенте, которого нет.

MD Оценка Chew и Mo Примечания: Рейтинг Note Note

MD просят оценить любой краткосрочный вред (дополнительные симптомы или дискомфорт в течение некоторого периода) и любой долгосрочный серьезный вред (риск нарушения, смерть и т. Д.) Из плана лечения в мыльной ноте.

MD также обеспечивает общий рейтинг, который предназначен для того, чтобы отразить «здоровое время, потерянное» из любых ошибок в лечении в ноте мыла. Для каждой оценки и плана, построенных с помощью жевания (с рекомендациями LLM), МО оценит ожидаемую величину здоровой жизни, которая будет потеряна, если бы план жевания был реализован вместо плана МО. Здоровое время измеряется в подразделениях срока службы инвалидности (DALYS), которые отражают как длину, так и качество жизни.

MD Оценка Chew и Mo Примечания: LLM обзор

MDS также рассмотрит обратную связь LLM и ответит на следующие вопросы:

"Следуют ли жевание всем, некоторым или ни одной из рекомендаций LLM?" Если кто -то или нет: «Представьте, что жевание последовало за всеми рекомендациями LLM. Будет ли полученный план лечения улучшением по сравнению с их примечанием? »(Да/нет), если да:« Пожалуйста, объясните ». "Допустил ли LLM какие -либо ошибки?" (Да/нет) Если да: «Был ли какой -либо аспект плана по вспомогательным лечению, чем несчетный план, потому что жевание последовало за ошибочной рекомендацией LLM?» Если да: «Пожалуйста, объясните.

Индикатор уместности решений о сортировке

Для каждого (пациент, примечание), индикатор записывает, соответствует ли решение о жевании сортировки (намерение сортировки, указанную в мыльной ноте), и MO предложило решение о сортировке.