Искусственный интеллект как инструмент принятия решений в неврологии

Оценка с помощью ИИ

Сценарий, в котором врач получает рекомендации от модели в реальном времени, прежде чем принять окончательное решение (окончательное решение будет принято на основе мнения старшего лечащего врача и лечащего врача)

Оценка без ИИ

Сценарий, в котором врач не знакомится с рекомендациями модели.

Длительность пребывания в отделении неотложной помощи

Время от регистрации в приемном отделении до выписки из приемного отделения или госпитализации в стационар, с дополнительным акцентом на время цикла консультации.

Стоимость управления LLM

Среднесуточная стоимость (в долларах США) для эксплуатации модели большого языка.

Описание:

Этот результат будет измерять прямые затраты на вычислительные и лицензионные затраты, понесенные путем запуска LLM в клинических условиях.

Единица измерения: доллары США (в день). Как это оценивается: общие ежедневные расходы на LLM (например, плата за облачные компоненты, лицензионные сборы) будут зарегистрированы и разделены на общее количество встреч с пациентами в тот день, чтобы получить среднюю стоимость.

Соответствие персонала с ИИ

Этот результат будет оцениваться, как часто (соответствие) и как охотно (принятие) врачи, жители и медсестры используют LLM в приемлемых клинических сценариях.

Описание: определяет, как часто врачи, жители и медсестры используют LLM для подходящих встречи с пациентами.

Единица измерения: пропорция (0,0-1,0) или процент (0-100%) Как оценивается: отслеживает количество встреч, в которых фактически используется LLM, деленные на общее количество подходящих встреч. Более высокие проценты указывают на более высокое соответствие.

Прозрачность/объяснение

Описание: оценивает, насколько ясно рассуждения LLM сообщаются клиническому персоналу.

Единица измерения: оценка по 5-балльной шкале Лайкерта (1 = совсем не ясно, 5 = чрезвычайно ясно) Как оценивается: после каждого решения под руководством LLM, резидент или посещение врача оценивают ясность объяснения модели. Средний балл сообщается. Более высокие оценки указывают на лучшую ясность.

Качество клинических отчетов, сгенерированных LLM

Оценка точности и полноты клинического отчета, сгенерированного LLM. Этот результат оценивает, насколько точно и всесторонне LLM суммирует клиническую встречу пациента и рекомендуемый план в структурированном отчете (например, инструкции по выписке, заметки о прогрессе).

Единица (ы) меры: оценка качества на основе модифицированного мыла (субъективная, объективная, оценка, план) Шкала оценок примечания в диапазоне от 0 до 10, где более высокие оценки указывают на лучшее качество документации. Оценка отражает включение необходимых элементов и правильность клинических деталей.

Метод оценки: каждый отчет, сгенерированный LLM, независимо оценивается группой посещающих врачей или обученного клинического персонала. Используя стандартизированный контрольный список, рецензенты оценивают полноту (например, включение симптомов, физические результаты, диагноз и план) и точность (например, правильные лекарства, идентификаторы и диагнозы), затем назначайте оценку на основе предопределенной рубрики.

Принятие персонала ИИ

Описание: оценивает, как охотно сотрудники интегрируют LLM в свой клинический рабочий процесс.

Единица измерения: 5-балльная шкала Лайкерта (1 = категорически не согласен, 5 = полностью согласен), как оценивается: после каждой встречи с помощью LLM сотрудники завершают краткий обзор о предполагаемой полезности и готовности повторно использовать LLM. Более высокие оценки указывают на большую признание.

Исследование организовано вокруг четырех заранее определенных целей:

Цель 1: Уместность рекомендаций ИИМ по диагностике и лечению Оценка уместности рекомендаций ИИМ старшими клиницистами (1=неуместно, 5=уместно) Временные рамки: от регистрации в ОНП до выписки или госпитализации, до 24 ч Цель 2: Точность диагностики - ИИМ-ассистированная vs. стандартная помощь Принятие клинических решений Доля правильных диагнозов при ИИМ-ассистированной vs. стандартной помощи (%), сопоставленная с диагнозом при выписке Временные рамки: от регистрации в ОНП до окончательного диагноза, до 24 ч Цель 3: Полезность и удобство использования выходных данных ИИМ по оценке клиницистов - SUS и шкала Лайкерта Полезность измеряется через SUS (0-100) и 5-балльную шкалу Лайкерта, собирается после взаимодействия с качественной обратной связью Временные рамки: конец каждого клинического взаимодействия, до 36 месяцев Цель 4: Ретроспективный бенчмарк ИИМ - процент согласия и каппа Коэна vs. фактические клинические исходы Согласие между рекомендациями ИИМ и фактическими исходами (диагноз, расположение, ДПП) в обезличенных записях Временные рамки: записи до 36 месяцев до начала исследования

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months