Масштабируемый клинический надзор за большими языковыми моделями с помощью триангуляции неопределенности (SCOUT)
14 февраля 2026 г. обновлено: China National Center for Cardiovascular Diseases
Перспективная оценка независимой от модели мета-верификационной системы (SCOUT) для масштабируемого клинического контроля результатов работы больших языковых моделей при диагностике ишемической болезни сердца: многочитательское рандомизированное кроссоверное исследование
Это проспективное, многочитательское, рандомизированное перекрестное исследование оценивает SCOUT (Scalable Clinical Oversight via Uncertainty Triangulation) — мета-верификационную платформу, не зависящую от модели, которая селективно направляет ненадежные прогнозы больших языковых моделей (LLM) клиницистам путем триангуляции трех ортогональных сигналов неопределенности: гетерогенности моделей, стохастической несогласованности и критики логических рассуждений.
Исследование оценивает, может ли проверка с помощью SCOUT сократить время врачебного анализа по сравнению со стандартным ручным анализом диагнозов, сгенерированных ИИ, при сохранении не меньшей диагностической точности в субтипировании ишемической болезни сердца (ИБС).
Обзор исследования
Статус
Еще не набирают
Условия
Подробное описание
Предпосылки: Крупные языковые модели всё чаще внедряются в клиническую практику, однако требование проверки каждого результата ИИ врачом сводит на нет выигрыш в эффективности, ради которого их внедряют. SCOUT решает этот парадокс эффективности и безопасности с помощью алгоритмической метаверификации.
Фреймворк SCOUT использует триортогональных внешних сигнала для определения неопределённости на уровне случая: (1) Гетерогенность модели – согласен ли структурно отличный вспомогательный LLM с основной моделью; (2) Стохастическая несогласованность – приводят ли повторные выборки из одной модели к расходящимся результатам; (3) Критика рассуждений – выявляет ли внешняя проверочная модель логические ошибки в цепочке рассуждений.
В этом перекрёстном исследовании 7 врачей разного уровня квалификации (2 младших ординатора, 3 старших ординатора, 2 лечащих врача) каждый проверил все 110 случаев как при стандартном ручном контроле, так и при использовании фреймворка SCOUT. В исследовании оценивается эффективность рабочего процесса (первичная конечная точка) и точность диагноза (вторичная конечная точка).
Тип исследования
Интервенционный
Регистрация (Оцененный)
7
Фаза
- Непригодный
Контакты и местонахождение
В этом разделе приведены контактные данные лиц, проводящих исследование, и информация о том, где проводится это исследование.
Контакты исследования
- Имя: Xiaojin Gao, Dr.
- Номер телефона: +86 010 88322415
- Электронная почта: sophie_gao@sina.com
Критерии участия
Исследователи ищут людей, которые соответствуют определенному описанию, называемому критериям приемлемости. Некоторыми примерами этих критериев являются общее состояние здоровья человека или предшествующее лечение.
Критерии приемлемости
Возраст, подходящий для обучения
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Нет
Описание
Критерии включения:
- Сертифицированные или проходящие обучение кардиологи в больнице Фувай
- Охватывающие три уровня опыта: младшие ординаторы, старшие ординаторы, лечащие врачи
Критерии исключения:
- Клиницисты, участвующие в разработке или оптимизации структуры SCOUT
- Клиницисты, участвующие в процессе арбитража по золотому стандарту
Учебный план
В этом разделе представлена подробная информация о плане исследования, в том числе о том, как планируется исследование и что оно измеряет.
Как устроено исследование?
Детали дизайна
- Основная цель: Диагностика
- Распределение: Рандомизированный
- Интервенционная модель: Назначение кроссовера
- Маскировка: Нет (открытая этикетка)
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Активный компаратор: Контроль (Стандартный ручной обзор)
Врачи вручную проверяют все случаи в контрольной группе (n=54) с доступом к прогнозам ИИ и их обоснованию.
Никакого выборочного отложения.
|
Врачи проводят полный ручной анализ 54 случаев, используя исходные медицинские записи с доступом к прогнозам и обоснованиям модели ИИ, но без стратификации неопределенности SCOUT или селективного отложения.
|
|
Экспериментальный: Экспериментальный (SCOUT-Assisted Review)
Врачи обрабатывают набор вмешательств (n=56) с использованием системы SCOUT.
Случаи с низкой неопределённостью автоматически принимаются; случаи с высокой неопределённостью проходят проверку врачом с полным журналом аудита.
|
SCOUT-вспомогательный обзор (Интервенционная группа): Врачи рассматривают 56 случаев, обработанных с использованием методологии SCOUT.
Для случаев, классифицированных как низкая неопределенность (D(x)=0), прогноз ИИ автоматически принимается без проверки врачом.
Для случаев с высокой неопределенностью (D(x)=1) врач рассматривает случай с доступом к цепочке рассуждений основной модели и результатам мета-верификационного аудита.
Основная модель — DeepSeek-V3.1 с цепочкой рассуждений.
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Среднее время рассмотрения случая врачом (минуты)
Временное ограничение: До завершения исследования, в среднем 2 часа.
|
Среднее время, затрачиваемое каждым клиницистом на изучение и принятие диагностического решения по каждому случаю в каждой группе исследования.
Измеряется в минутах. |
До завершения исследования, в среднем 2 часа.
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Диагностическая точность (%)
Временное ограничение: В течение всего исследования, в среднем 2 часа.
|
Доля правильных классификаций подтипов ИБС (ИМпST, ИМбпST, нестабильная стенокардия, хронические коронарные синдромы) в каждой группе.
|
В течение всего исследования, в среднем 2 часа.
|
|
Вычислительная окупаемость инвестиций (ROI)
Временное ограничение: В течение всего исследования, в среднем 2 часа.
|
Соотношение экономии времени врача (оцененной по стандартизированным почасовым ставкам из эталонов реформы здравоохранения Саньмин) к вычислительным затратам на вывод SCOUT, стратифицированное по уровню квалификации клинициста.
|
В течение всего исследования, в среднем 2 часа.
|
Соавторы и исследователи
Здесь вы найдете людей и организации, участвующие в этом исследовании.
Даты записи исследования
Эти даты отслеживают ход отправки отчетов об исследованиях и сводных результатов на сайт ClinicalTrials.gov. Записи исследований и сообщаемые результаты проверяются Национальной медицинской библиотекой (NLM), чтобы убедиться, что они соответствуют определенным стандартам контроля качества, прежде чем публиковать их на общедоступном веб-сайте.
Изучение основных дат
Начало исследования (Оцененный)
19 февраля 2026 г.
Первичное завершение (Оцененный)
28 февраля 2026 г.
Завершение исследования (Оцененный)
28 февраля 2026 г.
Даты регистрации исследования
Первый отправленный
9 февраля 2026 г.
Впервые представлено, что соответствует критериям контроля качества
14 февраля 2026 г.
Первый опубликованный (Действительный)
17 февраля 2026 г.
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
17 февраля 2026 г.
Последнее отправленное обновление, отвечающее критериям контроля качества
14 февраля 2026 г.
Последняя проверка
1 февраля 2026 г.
Дополнительная информация
Термины, связанные с этим исследованием
Ключевые слова
Дополнительные соответствующие термины MeSH
Другие идентификационные номера исследования
- 2025-2702-1
Планирование данных отдельных участников (IPD)
Планируете делиться данными об отдельных участниках (IPD)?
ДА
Описание плана IPD
Деидентифицированные индивидуальные данные участников, лежащие в основе результатов, представленных в этом исследовании, будут предоставлены.
Сроки обмена IPD
Начиная с 1 месяца после публикации основных результатов и доступно до 60 месяцев.
Критерии совместного доступа к IPD
Данные доступны у соответствующего автора по обоснованному запросу.
Запрашивающие стороны должны предоставить методологически обоснованное исследовательское предложение и подписать соглашение об использовании данных.
Совместное использование IPD Поддерживающий тип информации
- STUDY_PROTOCOL
- САП
- МКФ
- АНАЛИТИЧЕСКИЙ_КОД
- КСО
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Нет
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
Нет
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .