Эта страница была переведена автоматически, точность перевода не гарантируется. Пожалуйста, обратитесь к английской версии для исходного текста.

CITE: Clinical Inference Tethered to Evidence - a Retrieve-and-verify Layer for AI Care Plans (CITE)

16 июля 2026 г. обновлено: Sanjay Basu, Waymark

A Randomized Controlled Trial of CITE (Clinical Inference Tethered to Evidence), an Evidence-Grounding Retrieve-and-Verify Layer That Flags Unsupported and Inappropriate Recommendations in AI-Generated Care Plans, Versus AI With Safety Guardrails Alone and Unassisted Care, in Medicaid Primary Care

This trial evaluates CITE, a retrieve-and-verify layer that audits an AI-generated care plan against a full-text evidence corpus and flags patient-specific codifiable safety hazards to the clinician. The co-primary outcomes are how accurately CITE flags these hazards (sensitivity and specificity versus blinded clinician adjudication) and its clinician alert burden and acceptance, compared with AI care plans using safety guardrails alone and with unassisted clinician care, in Medicaid primary care.

Обзор исследования

Статус

Статус

Указывает текущий статус найма или статус расширенного доступа.
Еще не набирают

Условия

Условия

Изучаемое заболевание, расстройство, синдром, болезнь или травма. На ClinicalTrials.gov условия могут также включать другие вопросы, связанные со здоровьем, такие как продолжительность жизни, качество жизни и риски для здоровья.

Вмешательство/лечение

Вмешательство/лечение

Процесс или действие, находящееся в центре внимания клинического исследования. Вмешательства включают лекарства, медицинские устройства, процедуры, вакцины и другие продукты, которые либо находятся на стадии исследований, либо уже доступны. Вмешательства также могут включать неинвазивные подходы, такие как обучение или изменение диеты и физических упражнений.

Подробное описание

Patients are randomized 1:1:1 to (1) unassisted clinician care; (2) AI-generated care plan with safety guardrails; (3) AI-generated care plan with safety guardrails plus CITE. CITE audits the finalized plan against a frozen, versioned evidence corpus and returns physician-facing flags for patient-specific codifiable safety hazards (a recommended drug contraindicated by this patient's diagnosis or laboratory value; a drug-allergy conflict; a dropped high-risk medication; a guideline-indicated therapy omitted for an active diagnosis; a stated quantity refuted by the corpus), each with a verbatim quote and citation; the clinician retains decision authority. Randomization uses a deterministic HMAC permuted-block scheme; outcome assessors are blinded to arm. The co-primary outcomes are (1) the diagnostic accuracy (sensitivity and specificity) of CITE against blinded clinician adjudication, and (2) clinician alert burden (flags per encounter) and acceptance, comparing the CITE arm with the guardrail arm; both are estimable at the enrolled sample size because they do not depend on a rare between-arm event. The unresolved codifiable-hazard rate by arm is reported as a descriptive secondary: codifiable hazards are infrequent, so the trial is not powered for a between-arm efficacy contrast on hazard reduction. A prior trial of a different mechanism (a generic deterministic rule-corpus that surfaced roughly 30 or more flags per encounter and was uninformative) was completed with null results and is registered separately; this trial evaluates a materially different, patient-specific intervention and set of outcomes. Determined exempt by WCG IRB (low risk). Analysis is pre-registered on OSF (https://doi.org/10.17605/OSF.IO/ENXCW).

Тип исследования

Тип исследования

Описывает характер клинического исследования. Типы исследований включают интервенционные исследования (также называемые клиническими испытаниями), наблюдательные исследования (включая регистры пациентов) и расширенный доступ.
Интервенционный

Регистрация (Оцененный)

Регистрация

Количество участников клинического исследования. «Предполагаемый» набор — это целевое количество участников, необходимое исследователям для исследования.
240

Фаза

Фаза

Этап клинического испытания лекарственного средства или биологического продукта, основанный на определениях, разработанных Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Этап зависит от цели исследования, количества участников и других характеристик. Существует пять фаз: Ранняя фаза 1 (ранее указанная как Фаза 0), Фаза 1, Фаза 2, Фаза 3 и Фаза 4. Термин «Неприменимо» используется для описания испытаний без фаз, определенных FDA, включая испытания устройств или поведенческих вмешательств.
  • Непригодный

Критерии участия

Исследователи ищут людей, которые соответствуют определенному описанию, называемому критериям приемлемости. Некоторыми примерами этих критериев являются общее состояние здоровья человека или предшествующее лечение.

Критерии приемлемости

Критерии приемлемости

Ключевые требования, которым должны соответствовать люди, желающие участвовать в клиническом исследовании, или характеристики, которыми они должны обладать. Критерии приемлемости состоят как из критериев включения (которые необходимы человеку для участия в исследовании), так и из критериев исключения (которые препятствуют участию человека). Типы критериев приемлемости включают в себя участие в исследовании здоровых добровольцев, требования к возрасту или возрастной группе или ограничение по полу.

Возраст, подходящий для обучения

  • Взрослый
  • Пожилой взрослый

Принимает здоровых добровольцев

Нет

Описание

INCLUSION CRITERIA:

  1. Age 18 years or older.
  2. Medicaid-enrolled and attributed to a participating Waymark primary care site.
  3. Primary care encounter that requires clinical reasoning (not administrative-only).
  4. English-language clinical documentation.

EXCLUSION CRITERIA:

  1. Age less than 18 years.
  2. Hospice or palliative-care-exclusive care plan.
  3. Administrative-only or pharmacy-only encounter that does not surface a clinical decision to the supervising clinician.
  4. Encounter where the supervising clinician is the principal investigator.
  5. Enrollment in a competing AI-safety study within the prior 90 days.

Учебный план

В этом разделе представлена ​​подробная информация о плане исследования, в том числе о том, как планируется исследование и что оно измеряет.

Как устроено исследование?

Детали дизайна

  • Основная цель: Исследования в области здравоохранения
  • Распределение: Рандомизированный
  • Интервенционная модель: Параллельное назначение
  • Маскировка: Одинокий

Оружие и интервенции

Группа участников / Армия

Группа участников / Армия

Группа или подгруппа участников клинического исследования, которые получают конкретное вмешательство/лечение или не получают никакого вмешательства в соответствии с протоколом исследования.
Вмешательство/лечение

Вмешательство/лечение

Процесс или действие, находящееся в центре внимания клинического исследования. Вмешательства включают лекарства, медицинские устройства, процедуры, вакцины и другие продукты, которые либо находятся на стадии исследований, либо уже доступны. Вмешательства также могут включать неинвазивные подходы, такие как обучение или изменение диеты и физических упражнений.
Без вмешательства: Arm 1: Unassisted care
Clinician develops the care plan without AI assistance.
Активный компаратор: Arm 2: AI with safety guardrails
AI-generated care plan produced with a safety-guardrail system prompt; no CITE.
Другой: AI care plan with safety guardrails
AI-generated care plan produced under a safety-guardrail system prompt.
Экспериментальный: Arm 3: AI with safety guardrails plus CITE
AI-generated care plan with safety guardrails, then passed through CITE, which flags unsupported/inappropriate recommendations with evidence citations for the clinician.
Другой: AI care plan with safety guardrails
AI-generated care plan produced under a safety-guardrail system prompt.
Другой: CITE evidence-grounding retrieve-and-verify layer
Reads the AI care-plan text and verifies each recommendation/claim against a full-text evidence corpus; returns physician-facing flags (commission/confabulation/unsupported/omission) with verbatim quotes and citations. Clinician retains decision authority.

Что измеряет исследование?

Первичные показатели результатов

Первичные показатели результатов

В протоколе клинического исследования - планируемая мера исхода, которая является наиболее важной для оценки эффекта вмешательства/лечения. В большинстве клинических исследований используется один первичный критерий исхода, но в некоторых — более одного.
Мера результата
Мера Описание
Временное ограничение
Diagnostic accuracy of CITE against clinician adjudication
Временное ограничение: Day 1 (index primary care encounter)
Sensitivity and specificity (with positive and negative predictive values) of the CITE checker for clinically consequential codifiable safety hazards, using blinded clinician adjudication of the plan as the reference standard. Every plan contributes, so the estimate does not depend on a rare between-arm event. Exact-binomial 95% confidence intervals; reported overall and by hazard family.
Day 1 (index primary care encounter)
Clinician alert burden (flags surfaced per encounter)
Временное ограничение: Day 1 (index primary care encounter)
Number of safety flags surfaced to the clinician per encounter in the CITE arm versus the guardrail arm, with clinician acceptance rate. Co-primary usability outcome: a verifier that surfaces an unmanageable number of flags is not deployable regardless of sensitivity (the prior-trial mechanism surfaced a median of about 30 per encounter). Pre-registered acceptability ceiling: median CITE flags per encounter at or below three.
Day 1 (index primary care encounter)

Вторичные показатели результатов

Вторичные показатели результатов

В протоколе клинического исследования - запланированная мера результата, которая не так важна, как первичная мера результата для оценки эффекта вмешательства, но все же представляет интерес. В большинстве клинических исследований используется более одного вторичного критерия исхода.
Мера результата
Мера Описание
Временное ограничение
Clinician action on CITE flags
Временное ограничение: Day 1 (index primary care encounter)
Proportion of CITE flags accepted vs overridden by the clinician, by flag type (commission, confabulation, unsupported, omission).
Day 1 (index primary care encounter)
Unresolved codifiable safety-hazard rate by arm (descriptive)
Временное ограничение: Day 1 (index primary care encounter)
Proportion of patient-specific codifiable-hazard checkpoints with an unresolved hazard in the finalized plan, by arm, with the Arm 3 minus Arm 2 difference and 95% confidence interval. Pre-specified as descriptive and hypothesis-generating: codifiable hazards are infrequent, so the trial is not powered for a between-arm efficacy contrast on this measure at the enrolled sample size.
Day 1 (index primary care encounter)
Correction of codifiable hazards within 30 days
Временное ограничение: Up to 30 days after the index encounter
Among checkpoints with a hazard in the finalized plan, the proportion acted on and corrected within 30 days (documented resolution, completed referral, or corrected order). Proximal clinical effectiveness measure.
Up to 30 days after the index encounter
Completed referrals within 30 days
Временное ограничение: Up to 30 days after the index encounter
Proportion of initiated referrals completed within 30 days.
Up to 30 days after the index encounter
Clinical safety composite (exploratory)
Временное ограничение: Day 1 (index primary care encounter)
Four-component clinical safety composite carried from the prior trial. Pre-specified as exploratory; underpowered at the planned sample size.
Day 1 (index primary care encounter)
30-day acute care utilization (exploratory)
Временное ограничение: Up to 30 days after the index encounter
Emergency department visits and hospitalizations within 30 days. Exploratory.
Up to 30 days after the index encounter

Соавторы и исследователи

Здесь вы найдете людей и организации, участвующие в этом исследовании.

Спонсор

Спонсор

Организация или лицо, которое инициирует исследование и имеет полномочия и контроль над исследованием.
Waymark

Соавторы

Соавторы

Организация, не являющаяся спонсором, которая оказывает поддержку клиническому исследованию. Эта поддержка может включать деятельность, связанную с финансированием, проектированием, реализацией, анализом данных или отчетностью.
University of California, San Francisco

Даты записи исследования

Эти даты отслеживают ход отправки отчетов об исследованиях и сводных результатов на сайт ClinicalTrials.gov. Записи исследований и сообщаемые результаты проверяются Национальной медицинской библиотекой (NLM), чтобы убедиться, что они соответствуют определенным стандартам контроля качества, прежде чем публиковать их на общедоступном веб-сайте.

Изучение основных дат

Начало исследования (Оцененный)

Начало исследования

Фактическая дата, когда первый участник был включен в клиническое исследование. «Предполагаемая» дата начала исследования — это дата, которая, по мнению исследователей, будет датой начала исследования.
1 сентября 2026 г.

Первичное завершение (Оцененный)

Первичное завершение

Дата, когда последний участник клинического исследования был осмотрен или получил вмешательство для сбора окончательных данных для измерения основного результата. На эту дату не влияет, закончилось ли клиническое исследование в соответствии с протоколом или было прекращено. Для клинических исследований с более чем одним показателем первичного исхода с разными датами завершения этот термин относится к дате завершения сбора данных для всех показателей первичного исхода. «Предполагаемая» дата завершения первичного исследования — это дата, которая, по мнению исследователей, будет датой завершения первичного исследования.
1 июня 2027 г.

Завершение исследования (Оцененный)

Завершение исследования

Дата, когда последний участник клинического исследования был обследован или получил вмешательство/лечение для сбора окончательных данных по первичным показателям исхода, вторичным показателям исхода и нежелательным явлениям (т. е. последний визит последнего участника). «Предполагаемая» дата завершения исследования — это дата, которая, по мнению исследователей, будет датой завершения исследования.
1 сентября 2027 г.

Даты регистрации исследования

Первый отправленный

Первый отправленный

Дата, когда спонсор исследования или исследователь впервые отправил отчет об исследовании на веб-сайт ClinicalTrials.gov. Обычно существует задержка в несколько дней между датой первой отправки и доступностью записи на ClinicalTrials.gov (дата первой публикации).
13 июля 2026 г.

Впервые представлено, что соответствует критериям контроля качества

Впервые представлено, что соответствует критериям контроля качества

Дата, когда спонсор исследования или исследователь впервые представляет отчет об исследовании, который соответствует критериям проверки контроля качества (QC) Национальной медицинской библиотеки (NLM). Спонсору или исследователю может потребоваться пересмотреть и отправить отчет об исследовании один или несколько раз, прежде чем будут выполнены критерии проверки контроля качества NLM. Спонсор или исследователь несет ответственность за обеспечение того, чтобы запись исследования соответствовала критериям обзора NLM QC.
16 июля 2026 г.

Первый опубликованный (Действительный)

Первый опубликованный

Дата, когда запись исследования была впервые доступна на сайте ClinicalTrials.gov после завершения обзора контроля качества (QC) Национальной медицинской библиотеки (NLM). Обычно существует задержка в несколько дней между датой подачи спонсором исследования или исследователем записи об исследовании и датой первой публикации.
22 июля 2026 г.

Обновления учебных записей

Последнее опубликованное обновление (Действительный)

Последнее опубликованное обновление

Самая последняя дата, когда изменения в протоколе исследования были доступны на сайте ClinicalTrials.gov. Может быть задержка между отправкой изменений на сайт ClinicalTrials.gov спонсором или исследователем исследования (дата отправки последнего обновления) и датой публикации последнего обновления.
22 июля 2026 г.

Последнее отправленное обновление, отвечающее критериям контроля качества

Последнее отправленное обновление, отвечающее критериям контроля качества

Самая последняя дата, когда спонсор исследования или исследователь внес изменения в отчет об исследовании, которые соответствуют критериям проверки контроля качества (QC) Национальной медицинской библиотеки (NLM). Спонсор или исследователь несет ответственность за обеспечение того, чтобы запись исследования соответствовала критериям обзора NLM QC.
16 июля 2026 г.

Последняя проверка

Последняя проверка

Самая последняя дата, когда спонсор исследования или исследователь подтвердил информацию о клиническом исследовании на сайте ClinicalTrials.gov как точную и актуальную. Если исследование с набором статуса набора; еще не вербовка; или активен, набор не был подтвержден в течение последних 2 лет, статус набора в исследование показан как неизвестный.
1 июля 2026 г.

Дополнительная информация

Термины, связанные с этим исследованием

Другие идентификационные номера исследования

Другие идентификационные номера исследования

Идентификаторы или идентификационные номера, отличные от номера NCT, которые присваиваются клиническому исследованию спонсором исследования, спонсорами или другими лицами. Эти номера могут включать уникальные идентификаторы из других реестров испытаний и номера грантов Национального института здравоохранения.
  • CITE-2026-02

Информация о лекарствах и устройствах, исследовательские документы

Изучает лекарственный продукт, регулируемый FDA США.

Нет

Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.

Нет

продукт, произведенный в США и экспортированный из США.

Нет

Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .

Настройки файлов cookie

Мы используем файлы cookie, чтобы обеспечить максимальное удобство использования нашего веб-сайта. Для получения дополнительных сведений внимательно прочитайте нашу Политику конфиденциальности и файлов cookie. ...>>>Вы можете изменить свои предпочтения или отозвать свое согласие в любое время, удалив файлы cookie со своего веб-сайта или компьютера, как описано в политике. Примите его и выберите свои предпочтения, отметив соответствующие поля в разделе «Управление настройками» ниже. Пожалуйста, внимательно прочтите наши Условия использования, прежде чем продолжить использование любой части этого веб-сайта.
«Управление настройками