- ICH GCP
- USA klinikai vizsgálatok nyilvántartása
- Klinikai vizsgálat NCT07414966
Skálázható klinikai felügyelet a nagy nyelvi modellek felett bizonytalanság háromszögelés révén (SCOUT)
Prospektív értékelése egy modellfüggetlen meta-ellenőrzési keretrendszernek (SCOUT) a nagy nyelvi modellek kimeneteinek skálázható klinikai felügyeletére a szívkoszorúér-betegség diagnosztikájában: Több olvasós, randomizált, keresztezett vizsgálat
This prospective, multi-reader, randomized crossover trial evaluates SCOUT (Scalable Clinical Oversight via Uncertainty Triangulation), a model-agnostic meta-verification framework that selectively defers unreliable large language model (LLM) predictions to clinicians by triangulating three orthogonal uncertainty signals: model heterogeneity, stochastic inconsistency, and reasoning critique. The trial assesses whether SCOUT-assisted review can reduce physician review time compared with standard manual review of AI-generated diagnoses while maintaining non-inferior diagnostic accuracy in coronary heart disease (CHD) subtyping.
A tanulmány áttekintése
Állapot
Körülmények
Részletes leírás
Background: Large language models are increasingly deployed in clinical workflows, yet requiring clinician review of every AI output negates the efficiency gains that motivate their adoption. SCOUT addresses this efficiency-safety paradox through algorithmic meta-verification.
The SCOUT framework triangulates three orthogonal external signals to determine case-level uncertainty: (1) Model Heterogeneity - whether a structurally different auxiliary LLM agrees with the primary model; (2) Stochastic Inconsistency - whether repeated sampling from the same model yields divergent outputs; (3) Reasoning Critique - whether an external checker model identifies logical flaws in the chain-of-thought reasoning.
In this crossover trial, 7 clinicians of varying seniority (2 junior residents, 3 senior residents, 2 attending physicians) each review all 110 cases under both standard manual review and SCOUT-assisted review workflows. The study evaluates workflow efficiency (primary endpoint) and diagnostic accuracy (secondary endpoint).
Tanulmány típusa
Beiratkozás (Tényleges)
Fázis
- Nem alkalmazható
Kapcsolatok és helyek
Tanulmányi helyek
-
-
Beijing Municipality
-
Beijing, Beijing Municipality, Kína, 100037
- Fuwai Hospital
-
-
Részvételi kritériumok
Jogosultsági kritériumok
Tanulmányozható életkorok
Egészséges önkénteseket fogad
Tanulmányozható nemek
Leírás
Inclusion Criteria:
- Board-certified or in-training cardiologists at Fuwai Hospital
- Spanning three experience strata: junior residents, senior residents, attending physicians
Exclusion Criteria:
- Clinicians involved in the development or optimization of the SCOUT framework
- Clinicians involved in the gold-standard adjudication process
Tanulási terv
Hogyan készül a tanulmány?
Tervezési részletek
- Elsődleges cél: Diagnosztikai
- Kiosztás: Véletlenszerűsített
- Beavatkozó modell: Crossover kiosztás
- Maszkolás: Nincs (Open Label)
Fegyverek és beavatkozások
Résztvevő csoport / kar |
Beavatkozás / kezelés |
|---|---|
|
Aktív összehasonlító: Control (Standard Manual Review)
Physicians manually review all cases in the control set (n=54) with access to AI predictions and reasoning. No selective deferral. |
Physicians perform a full manual review of 54 cases using raw medical records with access to the AI model's predictions and reasoning, but without SCOUT uncertainty stratification or selective deferral. |
|
Kísérleti: Experimental (SCOUT-Assisted Review)
Physicians process the intervention set (n=56) through the SCOUT framework. Low-uncertainty cases are auto-accepted; high-uncertainty cases undergo physician review with full audit trail. |
SCOUT-Assisted Review (Intervention Arm): Physicians review 56 cases processed through the SCOUT framework. For cases classified as low-uncertainty (D(x)=0), the AI prediction is auto-accepted without physician review. For high-uncertainty cases (D(x)=1), the physician reviews the case with access to the main model's chain-of-thought reasoning and the meta-verification audit results. The main model is DeepSeek-V3.1 with chain-of-thought prompting. |
Mit mér a tanulmány?
Elsődleges eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Mean physician review time per case (minutes)
Időkeret: Through study completion, an average of 2 hours.
|
Mean time spent by each clinician reviewing and rendering a diagnostic decision per case under each arm. Measured in minutes. |
Through study completion, an average of 2 hours.
|
Másodlagos eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Diagnostic accuracy (%)
Időkeret: Through study completion, an average of 2 hours.
|
Proportion of correct CHD subtype classifications (STEMI, NSTEMI, unstable angina, chronic coronary syndromes) under each arm. |
Through study completion, an average of 2 hours.
|
|
Computational Return on Investment (ROI)
Időkeret: Through study completion, an average of 2 hours.
|
Ratio of physician time savings (valued at standardized minute-wages from Sanming healthcare reform benchmarks) to computational cost of SCOUT inference, stratified by clinician seniority level. |
Through study completion, an average of 2 hours.
|
Együttműködők és nyomozók
Tanulmányi rekorddátumok
Tanulmány főbb dátumok
Tanulmány kezdete (Tényleges)
Elsődleges befejezés (Tényleges)
A tanulmány befejezése (Tényleges)
Tanulmányi regisztráció dátumai
Először benyújtva
Először nyújtották be, amely megfelel a minőségbiztosítási kritériumoknak
Első közzététel (Tényleges)
Tanulmányi rekordok frissítései
Utolsó frissítés közzétéve (Tényleges)
Az utolsó frissítés elküldve, amely megfelel a minőségbiztosítási kritériumoknak
Utolsó ellenőrzés
Több információ
A tanulmányhoz kapcsolódó kifejezések
Kulcsszavak
További vonatkozó MeSH feltételek
Egyéb vizsgálati azonosító számok
- 2025-2702-1
Terv az egyéni résztvevői adatokhoz (IPD)
Tervezi megosztani az egyéni résztvevői adatokat (IPD)?
IPD terv leírása
De-identified individual participant data underlying the results reported in this study will be made available.
IPD megosztási időkeret
Beginning 1 months after publication of the primary results and available for up to 60 months.
IPD-megosztási hozzáférési feltételek
Data are available from the corresponding author upon reasonable request. Requestors will need to provide a methodologically sound research proposal and sign a data use agreement.
Az IPD megosztását támogató információ típusa
- STUDY_PROTOCOL
- NEDV
- ICF
- ANALYTIC_CODE
- CSR
Gyógyszer- és eszközinformációk, tanulmányi dokumentumok
Egy amerikai FDA által szabályozott gyógyszerkészítményt tanulmányoz
Egy amerikai FDA által szabályozott eszközterméket tanulmányoz
Ezt az információt közvetlenül a clinicaltrials.gov webhelyről szereztük be, változtatás nélkül. Ha bármilyen kérése van vizsgálati adatainak módosítására, eltávolítására vagy frissítésére, kérjük, írjon a következő címre: register@clinicaltrials.gov. Amint a változás bevezetésre kerül a clinicaltrials.gov oldalon, ez a webhelyünkön is automatikusan frissül. .