- ICH GCP
- Registre américain des essais cliniques
- Essai clinique NCT07414966
Supervision Clinique Évolutive des Grands Modèles de Langage par Triangulation d'Incertitude (SCOUT)
Évaluation prospective d'un cadre métavérification indépendant du modèle (SCOUT) pour la surveillance clinique évolutive des sorties de grands modèles de langage dans le diagnostic des maladies coronariennes : un essai croisé randomisé multi-lecteurs
This prospective, multi-reader, randomized crossover trial evaluates SCOUT (Scalable Clinical Oversight via Uncertainty Triangulation), a model-agnostic meta-verification framework that selectively defers unreliable large language model (LLM) predictions to clinicians by triangulating three orthogonal uncertainty signals: model heterogeneity, stochastic inconsistency, and reasoning critique. The trial assesses whether SCOUT-assisted review can reduce physician review time compared with standard manual review of AI-generated diagnoses while maintaining non-inferior diagnostic accuracy in coronary heart disease (CHD) subtyping.
Aperçu de l'étude
Statut
Les conditions
Intervention / Traitement
Description détaillée
Background: Large language models are increasingly deployed in clinical workflows, yet requiring clinician review of every AI output negates the efficiency gains that motivate their adoption. SCOUT addresses this efficiency-safety paradox through algorithmic meta-verification.
The SCOUT framework triangulates three orthogonal external signals to determine case-level uncertainty: (1) Model Heterogeneity - whether a structurally different auxiliary LLM agrees with the primary model; (2) Stochastic Inconsistency - whether repeated sampling from the same model yields divergent outputs; (3) Reasoning Critique - whether an external checker model identifies logical flaws in the chain-of-thought reasoning.
In this crossover trial, 7 clinicians of varying seniority (2 junior residents, 3 senior residents, 2 attending physicians) each review all 110 cases under both standard manual review and SCOUT-assisted review workflows. The study evaluates workflow efficiency (primary endpoint) and diagnostic accuracy (secondary endpoint).
Type d'étude
Inscription (Réel)
Phase
- N'est pas applicable
Contacts et emplacements
Lieux d'étude
-
-
Beijing Municipality
-
Beijing, Beijing Municipality, Chine, 100037
- Fuwai Hospital
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
Accepte les volontaires sains
Sexes éligibles pour l'étude
La description
Inclusion Criteria:
- Board-certified or in-training cardiologists at Fuwai Hospital
- Spanning three experience strata: junior residents, senior residents, attending physicians
Exclusion Criteria:
- Clinicians involved in the development or optimization of the SCOUT framework
- Clinicians involved in the gold-standard adjudication process
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
- Objectif principal: Diagnostique
- Répartition: Randomisé
- Modèle interventionnel: Affectation croisée
- Masquage: Aucun (étiquette ouverte)
Armes et Interventions
Groupe de participants / Bras |
Intervention / Traitement |
|---|---|
|
Comparateur actif: Control (Standard Manual Review)
Physicians manually review all cases in the control set (n=54) with access to AI predictions and reasoning. No selective deferral. |
Physicians perform a full manual review of 54 cases using raw medical records with access to the AI model's predictions and reasoning, but without SCOUT uncertainty stratification or selective deferral. |
|
Expérimental: Experimental (SCOUT-Assisted Review)
Physicians process the intervention set (n=56) through the SCOUT framework. Low-uncertainty cases are auto-accepted; high-uncertainty cases undergo physician review with full audit trail. |
SCOUT-Assisted Review (Intervention Arm): Physicians review 56 cases processed through the SCOUT framework. For cases classified as low-uncertainty (D(x)=0), the AI prediction is auto-accepted without physician review. For high-uncertainty cases (D(x)=1), the physician reviews the case with access to the main model's chain-of-thought reasoning and the meta-verification audit results. The main model is DeepSeek-V3.1 with chain-of-thought prompting. |
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Mean physician review time per case (minutes)
Délai: Through study completion, an average of 2 hours.
|
Mean time spent by each clinician reviewing and rendering a diagnostic decision per case under each arm. Measured in minutes. |
Through study completion, an average of 2 hours.
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Diagnostic accuracy (%)
Délai: Through study completion, an average of 2 hours.
|
Proportion of correct CHD subtype classifications (STEMI, NSTEMI, unstable angina, chronic coronary syndromes) under each arm. |
Through study completion, an average of 2 hours.
|
|
Computational Return on Investment (ROI)
Délai: Through study completion, an average of 2 hours.
|
Ratio of physician time savings (valued at standardized minute-wages from Sanming healthcare reform benchmarks) to computational cost of SCOUT inference, stratified by clinician seniority level. |
Through study completion, an average of 2 hours.
|
Collaborateurs et enquêteurs
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Mots clés
Termes MeSH pertinents supplémentaires
Autres numéros d'identification d'étude
- 2025-2702-1
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Description du régime IPD
De-identified individual participant data underlying the results reported in this study will be made available.
Délai de partage IPD
Beginning 1 months after publication of the primary results and available for up to 60 months.
Critères d'accès au partage IPD
Data are available from the corresponding author upon reasonable request. Requestors will need to provide a methodologically sound research proposal and sign a data use agreement.
Type d'informations de prise en charge du partage d'IPD
- PROTOCOLE D'ÉTUDE
- SÈVE
- CIF
- ANALYTIC_CODE
- RSE
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .