- ICH GCP
- US Clinical Trials Registry
- Klinisk forsøg NCT07414966
Skalerbar Klinisk Overvågning af Store Sprogmodeller Via Usikkerhedstriangulering (SCOUT)
Prospektiv Evaluering af en Model-Agnostisk Meta-Verificeringsramme (SCOUT) til Skalerbar Klinisk Overvågning af Store Sprogmodels Output i Diagnostisering af Koronar Hjertesygdom: Et Multi-Læser, Randomiseret, Crossover-Studie
Studieoversigt
Status
Betingelser
Detaljeret beskrivelse
Baggrund: Store sprogmodeller anvendes i stigende grad i kliniske arbejdsgange, men at kræve, at klinikere gennemgår alle AI-output, ophæver de effektivitetsgevinster, der motiverer deres indførelse. SCOUT adresserer dette effektivitets-sikkerhedsparadoks gennem algoritmisk metaverifikation.
SCOUT-rammen triangulerer tre ortogonale eksterne signaler for at bestemme usikkerhed på cases-niveau: (1) Modelheterogenitet - om en strukturelt forskellig hjælpende LLM er enig med den primære model; (2) Stokastisk inkonsistens - om gentagne udtag fra den samme model giver divergerende output; (3) Ræsonnementkritik - om en ekstern kontrolmodel identificerer logiske fejl i ræsonnementets tankegangskæde.
I dette crossover-forsøg gennemgår 7 klinikere af forskellig anciennitet (2 juniorresidenser, 3 seniorresidenser, 2 overlæger) hver alle 110 cases under både standard manuel gennemgang og SCOUT-assisterede gennemgangsarbejdsgange. Studiet evaluerer arbejdsgangseffektivitet (primær endpoint) og diagnostisk nøjagtighed (sekundær endpoint).
Undersøgelsestype
Tilmelding (Anslået)
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiekontakt
- Navn: Xiaojin Gao, Dr.
- Telefonnummer: +86 010 88322415
- E-mail: sophie_gao@sina.com
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Beskrivelse
Inklusionskriterier:
- Speciallæger i hjerte- og karsygdomme eller under uddannelse til samme på Fuwai Hospital
- Omfatter tre erfaringsniveauer: yngre borgere, ældre borgere, overlæger
Eksklusionskriterier:
- Klinikere involveret i udvikling eller optimering af SCOUT-rammen
- Klinikere involveret i guldstandardbedømmelsesprocessen
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Diagnostisk
- Tildeling: Randomiseret
- Interventionel model: Crossover opgave
- Maskning: Ingen (Åben etiket)
Våben og indgreb
Deltagergruppe / Arm |
Intervention / Behandling |
|---|---|
|
Aktiv komparator: Kontrol (Standard manuel gennemgang)
Læger gennemgår manuelt alle tilfælde i kontrollen (n=54) med adgang til AI-forudsigelser og begrundelser.
Ingen selektiv udsættelse.
|
Læger udfører en fuld manuel gennemgang af 54 tilfælde ved hjælp af rå medicinske journaler med adgang til AI-modellens forudsigelser og ræsonnement, men uden SCOUT-usikkerhedsstratificering eller selektiv udskydelse.
|
|
Eksperimentel: Eksperimentel (SCOUT-assisteret gennemgang)
Læger behandler interventionssættet (n=56) gennem SCOUT-rammen.
Lave-usikkerhedstilfælde accepteres automatisk; høje-usikkerhedstilfælde gennemgår lægegennemgang med fuldt revisionsspor.
|
SCOUT-Assisted Review (Interventionsarm): Læger gennemgår 56 sager behandlet gennem SCOUT-rammen.
For sager klassificeret som lav usikkerhed (D(x)=0) accepteres AI-forudsigelsen automatisk uden lægegennemgang.
For høj usikkerhedssager (D(x)=1) gennemgår lægen sagen med adgang til hovedmodellens kæde-af-tænkning-ræsonnement og meta-verificeringsrevisionsresultaterne.
Hovedmodellen er DeepSeek-V3.1 med kæde-af-tænkning-prompting.
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Gennemsnitlig lægegennemgangstid pr. sag (minutter)
Tidsramme: Gennem studieafslutningen, i gennemsnit 2 timer.
|
Gennemsnitlig tid brugt af hver kliniker på at gennemgå og træffe en diagnostisk beslutning pr. sag under hver behandlingsarm.
Målt i minutter. |
Gennem studieafslutningen, i gennemsnit 2 timer.
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Diagnostic accuracy (%)
Tidsramme: Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
Andel af korrekte klassifikationer af KKS-subtyper (STEMI, NSTEMI, ustabil angina pectoris, kroniske koronarsyndromer) i hver arm.
|
Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
|
Computational Return on Investment (ROI)
Tidsramme: Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
Forholdet mellem besparelser i lægetid (vurderet til standardiserede minutlønninger fra Sanming sundhedsreformens benchmarktal) og beregningsomkostningerne for SCOUT-inferens, opdelt efter klinikerens anciennitetsniveau.
|
Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
Samarbejdspartnere og efterforskere
Datoer for undersøgelser
Studer store datoer
Studiestart (Anslået)
Primær færdiggørelse (Anslået)
Studieafslutning (Anslået)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Yderligere relevante MeSH-vilkår
Andre undersøgelses-id-numre
- 2025-2702-1
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
IPD-planbeskrivelse
IPD-delingstidsramme
IPD-delingsadgangskriterier
IPD-deling Understøttende informationstype
- STUDY_PROTOCOL
- SAP
- ICF
- ANALYTIC_CODE
- CSR
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .
Kliniske forsøg med Standard manuel gennemgangsarbejdsgang
-
Universitat Politècnica de CatalunyaUniversity of Liverpool; The BMJAfsluttetEvaluering af virkningen af at vurdere under peer review CONSORT-tjeklisten indsendt af forfatterePeer Review, Udgivelse | Fuldstændighed af rapporteringDet Forenede Kongerige
-
Pakistan Association of Cognitive TherapistsRekruttering
-
Fred Hutchinson Cancer CenterTrukket tilbagePancreas neoplasmaForenede Stater
-
Facultad de Enfermería, Fisioterapia y Podología...Ikke rekrutterer endnuMigræne uden auraSpanien
-
M.D. Anderson Cancer CenterNational Cancer Institute (NCI)AfsluttetEffekt af PACK Health Support Program på patientrapporterede resultater hos patienter med brystkræftBrystkarcinom | Tilbagevendende brystkarcinom | Duktalt brystkarcinom in situ | Invasivt brystkarcinomForenede Stater
-
Ohio State University Comprehensive Cancer CenterAfsluttetKolorektalt karcinomForenede Stater
-
Mayo ClinicTilmelding efter invitationCervikal karcinom | Human papillomavirus infektion | Humant papillomavirus-relateret cervikal karcinomForenede Stater
-
Ohio State University Comprehensive Cancer CenterRekrutteringNuværende ryger | Lunge Adenocarcinom | Stadie IV ikke-småcellet lungekræft | Planocellulært lungekarcinom | CigaretrygerForenede Stater
-
Jonsson Comprehensive Cancer CenterSilicon Valley Community FoundationAktiv, ikke rekrutterendeStadie III Bugspytkirtelkræft | Adenocarcinom i bugspytkirtlen Ikke-operabelForenede Stater
-
SWOG Cancer Research NetworkNational Cancer Institute (NCI)Aktiv, ikke rekrutterendeAvanceret malignt fast neoplasma | Ildfast malignt fast neoplasma | Tilbagevendende malignt fast neoplasma | Metastatisk malignt fast neoplasmaForenede Stater, Puerto Rico