Skalerbar Klinisk Overvågning af Store Sprogmodeller Via Usikkerhedstriangulering (SCOUT)
Prospektiv Evaluering af en Model-Agnostisk Meta-Verificeringsramme (SCOUT) til Skalerbar Klinisk Overvågning af Store Sprogmodels Output i Diagnostisering af Koronar Hjertesygdom: Et Multi-Læser, Randomiseret, Crossover-Studie
Studieoversigt
Status
Status
Betingelser
Betingelser
Intervention / Behandling
Intervention / Behandling
Detaljeret beskrivelse
Baggrund: Store sprogmodeller anvendes i stigende grad i kliniske arbejdsgange, men at kræve, at klinikere gennemgår alle AI-output, ophæver de effektivitetsgevinster, der motiverer deres indførelse. SCOUT adresserer dette effektivitets-sikkerhedsparadoks gennem algoritmisk metaverifikation.
SCOUT-rammen triangulerer tre ortogonale eksterne signaler for at bestemme usikkerhed på cases-niveau: (1) Modelheterogenitet - om en strukturelt forskellig hjælpende LLM er enig med den primære model; (2) Stokastisk inkonsistens - om gentagne udtag fra den samme model giver divergerende output; (3) Ræsonnementkritik - om en ekstern kontrolmodel identificerer logiske fejl i ræsonnementets tankegangskæde.
I dette crossover-forsøg gennemgår 7 klinikere af forskellig anciennitet (2 juniorresidenser, 3 seniorresidenser, 2 overlæger) hver alle 110 cases under både standard manuel gennemgang og SCOUT-assisterede gennemgangsarbejdsgange. Studiet evaluerer arbejdsgangseffektivitet (primær endpoint) og diagnostisk nøjagtighed (sekundær endpoint).
Undersøgelsestype
Undersøgelsestype
Tilmelding (Anslået)
Tilmelding
Fase
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiekontakt
Studiekontakt
- Navn: Xiaojin Gao, Dr.
- Telefonnummer: +86 010 88322415
- E-mail: sophie_gao@sina.com
Deltagelseskriterier
Berettigelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Beskrivelse
Inklusionskriterier:
- Speciallæger i hjerte- og karsygdomme eller under uddannelse til samme på Fuwai Hospital
- Omfatter tre erfaringsniveauer: yngre borgere, ældre borgere, overlæger
Eksklusionskriterier:
- Klinikere involveret i udvikling eller optimering af SCOUT-rammen
- Klinikere involveret i guldstandardbedømmelsesprocessen
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Diagnostisk
- Tildeling: Randomiseret
- Interventionel model: Crossover opgave
- Maskning: Ingen (Åben etiket)
Antal våben
Våben og indgreb
Deltagergruppe / ArmDeltagergruppe / Arm |
Intervention / BehandlingIntervention / Behandling |
|---|---|
|
Aktiv komparator: Kontrol (Standard manuel gennemgang)
Læger gennemgår manuelt alle tilfælde i kontrollen (n=54) med adgang til AI-forudsigelser og begrundelser.
Ingen selektiv udsættelse.
|
Læger udfører en fuld manuel gennemgang af 54 tilfælde ved hjælp af rå medicinske journaler med adgang til AI-modellens forudsigelser og ræsonnement, men uden SCOUT-usikkerhedsstratificering eller selektiv udskydelse.
|
|
Eksperimentel: Eksperimentel (SCOUT-assisteret gennemgang)
Læger behandler interventionssættet (n=56) gennem SCOUT-rammen.
Lave-usikkerhedstilfælde accepteres automatisk; høje-usikkerhedstilfælde gennemgår lægegennemgang med fuldt revisionsspor.
|
SCOUT-Assisted Review (Interventionsarm): Læger gennemgår 56 sager behandlet gennem SCOUT-rammen.
For sager klassificeret som lav usikkerhed (D(x)=0) accepteres AI-forudsigelsen automatisk uden lægegennemgang.
For høj usikkerhedssager (D(x)=1) gennemgår lægen sagen med adgang til hovedmodellens kæde-af-tænkning-ræsonnement og meta-verificeringsrevisionsresultaterne.
Hovedmodellen er DeepSeek-V3.1 med kæde-af-tænkning-prompting.
|
Hvad måler undersøgelsen?
Primære resultatmål
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Gennemsnitlig lægegennemgangstid pr. sag (minutter)
Tidsramme: Gennem studieafslutningen, i gennemsnit 2 timer.
|
Gennemsnitlig tid brugt af hver kliniker på at gennemgå og træffe en diagnostisk beslutning pr. sag under hver behandlingsarm.
Målt i minutter. |
Gennem studieafslutningen, i gennemsnit 2 timer.
|
Sekundære resultatmål
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Diagnostic accuracy (%)
Tidsramme: Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
Andel af korrekte klassifikationer af KKS-subtyper (STEMI, NSTEMI, ustabil angina pectoris, kroniske koronarsyndromer) i hver arm.
|
Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
|
Computational Return on Investment (ROI)
Tidsramme: Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
Forholdet mellem besparelser i lægetid (vurderet til standardiserede minutlønninger fra Sanming sundhedsreformens benchmarktal) og beregningsomkostningerne for SCOUT-inferens, opdelt efter klinikerens anciennitetsniveau.
|
Gennem studiefærdiggørelse, i gennemsnit 2 timer.
|
Samarbejdspartnere og efterforskere
Sponsor
Sponsor
Datoer for undersøgelser
Studer store datoer
Studiestart (Anslået)
Studiestart
Primær færdiggørelse (Anslået)
Primær færdiggørelse
Studieafslutning (Anslået)
Studieafslutning
Datoer for studieregistrering
Først indsendt
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Først opslået
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering sendt
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Yderligere relevante MeSH-vilkår
Andre undersøgelses-id-numre
Andre undersøgelses-id-numre
- 2025-2702-1
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
IPD-planbeskrivelse
IPD-delingstidsramme
IPD-delingsadgangskriterier
IPD-deling Understøttende informationstype
- STUDY_PROTOCOL
- SAP
- ICF
- ANALYTIC_CODE
- CSR
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .