Schaalbare Klinische Toezicht op Grote Taalmodellen via Onzekerheidsdriehoeksmeting (SCOUT)
14 februari 2026 bijgewerkt door: China National Center for Cardiovascular Diseases
Prospectieve Evaluatie van een Model-Agnostisch Meta-Verificatie Framework (SCOUT) voor Schaalbaar Klinisch Toezicht op Large Language Model Outputs bij Coronaire Hartziekte Diagnose: Een Multi-Reader, Gerandomiseerde, Crossover Studie
Deze prospectieve, multi-lezer, gerandomiseerde cross-over studie evalueert SCOUT (Scalable Clinical Oversight via Uncertainty Triangulation), een model-agnostisch meta-verificatiekader dat onbetrouwbare voorspellingen van grote taalmodellen (LLM) selectief doorschuift naar clinici door drie orthogonale onzekerheidssignalen te trianguleren: modelheterogeniteit, stochastische inconsistentie en redeneerkritiek.
De studie onderzoekt of SCOUT-ondersteunde beoordeling de beoordelingstijd van artsen kan verminderen in vergelijking met standaard handmatige beoordeling van AI-gegenereerde diagnoses, terwijl niet-inferieure diagnostische nauwkeurigheid wordt behouden bij subtypering van coronaire hartziekte (CHD).
Studie Overzicht
Toestand
Nog niet aan het werven
Conditie
Gedetailleerde beschrijving
Achtergrond: Grote taalmodellen worden steeds vaker ingezet in klinische workflows, maar het vereisen van klinische beoordeling van elke AI-output tenietdoet de efficiëntiewinsten die hun adoptie motiveren. SCOUT adresseert dit efficiëntie-veiligheidsparadox via algoritmische meta-verificatie.
Het SCOUT-framework trianguleert drie orthogonale externe signalen om geval-niveau onzekerheid te bepalen: (1) Modelheterogeniteit - of een structureel verschillend hulp-LLM het eens is met het primaire model; (2) Stochastische inconsistentie - of herhaalde bemonstering van hetzelfde model uiteenlopende outputs oplevert; (3) Redeneerkritiek - of een externe controlemodel logische fouten identificeert in de keten-van-gedachte-redenering.
In deze cross-overstudie beoordelen 7 clinici van verschillende senioriteit (2 junior assistenten, 3 senior assistenten, 2 behandelende artsen) elk alle 110 gevallen onder zowel standaard handmatige review als SCOUT-ondersteunde review workflows. De studie evalueert workflowefficiëntie (primair eindpunt) en diagnostische nauwkeurigheid (secundair eindpunt).
Studietype
Ingrijpend
Inschrijving (Geschat)
7
Fase
- Niet toepasbaar
Contacten en locaties
In dit gedeelte vindt u de contactgegevens van degenen die het onderzoek uitvoeren en informatie over waar dit onderzoek wordt uitgevoerd.
Studiecontact
- Naam: Xiaojin Gao, Dr.
- Telefoonnummer: +86 010 88322415
- E-mail: sophie_gao@sina.com
Deelname Criteria
Onderzoekers zoeken naar mensen die aan een bepaalde beschrijving voldoen, de zogenaamde geschiktheidscriteria. Enkele voorbeelden van deze criteria zijn iemands algemene gezondheidstoestand of eerdere behandelingen.
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Nee
Beschrijving
Insluitingscriteria:
- Gecertificeerde of in-opleiding zijnde cardiologen van het Fuwai Ziekenhuis
- Over drie ervaringsniveaus: junior assistenten, senior assistenten, hoofdartsen
Uitsluitingscriteria:
- Klinisch medewerkers betrokken bij de ontwikkeling of optimalisatie van het SCOUT-raamwerk
- Klinisch medewerkers betrokken bij het gouden-standaard arbitrageproces
Studie plan
Dit gedeelte bevat details van het studieplan, inclusief hoe de studie is opgezet en wat de studie meet.
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Diagnostisch
- Toewijzing: Gerandomiseerd
- Interventioneel model: Crossover-opdracht
- Masker: Geen (open label)
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
|---|---|
|
Actieve vergelijker: Controle (Standaard Handmatige Controle)
Artsen beoordelen alle gevallen in de controlegroep (n=54) handmatig met toegang tot AI-voorspellingen en -redeneringen.
Geen selectieve uitstel.
|
Artsen voeren een volledige handmatige beoordeling uit van 54 gevallen met behulp van ruwe medische dossiers met toegang tot de voorspellingen en redenering van het AI-model, maar zonder SCOUT-ongewisheidstratificatie of selectieve doorverwijzing.
|
|
Experimenteel: Experimenteel (SCOUT-geassisteerde beoordeling)
Artsen verwerken de interventieset (n=56) via het SCOUT-raamwerk.
Gevallen met lage onzekerheid worden automatisch geaccepteerd; gevallen met hoge onzekerheid ondergaan een artsenbeoordeling met volledige audittrail.
|
SCOUT-Assisted Review (Interventiegroep): Artsen beoordelen 56 casussen die via het SCOUT-framework zijn verwerkt.
Voor casussen die als laag-onzekerheid zijn geclassificeerd (D(x)=0), wordt de AI-voorspelling automatisch geaccepteerd zonder artsenbeoordeling.
Voor hoog-onzekerheidscasussen (D(x)=1) beoordeelt de arts de casus met toegang tot de redenering van de hoofdketen van de hoofdmethode en de resultaten van de meta-verificatie-audit.
Het hoofdmethode is DeepSeek-V3.1 met keten-van-redenering-aansporing.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Gemiddelde beoordelingstijd per zaak door arts (minuten)
Tijdsspanne: Tot aan de voltooiing van de studie, gemiddeld 2 uur.
|
Gemiddelde tijd besteed door elke clinicus om per geval een diagnostische beslissing te beoordelen en te formuleren per onderzoeksgroep.
Gemeten in minuten.
|
Tot aan de voltooiing van de studie, gemiddeld 2 uur.
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Diagnostische nauwkeurigheid (%)
Tijdsspanne: Tot de voltooiing van de studie, gemiddeld 2 uur.
|
Proportie van correcte CHD-subtypeclassificaties (STEMI, NSTEMI, instabiele angina, chronische coronairsyndromen) onder elke arm.
|
Tot de voltooiing van de studie, gemiddeld 2 uur.
|
|
Computational Return on Investment (ROI)
Tijdsspanne: Gedurende de volledige studie, gemiddeld 2 uur.
|
Verhouding van tijdsbesparing voor artsen (gewaardeerd tegen gestandaardiseerde minuuttarieven uit Sanming-hervormingsbenchmarks in de gezondheidszorg) tot de rekenkosten van SCOUT-inferentie, gestratificeerd naar klinische senioriteitsniveau.
|
Gedurende de volledige studie, gemiddeld 2 uur.
|
Medewerkers en onderzoekers
Hier vindt u mensen en organisaties die betrokken zijn bij dit onderzoek.
Studie record data
Deze datums volgen de voortgang van het onderzoeksdossier en de samenvatting van de ingediende resultaten bij ClinicalTrials.gov. Studieverslagen en gerapporteerde resultaten worden beoordeeld door de National Library of Medicine (NLM) om er zeker van te zijn dat ze voldoen aan specifieke kwaliteitscontrolenormen voordat ze op de openbare website worden geplaatst.
Bestudeer belangrijke data
Studie start (Geschat)
19 februari 2026
Primaire voltooiing (Geschat)
28 februari 2026
Studie voltooiing (Geschat)
28 februari 2026
Studieregistratiedata
Eerst ingediend
9 februari 2026
Eerst ingediend dat voldeed aan de QC-criteria
14 februari 2026
Eerst geplaatst (Werkelijk)
17 februari 2026
Updates van studierecords
Laatste update geplaatst (Werkelijk)
17 februari 2026
Laatste update ingediend die voldeed aan QC-criteria
14 februari 2026
Laatst geverifieerd
1 februari 2026
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Aanvullende relevante MeSH-voorwaarden
Andere studie-ID-nummers
- 2025-2702-1
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
JA
Beschrijving IPD-plan
De geanonimiseerde individuele deelnemersgegevens die ten grondslag liggen aan de in deze studie gerapporteerde resultaten, zullen beschikbaar worden gesteld.
IPD-tijdsbestek voor delen
Begin 1 maand na publicatie van de primaire resultaten en beschikbaar tot 60 maanden.
IPD-toegangscriteria voor delen
De gegevens zijn beschikbaar bij de corresponderende auteur op redelijk verzoek.
Verzoekers zullen een methodologisch onderbouwd onderzoeksvoorstel moeten indienen en een gegevensgebruiksovereenkomst ondertekenen.
IPD delen Ondersteunend informatietype
- LEERPROTOCOOL
- SAP
- ICF
- ANALYTIC_CODE
- MVO
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Nee
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Nee
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .