Testing an AI Tool to Help Primary Care Clinicians With Specialty Consultation Questions (SAGE)
10. července 2026 aktualizováno: Jonathan Chen, Stanford University
Physician Usability and Output Quality Evaluation of a Retrieval-Augmented Language Model System for Specialty Medical Consultation: A Human-Computer Interaction Study
The goal of this study is to test an artificial intelligence (AI) tool called SAGE. SAGE helps primary care doctors with questions that often need a specialist. Primary care doctors are the doctors people usually see first. SAGE reviews a case and suggests what a specialist might advise.
The main questions it aims to answer are:
- Do doctors make sound, timely care decisions when they use SAGE?
- Do those decisions match what a specialist would advise?
Researchers will compare the decisions doctors make with and without SAGE.
Doctors in the study will:
- Review made-up patient cases (these are not real patients)
- Make a decision for each case, their usual way and with SAGE
Přehled studie
Postavení
Zatím nenabíráme
Intervence / Léčba
Typ studie
Intervenční
Zápis (Odhadovaný)
15
Fáze
- Nelze použít
Kontakty a umístění
Tato část poskytuje kontaktní údaje pro ty, kteří studii provádějí, a informace o tom, kde se tato studie provádí.
Studijní místa
-
-
California
-
Stanford, California, Spojené státy, 94305
- Stanford University
-
Kontakt:
- Jonathan Chen, MD, PhD
- Telefonní číslo: 650-725-3655
- E-mail: jonc101@stanford.edu
-
-
Kritéria účasti
Výzkumníci hledají lidi, kteří odpovídají určitému popisu, kterému se říká kritéria způsobilosti. Některé příklady těchto kritérií jsou celkový zdravotní stav osoby nebo předchozí léčba.
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Ano
Popis
Inclusion Criteria:
- Physician practicing in primary care internal medicine and/or family medicine
- Attending physician, or resident physician at postgraduate year 2 (PGY-2) or higher
- Stanford-affiliated (faculty, staff, or trainee)
- Able to complete a single, approximately 60-minute remote (Zoom) session conducted in English
Exclusion Criteria:
- Not currently practicing in primary care internal medicine or family medicine
- Member of the study team or otherwise involved in the development of SAGE
- Unable to complete the remote study session
Studijní plán
Tato část poskytuje podrobnosti o studijním plánu, včetně toho, jak je studie navržena a co studie měří.
Jak je studie koncipována?
Detaily designu
- Primární účel: Výzkum zdravotnických služeb
- Přidělení: N/A
- Intervenční model: Přiřazení jedné skupiny
- Maskování: Žádné (otevřený štítek)
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Experimentální: Primary care physicians
Primary care physicians make management decisions on synthetic patient cases.
Each physician reviews four cases in random order: two with SAGE (AI clinical decision support) and two using a standard eConsult approach.
|
SAGE is an artificial intelligence (AI) based clinical decision support tool.
It generates specialty-informed recommendations for a primary care consultation question.
Physicians review the SAGE output while making a management decision for the synthetic case.
A standard electronic consultation (eConsult) format, without SAGE.
Physicians review this information while making a management decision for the synthetic case.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Clinical actionability of the clinician's decision
Časové okno: Post-session independent review, through study completion (up to approximately 2 months)
|
For each case, independent reviewers judge whether the physician's decision is clinically actionable, meaning the physician can act on it now rather than wait for a specialist.
The outcome is the proportion of cases judged actionable, measured separately for decisions made with SAGE and for decisions made the standard way.
|
Post-session independent review, through study completion (up to approximately 2 months)
|
|
Concordance of the clinician's decision with the specialist reference answer
Časové okno: Post-session independent review, through study completion (up to approximately 2 months)
|
Agreement between the physician's management decision and a specialist reference answer, rated by independent reviewers, with inter-rater agreement summarized.
Assessed for decisions made with SAGE and for decisions made the standard way.
|
Post-session independent review, through study completion (up to approximately 2 months)
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
System usability (System Usability Scale, SUS)
Časové okno: End of study session (Day 1, approximately 60 minutes)
|
Perceived usability of SAGE measured with the 10-item System Usability Scale (SUS), scored from 0 to 100.
|
End of study session (Day 1, approximately 60 minutes)
|
|
Order acceptance in the SAGE condition
Časové okno: During study session (Day 1)
|
Proportion of SAGE-suggested orders that the clinician accepts, assessed in the SAGE condition.
|
During study session (Day 1)
|
|
Time to complete case review
Časové okno: During study session (Day 1)
|
Time (in minutes) taken to review each case and reach a management decision, compared between the SAGE and standard eConsult conditions.
|
During study session (Day 1)
|
Spolupracovníci a vyšetřovatelé
Zde najdete lidi a organizace zapojené do této studie.
Sponzor
Vyšetřovatelé
- Vrchní vyšetřovatel: Jonathan Chen, MD, PhD, Stanford University
Termíny studijních záznamů
Tato data sledují průběh záznamů studie a předkládání souhrnných výsledků na ClinicalTrials.gov. Záznamy ze studií a hlášené výsledky jsou před zveřejněním na veřejné webové stránce přezkoumány Národní lékařskou knihovnou (NLM), aby se ujistily, že splňují specifické standardy kontroly kvality.
Hlavní termíny studia
Začátek studia (Odhadovaný)
1. července 2026
Primární dokončení (Odhadovaný)
1. září 2026
Dokončení studie (Odhadovaný)
1. září 2026
Termíny zápisu do studia
První předloženo
10. července 2026
První předloženo, které splnilo kritéria kontroly kvality
10. července 2026
První zveřejněno (Aktuální)
16. července 2026
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
16. července 2026
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
10. července 2026
Naposledy ověřeno
1. července 2026
Více informací
Termíny související s touto studií
Klíčová slova
Další identifikační čísla studie
- 85430
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
NE
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Ne
Studuje produkt zařízení regulovaný americkým úřadem FDA
Ne
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .