Testing an AI Tool to Help Primary Care Clinicians With Specialty Consultation Questions (SAGE)
perjantai 10. heinäkuuta 2026 päivittänyt: Jonathan Chen, Stanford University
Physician Usability and Output Quality Evaluation of a Retrieval-Augmented Language Model System for Specialty Medical Consultation: A Human-Computer Interaction Study
The goal of this study is to test an artificial intelligence (AI) tool called SAGE. SAGE helps primary care doctors with questions that often need a specialist. Primary care doctors are the doctors people usually see first. SAGE reviews a case and suggests what a specialist might advise.
The main questions it aims to answer are:
- Do doctors make sound, timely care decisions when they use SAGE?
- Do those decisions match what a specialist would advise?
Researchers will compare the decisions doctors make with and without SAGE.
Doctors in the study will:
- Review made-up patient cases (these are not real patients)
- Make a decision for each case, their usual way and with SAGE
Tutkimuksen yleiskatsaus
Tila
Ei vielä rekrytointia
Interventio / Hoito
Opintotyyppi
Interventio
Ilmoittautuminen (Arvioitu)
15
Vaihe
- Ei sovellettavissa
Yhteystiedot ja paikat
Tässä osiossa on tutkimuksen suorittajien yhteystiedot ja tiedot siitä, missä tämä tutkimus suoritetaan.
Opiskelupaikat
-
-
California
-
Stanford, California, Yhdysvallat, 94305
- Stanford University
-
Ottaa yhteyttä:
- Jonathan Chen, MD, PhD
- Puhelinnumero: 650-725-3655
- Sähköposti: jonc101@stanford.edu
-
-
Osallistumiskriteerit
Tutkijat etsivät ihmisiä, jotka sopivat tiettyyn kuvaukseen, jota kutsutaan kelpoisuuskriteereiksi. Joitakin esimerkkejä näistä kriteereistä ovat henkilön yleinen terveydentila tai aiemmat hoidot.
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Joo
Kuvaus
Inclusion Criteria:
- Physician practicing in primary care internal medicine and/or family medicine
- Attending physician, or resident physician at postgraduate year 2 (PGY-2) or higher
- Stanford-affiliated (faculty, staff, or trainee)
- Able to complete a single, approximately 60-minute remote (Zoom) session conducted in English
Exclusion Criteria:
- Not currently practicing in primary care internal medicine or family medicine
- Member of the study team or otherwise involved in the development of SAGE
- Unable to complete the remote study session
Opintosuunnitelma
Tässä osiossa on tietoja tutkimussuunnitelmasta, mukaan lukien kuinka tutkimus on suunniteltu ja mitä tutkimuksella mitataan.
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
- Ensisijainen käyttötarkoitus: Terveyspalvelututkimus
- Jako: Ei käytössä
- Inventiomalli: Yksittäinen ryhmätehtävä
- Naamiointi: Ei mitään (avoin tarra)
Aseet ja interventiot
Osallistujaryhmä / Arm |
Interventio / Hoito |
|---|---|
|
Kokeellinen: Primary care physicians
Primary care physicians make management decisions on synthetic patient cases.
Each physician reviews four cases in random order: two with SAGE (AI clinical decision support) and two using a standard eConsult approach.
|
SAGE is an artificial intelligence (AI) based clinical decision support tool.
It generates specialty-informed recommendations for a primary care consultation question.
Physicians review the SAGE output while making a management decision for the synthetic case.
A standard electronic consultation (eConsult) format, without SAGE.
Physicians review this information while making a management decision for the synthetic case.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Clinical actionability of the clinician's decision
Aikaikkuna: Post-session independent review, through study completion (up to approximately 2 months)
|
For each case, independent reviewers judge whether the physician's decision is clinically actionable, meaning the physician can act on it now rather than wait for a specialist.
The outcome is the proportion of cases judged actionable, measured separately for decisions made with SAGE and for decisions made the standard way.
|
Post-session independent review, through study completion (up to approximately 2 months)
|
|
Concordance of the clinician's decision with the specialist reference answer
Aikaikkuna: Post-session independent review, through study completion (up to approximately 2 months)
|
Agreement between the physician's management decision and a specialist reference answer, rated by independent reviewers, with inter-rater agreement summarized.
Assessed for decisions made with SAGE and for decisions made the standard way.
|
Post-session independent review, through study completion (up to approximately 2 months)
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
System usability (System Usability Scale, SUS)
Aikaikkuna: End of study session (Day 1, approximately 60 minutes)
|
Perceived usability of SAGE measured with the 10-item System Usability Scale (SUS), scored from 0 to 100.
|
End of study session (Day 1, approximately 60 minutes)
|
|
Order acceptance in the SAGE condition
Aikaikkuna: During study session (Day 1)
|
Proportion of SAGE-suggested orders that the clinician accepts, assessed in the SAGE condition.
|
During study session (Day 1)
|
|
Time to complete case review
Aikaikkuna: During study session (Day 1)
|
Time (in minutes) taken to review each case and reach a management decision, compared between the SAGE and standard eConsult conditions.
|
During study session (Day 1)
|
Yhteistyökumppanit ja tutkijat
Täältä löydät tähän tutkimukseen osallistuvat ihmiset ja organisaatiot.
Sponsori
Tutkijat
- Päätutkija: Jonathan Chen, MD, PhD, Stanford University
Opintojen ennätyspäivät
Nämä päivämäärät seuraavat ClinicalTrials.gov-sivustolle lähetettyjen tutkimustietueiden ja yhteenvetojen edistymistä. National Library of Medicine (NLM) tarkistaa tutkimustiedot ja raportoidut tulokset varmistaakseen, että ne täyttävät tietyt laadunvalvontastandardit, ennen kuin ne julkaistaan julkisella verkkosivustolla.
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Arvioitu)
Keskiviikko 1. heinäkuuta 2026
Ensisijainen valmistuminen (Arvioitu)
Tiistai 1. syyskuuta 2026
Opintojen valmistuminen (Arvioitu)
Tiistai 1. syyskuuta 2026
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Perjantai 10. heinäkuuta 2026
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Perjantai 10. heinäkuuta 2026
Ensimmäinen Lähetetty (Todellinen)
Torstai 16. heinäkuuta 2026
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Torstai 16. heinäkuuta 2026
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Perjantai 10. heinäkuuta 2026
Viimeksi vahvistettu
Keskiviikko 1. heinäkuuta 2026
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Muut tutkimustunnusnumerot
- 85430
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
EI
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Ei
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Ei
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .