Testing an AI Tool to Help Primary Care Clinicians With Specialty Consultation Questions (SAGE)
10 de julio de 2026 actualizado por: Jonathan Chen, Stanford University
Physician Usability and Output Quality Evaluation of a Retrieval-Augmented Language Model System for Specialty Medical Consultation: A Human-Computer Interaction Study
The goal of this study is to test an artificial intelligence (AI) tool called SAGE. SAGE helps primary care doctors with questions that often need a specialist. Primary care doctors are the doctors people usually see first. SAGE reviews a case and suggests what a specialist might advise.
The main questions it aims to answer are:
- Do doctors make sound, timely care decisions when they use SAGE?
- Do those decisions match what a specialist would advise?
Researchers will compare the decisions doctors make with and without SAGE.
Doctors in the study will:
- Review made-up patient cases (these are not real patients)
- Make a decision for each case, their usual way and with SAGE
Descripción general del estudio
Estado
Aún no reclutando
Intervención / Tratamiento
Tipo de estudio
Intervencionista
Inscripción (Estimado)
15
Fase
- No aplica
Contactos y Ubicaciones
Esta sección proporciona los datos de contacto de quienes realizan el estudio e información sobre dónde se lleva a cabo este estudio.
Ubicaciones de estudio
-
-
California
-
Stanford, California, Estados Unidos, 94305
- Stanford University
-
Contacto:
- Jonathan Chen, MD, PhD
- Número de teléfono: 650-725-3655
- Correo electrónico: jonc101@stanford.edu
-
-
Criterios de participación
Los investigadores buscan personas que se ajusten a una determinada descripción, denominada criterio de elegibilidad. Algunos ejemplos de estos criterios son el estado de salud general de una persona o tratamientos previos.
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Sí
Descripción
Inclusion Criteria:
- Physician practicing in primary care internal medicine and/or family medicine
- Attending physician, or resident physician at postgraduate year 2 (PGY-2) or higher
- Stanford-affiliated (faculty, staff, or trainee)
- Able to complete a single, approximately 60-minute remote (Zoom) session conducted in English
Exclusion Criteria:
- Not currently practicing in primary care internal medicine or family medicine
- Member of the study team or otherwise involved in the development of SAGE
- Unable to complete the remote study session
Plan de estudios
Esta sección proporciona detalles del plan de estudio, incluido cómo está diseñado el estudio y qué mide el estudio.
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Investigación de servicios de salud
- Asignación: N / A
- Modelo Intervencionista: Asignación de un solo grupo
- Enmascaramiento: Ninguno (etiqueta abierta)
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Experimental: Primary care physicians
Primary care physicians make management decisions on synthetic patient cases.
Each physician reviews four cases in random order: two with SAGE (AI clinical decision support) and two using a standard eConsult approach.
|
SAGE is an artificial intelligence (AI) based clinical decision support tool.
It generates specialty-informed recommendations for a primary care consultation question.
Physicians review the SAGE output while making a management decision for the synthetic case.
A standard electronic consultation (eConsult) format, without SAGE.
Physicians review this information while making a management decision for the synthetic case.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Clinical actionability of the clinician's decision
Periodo de tiempo: Post-session independent review, through study completion (up to approximately 2 months)
|
For each case, independent reviewers judge whether the physician's decision is clinically actionable, meaning the physician can act on it now rather than wait for a specialist.
The outcome is the proportion of cases judged actionable, measured separately for decisions made with SAGE and for decisions made the standard way.
|
Post-session independent review, through study completion (up to approximately 2 months)
|
|
Concordance of the clinician's decision with the specialist reference answer
Periodo de tiempo: Post-session independent review, through study completion (up to approximately 2 months)
|
Agreement between the physician's management decision and a specialist reference answer, rated by independent reviewers, with inter-rater agreement summarized.
Assessed for decisions made with SAGE and for decisions made the standard way.
|
Post-session independent review, through study completion (up to approximately 2 months)
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
System usability (System Usability Scale, SUS)
Periodo de tiempo: End of study session (Day 1, approximately 60 minutes)
|
Perceived usability of SAGE measured with the 10-item System Usability Scale (SUS), scored from 0 to 100.
|
End of study session (Day 1, approximately 60 minutes)
|
|
Order acceptance in the SAGE condition
Periodo de tiempo: During study session (Day 1)
|
Proportion of SAGE-suggested orders that the clinician accepts, assessed in the SAGE condition.
|
During study session (Day 1)
|
|
Time to complete case review
Periodo de tiempo: During study session (Day 1)
|
Time (in minutes) taken to review each case and reach a management decision, compared between the SAGE and standard eConsult conditions.
|
During study session (Day 1)
|
Colaboradores e Investigadores
Aquí es donde encontrará personas y organizaciones involucradas en este estudio.
Patrocinador
Investigadores
- Investigador principal: Jonathan Chen, MD, PhD, Stanford University
Fechas de registro del estudio
Estas fechas rastrean el progreso del registro del estudio y los envíos de resultados resumidos a ClinicalTrials.gov. Los registros del estudio y los resultados informados son revisados por la Biblioteca Nacional de Medicina (NLM) para asegurarse de que cumplan con los estándares de control de calidad específicos antes de publicarlos en el sitio web público.
Fechas importantes del estudio
Inicio del estudio (Estimado)
1 de julio de 2026
Finalización primaria (Estimado)
1 de septiembre de 2026
Finalización del estudio (Estimado)
1 de septiembre de 2026
Fechas de registro del estudio
Enviado por primera vez
10 de julio de 2026
Primero enviado que cumplió con los criterios de control de calidad
10 de julio de 2026
Publicado por primera vez (Actual)
16 de julio de 2026
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
16 de julio de 2026
Última actualización enviada que cumplió con los criterios de control de calidad
10 de julio de 2026
Última verificación
1 de julio de 2026
Más información
Términos relacionados con este estudio
Palabras clave
Otros números de identificación del estudio
- 85430
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
NO
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
No
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
No
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .