Effects of Agent-assisted, LLM-assisted and Traditional Workflows on Diagnosis and Management Planning at Admission
15 de agosto de 2026 actualizado por: Second Affiliated Hospital, Zhejiang University, School of Medicine
Effects of Agent-assisted, LLM-assisted and Traditional Workflows on Diagnosis and Management Planning at Admission: A Randomized Controlled Study
The goal of this clinical trial is to evaluate whether AI-assisted workflows improve physicians' admission diagnosis and management planning performance on standardized simulated inpatient cases, among practicing internal medicine and surgery physicians across all seniority levels and across three tiers of the Chinese healthcare system.
The main questions it aims to answer are:
- Does the Agent-assisted workflow yield better structured admission diagnosis and management planning scores than standalone LLM assistance?
- Does the Agent-assisted workflow outperform the traditional workflow without AI tools? Researchers will compare three parallel groups (traditional workflow group, LLM-assisted group, Agent-assisted group) to determine whether the Agent tool can improve diagnostic accuracy and efficiency.
Participants will:
- Be recruited from 15 hospitals in China and participate remotely under video proctoring
- Be randomly assigned to one of the three fixed workflows, with randomization stratified by hospital tier, specialty and seniority
- Complete 6 anonymized simulated HIS admission cases within one hour
- Submit structured answers for each case covering principal diagnosis, secondary diagnoses, differential diagnoses, diagnostic justification, next diagnostic or therapeutic steps, consultation and referral decisions, and diagnostic confidence
- Have their operation logs and time consumption recorded automatically by the study platform
Descripción general del estudio
Estado
Aún no reclutando
Condiciones
Intervención / Tratamiento
Tipo de estudio
Intervencionista
Inscripción (Estimado)
180
Fase
- No aplica
Contactos y Ubicaciones
Esta sección proporciona los datos de contacto de quienes realizan el estudio e información sobre dónde se lleva a cabo este estudio.
Estudio Contacto
- Nombre: Yixin Zhang
- Número de teléfono: +86 19157950225
- Correo electrónico: 12518552@zju.edu.cn
Ubicaciones de estudio
-
-
Zhejiang
-
Hangzhou, Zhejiang, Porcelana, 310009
- 2nd Affiliated Hospital, School of Medicine, Zhejiang University
-
Contacto:
- Human Subject Research Ethics Committee
- Número de teléfono: +86 0571 87783759
- Correo electrónico: keyanlunli_zheer@163.com
-
-
Criterios de participación
Los investigadores buscan personas que se ajusten a una determinada descripción, denominada criterio de elegibilidad. Algunos ejemplos de estos criterios son el estado de salud general de una persona o tratamientos previos.
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Sí
Descripción
Inclusion Criteria
- Hold a Medical Practitioner Qualification Certificate and/or Medical License, or be a recognized standardized resident physician; able to independently read electronic medical records, laboratory and imaging reports on an HIS.
- Currently engaged in clinical work in internal medicine or surgery at one of the 15 participating hospitals.
- Able to complete the case assessment in one continuous hour without breaks.
- Able to participate remotely under video proctoring, with a stable internet connection and a working camera.
- Voluntarily agree to participate and sign the informed consent form, including the declaration not to use unauthorized AI tools during the assessment.
- Have not participated in case drafting, review, rubric development, or any activity that may leak the reference standard.
Exclusion Criteria
- Have previously accessed the official test cases or reference standard of this study.
- Unable to complete the training module, qualification test, or all experimental tasks.
- Have conflicts of interest, e.g. participation in developing core algorithms of the tested system.
- Unwilling to comply with remote proctoring, including keeping the camera on throughout.
- Judged unsuitable by the investigators.
Plan de estudios
Esta sección proporciona detalles del plan de estudio, incluido cómo está diseñado el estudio y qué mide el estudio.
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Investigación de servicios de salud
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Único
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Comparador activo: Grupo tradicional
|
Conventional resources only: the pre-admission clinical record, standard search engines.
No AI assistance.
|
|
Experimental: Agent-assisted group
|
Conventional resources (pre-admission clinical record, search engines) plus an in-system Agent entry that automatically reads the full record and report images, produces a structured summary with source-text tracing, and supports multi-turn Q&A and one-click editable drafts.
|
|
Experimental: LLM-assisted group
|
Conventional resources plus an in-system multi-turn AI dialogue entry.
The AI does not automatically read the record; participants paste text or send partial screenshots.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Mean Normalized Structured Score
Periodo de tiempo: Within one-hour study
|
Mean of the rescaled case scores (each case rescaled to 100), divided by the number of cases completed; range 0 to 100.
|
Within one-hour study
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Degree of Adherence to AI-Generated Recommendations
Periodo de tiempo: Within one-hour study
|
Degree to which the submitted answer incorporates AI output.
Assessed in the Agent and LLM arms only.
|
Within one-hour study
|
|
Active Response Time per Case
Periodo de tiempo: Within one-hour study
|
Active response time in seconds for each case, recorded automatically by the platform.Time is counted per case while that case's response page is active.
|
Within one-hour study
|
Colaboradores e Investigadores
Aquí es donde encontrará personas y organizaciones involucradas en este estudio.
Colaboradores
Investigadores
- Silla de estudio: Yuan Ding, Second Affiliated Hospital, Zhejiang University, School of Medicine
Fechas de registro del estudio
Estas fechas rastrean el progreso del registro del estudio y los envíos de resultados resumidos a ClinicalTrials.gov. Los registros del estudio y los resultados informados son revisados por la Biblioteca Nacional de Medicina (NLM) para asegurarse de que cumplan con los estándares de control de calidad específicos antes de publicarlos en el sitio web público.
Fechas importantes del estudio
Inicio del estudio (Estimado)
1 de agosto de 2026
Finalización primaria (Estimado)
1 de diciembre de 2026
Finalización del estudio (Estimado)
1 de diciembre de 2026
Fechas de registro del estudio
Enviado por primera vez
29 de julio de 2026
Primero enviado que cumplió con los criterios de control de calidad
9 de agosto de 2026
Publicado por primera vez (Actual)
12 de agosto de 2026
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
18 de agosto de 2026
Última actualización enviada que cumplió con los criterios de control de calidad
15 de agosto de 2026
Última verificación
1 de agosto de 2026
Más información
Términos relacionados con este estudio
Palabras clave
Otros números de identificación del estudio
- 2026-0977
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
NO
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
No
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
No
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .