Effects of Agent-assisted, LLM-assisted and Traditional Workflows on Diagnosis and Management Planning at Admission
15 de agosto de 2026 atualizado por: Second Affiliated Hospital, Zhejiang University, School of Medicine
Effects of Agent-assisted, LLM-assisted and Traditional Workflows on Diagnosis and Management Planning at Admission: A Randomized Controlled Study
The goal of this clinical trial is to evaluate whether AI-assisted workflows improve physicians' admission diagnosis and management planning performance on standardized simulated inpatient cases, among practicing internal medicine and surgery physicians across all seniority levels and across three tiers of the Chinese healthcare system.
The main questions it aims to answer are:
- Does the Agent-assisted workflow yield better structured admission diagnosis and management planning scores than standalone LLM assistance?
- Does the Agent-assisted workflow outperform the traditional workflow without AI tools? Researchers will compare three parallel groups (traditional workflow group, LLM-assisted group, Agent-assisted group) to determine whether the Agent tool can improve diagnostic accuracy and efficiency.
Participants will:
- Be recruited from 15 hospitals in China and participate remotely under video proctoring
- Be randomly assigned to one of the three fixed workflows, with randomization stratified by hospital tier, specialty and seniority
- Complete 6 anonymized simulated HIS admission cases within one hour
- Submit structured answers for each case covering principal diagnosis, secondary diagnoses, differential diagnoses, diagnostic justification, next diagnostic or therapeutic steps, consultation and referral decisions, and diagnostic confidence
- Have their operation logs and time consumption recorded automatically by the study platform
Visão geral do estudo
Status
Ainda não está recrutando
Intervenção / Tratamento
Tipo de estudo
Intervencional
Inscrição (Estimado)
180
Estágio
- Não aplicável
Contactos e Locais
Esta seção fornece os detalhes de contato para aqueles que conduzem o estudo e informações sobre onde este estudo está sendo realizado.
Contato de estudo
- Nome: Yixin Zhang
- Número de telefone: +86 19157950225
- E-mail: 12518552@zju.edu.cn
Locais de estudo
-
-
Zhejiang
-
Hangzhou, Zhejiang, China, 310009
- 2nd Affiliated Hospital, School of Medicine, Zhejiang University
-
Contato:
- Human Subject Research Ethics Committee
- Número de telefone: +86 0571 87783759
- E-mail: keyanlunli_zheer@163.com
-
-
Critérios de participação
Os pesquisadores procuram pessoas que se encaixem em uma determinada descrição, chamada de critérios de elegibilidade. Alguns exemplos desses critérios são a condição geral de saúde de uma pessoa ou tratamentos anteriores.
Critérios de elegibilidade
Idades elegíveis para estudo
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Sim
Descrição
Inclusion Criteria
- Hold a Medical Practitioner Qualification Certificate and/or Medical License, or be a recognized standardized resident physician; able to independently read electronic medical records, laboratory and imaging reports on an HIS.
- Currently engaged in clinical work in internal medicine or surgery at one of the 15 participating hospitals.
- Able to complete the case assessment in one continuous hour without breaks.
- Able to participate remotely under video proctoring, with a stable internet connection and a working camera.
- Voluntarily agree to participate and sign the informed consent form, including the declaration not to use unauthorized AI tools during the assessment.
- Have not participated in case drafting, review, rubric development, or any activity that may leak the reference standard.
Exclusion Criteria
- Have previously accessed the official test cases or reference standard of this study.
- Unable to complete the training module, qualification test, or all experimental tasks.
- Have conflicts of interest, e.g. participation in developing core algorithms of the tested system.
- Unwilling to comply with remote proctoring, including keeping the camera on throughout.
- Judged unsuitable by the investigators.
Plano de estudo
Esta seção fornece detalhes do plano de estudo, incluindo como o estudo é projetado e o que o estudo está medindo.
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Pesquisa de serviços de saúde
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Solteiro
Armas e Intervenções
Grupo de Participantes / Braço |
Intervenção / Tratamento |
|---|---|
|
Comparador Ativo: Grupo tradicional
|
Conventional resources only: the pre-admission clinical record, standard search engines.
No AI assistance.
|
|
Experimental: Agent-assisted group
|
Conventional resources (pre-admission clinical record, search engines) plus an in-system Agent entry that automatically reads the full record and report images, produces a structured summary with source-text tracing, and supports multi-turn Q&A and one-click editable drafts.
|
|
Experimental: LLM-assisted group
|
Conventional resources plus an in-system multi-turn AI dialogue entry.
The AI does not automatically read the record; participants paste text or send partial screenshots.
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Mean Normalized Structured Score
Prazo: Within one-hour study
|
Mean of the rescaled case scores (each case rescaled to 100), divided by the number of cases completed; range 0 to 100.
|
Within one-hour study
|
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Degree of Adherence to AI-Generated Recommendations
Prazo: Within one-hour study
|
Degree to which the submitted answer incorporates AI output.
Assessed in the Agent and LLM arms only.
|
Within one-hour study
|
|
Active Response Time per Case
Prazo: Within one-hour study
|
Active response time in seconds for each case, recorded automatically by the platform.Time is counted per case while that case's response page is active.
|
Within one-hour study
|
Colaboradores e Investigadores
É aqui que você encontrará pessoas e organizações envolvidas com este estudo.
Colaboradores
Investigadores
- Cadeira de estudo: Yuan Ding, Second Affiliated Hospital, Zhejiang University, School of Medicine
Datas de registro do estudo
Essas datas acompanham o progresso do registro do estudo e os envios de resumo dos resultados para ClinicalTrials.gov. Os registros do estudo e os resultados relatados são revisados pela National Library of Medicine (NLM) para garantir que atendam aos padrões específicos de controle de qualidade antes de serem publicados no site público.
Datas Principais do Estudo
Início do estudo (Estimado)
1 de agosto de 2026
Conclusão Primária (Estimado)
1 de dezembro de 2026
Conclusão do estudo (Estimado)
1 de dezembro de 2026
Datas de inscrição no estudo
Enviado pela primeira vez
29 de julho de 2026
Enviado pela primeira vez que atendeu aos critérios de CQ
9 de agosto de 2026
Primeira postagem (Real)
12 de agosto de 2026
Atualizações de registro de estudo
Última Atualização Postada (Real)
18 de agosto de 2026
Última atualização enviada que atendeu aos critérios de controle de qualidade
15 de agosto de 2026
Última verificação
1 de agosto de 2026
Mais Informações
Termos relacionados a este estudo
Palavras-chave
Outros números de identificação do estudo
- 2026-0977
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
NÃO
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Não
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Não
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .