A Precisão e Eficácia dos Resumos de Internamento Hospitalar Redigidos por Modelos de Linguagem de Grande Dimensão (CLEAN)
Impacto na Segurança e no Fluxo de Trabalho dos Resumos do Curso Hospitalar Assistidos por Modelos de Linguagem de Grande Escala: Protocolo para um Ensaio Randomizado, Não Inferioridade com Avaliador Cego
Visão geral do estudo
Status
Status
Condições
Condições
Intervenção / Tratamento
Intervenção / Tratamento
Descrição detalhada
As projeções indicam que este défice continuará a agravar-se nos próximos anos [1].
Além disso, estas escassezes ocorrem juntamente com o aumento da procura de cuidados de saúde, impulsionado pelo envelhecimento da população e pela crescente prevalência de multimorbilidade.
Apesar disso, a carga administrativa continua a ser um desafio persistente e sistémico em todos os sistemas de saúde em todo o mundo.
As iniciativas destinadas a reduzir a carga de trabalho não clínica dos médicos tiveram apenas um sucesso limitado, levando à contínua desviação da experiência clínica para longe dos cuidados diretos ao paciente [2].
Entre as responsabilidades administrativas, a preparação das cartas de alta é uma das tarefas mais demoradas para os médicos que cuidam de pacientes hospitalizados, mas também é central para garantir a continuidade dos cuidados após a alta.
Apesar da grande alocação de tempo, os resumos de alta frequentemente não cumprem os padrões esperados, com muitos médicos a reportarem deficiências tanto na sua completude como na sua qualidade [3], [4].
A adoção de registos médicos eletrónicos tem motivado esforços para aliviar este fardo, transitando de uma autoria totalmente manual para uma automação parcial, permitindo que secções selecionadas das cartas de alta sejam geradas automaticamente.
No entanto, o curso hospitalar – o componente clinicamente mais informativo da carta de alta – continua quase universalmente dependente da documentação narrativa manual pelo médico tratante.
B. Objetivos O objetivo principal deste estudo é avaliar se a geração de resumos do curso hospitalar assistida por LLM e editada por especialistas é segura para uso em cuidados hospitalares de rotina, em comparação com a documentação padrão escrita por clínicos.
Os objetivos secundários incluem avaliar a segurança de resumos do curso hospitalar gerados por LLM e editados por residentes e não editados.
Objetivos adicionais são avaliar a qualidade dos resumos assistidos por LLM em domínios predefinidos, avaliar a estabilidade dos resultados gerados, quantificar o impacto dos fluxos de trabalho assistidos por IA no tempo de documentação dos médicos, examinar a adoção pelos clínicos da documentação suportada por LLM após a conclusão da fase randomizada e avaliar a fiabilidade das classificações dos avaliadores.
Coletivamente, estes objetivos visam determinar a segurança e a viabilidade de integrar a geração narrativa baseada em LLM nos fluxos de trabalho reais de alta hospitalar.
Tipo de estudo
Tipo de estudo
Inscrição (Estimado)
Inscrição
Estágio
Estágio
- Não aplicável
Contactos e Locais
Contato de estudo
Contato de estudo
- Nome: Jakub Gazda, MD, PhD
- Número de telefone: +421556403517
- E-mail: jakub.gazda@upjs.sk
Estude backup de contato
- Nome: Martin Janicko, MD, PhD
- Número de telefone: +421556403527
- E-mail: martin.janicko@upjs.sk
Locais de estudo
-
-
Košice Region
-
Košice, Košice Region, Eslováquia, 04001
- Louis Pasteur University Hospital Kosice
-
-
Critérios de participação
Critérios de elegibilidade
Critérios de elegibilidade
Idades elegíveis para estudo
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Descrição
Critérios de Inclusão:
- Todos os doentes consecutivamente dados de alta, incluindo aqueles que faleceram durante a hospitalização, serão elegíveis para inclusão.
Critérios de Exclusão:
- Não há critérios de exclusão
Plano de estudo
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Pesquisa de serviços de saúde
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Solteiro
Número de braços
Armas e Intervenções
Grupo de Participantes / BraçoGrupo de Participantes / Braço |
Intervenção / TratamentoIntervenção / Tratamento |
|---|---|
|
Experimental: Assistido por LLM
A intervenção consiste num fluxo de trabalho assistido por LLM para gerar o resumo do internamento hospitalar à data da alta.
O médico assistente inicia a alta utilizando uma aplicação - CorteVision Hospital Suite - ligada à base de dados Informix do hospital.
O resultado do modelo - o rascunho gerado - é devolvido à interface da aplicação, onde o médico assistente revê e pode editar, corrigir, expandir ou encurtar o texto antes da finalização.
O resumo final do internamento hospitalar é introduzido no registo médico apenas após a revisão e confirmação do médico.
|
A intervenção consiste num fluxo de trabalho assistido por LLM para gerar o resumo do curso hospitalar na alta.
O médico assistente inicia a alta usando uma aplicação - CorteVision Hospital Suite - ligada à base de dados Informix do hospital.
O resultado do modelo - o rascunho gerado - é devolvido à interface da aplicação, onde o médico assistente revê e pode editar, corrigir, expandir ou encurtar o texto antes da finalização.
O resumo final do curso hospitalar só é introduzido no registo médico após a revisão e confirmação do médico.
|
|
Sem intervenção: Controlo
Geração padrão e manual do resumo do curso hospitalar realizada manualmente pelo médico responsável.
|
O que o estudo está medindo?
Medidas de resultados primários
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Segurança avaliada pelo avaliador de resultados numa escala ordinal (1,2,3)
Prazo: Avaliação num momento específico - alta hospitalar (até 5 dias)
|
A segurança será avaliada usando uma escala ordinal que varia de "aceitável sem alterações adicionais", passando por "aceitável com revisões menores", até "inaceitável na sua forma atual" (uma combinação de ausência de informações importantes ou presença de informações incorretas/alucinadas)
|
Avaliação num momento específico - alta hospitalar (até 5 dias)
|
Medidas de resultados secundários
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Segurança dos resumos dos cursos gerados por LLM editados e não editados avaliada numa escala ordinal (1,2,3)
Prazo: À alta hospitalar (até 5 dias)
|
Segurança dos resumos de evolução clínica gerados por LLM, editados por residentes e não editados, em comparação com a documentação padrão escrita por especialistas.
A segurança será avaliada através de uma escala ordinal de 3 categorias, que varia desde "aceitável sem alterações adicionais" (melhor resultado), passando por "aceitável com revisões menores" (resultado incerto), até "não aceitável na sua forma atual" (ausência de informações importantes ou presença de informações incorretas/alucinadas; pior resultado).
|
À alta hospitalar (até 5 dias)
|
|
Resultado secundário: Validade de conteúdo nos seguintes domínios pré-definidos (5C).
Prazo: À alta hospitalar (até 5 dias)
|
Medidas de resultados secundários: avaliação detalhada da qualidade nos seguintes domínios predefinidos (5C): completude, concisão, coesão, ausência de erros críticos (incluindo alucinações) e fidelidade cultural e linguística.
Cada domínio será avaliado separadamente através de uma escala de Likert de 5 pontos, (1 - ausência total de concordância, 2 - ausência parcial de concordância, 3 - concordância neutra, 4- concordância parcial, 5- concordância total)
|
À alta hospitalar (até 5 dias)
|
|
Tempo para completar o resumo hospitalar (segundos)
Prazo: Na alta hospitalar (até 5 dias)
|
Os resultados secundários relacionados com o fluxo de trabalho incluem a eficiência temporal da documentação do curso hospitalar ao utilizar o fluxo de trabalho gerado por LLM, em comparação com a prática padrão.
A medida do resultado será o tempo necessário para concluir o resumo do curso hospitalar (segundos), desde o início da alta até "pronto para assinar".
|
Na alta hospitalar (até 5 dias)
|
|
Estabilidade da geração avaliada numa escala ordinal (1,2,3)
Prazo: Da alta hospitalar até 30 dias após a alta hospitalar
|
A estabilidade da geração avaliará a consistência dos resumos não editados do curso hospitalar gerados pelo LLM quando o modelo é aplicado repetidamente à mesma documentação clínica de origem.
A estabilidade da geração será avaliada pelo mesmo adjudicador numa escala de 1 - estável, 2 - variação aceitável, 3 - variação inaceitável
|
Da alta hospitalar até 30 dias após a alta hospitalar
|
|
Adoção. Percentagem de altas hospitalares em que o resumo do curso gerado pelo LLM foi utilizado.
Prazo: Da alta hospitalar até 30 dias após a alta hospitalar
|
Após a conclusão do ensaio controlado aleatorizado, a adoção do fluxo de trabalho gerado por LLM será avaliada durante um período de um mês.
A medida de resultado será definida como a proporção de altas elegíveis para as quais a geração de resumo derivada de LLM foi utilizada.
|
Da alta hospitalar até 30 dias após a alta hospitalar
|
|
Fiabilidade interavaliadores. Percentagem de concordância entre dois adjudicadores de um resumo do curso hospitalar sobre classificações de segurança e validade de conteúdo.
Prazo: Da alta hospitalar até 30 dias após a alta hospitalar
|
Os resultados relacionados com a fiabilidade avaliarão a consistência das avaliações de peritos sobre os resumos dos processos hospitalares.
A percentagem quantificará o acordo entre os avaliadores sobre as classificações de segurança e validade de conteúdo.
|
Da alta hospitalar até 30 dias após a alta hospitalar
|
|
Fiabilidade intra-avaliador. Concordância das avaliações de segurança e validade de conteúdo entre duas avaliações do mesmo curso hospitalar e do mesmo adjudicador.
Prazo: Na alta hospitalar (até 5 dias)
|
A fiabilidade intra-avaliador irá quantificar a consistência das avaliações repetidas pelo mesmo avaliador com base na concordância das classificações de segurança e validade de conteúdo (percentagem de concordância)
|
Na alta hospitalar (até 5 dias)
|
|
Estabilidade temporal (fiabilidade teste-reteste) - concordância entre as classificações do mesmo adjudicador após período de washout.
Prazo: 30 dias após a alta hospitalar
|
A estabilidade temporal dos julgamentos dos avaliadores será avaliada através da avaliação repetida de resumos idênticos do curso hospitalar pelo mesmo avaliador após um período de washout pré-definido de 30 dias (fiabilidade teste-reteste).
As medidas de resultado serão baseadas na concordância das classificações de segurança e validade de conteúdo (percentagem)
|
30 dias após a alta hospitalar
|
Colaboradores e Investigadores
Patrocinador
Patrocinador
Colaboradores
Colaboradores
Investigadores
Investigadores
- Investigador principal: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
Publicações e links úteis
Publicações Gerais
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Datas de registro do estudo
Datas Principais do Estudo
Início do estudo (Estimado)
Início do estudo
Conclusão Primária (Estimado)
Conclusão Primária
Conclusão do estudo (Estimado)
Conclusão do estudo
Datas de inscrição no estudo
Enviado pela primeira vez
Enviado pela primeira vez
Enviado pela primeira vez que atendeu aos critérios de CQ
Enviado pela primeira vez que atendeu aos critérios de CQ
Primeira postagem (Real)
Primeira postagem
Atualizações de registro de estudo
Última Atualização Postada (Real)
Última Atualização Postada
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última verificação
Última verificação
Mais Informações
Termos relacionados a este estudo
Palavras-chave
Outros números de identificação do estudo
Outros números de identificação do estudo
- 2IK2026_1
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .