La Precisión y Eficacia de los Resúmenes del Curso Hospitalario Escritos por Modelos de Lenguaje Grande (CLEAN)
Impacto en la Seguridad y el Flujo de Trabajo de los Resúmenes del Curso Hospitalario Asistidos por Modelos de Lenguaje Grande: Protocolo para un Ensayo Aleatorizado de No Inferioridad con Evaluador Ciego
Descripción general del estudio
Estado
Estado
Condiciones
Condiciones
Intervención / Tratamiento
Intervención / Tratamiento
Descripción detallada
Tipo de estudio
Tipo de estudio
Inscripción (Estimado)
Inscripción
Fase
Fase
- No aplica
Contactos y Ubicaciones
Estudio Contacto
Estudio Contacto
- Nombre: Jakub Gazda, MD, PhD
- Número de teléfono: +421556403517
- Correo electrónico: jakub.gazda@upjs.sk
Copia de seguridad de contactos de estudio
- Nombre: Martin Janicko, MD, PhD
- Número de teléfono: +421556403527
- Correo electrónico: martin.janicko@upjs.sk
Ubicaciones de estudio
-
-
Košice Region
-
Košice, Košice Region, Eslovaquia, 04001
- Louis Pasteur University Hospital Kosice
-
-
Criterios de participación
Criterio de elegibilidad
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Descripción
Criterios de inclusión:
- Todos los pacientes dados de alta consecutivamente, incluidos aquellos que fallecieron durante la hospitalización, serán elegibles para su inclusión.
Criterios de exclusión:
- No hay criterios de exclusión
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Investigación de servicios de salud
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Único
Número de brazos
Armas e Intervenciones
Grupo de participantes/brazoGrupo de participantes/brazo |
Intervención / TratamientoIntervención / Tratamiento |
|---|---|
|
Experimental: Asistido por LLM
La intervención consiste en un flujo de trabajo asistido por un LLM para generar el resumen del curso hospitalario al alta.
El médico tratante inicia el alta mediante una aplicación - CorteVision Hospital Suite - conectada a la base de datos Informix del hospital.
El resultado del modelo - el borrador generado - se devuelve a la interfaz de la aplicación, donde el médico tratante revisa y puede editar, corregir, ampliar o acortar el texto antes de finalizarlo.
El resumen finalizado del curso hospitalario se introduce en el historial médico solo después de la revisión y confirmación del médico.
|
La intervención consiste en un flujo de trabajo asistido por LLM para generar el resumen del curso hospitalario al alta.
El médico tratante inicia el alta utilizando una aplicación - CorteVision Hospital Suite - conectada a la base de datos Informix del hospital.
El resultado del modelo - borrador generado - se devuelve a la interfaz de la aplicación, donde el médico tratante revisa y puede editar, corregir, ampliar o acortar el texto antes de la finalización.
El resumen final del curso hospitalario se ingresa en la historia clínica solo después de la revisión y confirmación del médico.
|
|
Sin intervención: Control
Generación estándar y manual del resumen del curso hospitalario por el médico responsable.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Seguridad evaluada por el evaluador de resultados en una escala ordinal (1,2,3)
Periodo de tiempo: Evaluación en un momento puntual - alta hospitalaria (hasta 5 días)
|
La seguridad se evaluará utilizando una escala ordinal que va desde "aceptable sin cambios adicionales", pasando por "aceptable con revisiones menores", hasta "no aceptable en su forma actual" (una combinación de ausencia de información importante o presencia de información incorrecta/alucinada)
|
Evaluación en un momento puntual - alta hospitalaria (hasta 5 días)
|
Medidas de resultado secundarias
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Seguridad de los resúmenes de cursos generados por LLM editados y no editados evaluada en una escala ordinal (1,2,3)
Periodo de tiempo: Al alta hospitalaria (hasta 5 días)
|
Seguridad de los resúmenes de evolución hospitalaria generados por LLM, editados por residentes y sin editar en comparación con la documentación estándar escrita por especialistas.
La seguridad se evaluará utilizando una escala ordinal de 3 categorías que va desde "aceptable sin más cambios" (mejor resultado), pasando por "aceptable con revisiones menores" (resultado incierto), hasta "no aceptable en su forma actual" (ausencia de información importante o presencia de información incorrecta/alucinada; peor resultado)
|
Al alta hospitalaria (hasta 5 días)
|
|
Resultado secundario: Validez de contenido en los siguientes dominios predefinidos (5C).
Periodo de tiempo: Al alta hospitalaria (hasta 5 días)
|
Medidas de resultados secundarios: evaluación detallada de la calidad en los siguientes dominios predefinidos (5C): completitud, concisión, cohesión, ausencia de errores críticos (incluyendo alucinaciones) y fidelidad cultural y lingüística.
Los dominios individuales se evaluarán por separado utilizando una escala Likert de 5 puntos (1 - ausencia total de acuerdo, 2 - ausencia parcial de acuerdo, 3 - acuerdo neutral, 4 - acuerdo parcial, 5 - acuerdo total).
|
Al alta hospitalaria (hasta 5 días)
|
|
Tiempo para completar el resumen hospitalario (segundos)
Periodo de tiempo: Al alta hospitalaria (hasta 5 días)
|
Los resultados secundarios relacionados con el flujo de trabajo incluyen la eficiencia temporal de la documentación del curso hospitalario al utilizar el flujo de trabajo generado por LLM en comparación con la práctica estándar.
La medida de resultado será el tiempo necesario para completar el resumen del curso hospitalario (segundos), desde el inicio del alta hasta "listo para firmar".
|
Al alta hospitalaria (hasta 5 días)
|
|
Estabilidad de generación evaluada en una escala ordinal (1,2,3)
Periodo de tiempo: Desde el alta hospitalaria hasta 30 días después del alta hospitalaria
|
La estabilidad de la generación evaluará la consistencia de los resúmenes del curso hospitalario generados por el LLM sin editar cuando el modelo se aplique repetidamente a la misma documentación clínica fuente.
La estabilidad de la generación será evaluada por el mismo adjudicador en la escala de 1 - estable, 2 - variación aceptable, 3 - variación inaceptable
|
Desde el alta hospitalaria hasta 30 días después del alta hospitalaria
|
|
Adopción. Porcentaje de altas hospitalarias en las que se utilizó el resumen del curso generado por el LLM.
Periodo de tiempo: Desde el alta hospitalaria hasta 30 días después del alta hospitalaria
|
Tras completar el ensayo controlado aleatorizado, la adopción del flujo de trabajo generado por el LLM se evaluará durante un período de un mes.
La medida de resultado se definirá como la proporción de altas elegibles para las que se utilizó la generación de resúmenes derivados del LLM.
|
Desde el alta hospitalaria hasta 30 días después del alta hospitalaria
|
|
Fiabilidad interevaluadores. Porcentaje de acuerdo entre dos evaluadores de un resumen del curso hospitalario en las valoraciones de seguridad y validez de contenido.
Periodo de tiempo: Desde el alta hospitalaria hasta 30 días después del alta hospitalaria
|
Los resultados relacionados con la fiabilidad evaluarán la consistencia de las evaluaciones expertas de los resúmenes del curso hospitalario.
El porcentaje cuantificará el acuerdo entre los evaluadores sobre las valoraciones de seguridad y validez de contenido.
|
Desde el alta hospitalaria hasta 30 días después del alta hospitalaria
|
|
Fiabilidad intraevaluador. Concordancia de las valoraciones de seguridad y validez de contenido entre dos evaluaciones del mismo curso hospitalario y el mismo adjudicador.
Periodo de tiempo: Al alta hospitalaria (hasta 5 días)
|
La fiabilidad intra-evaluador cuantificará la consistencia de las evaluaciones repetidas por el mismo evaluador basándose en la concordancia de las valoraciones de seguridad y validez de contenido (porcentaje de acuerdo)
|
Al alta hospitalaria (hasta 5 días)
|
|
Estabilidad temporal (fiabilidad test-retest) - concordancia entre las valoraciones del mismo adjudicador después del periodo de lavado.
Periodo de tiempo: 30 días después del alta hospitalaria
|
La estabilidad temporal de las evaluaciones de los evaluadores se evaluará mediante la evaluación repetida de resúmenes de cursos hospitalarios idénticos por el mismo evaluador después de un período de lavado predefinido de 30 días (fiabilidad test-retest).
Las medidas de resultado se basarán en la concordancia de las calificaciones de seguridad y validez de contenido (porcentaje).
|
30 días después del alta hospitalaria
|
Colaboradores e Investigadores
Patrocinador
Patrocinador
Colaboradores
Colaboradores
Investigadores
Investigadores
- Investigador principal: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
Publicaciones y enlaces útiles
Publicaciones Generales
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Estimado)
Inicio del estudio
Finalización primaria (Estimado)
Finalización primaria
Finalización del estudio (Estimado)
Finalización del estudio
Fechas de registro del estudio
Enviado por primera vez
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Publicado por primera vez
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización publicada
Última actualización enviada que cumplió con los criterios de control de calidad
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Última verificación
Más información
Términos relacionados con este estudio
Palabras clave
Otros números de identificación del estudio
Otros números de identificación del estudio
- 2IK2026_1
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .