El impacto de los grandes modelos de lenguaje en el razonamiento diagnóstico entre los médicos
Descripción general del estudio
Descripción detallada
Los errores de diagnóstico son una fuente importante de daños evitables al paciente. Los avances recientes en modelos de lenguaje grande (LLM), en particular ChatGPT-4o, se han mostrado prometedores para mejorar la toma de decisiones médicas. Sin embargo, se sabe poco sobre su impacto en el razonamiento diagnóstico de los médicos (p. ej., médicos y cirujanos).
La precisión diagnóstica se basa en un razonamiento clínico complejo y una evaluación cuidadosa de los datos del paciente. Si bien la asistencia de IA podría potencialmente reducir los errores y mejorar la eficiencia, ChatGPT-4o carece de validación médica y podría introducir nuevos riesgos a través de la generación incorrecta de información (también conocida como alucinaciones). Para mitigar estos riesgos, los médicos necesitan una formación adecuada para comprender las capacidades, limitaciones y uso adecuado de ChatGPT-4o. Dadas estas incertidumbres y la importancia de una formación adecuada en IA, la evaluación sistemática es esencial antes de la implementación clínica.
Este estudio aleatorizado evaluará si el acceso a ChatGPT-4o mejora el rendimiento diagnóstico de los médicos en comparación con los recursos convencionales (p. ej., libros de texto, bases de datos médicas en línea) por sí solos. Todos los médicos participantes habrán completado al menos un programa de capacitación de 10 horas que cubra el uso de ChatGPT-4o, técnicas de ingeniería rápidas y estrategias de evaluación de resultados. Los participantes proporcionarán diagnósticos diferenciales con evidencia de respaldo y próximos pasos recomendados para casos clínicos, con respuestas evaluadas por revisores ciegos.
Tipo de estudio
Inscripción (Actual)
Fase
- No aplica
Contactos y Ubicaciones
Ubicaciones de estudio
-
-
Punjab
-
Lahore, Punjab, Pakistán, 54792
- Lahore University of Management Sciences
-
-
Criterios de participación
Criterio de elegibilidad
Edades elegibles para estudiar
- Niño
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Descripción
Criterios de inclusión:
- Médicos registrados de pleno derecho o provisionalmente en el Consejo Médico y Dental de Pakistán (PMDC).
- Examen de Licenciatura en Medicina y Licenciatura en Cirugía (MBBS) completado. El título equivalente de MBBS en EE. UU. y Canadá se llama Doctor en Medicina (MD).
- Los participantes deben haber completado un programa de capacitación estructurado sobre el uso de ChatGPT (o un modelo de lenguaje grande comparable), con un total de al menos 10 horas de instrucción. El programa debe incluir práctica práctica relacionada con los aspectos de LLM, específicamente ingeniería rápida y evaluación de contenido.
Criterios de exclusión:
- Cualquier otro Médico Registrado (Completo o Provisional) con PMDC (por ejemplo, Profesionales con Licenciatura en Cirugía Dental o BDS).
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Diagnóstico
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Ninguno (etiqueta abierta)
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Comparador activo: ChatGPT-4o
El grupo tendrá acceso a ChatGPT-4o.
|
Modelo de lenguaje grande ChatGPT-4o de OpenAI con interfaz de chat.
|
|
Sin intervención: Recursos convencionales
El grupo no tendrá acceso a ChatGPT-4o, pero se le animará a utilizar cualquier recurso que desee además de los grandes modelos de lenguaje (PubMed, Google sin descripciones generales de IA, etc.).
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Razonamiento diagnóstico
Periodo de tiempo: Evaluado en un único momento para cada caso, durante la sesión de evaluación del razonamiento diagnóstico programada, que se lleva a cabo entre 0 y 4 días después de la inscripción del participante.
|
El resultado principal será el porcentaje correcto para cada caso (rango: 0 a 100).
Para cada caso, se pedirá a los participantes tres diagnósticos principales, los hallazgos del caso que respaldan ese diagnóstico y los hallazgos del caso que se oponen a ese diagnóstico.
Por cada diagnóstico plausible, los participantes recibirán 1 punto.
Los hallazgos que apoyan el diagnóstico y los hallazgos que lo contradicen también se calificarán según su exactitud, con 1 punto para respuestas parcialmente correctas y 2 puntos para respuestas completamente correctas.
Luego se pedirá a los participantes que nombren su diagnóstico principal, ganando un punto por una respuesta razonable y dos puntos por la respuesta más correcta.
Finalmente, se pedirá a los participantes que nombren hasta 3 siguientes pasos para evaluar más al paciente y se otorgará un punto por una respuesta parcialmente correcta y dos puntos por una respuesta completamente correcta.
El resultado primario será comparado a nivel de caso por los grupos aleatorios.
|
Evaluado en un único momento para cada caso, durante la sesión de evaluación del razonamiento diagnóstico programada, que se lleva a cabo entre 0 y 4 días después de la inscripción del participante.
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Tiempo dedicado al diagnóstico
Periodo de tiempo: Evaluado en un único momento para cada caso, durante la sesión de evaluación del razonamiento diagnóstico programada, que se lleva a cabo entre 0 y 4 días después de la inscripción del participante.
|
Compararemos cuánto tiempo (en segundos) pasan los participantes por caso entre los dos brazos del estudio.
|
Evaluado en un único momento para cada caso, durante la sesión de evaluación del razonamiento diagnóstico programada, que se lleva a cabo entre 0 y 4 días después de la inscripción del participante.
|
Colaboradores e Investigadores
Patrocinador
Colaboradores
Investigadores
- Investigador principal: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Investigador principal: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Investigador principal: Ayesha Ali, PhD, Lahore University of Management Sciences
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Actual)
Finalización primaria (Actual)
Finalización del estudio (Actual)
Fechas de registro del estudio
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Más información
Términos relacionados con este estudio
Palabras clave
Términos MeSH relevantes adicionales
Otros números de identificación del estudio
- IRB-0342
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
producto fabricado y exportado desde los EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .