Razonamiento médico en casos de diagnóstico con modelos de lenguaje grandes
Razonamiento de diagnóstico con chatbots de modelos de lenguaje grandes
Descripción general del estudio
Descripción detallada
Las tecnologías de inteligencia artificial (IA), específicamente los modelos avanzados de lenguajes grandes como ChatGPT de OpenAI, tienen el potencial de mejorar la toma de decisiones médicas. Aunque ChatGPT-4 no se desarrolló para su uso en aplicaciones médicas específicas, ha demostrado ser prometedor en diversos contextos de atención médica, incluida la redacción de notas médicas, la atención de consultas de pacientes y la facilitación de consultas médicas. Sin embargo, se sabe poco sobre cómo ChatGPT aumenta la capacidad de razonamiento clínico de los médicos.
El razonamiento clínico es un proceso complejo que implica reconocimiento de patrones, aplicación de conocimientos y razonamiento probabilístico. La integración de herramientas de inteligencia artificial como ChatGPT-4 en los flujos de trabajo de los médicos podría ayudar a reducir la carga de trabajo de los médicos y disminuir la probabilidad de que se pierdan diagnósticos. Sin embargo, ChatGPT-4 no se desarrolló con fines de razonamiento clínico ni ha sido validado para este fin. Además, puede estar sujeto a desinformación, incluidas fabulaciones convincentes que pueden engañar a los médicos. Si los médicos hacen un mal uso de esta herramienta, es posible que no mejore el razonamiento diagnóstico e incluso podría causar daño. Por lo tanto, es importante estudiar cómo los médicos utilizan modelos de lenguaje grandes para aumentar el razonamiento clínico antes de su incorporación rutinaria a la atención al paciente.
En este estudio, aleatorizaremos a los participantes para que respondan casos de diagnóstico con o sin acceso a ChatGPT-4. Se pedirá a los participantes que den tres diagnósticos diferenciales para cada caso, con hallazgos que los apoyen y los que se opongan a cada diagnóstico. Además, se les pedirá que proporcionen su diagnóstico principal junto con los próximos pasos de diagnóstico. Las respuestas serán calificadas por revisores independientes cegados a la asignación del tratamiento.
Tipo de estudio
Inscripción (Actual)
Fase
- No aplica
Contactos y Ubicaciones
Ubicaciones de estudio
-
-
California
-
Palo Alto, California, Estados Unidos, 94304
- Stanford University
-
-
Criterios de participación
Criterio de elegibilidad
Edades elegibles para estudiar
- Niño
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Descripción
Criterios de inclusión:
- Los participantes deben ser médicos autorizados y haber completado al menos el segundo año de posgrado (PGY2) de formación médica.
- Formación en medicina interna, medicina de familia o medicina de urgencias.
Criterio de exclusión:
- Actualmente no ejerce clínicamente.
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Diagnóstico
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Único
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Comparador activo: GPT-4
El grupo tendrá acceso a GPT-4.
|
Modelo de lenguaje grande GPT-4 de OpenAI con interfaz de chat.
|
|
Sin intervención: Recursos habituales
El grupo no tendrá acceso a GPT-4, pero se le animará a utilizar cualquier recurso que desee además de los grandes modelos de lenguaje (UpToDate, Dynamed, Google, etc.).
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Razonamiento diagnóstico
Periodo de tiempo: Durante la evaluación
|
El resultado principal será el porcentaje correcto (rango: 0 a 100) para cada caso.
Para cada caso, se pedirá a los participantes tres diagnósticos y hallazgos principales del caso que respalden ese diagnóstico y se opongan a ese diagnóstico.
Los participantes recibirán 1 punto por cada diagnóstico plausible.
Los hallazgos que apoyan el diagnóstico y los hallazgos que lo contradicen también se calificarán según su exactitud, con 1 punto para respuestas parcialmente correctas y 2 puntos para respuestas completamente correctas.
Luego se pedirá a los participantes que nombren su diagnóstico principal, ganando un punto por una respuesta razonable y dos puntos por la respuesta más correcta.
Finalmente, se pedirá a los participantes que nombren hasta 3 siguientes pasos para evaluar más al paciente y se otorgará un punto por una respuesta parcialmente correcta y dos puntos por una respuesta completamente correcta.
El resultado primario será comparado a nivel de caso por los grupos aleatorios.
|
Durante la evaluación
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Tiempo dedicado al diagnóstico
Periodo de tiempo: Durante la evaluación
|
Compararemos cuánto tiempo (en minutos) pasan los participantes por caso entre los dos brazos del estudio.
|
Durante la evaluación
|
Colaboradores e Investigadores
Patrocinador
Investigadores
- Investigador principal: Jonathan H Chen, MD, PhD, Stanford University
- Investigador principal: Adam Rodman, MD, Beth Israel Deaconess Medical Center
- Investigador principal: Andrew Olson, MD, University of Minnesota
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Actual)
Finalización primaria (Actual)
Finalización del estudio (Actual)
Fechas de registro del estudio
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Más información
Términos relacionados con este estudio
Palabras clave
Términos MeSH relevantes adicionales
Otros números de identificación del estudio
- 71319
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .