Evaluación y Desarrollo de Exámenes: IA vs Humanos (Ensayo AHEAD) (AHEAD)
Rendimiento Psicométrico y Percepciones de los Estudiantes sobre el Desarrollo de Preguntas de Opción Múltiple Generadas por IA versus Humanos en Educación Médica: El Ensayo Controlado Aleatorizado AHEAD
El Ensayo de Evaluación y Desarrollo de Exámenes de Inteligencia Artificial (IA) frente a Humanos (AHEAD) es un ensayo controlado aleatorizado cegado para los participantes realizado entre estudiantes de primer año de medicina de la Universidad de British Columbia. El estudio evalúa si las preguntas de opción múltiple generadas utilizando modelos de lenguaje grandes (LLM) tienen un rendimiento comparable al de las preguntas tradicionalmente escritas por humanos en la educación médica.
Los participantes fueron aleatorizados para completar una de las dos versiones de un examen simulado formativo final que constaba de 112 preguntas de opción múltiple de mejor respuesta única basadas en casos (MCQ) alineadas con los mismos objetivos de aprendizaje del curso. Una versión del examen contenía preguntas generadas por IA producidas mediante un flujo de trabajo estructurado de LLM con verificación independiente por IA, mientras que la otra contenía preguntas elaboradas por estudiantes de medicina de último año utilizando métodos convencionales.
El estudio evalúa la viabilidad del examen, la fiabilidad psicométrica, la validez, la aceptabilidad por parte de los estudiantes y el impacto educativo. Los resultados incluyen el rendimiento en el examen, los índices de discriminación de ítems, la eficiencia de los distractores, las percepciones de los estudiantes sobre la calidad y dificultad del examen, y los cambios en la percepción de preparación para el próximo examen sumativo.
Descripción general del estudio
Estado
Condiciones
Intervención / Tratamiento
Descripción detallada
El ensayo AHEAD (Evaluación y Desarrollo de Exámenes: IA vs Humano) es un ensayo controlado aleatorizado, cegado para los participantes, de centro único, realizado entre estudiantes de primer año del Doctorado en Medicina (MD) matriculados en el curso Fundamentos de la Práctica Médica I (MEDD 411) de la Universidad de British Columbia.
Los participantes fueron aleatorizados en una proporción 1:1 para completar un examen simulado final generado por IA o uno generado por humanos. Ambos exámenes consistían en 112 preguntas de opción múltiple de respuesta única basadas en casos, alineadas con los mismos objetivos curriculares de MEDD 411.
Las preguntas generadas por IA se produjeron mediante un flujo de trabajo estructurado que involucró a ChatGPT para la generación de preguntas y a Google Gemini para la verificación independiente. Las preguntas generadas por humanos fueron elaboradas por estudiantes de medicina de último año sin asistencia de IA y se sometieron a una revisión por pares independiente. Ambos exámenes siguieron las mismas pautas de formato y evaluaron los mismos objetivos de aprendizaje.
Todos los participantes completaron encuestas idénticas antes y después del examen, evaluando características demográficas, familiaridad con la inteligencia artificial en educación y percepciones de la experiencia del examen. El estudio evalúa la utilidad de las evaluaciones generadas por IA utilizando el Marco de Utilidad de Evaluación de van der Vleuten, que incluye viabilidad, fiabilidad, validez, aceptabilidad e impacto educativo.
El ensayo tiene como objetivo determinar si los modelos de lenguaje grandes pueden acelerar el desarrollo de exámenes médicos formativos manteniendo una calidad psicométrica y un valor educativo comparables en relación con las preguntas tradicionales elaboradas por humanos.
Tipo de estudio
Inscripción (Actual)
Fase
- No aplica
Contactos y Ubicaciones
Ubicaciones de estudio
-
-
British Columbia
-
Vancouver, British Columbia, Canadá, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Criterios de participación
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Descripción
Criterios de inclusión:
- Estudiantes de medicina de primer año matriculados en el programa de pregrado de MD de la Universidad de Columbia Británica.
- Pueden consentir voluntariamente participar en el estudio del examen simulado formativo.
Criterios de exclusión:
- Estudiantes que rechazaron la participación.
- Estudiantes que no completaron el examen simulado o las encuestas requeridas.
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Otro
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Único
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Experimental: Examen de Opción Múltiple Generado por IA
Los participantes completaron un examen simulado de 112 ítems basado en casos de respuesta única mejor, compuesto por preguntas de opción múltiple generadas por IA.
Las preguntas se generaron utilizando un flujo de trabajo estructurado de modelo de lenguaje grande con ChatGPT-4 para la generación y Google Gemini para la validación independiente.
|
Un examen simulado formativo compuesto de 112 preguntas de opción múltiple basadas en casos, generadas mediante modelos de lenguaje de gran escala alineados con los objetivos de aprendizaje del curso.
|
|
Comparador activo: Examen de MCQ Generado por Humanos
Los participantes completaron un examen simulado de 112 ítems basado en casos con una única mejor respuesta, compuesto por preguntas de opción múltiple creadas por estudiantes de medicina de último año mediante métodos tradicionales de redacción de ítems y revisión por pares.
|
Un examen simulado formativo compuesto por 112 preguntas de opción múltiple basadas en casos, redactadas por estudiantes de medicina de último año utilizando métodos convencionales de elaboración de ítems alineados con los mismos objetivos de aprendizaje del curso.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Rendimiento del estudiante en el examen simulado
Periodo de tiempo: Inmediatamente después de finalizar el examen simulado
|
Comparación de las puntuaciones medias de examen entre estudiantes aleatorizados a los exámenes simulados generados por IA frente a los generados por humanos.
|
Inmediatamente después de finalizar el examen simulado
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Índice de discriminación del ítem
Periodo de tiempo: Inmediatamente después de la finalización del examen simulado
|
Índice de discriminación a nivel de ítem que compara preguntas de opción múltiple generadas por IA y generadas por humanos, representando la diferencia en la proporción de respuestas correctas entre estudiantes de alto rendimiento y de bajo rendimiento.
|
Inmediatamente después de la finalización del examen simulado
|
|
Eficiencia del distractor
Periodo de tiempo: Inmediatamente después de la finalización del examen simulado
|
Proporción de distractores seleccionados por al menos el 5% de los participantes, comparando preguntas generadas por IA y preguntas generadas por humanos.
|
Inmediatamente después de la finalización del examen simulado
|
|
Calidad y aceptabilidad del examen calificada por estudiantes
Periodo de tiempo: Inmediatamente después de completar el examen simulado
|
Calificaciones de los estudiantes sobre la dificultad del examen, claridad, relevancia del material del curso, adecuación del tiempo, calidad de las preguntas de opción múltiple, comprensión de los conceptos clínicos, identificación de lagunas de conocimiento, retención para la práctica clínica futura y preparación para el próximo examen sumativo, medidas inmediatamente después de la finalización del examen mediante escalas Likert de 10 puntos (1 = calificación más baja, 10 = calificación más alta).
Para la mayoría de los dominios, puntuaciones más altas indican una mayor aceptación del constructo que se está midiendo; para el ítem de dificultad, puntuaciones más altas indican una mayor dificultad percibida.
|
Inmediatamente después de completar el examen simulado
|
|
Ratio de eficiencia del tiempo de desarrollo de MCQ por objetivo de aprendizaje coincidente
Periodo de tiempo: Baseline (antes de la prueba del participante)
|
El resultado que mide la eficiencia de desarrollo de preguntas de opción múltiple (MCQ) generadas por inteligencia artificial (IA) frente a las generadas por humanos.
La relación de eficiencia se calculó como el tiempo de desarrollo de MCQ generadas por humanos dividido por el tiempo de desarrollo de MCQ generadas por IA para objetivos de aprendizaje emparejados. |
Baseline (antes de la prueba del participante)
|
|
Cambio en la preparación percibida para el examen sumativo
Periodo de tiempo: Antes e inmediatamente después de completar el examen simulado
|
Cambio desde la evaluación previa a la posterior en la preparación autoevaluada para el próximo examen sumativo, medido en una escala Likert de 10 puntos (1 = nada preparado; 10 = extremadamente preparado), donde puntuaciones más altas indican una mayor preparación percibida.
|
Antes e inmediatamente después de completar el examen simulado
|
Colaboradores e Investigadores
Patrocinador
Investigadores
- Investigador principal: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Actual)
Finalización primaria (Actual)
Finalización del estudio (Actual)
Fechas de registro del estudio
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Más información
Términos relacionados con este estudio
Palabras clave
Otros números de identificación del estudio
- Med_AHEAD_Trial
- H16-00044 (Otro identificador: University of British Columbia)
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Descripción del plan IPD
Marco de tiempo para compartir IPD
Criterios de acceso compartido de IPD
Tipo de información de apoyo para compartir IPD
- PROTOCOLO DE ESTUDIO
- SAVIA
- CIF
- RSC
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .