Preguntas de Verdadero/Falso Múltiple Generadas por Inteligencia Artificial versus Desarrolladas por Académicos en Educación en Anestesiología
Comparación de preguntas de múltiples verdaderas/falsas generadas por inteligencia artificial y desarrolladas por académicos en educación en anestesiología: un estudio de cohorte prospectivo
Este estudio observacional prospectivo tiene como objetivo evaluar la efectividad y el valor educativo de las preguntas de verdadero/falso múltiple generadas por inteligencia artificial (IA) en comparación con las desarrolladas por académicos experimentados en la formación en anestesiología.
Se incluirán en el estudio un total de 27 residentes de anestesiología. Se crearán conjuntos de preguntas que consistirán en 200 ítems de verdadero/falso múltiple, la mitad generados por académicos y la otra mitad generados utilizando un modelo de inteligencia artificial (sistema basado en ChatGPT). Las preguntas se basarán en materiales educativos estandarizados del plan de estudios de formación en anestesiología.
Los participantes completarán la prueba en una sola sesión. Cada respuesta correcta se puntuará como un punto, y se calcularán las puntuaciones totales. Además del rendimiento en la prueba, se analizarán la dificultad de los ítems, los índices de discriminación y la fiabilidad de la prueba. Además, se evaluarán las percepciones de los participantes sobre la calidad de las preguntas.
El estudio tiene como objetivo determinar si las preguntas generadas por IA pueden proporcionar una alternativa fiable y efectiva a los métodos tradicionales de desarrollo de preguntas en la educación médica y contribuir a procesos de evaluación más objetivos y estandarizados.
Descripción general del estudio
Estado
Descripción detallada
Este estudio observacional de cohorte prospectivo y de centro único está diseñado para evaluar la efectividad, fiabilidad y valor educativo de las preguntas de verdadero/falso múltiple (V/FM) generadas por inteligencia artificial (IA) en comparación con aquellas desarrolladas por académicos experimentados en la formación en anestesiología.
El estudio se llevará a cabo en el Departamento de Anestesiología y Reanimación de la Universidad de Ciencias de la Salud de Kütahya. Se incluirá un total de 27 residentes de anestesiología, quienes se categorizarán en dos grupos según su nivel de formación: residentes junior (≤2,5 años de formación) y residentes senior (>2,5 años de formación).
Se desarrollarán un total de 200 preguntas V/FM basadas en materiales educativos estandarizados de anestesiología. La mitad de las preguntas (n=100) serán preparadas por académicos experimentados, mientras que la otra mitad (n=100) se generarán utilizando un modelo de inteligencia artificial (sistema basado en ChatGPT). Todas las preguntas se estructurarán según criterios predefinidos, incluyendo nivel de dificultad (fácil, moderado, difícil), relevancia clínica y adecuación educativa.
Los participantes completarán los conjuntos de preguntas en una única sesión bajo condiciones estandarizadas. Cada respuesta correcta se puntuará con 1 punto, y las respuestas incorrectas con 0. Se calcularán las puntuaciones totales del test para cada participante.
Se realizará un análisis de ítems para evaluar las propiedades psicométricas de las preguntas. Se calcularán el índice de dificultad del ítem, el índice de discriminación del ítem y la fiabilidad general del test. Además, se evaluará la calidad percibida de las preguntas mediante la retroalimentación de los participantes.
El análisis estadístico se realizará utilizando el software SPSS. Se evaluará la distribución de las variables y se utilizarán pruebas paramétricas o no paramétricas apropiadas en consecuencia. Se realizarán comparaciones entre grupos (residentes junior vs. senior) y entre fuentes de preguntas (generadas por IA vs. desarrolladas por académicos). Se considerará estadísticamente significativo un valor de p <0,05.
El estudio no implica ninguna intervención clínica, administración de fármacos o procedimiento invasivo. La participación es voluntaria y se obtendrá el consentimiento informado por escrito de todos los participantes. Todos los datos se recopilarán de forma anónima y se utilizarán únicamente con fines de investigación.
Se espera que los resultados de este estudio proporcionen información sobre el papel potencial de la inteligencia artificial en la educación médica, particularmente en el desarrollo de herramientas de evaluación, y puedan contribuir a métodos de evaluación más objetivos, estandarizados y eficientes en la formación en anestesiología.
Tipo de estudio
Inscripción (Actual)
Contactos y Ubicaciones
Ubicaciones de estudio
-
-
-
Kütahya, Turquía (Türkiye)
- Kutahya Health Sciences University
-
-
Criterios de participación
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Método de muestreo
Población de estudio
Descripción
Criterios de inclusión:
- Ser residente de anestesiología
- Participación voluntaria en el estudio
- Proporcionar consentimiento informado
Criterios de exclusión:
- Negativa a participar
- Respuestas incompletas en las pruebas
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
Cohortes e Intervenciones
Grupo / Cohorte |
|---|
|
Preguntas Generadas por IA
Preguntas múltiples de verdadero/falso generadas utilizando un modelo de inteligencia artificial
|
|
Pregunta Desarrollada por Académicos
Preguntas múltiples de verdadero/falso preparadas por académicos experimentados en anestesiología.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Índice de Dificultad de los Ítems de preguntas generadas por IA y redactadas por expertos
Periodo de tiempo: Evaluado una vez después de la finalización de la sesión de examen única de 60 minutos de cada participante; el análisis final de ítems se realiza después de que todos los participantes completen el examen, hasta 1 mes.
|
Para cada pregunta, el índice de dificultad del ítem se calculará como la proporción de participantes que responden el ítem correctamente.
Los índices de dificultad de los ítems se compararán entre las preguntas generadas por IA y las preguntas elaboradas por expertos.
|
Evaluado una vez después de la finalización de la sesión de examen única de 60 minutos de cada participante; el análisis final de ítems se realiza después de que todos los participantes completen el examen, hasta 1 mes.
|
Colaboradores e Investigadores
Patrocinador
Publicaciones y enlaces útiles
Publicaciones Generales
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Actual)
Finalización primaria (Actual)
Finalización del estudio (Actual)
Fechas de registro del estudio
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Más información
Términos relacionados con este estudio
Palabras clave
Otros números de identificación del estudio
- E-41997688-050.99-212840
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .