Questions à Choix Multiples Vrai/Faux Générées par Intelligence Artificielle vs Développées par des Universitaires en Formation à l'Anesthésiologie
Comparaison des questions multiples vrai/faux générées par intelligence artificielle et développées par des académiciens dans l'éducation en anesthésiologie : une étude de cohorte prospective
Cette étude observationnelle prospective vise à évaluer l'efficacité et la valeur éducative des questions à choix multiples vrai/faux générées par l'intelligence artificielle (IA) par rapport à celles développées par des universitaires expérimentés dans la formation en anesthésiologie.
Un total de 27 résidents en anesthésiologie seront inclus dans l'étude. Des ensembles de questions composés de 200 items à choix multiples vrai/faux seront créés, la moitié étant générée par des universitaires et l'autre moitié générée à l'aide d'un modèle d'intelligence artificielle (système basé sur ChatGPT). Les questions seront basées sur des documents éducatifs standardisés du programme de formation en anesthésiologie.
Les participants effectueront le test en une seule session. Chaque réponse correcte sera notée avec un point, et les scores totaux seront calculés. En plus des performances au test, la difficulté des items, les indices de discrimination et la fiabilité du test seront analysés. De plus, les perceptions des participants concernant la qualité des questions seront évaluées.
L'étude vise à déterminer si les questions générées par l'IA peuvent constituer une alternative fiable et efficace aux méthodes traditionnelles de développement de questions dans l'enseignement médical et contribuer à des processus d'évaluation plus objectifs et standardisés.
Aperçu de l'étude
Statut
Description détaillée
Cette étude de cohorte observationnelle prospective monocentrique est conçue pour évaluer l'efficacité, la fiabilité et la valeur éducative des questions multiples vrai/faux (MTF) générées par intelligence artificielle (IA) par rapport à celles développées par des universitaires expérimentés dans la formation en anesthésiologie.
L'étude sera menée au Département d'Anesthésiologie et Réanimation de l'Université des Sciences de la Santé de Kütahya. Un total de 27 résidents en anesthésiologie seront inclus et catégorisés en deux groupes selon leur niveau de formation : résidents juniors (≤2,5 ans de formation) et résidents seniors (>2,5 ans de formation).
Un total de 200 questions MTF seront développées sur la base de matériels éducatifs standardisés en anesthésiologie. La moitié des questions (n=100) seront préparées par des universitaires expérimentés, tandis que l'autre moitié (n=100) sera générée à l'aide d'un modèle d'intelligence artificielle (système basé sur ChatGPT). Toutes les questions seront structurées selon des critères prédéfinis, incluant le niveau de difficulté (facile, modéré, difficile), la pertinence clinique et l'adéquation éducative.
Les participants compléteront les ensembles de questions en une seule session dans des conditions standardisées. Chaque réponse correcte sera notée 1 point, et les réponses incorrectes seront notées 0. Les scores totaux des tests seront calculés pour chaque participant.
Une analyse d'items sera réalisée pour évaluer les propriétés psychométriques des questions. L'indice de difficulté des items, l'indice de discrimination des items et la fiabilité globale du test seront calculés. De plus, la qualité perçue des questions sera évaluée à l'aide des retours des participants.
L'analyse statistique sera effectuée avec le logiciel SPSS. La distribution des variables sera évaluée, et des tests paramétriques ou non paramétriques appropriés seront utilisés en conséquence. Des comparaisons entre les groupes (résidents juniors vs seniors) et entre les sources de questions (générées par IA vs développées par des universitaires) seront effectuées. Une valeur p de <0,05 sera considérée comme statistiquement significative.
L'étude n'implique aucune intervention clinique, administration de médicament ou procédure invasive. La participation est volontaire, et un consentement éclairé écrit sera obtenu de tous les participants. Toutes les données seront collectées de manière anonyme et utilisées uniquement à des fins de recherche.
Les résultats de cette étude devraient fournir un aperçu du rôle potentiel de l'intelligence artificielle dans l'éducation médicale, particulièrement dans le développement d'outils d'évaluation, et pourraient contribuer à des méthodes d'évaluation plus objectives, standardisées et efficaces dans la formation en anesthésiologie.
Type d'étude
Inscription (Réel)
Contacts et emplacements
Lieux d'étude
-
-
-
Kütahya, Turquie (Türkiye)
- Kutahya Health Sciences University
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Méthode d'échantillonnage
Population étudiée
La description
Critères d'inclusion :
- Être résident en anesthésiologie
- Participation volontaire à l'étude
- Fournir un consentement éclairé
Critères d'exclusion :
- Refus de participer
- Réponses aux tests incomplètes
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
Cohortes et interventions
Groupe / Cohorte |
|---|
|
Questions Générées par IA
Questions à choix multiples vrai/faux générées à l'aide d'un modèle d'intelligence artificielle
|
|
Question Développée par un Académicien
Questions à choix multiples vrai/faux préparées par des universitaires expérimentés en anesthésiologie.
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Indice de difficulté des questions générées par l'IA et rédigées par des experts
Délai: Évalué une fois après la fin de la session d'examen unique de 60 minutes de chaque participant ; analyse finale des items réalisée après que tous les participants aient terminé l'examen, jusqu'à 1 mois.
|
Pour chaque question, l'indice de difficulté de l'item sera calculé comme la proportion de participants qui répondent correctement à l'item.
Les indices de difficulté des items seront comparés entre les questions générées par l'IA et les questions rédigées par des experts. |
Évalué une fois après la fin de la session d'examen unique de 60 minutes de chaque participant ; analyse finale des items réalisée après que tous les participants aient terminé l'examen, jusqu'à 1 mois.
|
Collaborateurs et enquêteurs
Parrainer
Publications et liens utiles
Publications générales
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Mots clés
Autres numéros d'identification d'étude
- E-41997688-050.99-212840
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .