Évaluation et Développement de l'Examen IA vs Humain (Essai AHEAD) (AHEAD)
Performance psychométrique et perceptions des étudiants concernant le développement de questions à choix multiple générées par IA versus humain dans l'éducation médicale : l'essai contrôlé randomisé AHEAD
L'essai Évaluation et Développement de l'Intelligence Artificielle (IA) contre Humain (AHEAD) est un essai contrôlé randomisé en aveugle des participants mené parmi les étudiants en médecine de première année à l'Université de la Colombie-Britannique. L'étude évalue si les questions d'examen à choix multiples générées à l'aide de modèles de langage de grande taille (LLM) présentent des performances comparables à celles des questions traditionnellement rédigées par des humains dans l'éducation médicale.
Les participants ont été randomisés pour compléter l'une des deux versions d'un examen simulé final formatif composé de 112 questions à choix multiples (QCM) à réponse unique basées sur des cas, alignées sur les mêmes objectifs d'apprentissage du cours. Une version de l'examen contenait des questions générées par IA produites à l'aide d'un flux de travail structuré de LLM avec vérification IA indépendante, tandis que l'autre contenait des questions rédigées par des étudiants en médecine seniors utilisant des méthodes conventionnelles.
L'étude évalue la faisabilité de l'examen, la fiabilité psychométrique, la validité, l'acceptabilité par les étudiants et l'impact éducatif. Les résultats incluent la performance à l'examen, les indices de discrimination des items, l'efficacité des distracteurs, les perceptions des étudiants sur la qualité et la difficulté de l'examen, et les changements dans la perception de la préparation pour l'examen sommatif à venir.
Aperçu de l'étude
Statut
Les conditions
Intervention / Traitement
Description détaillée
L'essai AHEAD (Évaluation et Développement des Examens par IA vs Humains) est un essai contrôlé randomisé en simple centre, en aveugle pour les participants, mené auprès d'étudiants de première année du Doctorat en Médecine (MD) inscrits au cours Fondements de la Pratique Médicale I (MEDD 411) à l'Université de la Colombie-Britannique.
Les participants ont été randomisés selon un ratio 1:1 pour réaliser soit un examen blanc généré par IA, soit un examen blanc élaboré par des humains. Les deux examens comprenaient 112 questions à choix multiples (QCM) à réponse unique optimale basées sur des cas, alignées sur les mêmes objectifs pédagogiques du cours MEDD 411.
Les questions générées par IA ont été produites en utilisant un flux de travail structuré impliquant ChatGPT pour la génération des questions et Google Gemini pour une vérification indépendante. Les questions élaborées par des humains ont été rédigées par des étudiants en médecine avancés sans assistance de l'IA et ont fait l'objet d'une revue par les pairs indépendante. Les deux examens suivaient des directives de formatage identiques et évaluaient les mêmes objectifs d'apprentissage.
Tous les participants ont complété des enquêtes identiques avant et après l'examen évaluant les caractéristiques démographiques, la familiarité avec l'intelligence artificielle dans l'éducation, et les perceptions de l'expérience d'examen. L'étude évalue l'utilité des évaluations générées par IA en utilisant le Cadre d'Utilité de l'Évaluation de van der Vleuten, incluant la faisabilité, la fiabilité, la validité, l'acceptabilité et l'impact éducatif.
L'essai vise à déterminer si les grands modèles de langage peuvent accélérer le développement d'examens médicaux formatifs tout en maintenant une qualité psychométrique et une valeur éducative comparables par rapport aux questions traditionnelles rédigées par des humains.
Type d'étude
Inscription (Réel)
Phase
- N'est pas applicable
Contacts et emplacements
Lieux d'étude
-
-
British Columbia
-
Vancouver, British Columbia, Canada, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
La description
Critères d'inclusion :
- Étudiants en première année de médecine inscrits au programme de premier cycle en médecine de l'Université de la Colombie-Britannique.
- Peuvent consentir volontairement à participer à l'étude formative de l'examen simulé.
Critères d'exclusion :
- Étudiants ayant refusé de participer.
- Étudiants n'ayant pas terminé l'examen simulé ou les enquêtes requises.
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
- Objectif principal: Autre
- Répartition: Randomisé
- Modèle interventionnel: Affectation parallèle
- Masquage: Seul
Armes et Interventions
Groupe de participants / Bras |
Intervention / Traitement |
|---|---|
|
Expérimental: Examen à choix multiples généré par IA
Les participants ont complété un examen simulé de 112 questions à réponse unique basé sur des cas cliniques, composé de questions à choix multiples générées par IA.
Les questions ont été générées en utilisant un flux de travail structuré avec un grand modèle de langage, avec ChatGPT-4 pour la génération et Google Gemini pour la validation indépendante.
|
Un examen blanc formatif composé de 112 questions à choix multiples basées sur des cas cliniques, générées à l'aide de grands modèles de langage alignés sur les objectifs d'apprentissage du cours.
|
|
Comparateur actif: Examen MCQ Généré par l'Humain
Les participants ont complété un examen fictif basé sur des cas de 112 questions à réponse unique, composé de questions à choix multiples rédigées par des étudiants en médecine de dernière année selon les méthodes traditionnelles de conception d'items et soumises à une relecture par les pairs.
|
Un examen blanc formatif composé de 112 questions à choix multiples basées sur des cas cliniques, rédigées par des étudiants en médecine avancés utilisant des méthodes conventionnelles de conception d'items alignées sur les mêmes objectifs d'apprentissage du cours.
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Performance des étudiants à l'examen blanc
Délai: Immédiatement après la fin de l'examen simulé
|
Comparaison des scores moyens d'examen entre les étudiants randomisés aux examens blancs générés par IA versus générés par des humains.
|
Immédiatement après la fin de l'examen simulé
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Indice de discrimination des items
Délai: Immédiatement après la fin de l'examen simulé
|
Indice de discrimination au niveau de l'item comparant les questions à choix multiples générées par l'IA et celles générées par l'humain, représentant la différence dans la proportion de réponses correctes entre les étudiants performants et les moins performants.
|
Immédiatement après la fin de l'examen simulé
|
|
Efficacité des distracteurs
Délai: Immédiatement après la fin de l'examen blanc
|
Proportion de distracteurs sélectionnés par au moins 5 % des participants, comparant les questions générées par IA et les questions générées par l'homme.
|
Immédiatement après la fin de l'examen blanc
|
|
Qualité et acceptabilité des examens évaluées par les étudiants
Délai: Immédiatement après la fin de l'examen simulé
|
Évaluations des étudiants concernant la difficulté de l'examen, la clarté, la pertinence par rapport au matériel de cours, l'adéquation du temps imparti, la qualité des questions à choix multiples, la compréhension des concepts cliniques, l'identification des lacunes de connaissances, la rétention pour la pratique clinique future et la préparation à l'examen sommatif à venir, mesurées immédiatement après la fin de l'examen à l'aide d'échelles de Likert en 10 points (1 = évaluation la plus basse, 10 = évaluation la plus élevée).
Pour la plupart des domaines, des scores plus élevés indiquent une plus grande adhésion au construit mesuré ; pour l'item de difficulté, des scores plus élevés indiquent une difficulté perçue plus grande.
|
Immédiatement après la fin de l'examen simulé
|
|
Ratio d'efficacité du temps de développement MCQ par objectif d'apprentissage correspondant
Délai: Ligne de base (avant le test du participant)
|
Le résultat mesurant l'efficacité de développement des questions à choix multiples (QCM) générées par intelligence artificielle (IA) par rapport à celles générées par des humains.
Le ratio d'efficacité a été calculé comme le temps de développement des QCM générées par des humains divisé par le temps de développement des QCM générées par IA pour des objectifs d'apprentissage correspondants.
|
Ligne de base (avant le test du participant)
|
|
Changement dans la perception de la préparation à l'examen sommatif
Délai: Avant et immédiatement après la fin de l'examen simulé
|
Changement entre l'auto-évaluation avant et après l'examen de la préparation à l'examen sommatif à venir, mesuré sur une échelle de Likert en 10 points (1 = pas du tout préparé ; 10 = extrêmement préparé), les scores plus élevés indiquant une perception de meilleure préparation.
|
Avant et immédiatement après la fin de l'examen simulé
|
Collaborateurs et enquêteurs
Parrainer
Les enquêteurs
- Chercheur principal: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Mots clés
Autres numéros d'identification d'étude
- Med_AHEAD_Trial
- H16-00044 (Autre identifiant: University of British Columbia)
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Description du régime IPD
Délai de partage IPD
Critères d'accès au partage IPD
Type d'informations de prise en charge du partage d'IPD
- PROTOCOLE D'ÉTUDE
- SÈVE
- CIF
- RSE
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .