AI versus Menselijk Examenbeoordeling en Ontwikkeling (AHEAD Trial) (AHEAD)
Psychometrische Prestaties en Studentenpercepties van AI- versus Mens-gegenereerde Meerkeuzevragenontwikkeling in Medisch Onderwijs: De AHEAD Gerandomiseerde Gecontroleerde Studie
De Artificial Intelligence (AI) vs Human Exam Assessment and Development (AHEAD) Trial is een deelnemer-verblind gerandomiseerd gecontroleerd onderzoek uitgevoerd onder eerstejaars geneeskundestudenten aan de University of British Columbia. De studie evalueert of meerkeuzevragen gegenereerd met grote taalmodelen (LLM's) vergelijkbaar presteren met traditioneel door mensen geschreven vragen in medisch onderwijs.
Deelnemers werden gerandomiseerd om een van de twee versies van een formatieve oefententamen te maken, bestaande uit 112 casusgebaseerde single-best-answer meerkeuzevragen (MCQ's) afgestemd op dezelfde cursusleerdoelen. De ene examenversie bevatte AI-gegenereerde vragen geproduceerd met een gestructureerd LLM-werkproces met onafhankelijke AI-verificatie, terwijl de andere vragen bevatte die waren geschreven door ouderejaars geneeskundestudenten met conventionele methoden.
De studie evalueert de haalbaarheid van het examen, psychometrische betrouwbaarheid, validiteit, studentenacceptatie en educatieve impact. Uitkomsten omvatten examenprestaties, itemdiscriminatie-indices, afleiderefficiëntie, studentpercepties van examenkwaliteit en -moeilijkheid, en veranderingen in waargenomen voorbereiding op het komende summatieve examen.
Studie Overzicht
Toestand
Conditie
Interventie / Behandeling
Gedetailleerde beschrijving
De AHEAD-studie (AI vs Human Exam Assessment and Development) is een gerandomiseerde, gecontroleerde studie met geblindeerde deelnemers, uitgevoerd in één centrum, onder eerstejaarsstudenten van de opleiding Doctor in de Geneeskunde (MD) die zijn ingeschreven voor de cursus Foundations of Medical Practice I (MEDD 411) aan de University of British Columbia.
De deelnemers werden gerandomiseerd in een verhouding van 1:1 om een ofwel een door AI gegenereerd of een door mensen gemaakt oefen-eindexamen af te leggen. Beide examens bestonden uit 112 casusgebaseerde meerkeuzevragen (MCQ's) met één beste antwoord, afgestemd op dezelfde MEDD 411-curriculumdoelstellingen.
De door AI gegenereerde vragen werden geproduceerd via een gestructureerde workflow met ChatGPT voor vraaggeneratie en Google Gemini voor onafhankelijke verificatie. De door mensen gegenereerde vragen werden opgesteld door ouderejaars geneeskundestudenten zonder AI-ondersteuning en ondergingen onafhankelijke collegiale toetsing. Beide examens volgden identieke opmaakrichtlijnen en beoordeelden dezelfde leerdoelen.
Alle deelnemers vulden identieke vragenlijsten voor en na het examen in, waarmee demografische kenmerken, bekendheid met kunstmatige intelligentie in het onderwijs en percepties van de examenervaring werden beoordeeld. De studie evalueert het nut van door AI gegenereerde toetsen met behulp van het Assessment Utility Framework van van der Vleuten, inclusief haalbaarheid, betrouwbaarheid, validiteit, acceptatie en educatieve impact.
Het onderzoek heeft tot doel te bepalen of grote taalmodel(len) de ontwikkeling van formatieve medische examens kunnen versnellen, terwijl vergelijkbare psychometrische kwaliteit en educatieve waarde behouden blijven ten opzichte van traditionele, door mensen opgestelde vragen.
Studietype
Inschrijving (Werkelijk)
Fase
- Niet toepasbaar
Contacten en locaties
Studie Locaties
-
-
British Columbia
-
Vancouver, British Columbia, Canada, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Beschrijving
Inclusiecriteria:
- Ingeschreven eerstejaars geneeskundestudenten in het MD bachelorprogramma van de University of British Columbia.
- Kunnen vrijwillig toestemmen om deel te nemen aan de formatieve proefexamenstudie.
Uitsluitingscriteria:
- Studenten die deelname hebben geweigerd.
- Studenten die het proefexamen of vereiste enquêtes niet hebben voltooid.
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Ander
- Toewijzing: Gerandomiseerd
- Interventioneel model: Parallelle opdracht
- Masker: Enkel
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
|---|---|
|
Experimenteel: AI-gegenereerd MCQ-examen
Deelnemers voltooiden een 112-item casusgebaseerde meerkeuzetoets bestaande uit AI-gegenereerde multiple-choice vragen.
De vragen werden gegenereerd met behulp van een gestructureerde large language model workflow met ChatGPT-4 voor generatie en Google Gemini voor onafhankelijke validatie.
|
Een formatieve proefexamen bestaande uit 112 casusgebaseerde meerkeuzevragen gegenereerd met behulp van grote taalmodellen die zijn afgestemd op de leerdoelen van de cursus.
|
|
Actieve vergelijker: Door de Mens Gemaakte MCQ Examen
De deelnemers voltooiden een 112-vragen tellende, casusgebaseerde proefexamen met meerkeuzevragen, bestaande uit door mensen geschreven meerkeuzevragen die zijn ontwikkeld door senior geneeskundestudenten met behulp van traditionele item-schrijfmethode en collegiale toetsing.
|
Een formatief proefexamen bestaande uit 112 casusgebaseerde meerkeuzevragen, opgesteld door senior geneeskundestudenten met behulp van conventionele item-schrijfmethode die aansluiten bij dezelfde cursusleerdoelen.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Prestaties van studenten op het proefexamen
Tijdsspanne: Onmiddellijk na voltooiing van het proefexamen
|
Vergelijking van gemiddelde examenscores tussen studenten die willekeurig zijn toegewezen aan de AI-gegenereerde versus de door mensen gegenereerde proefexamens.
|
Onmiddellijk na voltooiing van het proefexamen
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Itemdiscriminatie-index
Tijdsspanne: Meteen na de voltooiing van het proefexamen
|
Itemdiscriminatie-index die AI-gegenereerde en door mensen gegenereerde meerkeuzevragen vergelijkt, wat het verschil in het aandeel correcte antwoorden tussen hoogpresterende en laagpresterende studenten vertegenwoordigt.
|
Meteen na de voltooiing van het proefexamen
|
|
Afleidingsrendement
Tijdsspanne: Meteen na de voltooiing van de proefexamen
|
Aandeel van afleiders geselecteerd door ten minste 5% van de deelnemers, vergelijkend AI-gegenereerde en mens-gegenereerde vragen.
|
Meteen na de voltooiing van de proefexamen
|
|
Door studenten beoordeelde examenkwaliteit en aanvaardbaarheid
Tijdsspanne: Onmiddellijk na voltooiing van de proefexamens
|
Studentenbeoordelingen van examenniveau, duidelijkheid, relevantie voor cursusmateriaal, toereikendheid van tijd, kwaliteit van meerkeuzevragen, begrip van klinische concepten, identificatie van kennislacunes, retentie voor toekomstige klinische praktijk, en voorbereidheid op het komende summatieve examen, gemeten direct na examenvoltooiing met 10-punts Likertschalen (1 = laagste beoordeling, 10 = hoogste beoordeling).
Voor de meeste domeinen geven hogere scores een grotere onderschrijving van het gemeten construct aan; voor het moeilijkheidsitem geven hogere scores een grotere waargenomen moeilijkheid aan.
|
Onmiddellijk na voltooiing van de proefexamens
|
|
Efficiëntieverhouding van MCQ-ontwikkeltijd per gematcht leerdoel
Tijdsspanne: Baseline (vóór de deelnemerstest)
|
Het resultaat meet de ontwikkelings-efficiëntie van kunstmatige intelligentie (AI)-gegenereerde versus door mensen gegenereerde meerkeuzevragen (MCQ's).
De efficiëntieverhouding werd berekend als door mensen gegenereerde MCQ-ontwikkeltijd gedeeld door AI-gegenereerde MCQ-ontwikkeltijd voor overeenkomende leerdoelen.
|
Baseline (vóór de deelnemerstest)
|
|
Verandering in waargenomen voorbereiding op het summatieve examen
Tijdsspanne: Voor en onmiddellijk na voltooiing van de proefexamens
|
Verandering van vóór het examen tot na het examen in zelf-ingeschatte voorbereidheid op het komende summatieve examen, gemeten op een 10-punts Likertschaal (1 = helemaal niet voorbereid; 10 = extreem goed voorbereid), waarbij hogere scores een grotere ervaren voorbereidheid aangeven.
|
Voor en onmiddellijk na voltooiing van de proefexamens
|
Medewerkers en onderzoekers
Sponsor
Onderzoekers
- Hoofdonderzoeker: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Andere studie-ID-nummers
- Med_AHEAD_Trial
- H16-00044 (Andere identificatie: University of British Columbia)
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Beschrijving IPD-plan
IPD-tijdsbestek voor delen
IPD-toegangscriteria voor delen
IPD delen Ondersteunend informatietype
- LEERPROTOCOOL
- SAP
- ICF
- MVO
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .