AI mot menneskelig eksamensvurdering og utvikling (AHEAD-studien) (AHEAD)
Psykometrisk ytelse og studenters oppfatninger av AI- versus menneskeskapte flervalgsspørsmål i medisinsk utdanning: Den randomiserte kontrollerte AHEAD-studien
Kunstig intelligens (AI) versus menneskelig eksamensvurdering og utvikling (AHEAD)-forsøket er en deltakerblindet randomisert kontrollert studie utført blant førsteårs medisinstudenter ved University of British Columbia. Studien evaluerer om flervalgseksamensspørsmål generert ved hjelp av store språkmodeller (LLM-er) fungerer sammenlignbart med tradisjonelle menneskeskrevne spørsmål i medisinsk utdanning.
Deltakere ble randomisert til å fullføre en av to versjoner av en formativ prøveeksamen bestående av 112 case-baserte enkeltbestesvar flervalgsspørsmål (MCQ-er) som var i samsvar med de samme kurslæringsmålene. En eksamensversjon inneholdt AI-genererte spørsmål produsert ved hjelp av en strukturert LLM-arbeidsflyt med uavhengig AI-verifisering, mens den andre inneholdt spørsmål forfattet av senior medisinstudenter ved bruk av konvensjonelle metoder.
Studien evaluerer eksamensgjennomførbarhet, psykometrisk pålitelighet, validitet, studentakseptabilitet og pedagogisk påvirkning. Resultater inkluderer eksamensprestasjoner, spørsmålsdiskriminasjonsindekser, distraktor-effektivitet, studenters oppfatning av eksamenskvalitet og vanskelighetsgrad, og endringer i opplevd forberedthed for den kommende summativ eksamen.
Studieoversikt
Status
Forhold
Intervensjon / Behandling
Detaljert beskrivelse
AHEAD-forsøket (AI vs Human Exam Assessment and Development) er et enkeltsteds, deltakerblindet randomisert kontrollert forsøk utført blant førsteårs legeutdanningsstudenter (MD) innskrevet i kurset Foundations of Medical Practice I (MEDD 411) ved University of British Columbia.
Deltakerne ble randomisert i forholdet 1:1 til å gjennomføre enten en AI-generert eller en menneskeskapt simulert sluttprøve. Begge prøvene bestod av 112 case-baserte enkelt beste svar flervalgsoppgaver (MCQ) som var i samsvar med de samme MEDD 411 læringsmålene.
AI-genererte spørsmål ble produsert ved hjelp av en strukturert arbeidsflyt som involverte ChatGPT for spørsmålsgenerering og Google Gemini for uavhengig verifisering. Menneskegenererte spørsmål ble forfattet av senior medisinstudenter uten AI-assistanse og gjennomgikk uavhengig fagfellevurdering. Begge prøvene fulgte identiske formateringsretningslinjer og vurderte de samme læringsmålene.
Alle deltakere fullførte identiske før-prøve og etter-prøve undersøkelser som vurderte demografiske egenskaper, kjennskap til kunstig intelligens i utdanning, og oppfatninger av eksamensopplevelsen. Studien evaluerer nytten av AI-genererte vurderinger ved bruk av van der Vleutens Assessment Utility Framework, inkludert gjennomførbarhet, pålitelighet, validitet, akseptabilitet og pedagogisk innvirkning.
Forsøket har som mål å fastslå om store språkmodeller kan akselerere utviklingen av formative medisinske eksamener samtidig som de opprettholder sammenlignbar psykometrisk kvalitet og pedagogisk verdi i forhold til tradisjonelle menneskeskrevne spørsmål.
Studietype
Registrering (Faktiske)
Fase
- Ikke aktuelt
Kontakter og plasseringer
Studiesteder
-
-
British Columbia
-
Vancouver, British Columbia, Canada, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Deltakelseskriterier
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Voksen
- Eldre voksen
Tar imot friske frivillige
Beskrivelse
Inklusjonskriterier:
- Innskrevet førsteårs medisinstudenter i University of British Columbias MD bachelorprogram.
- Kan frivillig samtykke til å delta i den formative prøveeksamensstudien.
Eksklusjonskriterier:
- Studenter som avslo deltakelse.
- Studenter som ikke fullførte prøveeksamenen eller nødvendige undersøkelser.
Studieplan
Hvordan er studiet utformet?
Designdetaljer
- Primært formål: Annen
- Tildeling: Randomisert
- Intervensjonsmodell: Parallell tildeling
- Masking: Enkelt
Våpen og intervensjoner
Deltakergruppe / Arm |
Intervensjon / Behandling |
|---|---|
|
Eksperimentell: AI-generert MCQ-eksamen
Deltakerne fullførte en 112-spørsmåls case-basert enkelt-beste-svar-eksamen som bestod av AI-genererte flervalgsspørsmål.
Spørsmålene ble generert ved hjelp av en strukturert arbeidsflyt med stort språkmodell ved bruk av ChatGPT-4 for generering og Google Gemini for uavhengig validering.
|
En formativ prøveeksamen bestående av 112 case-baserte flervalgsspørsmål generert ved bruk av store språkmodeller som er tilpasset kursets læringsmål.
|
|
Aktiv komparator: MCQ-eksamen utarbeidet av mennesker
Deltakerne fullførte en 112-punkts, case-basert, enkeltbeste-svar-prøveeksamen bestående av menneskeskrevne flervalgsspørsmål utviklet av senior medisinstudenter ved bruk av tradisjonelle spørsmålsutviklingsmetoder og fagfellevurdering.
|
En formativ prøveeksamen bestående av 112 kasusbaserte flervalgsspørsmål utarbeidet av senior medisinstudenter ved bruk av konvensjonelle metode for spørsmålsformulering, i tråd med de samme kurslæringsmålene.
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Studentenes prestasjon på prøveeksamen
Tidsramme: Umiddelbart etter fullføring av prøveeksamenen
|
Sammenligning av gjennomsnittseksamenskarakterer mellom studenter randomisert til AI-genererte versus menneskeskapte praksiseksamener.
|
Umiddelbart etter fullføring av prøveeksamenen
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Item diskriminasjonsindeks
Tidsramme: Umiddelbart etter fullføringen av prøveeksamenen
|
Item-nivå diskriminasjonsindeks som sammenligner AI-genererte og menneskeskapte flervalgsspørsmål, som representerer forskjellen i andel korrekte svar mellom høytpresterende og lavtpresterende studenter.
|
Umiddelbart etter fullføringen av prøveeksamenen
|
|
Distraksjonseffektivitet
Tidsramme: Umiddelbart etter fullføringen av den simulert undersøkelsen
|
Andel distraktoralternativer valgt av minst 5 % av deltakerne, sammenlignet mellom AI-genererte og menneskeskapte spørsmål.
|
Umiddelbart etter fullføringen av den simulert undersøkelsen
|
|
Studentvurdert eksamenskvalitet og akseptabilitet
Tidsramme: Umiddelbart etter fullføring av den falske undersøkelsen
|
Studentvurderinger av eksamens vanskelighetsgrad, klarhet, relevans til kursmaterialet, tilstrekkelighet av tid, kvalitet på flervalgsspørsmål, forståelse av kliniske konsepter, identifikasjon av kunnskapshull, oppbevaring for fremtidig klinisk praksis og forberedthet for den kommende summativ eksamen, målt umiddelbart etter eksamen ved bruk av 10-punkts Likert-skalaer (1 = lavest vurdering, 10 = høyest vurdering).
For de fleste domener indikerer høyere skårer større støtte til konstruktet som måles; for vanskelighetsdelen indikerer høyere skårer større opplevd vanskelighetsgrad.
|
Umiddelbart etter fullføring av den falske undersøkelsen
|
|
Effektivitetsforhold for MCQ-utviklingstid per matchet læringsmål
Tidsramme: Utgangspunkt (før deltakertesting)
|
Resultatmålet som måler utviklingseffektiviteten til kunstig intelligens (AI)-genererte versus menneskeskapte flervalgsspørsmål (MCQs).
Effektivitetsforholdet ble beregnet som menneskeskapt MCQ-utviklingstid delt på AI-generert MCQ-utviklingstid for matchede læringsmål.
|
Utgangspunkt (før deltakertesting)
|
|
Endring i opplevd forberedthed for den summative eksamen
Tidsramme: Før og umiddelbart etter fullføring av prøveeksamen
|
Endring fra før eksamen til etter eksamen i selvrapportert forberedthet for den kommende summative eksamen, målt på en 10-punkts Likert-skala (1 = ikke forberedt i det hele tatt; 10 = ekstremt godt forberedt), hvor høyere poengsummer indikerer større opplevd forberedthet.
|
Før og umiddelbart etter fullføring av prøveeksamen
|
Samarbeidspartnere og etterforskere
Sponsor
Etterforskere
- Hovedetterforsker: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Studierekorddatoer
Studer hoveddatoer
Studiestart (Faktiske)
Primær fullføring (Faktiske)
Studiet fullført (Faktiske)
Datoer for studieregistrering
Først innsendt
Først innsendt som oppfylte QC-kriteriene
Først lagt ut (Faktiske)
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
Siste oppdatering sendt inn som oppfylte QC-kriteriene
Sist bekreftet
Mer informasjon
Begreper knyttet til denne studien
Nøkkelord
Andre studie-ID-numre
- Med_AHEAD_Trial
- H16-00044 (Annen identifikator: University of British Columbia)
Plan for individuelle deltakerdata (IPD)
Planlegger du å dele individuelle deltakerdata (IPD)?
IPD-planbeskrivelse
IPD-delingstidsramme
Tilgangskriterier for IPD-deling
IPD-deling Støtteinformasjonstype
- STUDY_PROTOCOL
- SEVJE
- ICF
- CSR
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Studerer et amerikansk FDA-regulert enhetsprodukt
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .