AI vs. menneskelig eksamensvurdering og udvikling (AHEAD-forsøg) (AHEAD)
Psykometrisk præstation og studerendes opfattelser af AI- versus menneskeskabte multiple-choice-spørgsmålsudvikling i medicinsk uddannelse: Den AHEAD randomiserede kontrollerede undersøgelse
Det Artificielle Intelligens (AI) vs Human Eksamensvurdering og Udvikling (AHEAD) forsøg er et deltager-blindt randomiseret kontrolleret forsøg udført blandt førsteårs medicinstuderende på University of British Columbia. Studiet vurderer, om multiple-choice eksamensspørgsmål genereret ved hjælp af store sprogmodeller (LLM'er) fungerer sammenligneligt med traditionelle menneskeskrevne spørgsmål i medicinsk uddannelse.
Deltagerne blev randomiseret til at gennemføre en af to versioner af en formativ prøveeksamen bestående af 112 case-baserede single-best-answer multiple-choice spørgsmål (MCQ'er) i overensstemmelse med de samme kursuslæringsmål. En eksamensversion indeholdt AI-genererede spørgsmål produceret ved hjælp af en struktureret LLM-arbejdsgang med uafhængig AI-verificering, mens den anden indeholdt spørgsmål forfattet af senior medicinstuderende ved hjælp af konventionelle metoder.
Studiet vurderer eksamens gennemførlighed, psykometrisk pålidelighed, validitet, studerende acceptabilitet og uddannelsesmæssig indvirkning. Resultater inkluderer eksamenspræstation, itemdiskriminationsindekser, distraktoreffektivitet, studerendes opfattelse af eksamenskvalitet og sværhedsgrad samt ændringer i opfattet forberedelse til den kommende summativ eksamen.
Studieoversigt
Status
Betingelser
Intervention / Behandling
Detaljeret beskrivelse
AHEAD-forsøget (AI vs Human Exam Assessment and Development) er et enkeltcenter, deltager-blindet randomiseret kontrolleret forsøg udført blandt førsteårs lægestuderende (MD) indskrevet i kurset Foundations of Medical Practice I (MEDD 411) ved University of British Columbia.
Deltagerne blev randomiseret i et 1:1 forhold til at gennemføre enten en AI-genereret eller en menneskeskabt prøveeksamen. Begge eksamener bestod af 112 casesbaserede enkelt-bedste-svar flervalgsopgaver (MCQ'er) i overensstemmelse med de samme MEDD 411 læreplanmål.
AI-genererede spørgsmål blev produceret ved hjælp af en struktureret arbejdsgang, der involverede ChatGPT til spørgsmålsgenerering og Google Gemini til uafhængig verifikation. Menneskegenererede spørgsmål blev forfattet af senior medicinstuderende uden AI-bistand og gennemgik uafhængig peer review. Begge eksamener fulgte identiske formateringsretningslinjer og vurderede de samme læringsmål.
Alle deltagere gennemførte identiske præ-eksamens- og post-eksamensundersøgelser, der vurderede demografiske karakteristika, bekendtskab med kunstig intelligens i uddannelse og opfattelser af eksamensoplevelsen. Studiet evaluerer anvendeligheden af AI-genererede vurderinger ved hjælp af van der Vleutens Assessment Utility Framework, herunder gennemførlighed, pålidelighed, validitet, acceptabilitet og pædagogisk indvirkning.
Forsøget har til formål at afgøre, om store sprogmodeller kan fremskynde udviklingen af formative medicinske eksamener, samtidig med at de opretholder sammenlignelig psykometrisk kvalitet og pædagogisk værdi i forhold til traditionelle menneskeskrevne spørgsmål.
Undersøgelsestype
Tilmelding (Faktiske)
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiesteder
-
-
British Columbia
-
Vancouver, British Columbia, Canada, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Beskrivelse
Inklusionskriterier:
- Indskrevne førsteårs medicinstuderende på University of British Columbia's MD-bachelorprogram.
- Kan frivilligt samtykke til at deltage i det formative prøveeksamensstudie.
Eksklusionskriterier:
- Studerende, der afslog deltagelse.
- Studerende, der ikke gennemførte prøveeksamen eller påkrævede undersøgelser.
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Andet
- Tildeling: Randomiseret
- Interventionel model: Parallel tildeling
- Maskning: Enkelt
Våben og indgreb
Deltagergruppe / Arm |
Intervention / Behandling |
|---|---|
|
Eksperimentel: AI-genereret MCQ-eksamen
Deltagerne gennemførte en 112-spørgsmål, case-baseret, enkeltbedste-svar, prøveeksamen bestående af AI-genererede multiple-choice spørgsmål.
Spørgsmålene blev genereret ved hjælp af en struktureret large language model workflow med ChatGPT-4 til generering og Google Gemini til uafhængig validering.
|
En formende prøveeksamen bestående af 112 case-baserede multiple-choice spørgsmål genereret ved hjælp af store sprogmodeller i overensstemmelse med kursets læringsmål.
|
|
Aktiv komparator: Human-Generated MCQ Examination
Deltagerne gennemførte en 112-spørgsmålsskema-baseret single-best-answer-eksamen bestående af menneskeskrevne multiple-choice-spørgsmål udviklet af senior medicinstuderende ved hjælp af traditionelle item-writing-metoder og peer review.
|
En formativ prøveeksamen bestående af 112 casbaserede multiple choice-spørgsmål udarbejdet af senior medicinstuderende ved brug af konventionelle spørgsmålsskrivningsmetoder i overensstemmelse med de samme kursuslæringsmål.
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Studerendes præstation på prøveeksamen
Tidsramme: Umiddelbart efter gennemførelsen af den simulerede undersøgelse
|
Sammenligning af gennemsnitlige eksamensresultater mellem studerende, der tilfældigt blev tildelt AI-genererede versus menneskeskabte prøveeksaminer.
|
Umiddelbart efter gennemførelsen af den simulerede undersøgelse
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Itemdiskriminationsindeks
Tidsramme: Umiddelbart efter afslutningen af den simulerede undersøgelse
|
Item-niveau diskriminationsindeks, der sammenligner AI-genererede og menneskeskabte multiple-choice-spørgsmål, der repræsenterer forskellen i andelen af korrekte svar mellem højtpræsterende og lavtpræsterende studerende.
|
Umiddelbart efter afslutningen af den simulerede undersøgelse
|
|
Distraktionseffektivitet
Tidsramme: Umiddelbart efter afslutningen af den simulerede undersøgelse
|
Andel af distraktorer valgt af mindst 5% af deltagerne, sammenligning af AI-genererede og menneskeskabte spørgsmål.
|
Umiddelbart efter afslutningen af den simulerede undersøgelse
|
|
Elevvurderet eksamenskvalitet og acceptabilitet
Tidsramme: Umiddelbart efter afslutningen af den prøveundersøgelse
|
Studentbedømmelser af eksamens sværhedsgrad, klarhed, relevans for kursusmaterialet, tilstrækkelighed af tid, kvalitet af multiple-choice-spørgsmål, forståelse af kliniske koncepter, identifikation af videnhuller, opbevaring til fremtidig klinisk praksis, og forberedelse til den kommende summativ eksamen, målt umiddelbart efter eksamensafslutning ved hjælp af 10-punkts Likert-skalaer (1 = laveste bedømmelse, 10 = højeste bedømmelse).
For de fleste domæner indikerer højere scorer større accept af det målte koncept; for sværhedsgrads-elementet indikerer højere scorer større opfattet sværhedsgrad.
|
Umiddelbart efter afslutningen af den prøveundersøgelse
|
|
Effektivitetsforhold for MCQ-udviklingstid pr. matchet læringsmål
Tidsramme: Baseline (før deltagertestning)
|
Resultatmålingen af udviklingseffektiviteten af kunstig intelligens (AI)-genererede versus menneskeskabte multiple-choice spørgsmål (MCQs).
Effektivitetsforholdet blev beregnet som menneskeskabt MCQ-udviklingstid divideret med AI-genereret MCQ-udviklingstid for matchede læringsmål.
|
Baseline (før deltagertestning)
|
|
Ændring i den opfattede forberedelse til den summativ eksamen
Tidsramme: Før og umiddelbart efter afslutningen af den simulerede eksamen
|
Ændring fra før eksamen til efter eksamen i selv-vurderet forberedelsesgrad til den kommende summativ eksamen, målt på en 10-punkts Likert-skala (1 = slet ikke forberedt; 10 = ekstremt forberedt), hvor højere score indikerer større opfattet forberedelsesgrad.
|
Før og umiddelbart efter afslutningen af den simulerede eksamen
|
Samarbejdspartnere og efterforskere
Sponsor
Efterforskere
- Ledende efterforsker: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Faktiske)
Studieafslutning (Faktiske)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
- Med_AHEAD_Trial
- H16-00044 (Anden identifikator: University of British Columbia)
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
IPD-planbeskrivelse
IPD-delingstidsramme
IPD-delingsadgangskriterier
IPD-deling Understøttende informationstype
- STUDY_PROTOCOL
- SAP
- ICF
- CSR
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .