Tekoälyn ja ihmisen tenttiarvioinnin ja kehittämisen vertailu (AHEAD-tutkimus) (AHEAD)
Psykometrinen suorituskyky ja opiskelijoiden käsitykset tekoälyn ja ihmisen kehittämien monivalintakysymysten kehittämisestä lääketieteellisessä koulutuksessa: The AHEAD -satunnaistettu kontrolloitu tutkimus
Tekoäly (AI) vs. ihminen -kokeen arviointi ja kehitys (AHEAD) -tutkimus on osallistujoiden suhteen sokkoutettu satunnaistettu kontrolloitu tutkimus, joka suoritettiin Brittiläisen Kolumbian yliopiston ensimmäisen vuoden lääketieteen opiskelijoiden keskuudessa. Tutkimus arvioi, suoriutuvatko suurten kielimallien (LLM) avulla luodut monivalintakysymykset vertailukelpoisesti perinteisiin ihmisten kirjoittamiin kysymyksiin lääketieteellisessä koulutuksessa.
Osallistujat satunnaistettiin suorittamaan yksi kahdesta muotoilevan harjoitusloppukokeen versiosta, joka koostui 112 tapauspohjaisesta yksittäistä parasta vastausta valitsevan monivalintakysymyksen (MCQ) ryhmästä, jotka olivat linjassa samojen kurssin oppimistavoitteiden kanssa. Yksi kokeen versio sisälsi tekoälyn luomia kysymyksiä, jotka tuotettiin rakenteellisen LLM-työnkulun avulla riippumattomalla tekoälyn vahvistuksella, kun taas toinen sisälsi perinteisillä menetelmillä laatimia kysymyksiä, jotka olivat vanhempien lääketieteen opiskelijoiden kirjoittamia.
Tutkimus arvioi kokeen toteutettavuutta, psykometristä luotettavuutta, pätevyyttä, opiskelijoiden hyväksyttävyyttä ja koulutuksellista vaikutusta. Tuloksiin kuuluvat kokeen suorituskyky, kohtien syrjivyysindeksit, harhauttajien tehokkuus, opiskelijoiden käsitykset kokeen laadusta ja vaikeudesta sekä muutokset koetussa valmiudessa tulevaa summatiivista koetta varten.
Tutkimuksen yleiskatsaus
Tila
Interventio / Hoito
Yksityiskohtainen kuvaus
AHEAD-kokeilu (AI vs Human Exam Assessment and Development) on yksittäiskeskuksessa suoritettu, osallistujilta sokkotettu satunnaistettu kontrolloitu koe ensimmäisen vuoden lääketieteen tohtoriopiskelijoilla, jotka ovat ilmoittautuneet Foundations of Medical Practice I (MEDD 411) -kurssille Brittiläisen Kolumbian yliopistossa.
Osallistujat satunnaistettiin suhteessa 1:1 suorittamaan joko tekoälyn luoman tai ihmisen luoman näyttökoeloppukokeen. Molemmat kokeet koostuivat 112 tapauspohjaisesta paras-vaihtoehto -monivalintakysymyksestä (MCQ), jotka olivat linjassa samojen MEDD 411 opetussuunnitelman tavoitteiden kanssa.
Tekoälyn luomat kysymykset tuotettiin strukturoidulla työnkululla, joka sisälsi ChatGPT:ta kysymysten luomiseen ja Google Geminii itsenäiseen varmennukseen. Ihmisen luomat kysymykset laativat vanhemmat lääketieteen opiskelijat ilman tekoälyapua, ja ne kävivät läpi itsenäisen vertaisarvioinnin. Molemmat kokeet noudattivat identtisiä muotoiluohjeita ja arvioivat samoja oppimistavoitteita.
Kaikki osallistujat suorittivat identtiset ennen koetta ja kokeen jälkeen tehdyt kyselyt, jotka arvioivat demografisia ominaisuuksia, tutustumista tekoälyyn koulutuksessa ja kokeen kokemuksen näkemyksiä. Tutkimus arvioi tekoälyn luomien arviointien hyödyllisyyttä käyttäen van der Vleutenin arviointihyödyllisyysviitekehystä, mukaan lukien toteutettavuus, luotettavuus, pätevyys, hyväksyttävyys ja koulutuksellinen vaikutus.
Kokeilun tavoitteena on selvittää, voivatko suuret kielimallit nopeuttaa muotoilevien lääketieteellisten kokeiden kehittämistä samalla säilyttäen verrattavan psykometrisen laadun ja koulutuksellisen arvon perinteisiin ihmisten laatimiin kysymyksiin verrattuna.
Opintotyyppi
Ilmoittautuminen (Todellinen)
Vaihe
- Ei sovellettavissa
Yhteystiedot ja paikat
Opiskelupaikat
-
-
British Columbia
-
Vancouver, British Columbia, Kanada, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Kuvaus
Sisällyttämiskriteerit:
- Rekisteröityneet ensimmäisen vuoden lääketieteen opiskelijat Brittiläisen Kolumbian yliopiston lääketieteen kandidaattiohjelmassa.
- Voivat vapaaehtoisesti suostua osallistumaan muotoilevaan koevastaanottotutkimukseen.
Poissulkemiskriteerit:
- Opiskelijat, jotka kieltäytyivät osallistumisesta.
- Opiskelijat, jotka eivät suorittaneet koevastaanottoa tai vaadittuja kyselyitä.
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
- Ensisijainen käyttötarkoitus: Muut
- Jako: Satunnaistettu
- Inventiomalli: Rinnakkaistehtävä
- Naamiointi: Yksittäinen
Aseet ja interventiot
Osallistujaryhmä / Arm |
Interventio / Hoito |
|---|---|
|
Kokeellinen: Tekoälyn luoma monivalintakoe
Osallistujat suorittivat 112 kysymyksen koevastausmallikokeen, joka koostui tekoälyn luomista monivalintakysymyksistä.
Kysymykset luotiin rakenteellisella suuren kielimallin työnkululla, jossa ChatGPT-4 vastasi kysymysten luomisesta ja Google Gemini niiden riippumattomasta vahvistamisesta.
|
Muotoileva harjoituskoe, joka koostuu 112 tapauspohjaisesta monivalintakysymyksestä, luotu käyttäen suuria kielimalleja, jotka on linjattu kurssin oppimistavoitteiden kanssa.
|
|
Active Comparator: Ihmisen Luoma Monivalintakoe
Osallistujat suorittivat 112 kysymyksen käsitepohjaisen, parhaan vastauksen valintaan perustuvan harjoituskokeen, joka koostui ihmisten laatimista monivalintakysymyksistä. Kysymykset kehittivät vanhemmat lääketieteen opiskelijat perinteisin kysymysten laatimismenetelmin ja vertaisarvioinnin avulla.
|
Muodollinen harjoituskoe, joka koostuu 112 tapauspohjaisesta monivalintakysymyksestä, jotka on kirjoitettu lääketieteen ylioppilaiden toimesta käyttäen perinteisiä tehtäväkirjoitusmenetelmiä, jotka on linjattu samojen kurssin oppimistavoitteiden kanssa.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Opiskelijoiden suoritusarviointi kokeellisessa tentissä
Aikaikkuna: Välittömästi valekokeen suorittamisen jälkeen
|
Vertaile keskiarvotutkintopisteitä opiskelijoiden välillä, jotka satunnaistettiin tekoälyn luomiin versus ihmisten luomiin harjoituskoetutkintoihin.
|
Välittömästi valekokeen suorittamisen jälkeen
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Kohteen diskriminaatioindeksi
Aikaikkuna: Välittömästi valekokeen suorittamisen jälkeen
|
Kohtatason erottelukelpoisuusindeksi, joka vertailee tekoälyn ja ihmisen luomia monivalintakysymyksiä, edustaen korkeasti ja heikosti suoriutuvien opiskelijoiden oikeiden vastausten osuuksien eroa.
|
Välittömästi valekokeen suorittamisen jälkeen
|
|
Häiritsevän tekijän tehokkuus
Aikaikkuna: Välittömästi harjoituskokeen päättymisen jälkeen
|
Osallistujista vähintään 5 %:n valitsemien harhauttajien osuus, vertaillen tekoälyn ja ihmisen luomia kysymyksiä.
|
Välittömästi harjoituskokeen päättymisen jälkeen
|
|
Opiskelijoiden arvioima tentin laatu ja hyväksyttävyys
Aikaikkuna: Välittömästi valekokeen suorittamisen jälkeen
|
Opiskelijoiden arvioita tentin vaikeustasosta, selkeydestä, relevanssista kurssimateriaaliin nähden, ajan riittävyydestä, monivalintakysymysten laadusta, kliinisten käsitteiden ymmärtämisestä, tiedon puutteiden tunnistamisesta, tiedon säilymisestä tulevaa kliinistä käytäntöä varten ja valmiudesta tulevaa summatiivista tenttiä varten, mitattuna välittömästi tentin suorittamisen jälkeen käyttäen 10-asteikollista Likert-asteikkoa (1 = alin arvio, 10 = korkein arvio).
Useimmille alueille korkeammat pisteet osoittavat mitatun konstruktin suurempaa hyväksyntää; vaikeuskohteen osalta korkeammat pisteet osoittavat suurempaa havaittua vaikeutta.
|
Välittömästi valekokeen suorittamisen jälkeen
|
|
MCQ-kehitysajan tehokkuussuhde kohdennetun oppimistavoitteen kohdalla
Aikaikkuna: Perustaso (osallistujatestauksen edellä)
|
Tulosmittari, joka arvioi tekoälyn (AI) luomien monivalintakysymysten (MCQ) ja ihmisten luomien monivalintakysymysten kehitystehokkuutta.
Tehokkuussuhde laskettiin jakamalla ihmisten luomien MCQ-kehitysaika tekoälyn luomien MCQ-kehitysajalla vastaaville oppimistavoitteille. |
Perustaso (osallistujatestauksen edellä)
|
|
Muutos koetussa valmiudessa summatiiviseen kokeeseen
Aikaikkuna: Ennen ja välittömästi valekokeen suorittamisen jälkeen
|
Muutos ennen tutkintoa ja sen jälkeen itsearvioituun valmiuteen tulevaa summatiivista tutkintoa varten, mitattuna 10-pisteisellä Likert-asteikolla (1 = ei lainkaan valmis; 10 = erittäin valmis), jossa korkeammat pisteet osoittavat suurempaa koettua valmiutta.
|
Ennen ja välittömästi valekokeen suorittamisen jälkeen
|
Yhteistyökumppanit ja tutkijat
Sponsori
Tutkijat
- Päätutkija: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Todellinen)
Opintojen valmistuminen (Todellinen)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Avainsanat
Muut tutkimustunnusnumerot
- Med_AHEAD_Trial
- H16-00044 (Muu tunniste: University of British Columbia)
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
IPD-suunnitelman kuvaus
IPD-jaon aikakehys
IPD-jaon käyttöoikeuskriteerit
IPD-jakamista tukeva tietotyyppi
- STUDY_PROTOCOL
- MAHLA
- ICF
- CSR
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .