Tekoälyn luomat vs. akateemikkojen kehittämät monivalintakysymykset anestesiologian opetuksessa
Vertaileva tutkimus anestesiologian opetuksessa käytettävien tekoälyn luomien ja akateemikkojen kehittämien monivalintakysymysten (monivalintatehtävien) välillä: prospektiivinen kohorttitutkimus
Tämä prospektiivinen havainnointitutkimus pyrkii arvioimaan keinotekoisen älyn (AI) luomien usean oikean/väärän -kysymysten tehokkuutta ja koulutuksellista arvoa verrattuna anestesiologian koulutuksessa kokeneiden akateemikkojen kehittämiin kysymyksiin.
Tutkimukseen sisällytetään yhteensä 27 anestesiologian erikoislääkäriharjoittelijaa. Luodaan 200 usean oikean/väärän -kysymyksen sarjat, joista puolet on akateemikkojen ja toinen puoli keinotekoisen älyn mallin (ChatGPT-pohjainen järjestelmä) luomia. Kysymykset perustuvat anestesiologian koulutusohjelman standardoituihin opetusmateriaaleihin.
Osallistujat suorittavat testin yhdessä istunnossa. Jokainen oikea vastaus pisteytetään yhdellä pisteellä, ja kokonaispisteet lasketaan. Testimenestyksen lisäksi analysoidaan kysymysten vaikeusaste, erottelukertoimet ja testin luotettavuus. Lisäksi arvioidaan osallistujien käsityksiä kysymysten laadusta.
Tutkimuksen tavoitteena on selvittää, voivatko AI-luomat kysymykset tarjota luotettavan ja tehokkaan vaihtoehdon perinteisille kysymysten kehitysmenetelmille lääketieteellisessä koulutuksessa ja edistää objektiivisempia ja standardoituja arviointiprosesseja.
Tutkimuksen yleiskatsaus
Tila
Yksityiskohtainen kuvaus
Tämä yksittäiskeskusprospektiivinen havainnointikohorttitutkimus on suunniteltu arvioimaan tekoälyn (AI) tuottamien monivalintojen (MTF) kysymysten tehokkuutta, luotettavuutta ja koulutusarvoa verrattuna kokeneiden anestesiologian kouluttajien kehittämiin kysymyksiin anestesiologian koulutuksessa.
Tutkimus toteutetaan Kütahyan terveystieteiden yliopiston anestesiologian ja reanimatologian osastolla. Mukaan otetaan yhteensä 27 anestesiologian erikoistuvaa lääkäriä, jotka jaetaan kahteen ryhmään koulutustasonsa perusteella: nuorempiin erikoistuviin (≤2,5 vuoden koulutus) ja vanhempiin erikoistuviin (>2,5 vuoden koulutus).
Yhteensä 200 MTF-kysymystä kehitetään standardoitujen anestesiologian koulutusmateriaalien perusteella. Puolet kysymyksistä (n=100) laaditaan kokeneiden akateemikkojen toimesta, kun taas toinen puoli (n=100) tuotetaan tekoälymallin avulla (ChatGPT-pohjainen järjestelmä). Kaikki kysymykset rakennetaan ennalta määriteltyjen kriteerien mukaisesti, mukaan lukien vaikeustaso (helppo, kohtalainen, vaikea), kliininen relevanssi ja koulutuksellinen sopivuus.
Osallistujat suorittavat kysymyskokonaisuudet yhdessä istunnossa standardoiduissa olosuhteissa. Jokaisesta oikeasta vastauksesta annetaan 1 piste, ja väärästä vastauksesta 0 pistettä. Kunkin osallistujan kokonaistestipisteet lasketaan.
Koetehtäväanalyysi suoritetaan kysymysten psykometristen ominaisuuksien arvioimiseksi. Lasketaan koetehtävän vaikeusindeksi, koetehtävän erottelevuusindeksi ja koko testin luotettavuus. Lisäksi kysymysten koettua laatua arvioidaan osallistujien palautteen avulla.
Tilastollinen analyysi suoritetaan SPSS-ohjelmistolla. Muuttujien jakaumaa arvioidaan, ja asianmukaisia parametrisia tai ei-parametrisia testejä käytetään tarpeen mukaan. Suoritetaan vertailuja ryhmien (nuoremmat vs. vanhemmat erikoistuvat) ja kysymysten lähteiden (tekoälyn tuottamat vs. akateemikkojen kehittämät) välillä. P-arvoksi <0,05 katsotaan tilastollisesti merkitseväksi.
Tutkimus ei sisällä kliinistä interventiota, lääkeannostelua tai invasiivista toimenpidettä. Osallistuminen on vapaaehtoista, ja kaikilta osallistujilta saatavaan kirjalliseen tietoon perustuva suostumus. Kaikki tiedot kerätään anonyymisti ja käytetään yksinomaan tutkimustarkoituksiin.
Tämän tutkimuksen tulosten odotetaan antavan näkemyksiä tekoälyn mahdollisesta roolista lääketieteellisessä koulutuksessa, erityisesti arviointityökalujen kehittämisessä, ja ne voivat edistää objektiivisempia, standardoituja ja tehokkaampia arviointimenetelmiä anestesiologian koulutuksessa.
Opintotyyppi
Ilmoittautuminen (Todellinen)
Yhteystiedot ja paikat
Opiskelupaikat
-
-
-
Kütahya, Turkki (Türkiye)
- Kutahya Health Sciences University
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Näytteenottomenetelmä
Tutkimusväestö
Kuvaus
Osallistumiskriteerit:
- Anestesiologian erikoislääkäriharjoittelijan asema
- Vapaaehtoinen osallistuminen tutkimukseen
- Valistetun suostumuksen antaminen
Erimääräiskriteerit:
- Osallistumisen kieltäminen
- Puutteelliset testivastaukset
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
Kohortit ja interventiot
Ryhmä/Kohortti |
|---|
|
Tekoälyn Luomat Kysymykset
Useita tosi/epätosi -kysymyksiä, jotka on luotu tekoälymallin avulla
|
|
Akateemikon Kehittämä Kysymys
Useita tosi/epätosi-kysymyksiä, jotka on laatinut kokeneet anestesiologian akateemikot.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Tekoälyn luomien ja asiantuntijoiden laatimien kysymysten vaikeusindeksi
Aikaikkuna: Arviointi suoritetaan kerran jokaisen osallistujan 60 minuutin tutkimusistunnon jälkeen; lopullinen kohtaanalyysi suoritetaan, kun kaikki osallistujat ovat suorittaneet tutkimuksen, enintään 1 kuukauden kuluessa.
|
Kustakin kysymyksestä lasketaan vaikeusindeksi osallistujien osuutena, jotka vastaavat kysymykseen oikein.
Vaikeusindeksejä verrataan tekoälyn luomien ja asiantuntijoiden laatimien kysymysten välillä.
|
Arviointi suoritetaan kerran jokaisen osallistujan 60 minuutin tutkimusistunnon jälkeen; lopullinen kohtaanalyysi suoritetaan, kun kaikki osallistujat ovat suorittaneet tutkimuksen, enintään 1 kuukauden kuluessa.
|
Yhteistyökumppanit ja tutkijat
Sponsori
Julkaisuja ja hyödyllisiä linkkejä
Yleiset julkaisut
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Todellinen)
Opintojen valmistuminen (Todellinen)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Avainsanat
Muut tutkimustunnusnumerot
- E-41997688-050.99-212840
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .