Tekoälyn (ChatGPT) tehokkuuden ja käytettävyyden arviointi terveystieteiden opiskelijoille (AIHSS)
Crossover satunnaistettu kontrolloitu kokeilu tekoälyn (ChatGPT) tehokkuuden ja käytettävyyden arvioimiseksi terveystieteiden opiskelijoille (AIHSS)
Tutkimuksen yleiskatsaus
Tila
Interventio / Hoito
Yksityiskohtainen kuvaus
Otetaan käyttöön kaksivaiheinen satunnaistusstrategia. Osallistujien jako tapahtumaryhmiin A ja B määräytyy tietokoneella tuotetulla satunnaistuksella allokaatiosuhteessa: 1:1. Käsitellä professorien ja opiskelijoiden välistä voimadynamiikkaa koskevia eettisiä huolenaiheita; tutkijat ovat päättäneet ottaa mukaan tutkimusryhmästä riippumattoman henkilön. Tällä päätöksellä pyritään minimoimaan mahdollinen harha tai vaikutus, joka voi johtua professorin suorasta osallistumisesta interventioon. Tämä lähestymistapa auttaa varmistamaan, että tutkimus suoritetaan oikeudenmukaisesti ja puolueettomasti, mikä edistää tutkimusympäristöä, joka asettaa etusijalle yhtäläiset mahdollisuudet kaikille osallistujille. Molemmat ryhmät työskentelevät samanaikaisesti tehtävässä (A ja B).
Tutkijat käyttivät cross-over-mallia varmistaakseen tasapuolisen oppimiskokemuksen kaikille opiskelijoille. Tämä sisälsi opiskelijoille joko ChatGPD:n (A) tai tavallisten online-työkalujen (B) määrittämisen resurssien käyttämiseen ja heidän tehtäviensä auttamiseen. Intervention alkuvaiheessa ryhmän A osallistujat käyttävät ChatGPT:tä tehtäviensä suorittamiseen, kun taas ryhmän B osallistujat toimivat kontrolliryhmänä. Seuraavalla jaksolla interventiot vaihtuvat kahden ryhmän välillä. Arvioidakseen osallistujien teknologian käytettävyyttä molemmat ryhmät täyttävät ennakko- ja jälkikyselylomakkeet. Lisäksi osallistujia pyydetään täyttämään interventioiden jälkeinen kyselylomake arvioidakseen käsityksensä avustusmenetelmistä. 13 päivää viikossa poistumisjakson jälkeen osallistujat, jotka oli aiemmin jaettu ryhmään A, jaetaan ryhmään B, ja samat osallistujat, jotka on aiemmin jaettu ryhmään B, ryhmään A. Tämä crossover satunnaistettu kontrollikoe Mukana 50 terveystieteiden opiskelijaa, jotka ovat rekisteröityneet Carleton Universityn Krooniset terveysolosuhteet ja vammaisuuden kurssille (HLTH 3503). Intervention ensimmäisessä osassa A-ryhmä käyttää ChatGPT:tä tehtävänsä suorittamiseen, kun taas B-osallistujat toimivat kontrolliryhmänä. Toisella viikolla interventiot ylittävät. Molempien ryhmien osallistujat täyttävät ennakko- ja jälkikyselylomakkeen arvioidakseen tietojaan. Osallistujat täyttävät myös interventioiden jälkeisen kyselylomakkeen arvioidakseen havaintojaan. System Usability Scale (SUS) -asteikkoa hallinnoidaan toimenpiteiden lopussa ja kun osallistujat siirtyvät käyttämään toista avustustyökalua. Tämä mahdollistaa tulosten arvioinnin ja vertailun kahden interventiohaan sisällä ja välillä. Keräämällä tietoja tutkimuksen useista kohdista tutkijat voivat arvioida kunkin toimenpiteen vaikutuksia ja mahdollisia siirtymävaikutuksia jakojakson aikana. Lisäksi se tarjoaa mahdollisuuden mitata yksittäisten osallistujien tulosten muutoksia heidän siirtyessään interventiosta toiseen. Kyselylomake sosioekonomisista, lukutaitokysymyksistä, tekoälyn eduista sekä tekoälyn käyttöön liittyvistä riskeistä ja negatiivisista kokemuksista.
Opintotyyppi
Ilmoittautuminen (Todellinen)
Vaihe
- Ei sovellettavissa
Yhteystiedot ja paikat
Opiskelupaikat
-
-
-
Ottawa, Kanada
- Carleton University
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Kuvaus
Sisällyttämiskriteerit:
- Terveystieteen opiskelijat
- Ilmoittauduttava Krooniset terveysolosuhteet ja vammaisuuden kurssille (HLTH 3503), syksy 2023.
Poissulkemiskriteerit:
• Ei pysty antamaan tietoon perustuvaa suostumusta
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
- Ensisijainen käyttötarkoitus: Muut
- Jako: Satunnaistettu
- Inventiomalli: Crossover-tehtävä
- Naamiointi: Yksittäinen
Aseet ja interventiot
Osallistujaryhmä / Arm |
Interventio / Hoito |
|---|---|
|
Ei väliintuloa: Perinteisten verkkotyökalujen ryhmä
Ryhmä B toimii vertailuryhmänä tässä tutkimuksessa.
Ryhmään osallistuvat saavat ohjeet siitä, miten tehtävä suoritetaan perinteisillä Internetissä olevilla verkkotyökaluilla ilman tekoälyä.
Heillä on kuusi päivää aikaa suorittaa tehtävä näiden tavanomaisten työkalujen avulla.
Samoin kuin Arm 1:n osallistujat, heidän on myös täytettävä teknologian käytettävyyttä koskeva kysely, joka antaa palautetta kokemuksistaan verkkotyökaluista.
|
|
|
Kokeellinen: Tekoäly (ChatGPT) -ryhmä
Ryhmän A osallistujat saavat käyttää ChatGPT:tä työkaluna tehtävien suorittamiseen.
Heille annetaan kuusi päivää aikaa käyttää tekoälyä ChatGPT:n kautta tehtävän suorittamiseen.
Tehtäväohjeiden ohella osallistujat saavat eettiset ohjeet ja erityiset ohjeet ChatGPT:n tehokkaaseen hyödyntämiseen.
Interventiojakson päätyttyä osallistujille annetaan 24 tuntia aikaa suorittaa teknologian käytettävyyttä arvioiva kysely.
Kyselyn tavoitteena on kerätä arvokasta palautetta osallistujien kokemuksista ja käsityksistä ChatGPT:n käytöstä tehtäviensä hoitamisessa.
Lisäksi Arm 1:n osallistujia pyydetään myös täyttämään kysely siitä, miten he kokevat tekoälyn (AI) käyttämisen apuvälineenä tehtäviensä suorittamisessa.
Tämän kyselyn tarkoituksena on kerätä näkemyksiä heidän ajatuksistaan, mielipiteistään ja asenteistaan tekoälyn hyödyntämiseen oppimisprosessissa.
|
Ryhmän A osallistujat saavat käyttää ChatGPT:tä työkaluna tehtävien suorittamiseen.
Heille annetaan kuusi päivää aikaa käyttää tekoälyä ChatGPT:n kautta tehtävän suorittamiseen.
Tehtäväohjeiden ohella osallistujat saavat eettiset ohjeet ja erityiset ohjeet ChatGPT:n tehokkaaseen hyödyntämiseen.
Interventiojakson päätyttyä osallistujille annetaan 24 tuntia aikaa suorittaa teknologian käytettävyyttä arvioiva kysely.
Kyselyn tavoitteena on kerätä arvokasta palautetta osallistujien kokemuksista ja käsityksistä ChatGPT:n käytöstä tehtäviensä hoitamisessa.
Lisäksi Arm 1:n osallistujia pyydetään myös täyttämään kysely siitä, miten he kokevat tekoälyn (AI) käyttämisen apuvälineenä tehtäviensä suorittamisessa.
Tämän kyselyn tarkoituksena on kerätä näkemyksiä heidän ajatuksistaan, mielipiteistään ja asenteistaan tekoälyn hyödyntämiseen oppimisprosessissa.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
System Usability Scale (SUS) -pisteet ovat 0-100, keskimääräinen SUS-pistemäärä on 68.
Aikaikkuna: 24 tunnin sisällä
|
Teknologian käytettävyys
|
24 tunnin sisällä
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Opiskelijan käsitys tekoälystä, asiantuntijoiden tarkistama kyselylomake, Ei tunnustettua kultastandardin mittausta tulokselle.
Aikaikkuna: 24 tunnin sisällä
|
Opiskelijan käsitys tekoälyn käytöstä
|
24 tunnin sisällä
|
Yhteistyökumppanit ja tutkijat
Sponsori
Yhteistyökumppanit
Tutkijat
- Päätutkija: Mirella Veras, PhD, Carleton University
Julkaisuja ja hyödyllisiä linkkejä
Yleiset julkaisut
- Zhou L, Bao J, Setiawan IMA, Saptono A, Parmanto B. The mHealth App Usability Questionnaire (MAUQ): Development and Validation Study. JMIR Mhealth Uhealth. 2019 Apr 11;7(4):e11500. doi: 10.2196/11500.
- Dwan K, Li T, Altman DG, Elbourne D. CONSORT 2010 statement: extension to randomised crossover trials. BMJ. 2019 Jul 31;366:l4378. doi: 10.1136/bmj.l4378.
- Luna A, Casertano L, Timmerberg J, O'Neil M, Machowsky J, Leu CS, Lin J, Fang Z, Douglas W, Agrawal S. Artificial intelligence application versus physical therapist for squat evaluation: a randomized controlled trial. Sci Rep. 2021 Sep 13;11(1):18109. doi: 10.1038/s41598-021-97343-y.
- Liu X, Rivera SC, Moher D, Calvert MJ, Denniston AK; SPIRIT-AI and CONSORT-AI Working Group. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI Extension. BMJ. 2020 Sep 9;370:m3164. doi: 10.1136/bmj.m3164.
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Todellinen)
Opintojen valmistuminen (Todellinen)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Arvioitu)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Avainsanat
Muut tutkimustunnusnumerot
- AIHSS01
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .