Evaluering av effektiviteten og brukbarheten til kunstig intelligens (ChatGPT) for helsefagstudenter (AIHSS)

En to-trinns randomiseringsstrategi vil bli vedtatt. Fordelingen av deltakere i arrangementsgruppe A og B vil bli bestemt gjennom datamaskingenerert randomisering i et tildelingsforhold: 1:1. Å adressere etiske bekymringer angående maktdynamikk mellom professorer og studenter; etterforskerne har valgt å involvere en person som er uavhengig av forskerteamet. Denne beslutningen tar sikte på å minimere enhver potensiell skjevhet eller påvirkning som kan oppstå fra direkte professorinvolvering i intervensjonen. Denne tilnærmingen bidrar til å sikre at studien gjennomføres rettferdig og objektivt, og fremmer et forskningsmiljø som prioriterer like muligheter for alle deltakere. Begge gruppene skal samtidig jobbe med en oppgave (A og B).

Etterforskerne brukte et cross-over-design for å sikre likeverdig læringsopplevelse for alle studenter. Dette innebar å tildele studenter enten ChatGPD (A) eller de vanlige nettverktøyene (B) for å få tilgang til ressurser og hjelpe dem med oppgavene deres. I den innledende fasen av intervensjonen vil deltakerne i gruppe A bruke ChatGPT for å fullføre oppgavene sine, mens deltakerne i gruppe B vil fungere som kontrollgruppen. I den påfølgende perioden vil intervensjonene veksle mellom de to gruppene. For å vurdere deltakernes teknologibrukbarhet vil begge gruppene fylle ut pre- og post-spørreskjemaer. I tillegg vil deltakerne bli bedt om å fylle ut et spørreskjema etter intervensjon for å evaluere deres oppfatning av hjelpemetodene. Etter en periode med en utvasking på 13 dager/uke, vil deltakere som tidligere ble allokert til gruppe A, bli allokert til gruppe B, og det samme med deltakere som tidligere ble allokert til gruppe B vil være til gruppe A. Denne crossover randomiserte kontrollforsøket vil inkludere 50 helsefagstudenter som er registrert på kurset Chronic Health Conditions and Disability (HLTH 3503), Carleton University. Under den første delen av intervensjonen vil A-gruppe bruke ChatGPT for å fullføre oppgaven, mens B-deltakere vil fungere som en kontrollgruppe. I den andre uken går inngrepene over. Begge gruppenes deltakere vil fylle ut et pre-og post-spørreskjema for å vurdere kunnskapen deres. Deltakerne vil også fylle ut et spørreskjema etter intervensjon for å evaluere deres oppfatninger. System Usability Scale (SUS) vil bli administrert på slutten av intervensjonene og når deltakerne går over til det andre hjelpeverktøyet. Dette gir mulighet for vurdering av utfall og sammenligninger innenfor og mellom de to intervensjonsarmene. Ved å samle inn data på flere punkter i studien, kan etterforskerne evaluere effekten av hver intervensjon og eventuelle potensielle overføringseffekter i løpet av overgangsperioden. I tillegg gir det en mulighet til å måle endringer i resultater hos individuelle deltakere når de bytter fra en intervensjon til en annen. Spørreskjemaet om sosioøkonomiske spørsmål, leseferdighetsspørsmål, Fordeler med AI og risikoer og negative erfaringer knyttet til AI-bruk.