Effekten av GPT-bruk på essayskriving og kognitive evner

Eksperimentell: Intervensjonsarm

I intervensjonsarmen blir deltakerne instruert til å bruke ChatGPT for å få hjelp til å fullføre en analytisk skriveoppgave.

Atferdsmessig: GPT-støtte

Datamaskingrensesnittet som brukes til oppgaveskriving, følger en delt skjermdesign. Skriveinstruksjonene og tekstfeltet administreres på en spørreundersøkelsesplattform, plassert på venstre halvdel av skjermen. ChatGPT er plassert på høyre halvdel av skjermen for teknisk assistanse.

Ingen inngripen: Kontrollarm

I kontrollarmen blir deltakerne instruert til å fullføre en analytisk skriveoppgave uavhengig uten tilgang til teknologiassistanse.

Skriveytelse

Essayskrivingsoppgaven er avledet fra Analytical Writing-delen i Graduate Record Examinations (GRE), som er en verdensomspennende og standardisert datamaskinbasert eksamen utviklet av Educational Testing Service (ETS). Deltakernes essays vil bli skåret på en skala fra 0 til 6 av et automatisk og validert tredjeparts scoringsverktøy som også er utviklet av ETS.

Kognitiv innsats målt etter elevstørrelse

Kognitiv innsats kvantifiseres ved å overvåke endringer i pupillstørrelse. For å oppnå dette registreres pupilldiametere gjennom hele skriveoppgaven ved hjelp av en nær-infrarød øyesporing, nærmere bestemt Tobii Pro Fusion-modellen. Ved starten av eksperimentet blir individuelle baseline-pupilldiametere målt under en 30-sekunders avspenningsoppgave.

Selvoppfatning av skriveytelse

Dette er en skala med ett element:

Ved å bruke samme karakterrubrikk fra før, hvilken poengsum tror du essayet ditt bør få (0 er det laveste og 6 er det høyeste)?

Poengsummen varierer fra 0 til 6. En høyere poengsum indikerer høyere selvopplevd skriveytelse. Variabelen behandles som en kontinuerlig variabel.

Selvoppfatning av kognitiv innsats

Dette er en Likert-skala med ett element tilpasset fra National Aeronautics and Space Administration-oppgavebelastningsindeksen (NASA-TLX; Hart, 2006; Hart & Staveland, 1988):

På en skala fra 1 til 7 kan du vurdere hvor hardt du må jobbe for å oppnå ytelsesnivået ditt.

Likert-poengsummen varierer fra 1 til 7 (1 er "veldig lav" og 7 er "veldig høy"). En høyere score indikerer høyere selvopplevd kognitiv innsats. Variabelen behandles som en kontinuerlig variabel.

Referanser:

1. Hart, S. G. (2006). Nasa-Task Load Index (NASA-TLX); 20 år senere. Proceedings of the Human Factors and Ergonomics Societys årsmøte. https://doi.org/10.1177/154193120605000909
2. Hart, S. G., & Staveland, L. E. (1988). Utvikling av NASA-TLX (Task Load Index): Resultater av empirisk og teoretisk forskning. In Advances in Psychology (Vol. 52, s. 139-183). Nord-Holland.

Kognitiv innsats målt ved kortikal hemodynamisk aktivitet i frontallappen

Kognitiv innsats kvantifiseres ved å overvåke endringer i den kortikale hemodynamiske aktiviteten i frontallappen. For å oppnå dette blir hjerneaktiviteten registrert gjennom hele skriveoppgaven ved hjelp av en funksjonell nær-infrarød spektroskopi (fNIRS), nærmere bestemt NIRSport2-modellen.

Selvoppfatning av stress

Dette er en ett-element Likert-underskala tilpasset fra Primary Appraisal Secondary Appraisal-skalaen (PASA; Gaab, 2009; Pollak et al., 2020):

På en skala fra 1 til 7, hvor enig eller uenig vil du være i følgende påstand om opplevd stress: Den analytiske skriveoppgaven var stressende for meg.

Likert-poengsummen varierer fra 1 til 7 (1 er "helt uenig" og 7 er "helt enig"). En høyere score indikerer høyere selvopplevd stress. Variabelen behandles som en kontinuerlig variabel.

Referanser:

1. Gaab, J. (2009). PASA-Primærvurdering Sekundærvurdering. Et spørreskjema for vurdering av kognitive vurderinger av situasjoner. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stress i manuelle og autonome samarbeidsformer med en cobot. Computers in Human Behavior, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Selvoppfatning av utfordring

Dette er en ett-element Likert-underskala tilpasset fra Primary Appraisal Secondary Appraisal-skalaen (PASA; Gaab, 2009; Pollak et al., 2020):

På en skala fra 1 til 7, hvor enig eller uenig vil du være i følgende påstand om opplevd utfordring: Jeg synes den analytiske skriveoppgaven er en utfordring.

Likert-poengsummen varierer fra 1 til 7 (1 er "helt uenig" og 7 er "helt enig"). En høyere poengsum indikerer høyere selvopplevd utfordring. Variabelen behandles som en kontinuerlig variabel.

Referanser:

1. Gaab, J. (2009). PASA-Primærvurdering Sekundærvurdering. Et spørreskjema for vurdering av kognitive vurderinger av situasjoner. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stress i manuelle og autonome samarbeidsformer med en cobot. Computers in Human Behavior, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Selveffektivitet i å skrive

Dette er en Likert-skala på seksten punkter som måler tre dimensjoner ved skriving av selveffektivitet: ideasjon, konvensjon og selvregulering (Bruning et al., 2013). Likert-poengsummen varierer fra 1 til 7 (1 er "helt uenig" og 7 er "helt enig"). En høyere poengsum indikerer høyere selveffektivitet. De tre dimensjonene vil bli behandlet separat, hver som en kontinuerlig variabel.

Henvisning:

1. Bruning, R., Dempsey, M., Kauffman, D. F., McKim, C., & Zumbrunn, S. (2013). Undersøke dimensjoner av selveffektivitet for skriving. Journal of Educational Psychology, 105(1), 25.

Situasjonsmessig interesse for analytisk skriving

Dette er en Likert-skala med fire elementer tilpasset den situasjonelle interesseskalaen (Hulleman et al., 2010). Denne skalaen måler deltakernes situasjonelle interesse for analytisk skriving:

På en skala fra 1 til 7, hvor enig eller uenig er du i følgende påstander om din interesse for den analytiske skriveoppgaven du nettopp har fullført?

1. Den analytiske skriveoppgaven var interessant.
2. Det var gøy å jobbe med essayet.
3. Jeg likte å skrive essayet.
4. Den analytiske skriveoppgaven var hyggelig.

Likert-poengsummen varierer fra 1 til 7 (1 er "helt uenig" og 7 er "helt enig"). En høyere poengsum indikerer høyere situasjonsbestemt interesse. Variabelen behandles som en kontinuerlig variabel.

Henvisning:

1. Hulleman, C. S., Godes, O., Hendricks, B. L., & Harackiewicz, J. M. (2010). Forbedring av interesse og ytelse med et nytteverdiinngrep. Journal of Educational Psychology, 102(4), 880.

Atferdsmessig intensjon ved bruk av ChatGPT

Dette er en Likert-skala med to elementer som måler deltakernes atferdsintensjon ved bruk av ChatGPT i fremtiden for essayskrivingsoppgaver (Albayati, 2024):

På en skala fra 1 til 7, hvor enig eller uenig er du i følgende påstander om bruk av ChatGPT i essayskrivingsoppgaver?

1. Hvis jeg har tilgang til ChatGPT, ville jeg brukt det til essayskrivingsoppgaver.
2. Jeg planlegger å bruke ChatGPT i fremtiden hvis jeg har en oppgaveskriving.

Likert-poengsummen varierer fra 1 til 7 (1 er "helt uenig" og 7 er "helt enig"). En høyere poengsum indikerer høyere atferdsintensjon ved bruk av ChatGPT. Variabelen behandles som en kontinuerlig variabel.

Henvisning:

1. Albayati, H. (2024). Undersøkelse av studenters oppfatninger og bevissthet om å bruke ChatGPT som et vanlig hjelpeverktøy: En studie med brukerakseptanseperspektiv. Datamaskiner og utdanning: kunstig intelligens, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203