Indvirkning af GPT-brug på essayskrivningspræstationer og kognitive evner

Eksperimentel: Interventionsarm

I interventionsarmen instrueres deltagerne i at bruge ChatGPT som assistance til at udføre en analytisk skriveopgave.

Adfærdsmæssigt: GPT support

Computergrænsefladen, der bruges til opgaveskrivningen, følger et opdelt skærmdesign. Skriveinstruktionerne og tekstindtastningsfeltet administreres på en undersøgelsesplatform, placeret i venstre halvdel af skærmen. ChatGPT er placeret på højre halvdel af skærmen for teknisk assistance.

Ingen indgriben: Kontrolarm

I kontrolarmen instrueres deltagerne i at udføre en analytisk skriveopgave selvstændigt uden adgang til nogen som helst teknologisk assistance.

Skrivepræstation

Essayskriveopgaven er afledt af Analytical Writing-sektionen i Graduate Record Examinations (GRE), som er en verdensomspændende og standardiseret computerbaseret eksamen udviklet af Educational Testing Service (ETS). Deltagernes essays vil blive bedømt på en skala fra 0 til 6 af et automatisk og valideret tredjepartsscoringsværktøj, som også er udviklet af ETS.

Kognitiv indsats målt efter elevstørrelse

Kognitiv indsats kvantificeres ved at overvåge ændringer i pupilstørrelse. For at opnå dette registreres pupildiametre under hele skriveopgaven ved hjælp af en nær-infrarød eyetracker, specifikt Tobii Pro Fusion-modellen. Ved starten af ​​eksperimentet måles individuelle baseline-pupildiametre under en 30-sekunders afspændingsopgave.

Selvopfattelse af skrivepræstation

Dette er en skala med ét punkt:

Ved at bruge den samme karakterrubrik fra før, hvilken karakter mener du, at dit essay skal få (0 er det laveste og 6 er det højeste)?

Scoren går fra 0 til 6. En højere score indikerer højere selvopfattet skrivepræstation. Variablen behandles som en kontinuert variabel.

Selvopfattelse af kognitiv indsats

Dette er en Likert-skala med ét element tilpasset fra National Aeronautics and Space Administration-task load index (NASA-TLX; Hart, 2006; Hart & Staveland, 1988):

Vurder på en skala fra 1 til 7, hvor hårdt du skal arbejde for at opnå dit præstationsniveau.

Likert-scoren varierer fra 1 til 7 (1 er "meget lav" og 7 er "meget høj"). En højere score indikerer højere selvopfattet kognitiv indsats. Variablen behandles som en kontinuert variabel.

Referencer:

1. Hart, S. G. (2006). Nasa-Task Load Index (NASA-TLX); 20 år senere. Proceedings of the Human Factors and Ergonomics Society Årsmøde. https://doi.org/10.1177/154193120605000909
2. Hart, S. G., & Staveland, L. E. (1988). Udvikling af NASA-TLX (Task Load Index): Resultater af empirisk og teoretisk forskning. In Advances in Psychology (Vol. 52, s. 139-183). Nord-Holland.

Kognitiv indsats målt ved kortikal hæmodynamisk aktivitet i frontallappen

Kognitiv indsats kvantificeres ved at overvåge ændringer i den kortikale hæmodynamiske aktivitet i frontallappen. For at opnå dette registreres hjerneaktiviteten gennem hele skriveopgaven ved hjælp af en funktionel nær-infrarød spektroskopi (fNIRS), specifikt NIRSport2-modellen.

Selvopfattelse af stress

Dette er en et-element Likert-underskala tilpasset fra Primary Appraisal Secondary Appraisal-skalaen (PASA; Gaab, 2009; Pollak et al., 2020):

Hvor enig eller uenig ville du på en skala fra 1 til 7 i følgende udsagn om oplevet stress: Den analytiske skriveopgave var stressende for mig.

Likert-scoren går fra 1 til 7 (1 er "meget uenig" og 7 er "meget enig"). En højere score indikerer højere selvopfattet stress. Variablen behandles som en kontinuert variabel.

Referencer:

1. Gaab, J. (2009). PASA-Primær vurdering Sekundær vurdering. Et spørgeskema til vurdering af kognitive vurderinger af situationer. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stress i manuelle og autonome samarbejdsformer med en cobot. Computere i menneskelig adfærd, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Selvopfattelse af udfordring

Dette er en et-element Likert-underskala tilpasset fra Primary Appraisal Secondary Appraisal-skalaen (PASA; Gaab, 2009; Pollak et al., 2020):

Hvor enig eller uenig er du på en skala fra 1 til 7 i følgende udsagn om oplevet udfordring: Jeg synes, at den analytiske skriveopgave er en udfordring.

Likert-scoren går fra 1 til 7 (1 er "meget uenig" og 7 er "meget enig"). En højere score indikerer højere selvopfattet udfordring. Variablen behandles som en kontinuert variabel.

Referencer:

1. Gaab, J. (2009). PASA-Primær vurdering Sekundær vurdering. Et spørgeskema til vurdering af kognitive vurderinger af situationer. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stress i manuelle og autonome samarbejdsformer med en cobot. Computere i menneskelig adfærd, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Selveffektivitet i at skrive

Dette er en Likert-skala med 16 elementer, der måler tre dimensioner af selv-effektivitet ved at skrive: idé, konvention og selvregulering (Bruning et al., 2013). Likert-scoren går fra 1 til 7 (1 er "meget uenig" og 7 er "meget enig"). En højere score indikerer højere self-efficacy. De tre dimensioner vil blive behandlet separat, hver som en kontinuerlig variabel.

Reference:

1. Bruning, R., Dempsey, M., Kauffman, D. F., McKim, C., & Zumbrunn, S. (2013). Undersøgelse af dimensioner af self-efficacy til skrivning. Journal of Educational Psychology, 105(1), 25.

Situationsbestemt interesse for analytisk skrivning

Dette er en Likert-skala med fire elementer tilpasset fra den situationelle interesseskala (Hulleman et al., 2010). Denne skala måler deltagernes situationelle interesse for analytisk skrivning:

Hvor enig eller uenig ville du på en skala fra 1 til 7 i følgende udsagn om din interesse for den analytiske skriveopgave, som du lige har gennemført?

1. Den analytiske skriveopgave var interessant.
2. Det var sjovt at arbejde med essayet.
3. Jeg nød at skrive essayet.
4. Den analytiske skriveopgave var underholdende.

Likert-scoren går fra 1 til 7 (1 er "meget uenig" og 7 er "meget enig"). En højere score indikerer højere situationsbestemt interesse. Variablen behandles som en kontinuert variabel.

Reference:

1. Hulleman, C. S., Godes, O., Hendricks, B. L., & Harackiewicz, J. M. (2010). Forbedring af interesse og ydeevne med et nytteværdiindgreb. Journal of Educational Psychology, 102(4), 880.

Adfærdsmæssig hensigt ved brug af ChatGPT

Dette er en Likert-skala med to elementer, der måler deltagernes adfærdsmæssige intention med at bruge ChatGPT i fremtiden til essayskrivningsopgaver (Albayati, 2024):

På en skala fra 1 til 7, hvor er du enig eller uenig i følgende udsagn om brug af ChatGPT i essayskrivningsopgaver?

1. Hvis jeg har adgang til ChatGPT, ville jeg bruge det til essayskrivningsopgaver.
2. Jeg planlægger at bruge ChatGPT i fremtiden, hvis jeg har en opgaveskrivning.

Likert-scoren går fra 1 til 7 (1 er "meget uenig" og 7 er "meget enig"). En højere score indikerer højere adfærdsmæssige intentioner ved brug af ChatGPT. Variablen behandles som en kontinuert variabel.

Reference:

1. Albayati, H. (2024). Undersøgelse af bachelorstuderendes opfattelse og bevidsthed om at bruge ChatGPT som et regulært hjælpeværktøj: En undersøgelse af brugeracceptperspektiv. Computere og uddannelse: Kunstig intelligens, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203