Impact van GPT-gebruik op de schrijfprestaties en cognitieve vaardigheden van essays

Experimenteel: Interventie-arm

In de interventie-arm krijgen deelnemers de opdracht om ChatGPT te gebruiken als hulp bij het voltooien van een analytische schrijftaak.

Gedragsmatig: GPT-ondersteuning

De computerinterface die wordt gebruikt voor het schrijven van essays volgt een ontwerp met een gesplitst scherm. De schrijfinstructies en het tekstinvoerveld worden beheerd op een enquêteplatform, geplaatst op de linkerhelft van het scherm. ChatGPT wordt op de rechterhelft van het scherm geplaatst voor technologische ondersteuning.

Geen tussenkomst: Controle-arm

In de controle-arm krijgen de deelnemers de opdracht om zelfstandig een analytische schrijftaak uit te voeren, zonder toegang tot enige technologische hulp.

Prestaties schrijven

De taak voor het schrijven van essays is afgeleid van de sectie Analytisch schrijven in de Graduate Record Examinations (GRE), een wereldwijd en gestandaardiseerd computergebaseerd examen ontwikkeld door de Educational Testing Service (ETS). De essays van de deelnemers worden gescoord op een schaal van 0 tot 6 door een automatische en gevalideerde scoretool van derden die ook door ETS is ontwikkeld.

Cognitieve inspanning gemeten aan de hand van de pupilgrootte

Cognitieve inspanning wordt gekwantificeerd door veranderingen in pupilgrootte te monitoren. Om dit te bereiken worden de pupildiameters tijdens de schrijftaak geregistreerd met behulp van een nabij-infrarood eyetracker, met name het Tobii Pro Fusion-model. Aan het begin van het experiment worden de individuele basispupildiameters gemeten tijdens een ontspanningstaak van 30 seconden.

Zelfperceptie van schrijfprestaties

Dit is een schaal met één item:

Welke score zou uw essay volgens u moeten krijgen, waarbij u dezelfde beoordelingsrubriek als voorheen gebruikt (0 is de laagste en 6 is de hoogste)?

De score varieert van 0 tot 6. Een hogere score duidt op een hogere zelfwaargenomen schrijfprestatie. De variabele wordt behandeld als een continue variabele.

Zelfperceptie van cognitieve inspanning

Dit is een Likert-schaal met één item, aangepast van de taakbelastingsindex van de National Aeronautics and Space Administration (NASA-TLX; Hart, 2006; Hart & Staveland, 1988):

Beoordeel op een schaal van 1 tot 7 hoe hard u moet werken om uw prestatieniveau te bereiken.

De Likert-score varieert van 1 tot 7 (1 is ‘zeer laag’ en 7 is ‘zeer hoog’). Een hogere score duidt op een hogere zelf waargenomen cognitieve inspanning. De variabele wordt behandeld als een continue variabele.

Referenties:

1. Hart, SG (2006). NASA-taakbelastingindex (NASA-TLX); 20 jaar later. Proceedings van de jaarlijkse bijeenkomst van de Human Factors and Ergonomics Society. https://doi.org/10.1177/154193120605000909
2. Hart, SG, & Staveland, LE (1988). Ontwikkeling van NASA-TLX (Task Load Index): Resultaten van empirisch en theoretisch onderzoek. In Vooruitgang in de psychologie (Vol. 52, blz. 139-183). Noord-Holland.

Cognitieve inspanning gemeten aan de hand van corticale hemodynamische activiteit in de frontale kwab

Cognitieve inspanning wordt gekwantificeerd door veranderingen in de corticale hemodynamische activiteit in de frontale kwab te monitoren. Om dit te bereiken wordt de hersenactiviteit gedurende de hele schrijftaak geregistreerd met behulp van een functionele nabij-infraroodspectroscopie (fNIRS), specifiek het NIRSport2-model.

Zelfperceptie van stress

Dit is een Likert-subschaal met één item, aangepast van de Primary Appraisal Secondary Appraisal-schaal (PASA; Gaab, 2009; Pollak et al., 2020):

Op een schaal van 1 tot 7, in hoeverre bent u het eens of oneens met de volgende stelling over waargenomen stress: De analytische schrijfopdracht was voor mij stressvol.

De Likert-score loopt van 1 tot 7 (1 staat voor ‘helemaal mee oneens’ en 7 voor ‘helemaal mee eens’). Een hogere score duidt op een hogere zelf ervaren stress. De variabele wordt behandeld als een continue variabele.

Referenties:

1. Gaab, J. (2009). PASA-Primaire Beoordeling Secundaire Beoordeling. Een vragenlijst voor de beoordeling van cognitieve beoordelingen van situaties. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M.W. (2020). Stress in handmatige en autonome manieren van samenwerken met een cobot. Computers in menselijk gedrag, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Zelfperceptie van uitdagingen

Dit is een Likert-subschaal met één item, aangepast van de Primary Appraisal Secondary Appraisal-schaal (PASA; Gaab, 2009; Pollak et al., 2020):

Op een schaal van 1 tot 7, in hoeverre bent u het eens of oneens met de volgende stelling over de ervaren uitdaging: Ik vind de analytische schrijfopdracht een uitdaging.

De Likert-score loopt van 1 tot 7 (1 staat voor ‘helemaal mee oneens’ en 7 voor ‘helemaal mee eens’). Een hogere score duidt op een grotere zelf ervaren uitdaging. De variabele wordt behandeld als een continue variabele.

Referenties:

1. Gaab, J. (2009). PASA-Primaire Beoordeling Secundaire Beoordeling. Een vragenlijst voor de beoordeling van cognitieve beoordelingen van situaties. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M.W. (2020). Stress in handmatige en autonome manieren van samenwerken met een cobot. Computers in menselijk gedrag, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Zelfeffectiviteit tijdens het schrijven

Dit is een Likert-schaal met zestien items die drie dimensies van de zelfeffectiviteit bij het schrijven meet: ideevorming, conventie en zelfregulering (Bruning et al., 2013). De Likert-score loopt van 1 tot 7 (1 staat voor ‘helemaal mee oneens’ en 7 voor ‘helemaal mee eens’). Een hogere score duidt op een hogere zelfeffectiviteit. De drie dimensies worden afzonderlijk behandeld, elk als een continue variabele.

Referentie:

1. Bruning, R., Dempsey, M., Kauffman, D.F., McKim, C., & Zumbrunn, S. (2013). Onderzoek naar de dimensies van zelfeffectiviteit bij het schrijven. Tijdschrift voor onderwijspsychologie, 105(1), 25.

Situationele interesse in analytisch schrijven

Dit is een Likert-schaal met vier items, aangepast van de situationele interesseschaal (Hulleman et al., 2010). Deze schaal meet de situationele interesse van deelnemers in analytisch schrijven:

Op een schaal van 1 tot 7, in hoeverre bent u het eens of oneens met de volgende uitspraken over uw interesse in de analytische schrijfopdracht die u zojuist hebt voltooid?

1. De analytische schrijfopdracht was interessant.
2. Het was leuk om aan het essay te werken.
3. Ik vond het schrijven van het essay leuk.
4. De analytische schrijfopdracht was leuk.

De Likert-score loopt van 1 tot 7 (1 staat voor ‘helemaal mee oneens’ en 7 voor ‘helemaal mee eens’). Een hogere score duidt op een hogere situationele interesse. De variabele wordt behandeld als een continue variabele.

Referentie:

1. Hulleman, C.S., Godes, O., Hendricks, B.L., & Harackiewicz, J.M. (2010). Het vergroten van interesse en prestaties met een interventie op het gebied van gebruikswaarde. Journal of Onderwijspsychologie, 102(4), 880.

Gedragsintentie bij het gebruik van ChatGPT

Dit is een Likert-schaal met twee items die de gedragsintentie van deelnemers meet om ChatGPT in de toekomst te gebruiken voor het schrijven van essays (Albayati, 2024):

Op een schaal van 1 tot 7, in hoeverre bent u het eens of oneens met de volgende uitspraken over het gebruik van ChatGPT bij het schrijven van essays?

1. Als ik toegang heb tot ChatGPT, zou ik het gebruiken voor het schrijven van essays.
2. Ik ben van plan ChatGPT in de toekomst te gebruiken als ik een essay-schrijftaak heb.

De Likert-score loopt van 1 tot 7 (1 staat voor ‘helemaal mee oneens’ en 7 voor ‘helemaal mee eens’). Een hogere score duidt op een hogere gedragsintentie bij het gebruik van ChatGPT. De variabele wordt behandeld als een continue variabele.

Referentie:

1. Albayati, H. (2024). Onderzoek naar de perceptie en het bewustzijn van studenten over het gebruik van ChatGPT als regulier hulpmiddel: een onderzoek naar het perspectief van gebruikersacceptatie. Computers en onderwijs: kunstmatige intelligentie, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203