Vliv používání značek GPT na výkon při psaní esejí a kognitivní schopnosti

Experimentální: Zásahové rameno

V intervenční větvi jsou účastníci instruováni, aby používali ChatGPT jako pomoc při dokončení analytického psaní.

Behaviorální: Podpora GPT

Počítačové rozhraní používané pro psaní eseje má design rozdělené obrazovky. Pokyny pro psaní a pole pro zadávání textu jsou spravovány na průzkumné platformě umístěné v levé polovině obrazovky. ChatGPT je umístěn na pravé polovině obrazovky pro technologickou pomoc.

Žádný zásah: Ovládací rameno

V ovládacím rameni jsou účastníci instruováni, aby dokončili analytický písemný úkol nezávisle bez přístupu k jakékoli technologické pomoci.

Výkon při psaní

Úkol psaní eseje je odvozen z části Analytical Writing v Graduate Record Examinations (GRE), což je celosvětová a standardizovaná počítačová zkouška vyvinutá organizací Educational Testing Service (ETS). Eseje účastníků budou hodnoceny na stupnici od 0 do 6 automatickým a ověřeným nástrojem třetí strany pro hodnocení, který je rovněž vyvinut společností ETS.

Kognitivní úsilí měřené velikostí zornice

Kognitivní úsilí je kvantifikováno sledováním změn velikosti zornice. Aby toho bylo dosaženo, jsou průměry zornic během psaní zaznamenávány pomocí blízkého infračerveného očního sledovače, konkrétně modelu Tobii Pro Fusion. Na začátku experimentu se měří jednotlivé základní průměry zornic během 30sekundové relaxační úlohy.

Sebevnímání psaného výkonu

Toto je jednopoložkové měřítko:

Jaké skóre by podle vás měla vaše esej získat (0 je nejnižší a 6 nejvyšší) pomocí stejné hodnotící rubriky jako dříve?

Skóre se pohybuje od 0 do 6. Vyšší skóre znamená vyšší výkon při psaní. Proměnná je považována za spojitou proměnnou.

Sebevnímání kognitivního úsilí

Toto je jednopoložková Likertova stupnice upravená podle indexu zatížení Národního úřadu pro letectví a vesmír (NASA-TLX; Hart, 2006; Hart & Staveland, 1988):

Na stupnici od 1 do 7 ohodnoťte, jak tvrdě musíte pracovat, abyste dosáhli své úrovně výkonu.

Likertovo skóre se pohybuje od 1 do 7 (1 je "velmi nízké" a 7 je "velmi vysoké"). Vyšší skóre ukazuje na vyšší kognitivní úsilí. Proměnná je považována za spojitou proměnnou.

Reference:

1. Hart, S. G. (2006). Index zatížení úloh NASA (NASA-TLX); O 20 let později. Sborník výroční schůze Společnosti pro lidské faktory a ergonomii. https://doi.org/10.1177/154193120605000909
2. Hart, S.G., & Staveland, L.E. (1988). Vývoj NASA-TLX (Task Load Index): Výsledky empirického a teoretického výzkumu. In Pokroky v psychologii (sv. 52, str. 139-183). Severní Holandsko.

Kognitivní úsilí měřené kortikální hemodynamickou aktivitou ve frontálním laloku

Kognitivní úsilí je kvantifikováno sledováním změn v kortikální hemodynamické aktivitě ve frontálním laloku. K dosažení tohoto cíle je mozková aktivita zaznamenávána během psaní pomocí funkční blízké infračervené spektroskopie (fNIRS), konkrétně modelu NIRSport2.

Sebevnímání stresu

Jedná se o jednopoložkovou Likertovu subškálu upravenou ze škály primárního hodnocení sekundárního hodnocení (PASA; Gaab, 2009; Pollak et al., 2020):

Na stupnici od 1 do 7, do jaké míry byste souhlasili nebo nesouhlasili s následujícím tvrzením o vnímaném stresu: Úkol analytického psaní pro mě byl stresující.

Likertovo skóre se pohybuje od 1 do 7 (1 znamená „rozhodně nesouhlasím“ a 7 znamená „rozhodně souhlasím“). Vyšší skóre ukazuje na vyšší sebepociťovaný stres. Proměnná je považována za spojitou proměnnou.

Reference:

1. Gaab, J. (2009). PASA-Primary Appraisal Sekundární hodnocení. Dotazník pro hodnocení kognitivních hodnocení situací. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stres v manuálních a autonomních režimech spolupráce s cobotem. Počítače v lidském chování, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Sebevnímání výzvy

Jedná se o jednopoložkovou Likertovu subškálu upravenou ze škály primárního hodnocení sekundárního hodnocení (PASA; Gaab, 2009; Pollak et al., 2020):

Na stupnici od 1 do 7, do jaké míry byste souhlasili nebo nesouhlasili s následujícím tvrzením o vnímané výzvě: Analytický písemný úkol považuji za výzvu.

Likertovo skóre se pohybuje od 1 do 7 (1 znamená „rozhodně nesouhlasím“ a 7 znamená „rozhodně souhlasím“). Vyšší skóre ukazuje na vyšší sebepociťovanou výzvu. Proměnná je považována za spojitou proměnnou.

Reference:

1. Gaab, J. (2009). PASA-Primary Appraisal Sekundární hodnocení. Dotazník pro hodnocení kognitivních hodnocení situací. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stres v manuálních a autonomních režimech spolupráce s cobotem. Počítače v lidském chování, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Sebeúčinnost při psaní

Jedná se o šestnáctipoložkovou Likertovu škálu, která měří tři dimenze sebeúčinnosti psaní: představivost, konvence a seberegulace (Bruning et al., 2013). Likertovo skóre se pohybuje od 1 do 7 (1 znamená „rozhodně nesouhlasím“ a 7 znamená „rozhodně souhlasím“). Vyšší skóre znamená vyšší sebeúčinnost. Tyto tři dimenze budou zpracovány samostatně, každá jako spojitá proměnná.

Odkaz:

1. Bruning, R., Dempsey, M., Kauffman, D. F., McKim, C., & Zumbrunn, S. (2013). Zkoumání dimenzí self-efficacy pro psaní. Časopis pedagogické psychologie, 105(1), 25.

Situační zájem o analytické psaní

Jedná se o čtyřpoložkovou Likertovu škálu upravenou ze situační škály zájmu (Hulleman et al., 2010). Tato škála měří situační zájem účastníků o analytické psaní:

Na stupnici od 1 do 7, do jaké míry byste souhlasili nebo nesouhlasili s následujícími výroky o vašem zájmu o analytický písemný úkol, který jste právě dokončili?

1. Zajímavé bylo analytické psaní.
2. Práce na eseji byla zábavná.
3. Psaní eseje mě bavilo.
4. Analytický písemný úkol byl příjemný.

Likertovo skóre se pohybuje od 1 do 7 (1 znamená „rozhodně nesouhlasím“ a 7 znamená „rozhodně souhlasím“). Vyšší skóre znamená vyšší situační zájem. Proměnná je považována za spojitou proměnnou.

Odkaz:

1. Hulleman, C. S., Godes, O., Hendricks, B. L., & Harackiewicz, J. M. (2010). Zvýšení zájmu a výkonu pomocí zásahu užitné hodnoty. Journal of Educational Psychology, 102(4), 880.

Záměr chování při používání ChatGPT

Toto je dvoupoložková Likertova škála, která měří behaviorální záměr účastníků při používání ChatGPT v budoucnu pro úkoly psaní esejí (Albayati, 2024):

Na stupnici od 1 do 7, do jaké míry byste souhlasili nebo nesouhlasili s následujícími výroky o používání ChatGPT při psaní esejí?

1. Pokud mám přístup k ChatGPT, použil bych ho pro psaní esejí.
2. Pokud budu mít úkol napsat esej, plánuji v budoucnu používat ChatGPT.

Likertovo skóre se pohybuje od 1 do 7 (1 znamená „rozhodně nesouhlasím“ a 7 znamená „rozhodně souhlasím“). Vyšší skóre znamená vyšší záměr při používání ChatGPT. Proměnná je považována za spojitou proměnnou.

Odkaz:

1. Albayati, H. (2024). Zkoumání vnímání a povědomí vysokoškoláků o používání ChatGPT jako běžného asistenčního nástroje: Studie z hlediska přijetí uživatelem. Počítače a vzdělávání: Umělá inteligence, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203