Wpływ używania GPT na wydajność pisania esejów i zdolności poznawcze

Eksperymentalny: Ramię interwencyjne

W części interwencyjnej uczestnicy są instruowani, aby korzystali z ChatGPT w celu uzyskania pomocy w wykonaniu zadania polegającego na pisaniu analitycznym.

Behawioralne: Wsparcie GPT

Interfejs komputera używany do pisania eseju ma konstrukcję podzielonego ekranu. Instrukcje pisania i pole wprowadzania tekstu administrowane są na platformie ankietowej, umieszczonej w lewej połowie ekranu. ChatGPT jest umieszczony w prawej połowie ekranu w celu uzyskania pomocy technologicznej.

Brak interwencji: Ramię sterujące

W części kontrolnej uczestnicy otrzymują polecenie samodzielnego wykonania zadania analitycznego, bez dostępu do jakiejkolwiek pomocy technologicznej.

Wydajność pisania

Zadanie polegające na napisaniu eseju wywodzi się z sekcji Pisanie analityczne w egzaminie Graduate Record Examinations (GRE), który jest ogólnoświatowym, ustandaryzowanym egzaminem komputerowym opracowanym przez Educational Testing Service (ETS). Eseje uczestników będą oceniane w skali od 0 do 6 za pomocą automatycznego i zatwierdzonego narzędzia punktacji innej firmy, które również zostało opracowane przez ETS.

Wysiłek poznawczy mierzony wielkością źrenicy

Wysiłek poznawczy jest oceniany ilościowo poprzez monitorowanie zmian w wielkości źrenicy. Aby to osiągnąć, średnice źrenic są rejestrowane podczas całego zadania pisania za pomocą urządzenia do śledzenia wzroku w bliskiej podczerwieni, w szczególności modelu Tobii Pro Fusion. Na początku eksperymentu podczas 30-sekundowego zadania relaksacyjnego mierzono podstawową średnicę źrenic.

Samoocena wydajności pisarskiej

Jest to skala jednoelementowa:

Jak myślisz, jaką ocenę powinien uzyskać Twój esej (0 oznacza najniższą, a 6 najwyższą) korzystając z tych samych kryteriów oceny co poprzednio?

Wynik waha się od 0 do 6. Wyższy wynik wskazuje na wyższą samoocenę umiejętności pisania. Zmienną traktuje się jako zmienną ciągłą.

Samopostrzeganie wysiłku poznawczego

Jest to jednoelementowa skala Likerta zaadaptowana na podstawie wskaźnika obciążenia zadaniami Narodowej Agencji Aeronautyki i Przestrzeni Kosmicznej (NASA-TLX; Hart, 2006; Hart i Staveland, 1988):

W skali od 1 do 7 oceń, jak ciężko musisz pracować, aby osiągnąć swój poziom wydajności.

Wynik Likerta waha się od 1 do 7 (1 oznacza „bardzo niski”, a 7 „bardzo wysoki”). Wyższy wynik wskazuje na wyższy samoocenę wysiłku poznawczego. Zmienną traktuje się jako zmienną ciągłą.

Bibliografia:

1. Hart, SG (2006). Wskaźnik obciążenia zadaniami NASA (NASA-TLX); 20 lat później. Materiały z dorocznego spotkania Towarzystwa Czynnika Ludzkiego i Ergonomii. https://doi.org/10.1177/154193120605000909
2. Hart, SG i Staveland, LE (1988). Rozwój NASA-TLX (Indeks obciążenia zadaniami): Wyniki badań empirycznych i teoretycznych. W postępach w psychologii (tom. 52, s. 139-183). Holandia Północna.

Wysiłek poznawczy mierzony aktywnością hemodynamiczną korową w płacie czołowym

Wysiłek poznawczy określa się ilościowo poprzez monitorowanie zmian w aktywności hemodynamicznej kory mózgowej w płacie czołowym. Aby to osiągnąć, aktywność mózgu jest rejestrowana podczas całego zadania pisania za pomocą funkcjonalnej spektroskopii bliskiej podczerwieni (fNIRS), w szczególności modelu NIRSport2.

Samopostrzeganie stresu

Jest to jednoitemowa podskala Likerta zaadaptowana ze skali oceny pierwotnej i wtórnej (PASA; Gaab, 2009; Pollak i in., 2020):

W skali od 1 do 7, jak bardzo zgodzisz się lub nie zgodzisz z następującym stwierdzeniem na temat postrzeganego stresu: Zadanie polegające na pisaniu analizy analitycznej było dla mnie stresujące.

Wynik Likerta waha się od 1 do 7 (1 oznacza „zdecydowanie się nie zgadzam”, a 7 „zdecydowanie się zgadzam”). Wyższy wynik wskazuje na wyższy poziom stresu w sobie. Zmienną traktuje się jako zmienną ciągłą.

Bibliografia:

1. Gaab, J. (2009). PASA – ocena pierwotna Ocena wtórna. Kwestionariusz oceny poznawczych ocen sytuacji. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B. i Kozusznik, M. W. (2020). Stres w ręcznych i autonomicznych trybach współpracy z cobotem. Komputery w zachowaniu człowieka, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Samopostrzeganie wyzwania

Jest to jednoitemowa podskala Likerta zaadaptowana ze skali oceny pierwotnej i wtórnej (PASA; Gaab, 2009; Pollak i in., 2020):

W skali od 1 do 7, jak bardzo zgodzisz się lub nie zgodzisz z następującym stwierdzeniem na temat postrzeganego wyzwania: Uważam, że zadanie polegające na pisaniu analitycznym jest wyzwaniem.

Wynik Likerta waha się od 1 do 7 (1 oznacza „zdecydowanie się nie zgadzam”, a 7 „zdecydowanie się zgadzam”). Wyższy wynik wskazuje na większe wyzwanie w samopostrzeganiu. Zmienną traktuje się jako zmienną ciągłą.

Bibliografia:

1. Gaab, J. (2009). PASA – ocena pierwotna Ocena wtórna. Kwestionariusz oceny poznawczych ocen sytuacji. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B. i Kozusznik, M. W. (2020). Stres w ręcznych i autonomicznych trybach współpracy z cobotem. Komputery w ludzkich zachowaniach, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Poczucie własnej skuteczności w pisaniu

Jest to szesnastopunktowa skala Likerta, która mierzy trzy wymiary poczucia własnej skuteczności w pisaniu: ideację, konwencję i samoregulację (Bruning i in., 2013). Wynik Likerta waha się od 1 do 7 (1 oznacza „zdecydowanie się nie zgadzam”, a 7 „zdecydowanie się zgadzam”). Wyższy wynik oznacza wyższą samoskuteczność. Te trzy wymiary będą traktowane oddzielnie, każdy jako zmienna ciągła.

Odniesienie:

1. Bruning, R., Dempsey, M., Kauffman, D.F., McKim, C. i Zumbrunn, S. (2013). Badanie wymiarów poczucia własnej skuteczności w pisaniu. Journal of psychologii edukacyjnej, 105 (1), 25.

Zainteresowanie sytuacyjne w pisaniu analitycznym

Jest to czteropunktowa skala Likerta zaadaptowana ze skali sytuacyjnego zainteresowania (Hulleman i in., 2010). Skala ta mierzy sytuacyjne zainteresowanie uczestników pisaniem analitycznym:

W skali od 1 do 7, w jakim stopniu zgadzasz się lub nie zgadzasz z następującymi stwierdzeniami dotyczącymi Twojego zainteresowania pracą pisemną analityczną, którą właśnie ukończyłeś?

1. Zadanie z pisania analitycznego było interesujące.
2. Praca nad esejem była świetną zabawą.
3. Pisanie eseju sprawiało mi przyjemność.
4. Zadanie polegające na pisaniu analitycznym było przyjemne.

Wynik Likerta waha się od 1 do 7 (1 oznacza „zdecydowanie się nie zgadzam”, a 7 „zdecydowanie się zgadzam”). Wyższy wynik oznacza wyższe zainteresowanie sytuacyjne. Zmienną traktuje się jako zmienną ciągłą.

Odniesienie:

1. Hulleman, C. S., Godes, O., Hendricks, B. L. i Harackiewicz, J. M. (2010). Zwiększanie zainteresowania i wydajności dzięki interwencji polegającej na wartości użytkowej. Journal of Educational Psychology, 102(4), 880.

Intencje behawioralne podczas korzystania z ChatGPT

Jest to dwuelementowa skala Likerta, która mierzy zamiary behawioralne uczestników dotyczące korzystania z ChatGPT w przyszłości do zadań związanych z pisaniem esejów (Albayati, 2024):

W skali od 1 do 7, jak bardzo zgadzasz się lub nie zgadzasz z następującymi stwierdzeniami dotyczącymi korzystania z ChatGPT podczas pisania esejów?

1. Jeśli mam dostęp do ChatGPT, używałbym go do pisania esejów.
2. Planuję używać ChatGPT w przyszłości, jeśli mam zadanie napisania eseju.

Wynik Likerta waha się od 1 do 7 (1 oznacza „zdecydowanie się nie zgadzam”, a 7 „zdecydowanie się zgadzam”). Wyższy wynik wskazuje na wyższą intencję behawioralną podczas korzystania z ChatGPT. Zmienną traktuje się jako zmienną ciągłą.

Odniesienie:

1. Albayati, H. (2024). Badanie postrzegania i świadomości studentów studiów licencjackich na temat korzystania z ChatGPT jako zwykłego narzędzia pomocy: badanie perspektywy akceptacji użytkowników. Komputery i edukacja: sztuczna inteligencja, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203