Impatto dell'uso di GPT sulle prestazioni di scrittura di saggi e sulle capacità cognitive

Sperimentale: Braccio di intervento

Nel braccio di intervento, ai partecipanti viene chiesto di utilizzare ChatGPT come assistenza per completare un'attività di scrittura analitica.

Comportamentale: Supporto GPT

L'interfaccia del computer utilizzata per l'attività di scrittura del saggio segue un design a schermo diviso. Le istruzioni di scrittura e il campo di immissione del testo vengono gestiti su una piattaforma di sondaggio, posizionata nella metà sinistra dello schermo. ChatGPT è posizionato nella metà destra dello schermo per l'assistenza tecnologica.

Nessun intervento: Braccio di controllo

Nel braccio di controllo, ai partecipanti viene chiesto di completare un compito di scrittura analitica in modo indipendente senza accesso ad alcuna assistenza tecnologica.

Performance di scrittura

L'attività di scrittura del saggio deriva dalla sezione Scrittura analitica del Graduate Record Examinations (GRE), che è un esame basato su computer standardizzato e mondiale sviluppato dall'Educational Testing Service (ETS). Ai saggi dei partecipanti verrà assegnato un punteggio su una scala da 0 a 6 da uno strumento di punteggio di terze parti automatico e convalidato, anch'esso sviluppato da ETS.

Sforzo cognitivo misurato dalla dimensione della pupilla

Lo sforzo cognitivo viene quantificato monitorando i cambiamenti nella dimensione della pupilla. Per raggiungere questo obiettivo, i diametri delle pupille vengono registrati durante l’attività di scrittura utilizzando un eye tracker nel vicino infrarosso, in particolare il modello Tobii Pro Fusion. All'inizio dell'esperimento, i diametri individuali delle pupille di base vengono misurati durante un compito di rilassamento di 30 secondi.

Autopercezione della performance di scrittura

Questa è una scala a un elemento:

Utilizzando la stessa griglia di valutazione di prima, quale punteggio pensi che dovrebbe ottenere il tuo saggio (0 è il più basso e 6 il più alto)?

Il punteggio va da 0 a 6. Un punteggio più alto indica una prestazione di scrittura autopercepita più elevata. La variabile viene trattata come una variabile continua.

Autopercezione dello sforzo cognitivo

Si tratta di una scala Likert a un elemento adattata dall'indice di carico delle attività della National Aeronautics and Space Administration (NASA-TLX; Hart, 2006; Hart & Staveland, 1988):

Su una scala da 1 a 7, valuta quanto duramente devi lavorare per raggiungere il tuo livello di prestazione.

Il punteggio Likert varia da 1 a 7 (1 significa "molto basso" e 7 "molto alto"). Un punteggio più alto indica uno sforzo cognitivo autopercepito più elevato. La variabile viene trattata come una variabile continua.

Riferimenti:

1. Hart, SG (2006). Indice di carico delle attività NASA (NASA-TLX); 20 anni dopo. Atti dell'incontro annuale della Società dei fattori umani e dell'ergonomia. https://doi.org/10.1177/154193120605000909
2. Hart, S.G. e Staveland, L.E. (1988). Sviluppo del NASA-TLX (Task Load Index): risultati della ricerca empirica e teorica. In Progressi in psicologia (vol. 52, pagg. 139-183). Olanda Settentrionale.

Sforzo cognitivo misurato dall'attività emodinamica corticale nel lobo frontale

Lo sforzo cognitivo viene quantificato monitorando i cambiamenti nell'attività emodinamica corticale nel lobo frontale. Per raggiungere questo obiettivo, l’attività cerebrale viene registrata durante l’attività di scrittura utilizzando una spettroscopia funzionale nel vicino infrarosso (fNIRS), in particolare il modello NIRSport2.

Autopercezione dello stress

Si tratta di una sottoscala Likert a un elemento adattata dalla scala di valutazione secondaria di valutazione primaria (PASA; Gaab, 2009; Pollak et al., 2020):

Su una scala da 1 a 7, quanto saresti d'accordo o in disaccordo con la seguente affermazione sullo stress percepito: Il compito di scrittura analitica è stato stressante per me.

Il punteggio Likert varia da 1 a 7 (1 significa "fortemente in disaccordo" e 7 "fortemente d'accordo"). Un punteggio più alto indica uno stress autopercepito più elevato. La variabile viene trattata come una variabile continua.

Riferimenti:

1. Gaab, J. (2009). PASA-Perizia Primaria Perizia Secondaria. Un questionario per la valutazione delle valutazioni cognitive delle situazioni. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stress nelle modalità manuali e autonome di collaborazione con un cobot. Computer nel comportamento umano, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Autopercezione della sfida

Si tratta di una sottoscala Likert a un elemento adattata dalla scala di valutazione secondaria di valutazione primaria (PASA; Gaab, 2009; Pollak et al., 2020):

Su una scala da 1 a 7, quanto saresti d'accordo o in disaccordo con la seguente affermazione sulla sfida percepita: Trovo che il compito di scrittura analitica sia una sfida.

Il punteggio Likert varia da 1 a 7 (1 significa "fortemente in disaccordo" e 7 "fortemente d'accordo"). Un punteggio più alto indica una sfida auto-percepita più elevata. La variabile viene trattata come una variabile continua.

Riferimenti:

1. Gaab, J. (2009). PASA-Perizia Primaria Perizia Secondaria. Un questionario per la valutazione delle valutazioni cognitive delle situazioni. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B., & Kozusznik, M. W. (2020). Stress nelle modalità manuali e autonome di collaborazione con un cobot. Computer nel comportamento umano, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Autoefficacia nella scrittura

Si tratta di una scala Likert composta da sedici item che misura tre dimensioni dell’autoefficacia nella scrittura: ideazione, convenzione e autoregolamentazione (Bruning et al., 2013). Il punteggio Likert varia da 1 a 7 (1 significa "fortemente in disaccordo" e 7 "fortemente d'accordo"). Un punteggio più alto indica una maggiore autoefficacia. Le tre dimensioni verranno trattate separatamente, ciascuna come una variabile continua.

Riferimento:

1. Bruning, R., Dempsey, M., Kauffman, D. F., McKim, C., & Zumbrunn, S. (2013). Esaminare le dimensioni dell’autoefficacia per la scrittura. Giornale di psicologia dell'educazione, 105(1), 25.

Interesse situazionale nella scrittura analitica

Si tratta di una scala Likert a quattro elementi adattata dalla scala degli interessi situazionali (Hulleman et al., 2010). Questa scala misura l'interesse situazionale dei partecipanti per la scrittura analitica:

Su una scala da 1 a 7, quanto saresti d'accordo o in disaccordo con le seguenti affermazioni sul tuo interesse per il compito di scrittura analitica che hai appena completato?

1. Il compito di scrittura analitica è stato interessante.
2. Lavorare al saggio è stato divertente.
3. Mi è piaciuto scrivere il saggio.
4. Il compito di scrittura analitica è stato piacevole.

Il punteggio Likert varia da 1 a 7 (1 significa "fortemente in disaccordo" e 7 "fortemente d'accordo"). Un punteggio più alto indica un maggiore interesse situazionale. La variabile viene trattata come una variabile continua.

Riferimento:

1. Hulleman, C. S., Godes, O., Hendricks, B. L., & Harackiewicz, J. M. (2010). Aumentare l'interesse e la performance con un intervento di valore d'utilità. Giornale di psicologia dell'educazione, 102(4), 880.

Intenzione comportamentale nell'utilizzo di ChatGPT

Si tratta di una scala Likert a due elementi che misura l'intenzione comportamentale dei partecipanti nell'utilizzo futuro di ChatGPT per attività di scrittura di saggi (Albayati, 2024):

Su una scala da 1 a 7, quanto sei d'accordo o in disaccordo con le seguenti affermazioni sull'utilizzo di ChatGPT nei compiti di scrittura di saggi?

1. Se avessi accesso a ChatGPT, lo utilizzerei per attività di scrittura di saggi.
2. Ho intenzione di utilizzare ChatGPT in futuro se avrò un compito di scrittura di un saggio.

Il punteggio Likert varia da 1 a 7 (1 significa "fortemente in disaccordo" e 7 "fortemente d'accordo"). Un punteggio più alto indica una maggiore intenzione comportamentale nell'utilizzo di ChatGPT. La variabile viene trattata come una variabile continua.

Riferimento:

1. Albayati, H. (2024). Indagare le percezioni e la consapevolezza degli studenti universitari sull'utilizzo di ChatGPT come strumento di assistenza regolare: uno studio sulla prospettiva dell'accettazione degli utenti. Computer e istruzione: Intelligenza artificiale, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203