Impacto do uso de GPT no desempenho da redação e nas habilidades cognitivas

Experimental: Braço de intervenção

No braço de intervenção, os participantes são instruídos a usar o ChatGPT para obter assistência na conclusão de uma tarefa de redação analítica.

Comportamental: Suporte GPT

A interface do computador usada para a tarefa de redação segue um design de tela dividida. As instruções de redação e o campo de entrada de texto são administrados em uma plataforma de pesquisa, colocada na metade esquerda da tela. ChatGPT é colocado na metade direita da tela para assistência tecnológica.

Sem intervenção: Braço de controle

No braço de controle, os participantes são instruídos a completar uma tarefa de escrita analítica de forma independente, sem acesso a qualquer assistência tecnológica.

Desempenho de escrita

A tarefa de redação é derivada da seção Escrita Analítica do Graduate Record Examinations (GRE), que é um exame mundial e padronizado baseado em computador desenvolvido pelo Educational Testing Service (ETS). As redações dos participantes serão pontuadas em uma escala de 0 a 6 por uma ferramenta de pontuação automática e validada de terceiros, também desenvolvida pela ETS.

Esforço cognitivo medido pelo tamanho da pupila

O esforço cognitivo é quantificado monitorando as mudanças no tamanho da pupila. Para conseguir isso, os diâmetros das pupilas são registrados durante a tarefa de escrita usando um rastreador ocular infravermelho próximo, especificamente o modelo Tobii Pro Fusion. No início do experimento, os diâmetros iniciais individuais das pupilas são medidos durante uma tarefa de relaxamento de 30 segundos.

Autopercepção do desempenho da escrita

Esta é uma escala de um item:

Usando a mesma rubrica de classificação anterior, qual pontuação você acha que sua redação deveria obter (0 sendo a mais baixa e 6 a mais alta)?

A pontuação varia de 0 a 6. Uma pontuação mais alta indica melhor desempenho na escrita autopercebida. A variável é tratada como uma variável contínua.

Autopercepção do esforço cognitivo

Esta é uma escala Likert de um item adaptada do índice de carga de tarefas da National Aeronautics and Space Administration (NASA-TLX; Hart, 2006; Hart & Staveland, 1988):

Em uma escala de 1 a 7, avalie o quanto você tem que trabalhar para atingir seu nível de desempenho.

A pontuação Likert varia de 1 a 7 (sendo 1 “muito baixo” e 7 “muito alto”). Uma pontuação mais alta indica maior esforço cognitivo autopercebido. A variável é tratada como uma variável contínua.

Referências:

1. Hart, SG (2006). Índice de Carga de Tarefas da Nasa (NASA-TLX); 20 anos depois. Anais da Reunião Anual da Sociedade de Fatores Humanos e Ergonomia. https://doi.org/10.1177/154193120605000909
2. Hart, SG e Staveland, LE (1988). Desenvolvimento do NASA-TLX (Task Load Index): Resultados de pesquisas empíricas e teóricas. Em Avanços em Psicologia (Vol. 52, pp. 139-183). Holanda do Norte.

Esforço cognitivo medido pela atividade hemodinâmica cortical no lobo frontal

O Esforço Cognitivo é quantificado pelo monitoramento das mudanças na atividade hemodinâmica cortical no lobo frontal. Para conseguir isso, a atividade cerebral é registrada durante a tarefa de escrita usando uma espectroscopia funcional no infravermelho próximo (fNIRS), especificamente o modelo NIRSport2.

Autopercepção do estresse

Esta é uma subescala Likert de um item adaptada da escala Primary Appraisal Secondary Appraisal (PASA; Gaab, 2009; Pollak et al., 2020):

Numa escala de 1 a 7, quanto você concordaria ou discordaria da seguinte afirmação sobre estresse percebido: A tarefa de redação analítica foi estressante para mim.

A pontuação Likert varia de 1 a 7 (1 sendo “discordo totalmente” e 7 sendo “concordo totalmente”). Uma pontuação mais alta indica maior estresse autopercebido. A variável é tratada como uma variável contínua.

Referências:

1. Gaab, J. (2009). PASA-Avaliação Primária Avaliação Secundária. Um questionário para a avaliação de avaliações cognitivas de situações. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, MM, Kozusznik, B., & Kozusznik, MW (2020). Estresse nos modos manuais e autônomos de colaboração com um cobot. Computadores no Comportamento Humano, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Autopercepção de desafio

Esta é uma subescala Likert de um item adaptada da escala Primary Appraisal Secondary Appraisal (PASA; Gaab, 2009; Pollak et al., 2020):

Numa escala de 1 a 7, quanto você concordaria ou discordaria da seguinte afirmação sobre o desafio percebido: Considero o trabalho de redação analítica um desafio.

A pontuação Likert varia de 1 a 7 (1 sendo “discordo totalmente” e 7 sendo “concordo totalmente”). Uma pontuação mais alta indica maior desafio autopercebido. A variável é tratada como uma variável contínua.

Referências:

1. Gaab, J. (2009). PASA-Avaliação Primária Avaliação Secundária. Um questionário para a avaliação de avaliações cognitivas de situações. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, MM, Kozusznik, B., & Kozusznik, MW (2020). Estresse nos modos manuais e autônomos de colaboração com um cobot. Computadores no Comportamento Humano, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Autoeficácia na escrita

Esta é uma escala Likert de dezesseis itens que mede três dimensões da autoeficácia na escrita: ideação, convenção e autorregulação (Bruning et al., 2013). A pontuação Likert varia de 1 a 7 (1 sendo “discordo totalmente” e 7 sendo “concordo totalmente”). Uma pontuação mais alta indica maior autoeficácia. As três dimensões serão tratadas separadamente, cada uma como uma variável contínua.

Referência:

1. Bruning, R., Dempsey, M., Kauffman, DF, McKim, C., & Zumbrunn, S. (2013). Examinando dimensões de autoeficácia para escrever. Jornal de psicologia educacional, 105(1), 25.

Interesse Situacional na Escrita Analítica

Esta é uma escala Likert de quatro itens adaptada da escala de interesse situacional (Hulleman et al., 2010). Esta escala mede o interesse situacional dos participantes na escrita analítica:

Numa escala de 1 a 7, quanto você concordaria ou discordaria das seguintes afirmações sobre seu interesse no trabalho de redação analítica que acabou de concluir?

1. A tarefa de redação analítica foi interessante.
2. Trabalhar na redação foi divertido.
3. Gostei de escrever o ensaio.
4. A tarefa de redação analítica foi agradável.

A pontuação Likert varia de 1 a 7 (1 sendo “discordo totalmente” e 7 sendo “concordo totalmente”). Uma pontuação mais alta indica maior interesse situacional. A variável é tratada como uma variável contínua.

Referência:

1. Hulleman, CS, Godes, O., Hendricks, BL e Harackiewicz, JM (2010). Aumentar o interesse e o desempenho com uma intervenção de valor utilitário. Revista de Psicologia Educacional, 102(4), 880.

Intenção comportamental ao usar ChatGPT

Esta é uma escala Likert de dois itens que mede a intenção comportamental dos participantes em usar o ChatGPT no futuro para tarefas de redação (Albayati, 2024):

Em uma escala de 1 a 7, quanto você concorda ou discorda das seguintes afirmações sobre o uso do ChatGPT em trabalhos de redação?

1. Se eu tiver acesso ao ChatGPT, eu o usaria para tarefas de redação.
2. Pretendo usar o ChatGPT no futuro se tiver uma tarefa de redação.

A pontuação Likert varia de 1 a 7 (1 sendo “discordo totalmente” e 7 sendo “concordo totalmente”). Uma pontuação mais alta indica maior intenção comportamental ao usar o ChatGPT. A variável é tratada como uma variável contínua.

Referência:

1. Albayati, H. (2024). Investigando a percepção e a consciência de estudantes de graduação sobre o uso do ChatGPT como ferramenta de atendimento regular: um estudo da perspectiva de aceitação do usuário. Computadores e Educação: Inteligência Artificial, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203