GPT 使用がエッセイ執筆のパフォーマンスと認知能力に及ぼす影響

実験的：介入アーム

介入アームでは、参加者は分析的文章作成タスクを完了するための支援として ChatGPT を使用するように指示されます。

行動：GPT サポート

エッセイ執筆タスクに使用されるコンピュータ インターフェイスは、分割画面デザインに従っています。 書き込み指示とテキスト入力フィールドは、画面の左半分に配置されたアンケート プラットフォームで管理されます。 ChatGPT は技術支援のために画面の右半分に配置されています。

介入なし：コントロールアーム

コントロールアームでは、参加者はテクノロジーの支援を受けずに、分析的ライティングタスクを独立して完了するように指示されます。

書き込み性能

エッセイライティングのタスクは、Educational Testing Service (ETS) によって開発された世界的に標準化されたコンピュータベースの試験である、Graduate Record Exams (GRE) の Analytical Writing セクションから派生したものです。 参加者のエッセイは、同じく ETS によって開発された自動検証済みサードパーティ採点ツールによって 0 から 6 のスケールで採点されます。

瞳孔の大きさによって測定される認知努力

認知努力は、瞳孔サイズの変化を監視することによって定量化されます。 これを達成するために、近赤外線アイトラッカー、特に Tobii Pro Fusion モデルを使用して、筆記作業全体を通じて瞳孔直径が記録されます。 実験の開始時に、30 秒間のリラックス課題中に個々のベースライン瞳孔径が測定されます。

執筆パフォーマンスの自己認識

これは 1 項目のスケールです。

以前と同じ採点ルーブリックを使用すると、あなたのエッセイは何点を取る必要があると思いますか (0 が最低、6 が最高)。

スコアの範囲は 0 から 6 です。 スコアが高いほど、自己認識による執筆パフォーマンスが高いことを示します。 変数は連続変数として扱われます。

認知的努力の自己認識

これは、米国航空宇宙局のタスク負荷指数 (NASA-TLX; Hart, 2006; Hart & Staveland, 1988) を基にした 1 項目のリッカート スケールです。

パフォーマンスのレベルを達成するためにどれだけ努力する必要があるかを 1 から 7 のスケールで評価します。

リッカート スコアの範囲は 1 ～ 7 (1 は「非常に低い」、7 は「非常に高い」) です。 スコアが高いほど、自己認識による認知努力が高いことを示します。 変数は連続変数として扱われます。

参考文献:

1. ハート、S.G. (2006)。 NASA タスク負荷指数 (NASA-TLX); 20年後。 ヒューマンファクター・アンド・エルゴノミクス協会年次総会の議事録。 https://doi.org/10.1177/154193120605000909
2. Hart, S.G. & Staveland, L.E. (1988)。 NASA-TLX (Task Load Index) の開発: 実証的および理論的研究の結果。 心理学の進歩 (Vol. 52、pp. 139-183）。 北オランダ。

前頭葉の皮質血行力学的活動によって測定される認知努力

認知努力は、前頭葉の皮質血行力学的活動の変化をモニタリングすることによって定量化されます。 これを達成するために、機能的近赤外分光法 (fNIRS)、具体的には NIRSport2 モデルを使用して、筆記作業中の脳活動が記録されます。

ストレスの自己認識

これは、Primary Appraisal Secondary Appraisal スケール (PASA; Gaab, 2009; Pollak et al., 2020) から適応された 1 項目の Likert サブスケールです。

1 から 7 のスケールで、知覚されたストレスに関する次の記述にどの程度同意しますか、または反対しますか: 分析的文章の課題は私にとってストレスでした。

リッカート スコアの範囲は 1 ～ 7 (1 は「非常に同意しない」、7 は「非常に同意する」) です。 スコアが高いほど、自己認識ストレスが高いことを示します。 変数は連続変数として扱われます。

参考文献:

1. ガーブ、J. (2009)。 PASA-一次評価、二次評価。 状況の認知的評価を評価するためのアンケート。 Verhaltenstherapie、19(2)、114-115。
2. Pollak, A.、Paliga, M.、Pulopulos, M.M.、Kozusznik, B.、Kozusznik, M. W. (2020)。 協働ロボットとの共同作業の手動および自律モードでのストレス。 人間の行動におけるコンピュータ、112、106469。 https://doi.org/10.1016/j.chb.2020.106469

挑戦に対する自己認識

これは、Primary Appraisal Secondary Appraisal スケール (PASA; Gaab, 2009; Pollak et al., 2020) から適応された 1 項目の Likert サブスケールです。

1 から 7 のスケールで、認識された課題に関する次の記述にどの程度同意しますか、または反対しますか。分析的なライティングの課題は課題だと思います。

リッカート スコアの範囲は 1 ～ 7 (1 は「非常に同意しない」、7 は「非常に同意する」) です。 スコアが高いほど、自己認識の課題が高いことを示します。 変数は連続変数として扱われます。

参考文献:

1. ガーブ、J. (2009)。 PASA-一次評価、二次評価。 状況の認知的評価を評価するためのアンケート。 Verhaltenstherapie、19(2)、114-115。
2. Pollak, A.、Paliga, M.、Pulopulos, M.M.、Kozusznik, B.、Kozusznik, M. W. (2020)。 協働ロボットとの共同作業の手動および自律モードでのストレス。 人間の行動におけるコンピュータ、112、106469。 https://doi.org/10.1016/j.chb.2020.106469

書くことにおける自己効力感

これは、ライティングの自己効力感の 3 つの側面、つまり着想、慣例、自己規制を測定する 16 項目のリッカート尺度です (Bruning et al., 2013)。 リッカート スコアの範囲は 1 ～ 7 (1 は「非常に同意しない」、7 は「非常に同意する」) です。 スコアが高いほど、自己効力感が高いことを示します。 3 つの次元はそれぞれ連続変数として個別に処理されます。

参照：

1. Bruning, R.、Dempsey, M.、Kauffman, D.F.、McKim, C.、Zumbrunn, S. (2013)。 書くことに対する自己効力感の次元を調べる。 教育心理学ジャーナル、105(1)、25.

分析的文章における状況への関心

これは、状況的関心尺度 (Hulleman et al., 2010) を応用した 4 項目のリッカート尺度です。 この尺度は、分析的文章に対する参加者の状況的関心を測定します。

あなたは、完了したばかりの分析的文章の課題への関心について、次の記述にどの程度同意しますか、または反対しますか。1 から 7 のスケールでどの程度同意しますか?

1. 分析的文章の課題は面白かったです。
2. エッセイに取り組むのは楽しかったです。
3. エッセイを書くのが楽しかったです。
4. 分析的文章の課題は楽しかったです。

リッカート スコアの範囲は 1 ～ 7 (1 は「非常に同意しない」、7 は「非常に同意する」) です。 スコアが高いほど、状況への関心が高いことを示します。 変数は連続変数として扱われます。

参照：

1. Hulleman, C.S.、Godes, O.、Hendricks, B.L.、Harackiewicz, J.M. (2010)。 利用価値介入による関心とパフォーマンスの向上。 教育心理学ジャーナル、102(4)、880。

ChatGPT を使用する際の行動意図

これは、エッセイ作成タスクで将来 ChatGPT を使用する際の参加者の行動意図を測定する 2 項目のリッカート尺度です (Albayati、2024)。

作文課題での ChatGPT の使用に関する次の記述に、1 から 7 のスケールでどの程度同意しますか、または反対しますか?

1. ChatGPT にアクセスできる場合は、エッセイ執筆のタスクに使用するでしょう。
2. 将来、エッセイを書くタスクがある場合は、ChatGPT を使用する予定です。

リッカート スコアの範囲は 1 ～ 7 (1 は「非常に同意しない」、7 は「非常に同意する」) です。 スコアが高いほど、ChatGPT を使用する際の行動意図が高いことを示します。 変数は連続変数として扱われます。

参照：

1. アルバヤティ、H. (2024)。 ChatGPT を通常の支援ツールとして使用することに対する学部学生の認識と意識を調査する: ユーザー受け入れの観点からの調査。 コンピュータと教育: 人工知能、6、100203。 https://doi.org/10.1016/j.caeai.2024.100203