Einfluss der GPT-Nutzung auf die Leistung beim Schreiben von Essays und die kognitiven Fähigkeiten

Experimental: Interventionsarm

Im Interventionsarm werden die Teilnehmer angewiesen, ChatGPT zur Unterstützung bei der Erledigung einer analytischen Schreibaufgabe zu verwenden.

Verhalten: GPT-Unterstützung

Die für die Essay-Schreibaufgabe verwendete Computerschnittstelle folgt einem Split-Screen-Design. Die Schreibanweisungen und das Texteingabefeld werden auf einer Umfrageplattform verwaltet, die auf der linken Bildschirmhälfte platziert ist. ChatGPT wird zur technischen Unterstützung auf der rechten Bildschirmhälfte platziert.

Kein Eingriff: Steuerarm

Im Kontrollarm werden die Teilnehmer angewiesen, eine analytische Schreibaufgabe selbstständig und ohne Zugang zu technischer Unterstützung zu erledigen.

Schreibleistung

Die Aufgabe zum Schreiben von Aufsätzen leitet sich aus dem Abschnitt „Analytisches Schreiben“ der Graduate Record Examinations (GRE) ab, einer weltweiten und standardisierten computergestützten Prüfung, die vom Educational Testing Service (ETS) entwickelt wurde. Die Aufsätze der Teilnehmer werden auf einer Skala von 0 bis 6 durch ein automatisches und validiertes Bewertungstool eines Drittanbieters bewertet, das ebenfalls von ETS entwickelt wurde.

Kognitive Anstrengung gemessen an der Schülergröße

Die kognitive Anstrengung wird durch die Überwachung von Veränderungen der Pupillengröße quantifiziert. Um dies zu erreichen, werden die Pupillendurchmesser während der gesamten Schreibaufgabe mit einem Nahinfrarot-Eyetracker, insbesondere dem Modell Tobii Pro Fusion, aufgezeichnet. Zu Beginn des Experiments werden die einzelnen Grundpupillendurchmesser während einer 30-sekündigen Entspannungsaufgabe gemessen.

Selbstwahrnehmung der Schreibleistung

Dies ist eine Ein-Item-Skala:

Welche Punktzahl sollte Ihr Aufsatz Ihrer Meinung nach unter Verwendung der gleichen Bewertungsrubrik wie zuvor erhalten (0 ist die niedrigste und 6 die höchste)?

Die Punktzahl reicht von 0 bis 6. Eine höhere Punktzahl weist auf eine höhere selbst eingeschätzte Schreibleistung hin. Die Variable wird als kontinuierliche Variable behandelt.

Selbstwahrnehmung kognitiver Anstrengung

Hierbei handelt es sich um eine einstufige Likert-Skala, die aus dem Aufgabenlastindex der National Aeronautics and Space Administration (NASA-TLX; Hart, 2006; Hart & Staveland, 1988) übernommen wurde:

Bewerten Sie auf einer Skala von 1 bis 7, wie hart Sie arbeiten müssen, um Ihr Leistungsniveau zu erreichen.

Der Likert-Score reicht von 1 bis 7 (1 bedeutet „sehr niedrig“ und 7 bedeutet „sehr hoch“). Ein höherer Wert weist auf eine höhere selbst wahrgenommene kognitive Anstrengung hin. Die Variable wird als kontinuierliche Variable behandelt.

Verweise:

1. Hart, SG (2006). Nasa-Task Load Index (NASA-TLX); 20 Jahre später. Tagungsband der Jahrestagung der Human Factors and Ergonomie Society. https://doi.org/10.1177/154193120605000909
2. Hart, S. G. & Staveland, L. E. (1988). Entwicklung des NASA-TLX (Task Load Index): Ergebnisse empirischer und theoretischer Forschung. In Advances in Psychology (Bd. 52, S. 139-183). Nordholland.

Kognitive Anstrengung gemessen durch kortikale hämodynamische Aktivität im Frontallappen

Die kognitive Anstrengung wird durch die Überwachung von Veränderungen der kortikalen hämodynamischen Aktivität im Frontallappen quantifiziert. Um dies zu erreichen, wird die Gehirnaktivität während der gesamten Schreibaufgabe mithilfe einer funktionellen Nahinfrarotspektroskopie (fNIRS), insbesondere des NIRSport2-Modells, aufgezeichnet.

Selbstwahrnehmung von Stress

Dabei handelt es sich um eine Likert-Unterskala mit einem Item, die an die Skala „Primary Appraisal Secondary Appraisal“ (PASA; Gaab, 2009; Pollak et al., 2020) angelehnt ist:

Auf einer Skala von 1 bis 7, wie sehr würden Sie der folgenden Aussage zum wahrgenommenen Stress zustimmen oder nicht zustimmen: Die Aufgabe zum analytischen Schreiben war für mich stressig.

Der Likert-Score reicht von 1 bis 7 (1 bedeutet „stimme überhaupt nicht zu“ und 7 bedeutet „stimme völlig zu“). Ein höherer Wert weist auf einen höheren selbst wahrgenommenen Stress hin. Die Variable wird als kontinuierliche Variable behandelt.

Verweise:

1. Gaab, J. (2009). PASA-Primäre Beurteilung. Sekundäre Beurteilung. Ein Fragebogen zur Erfassung kognitiver Situationsbeurteilungen. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B. & Kozusznik, M. W. (2020). Stress bei manueller und autonomer Zusammenarbeit mit einem Cobot. Computer im menschlichen Verhalten, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Selbstwahrnehmung der Herausforderung

Dabei handelt es sich um eine Likert-Unterskala mit einem Item, die an die Skala „Primary Appraisal Secondary Appraisal“ (PASA; Gaab, 2009; Pollak et al., 2020) angelehnt ist:

Auf einer Skala von 1 bis 7, wie sehr würden Sie der folgenden Aussage zur wahrgenommenen Herausforderung zustimmen oder nicht zustimmen: Ich finde die Aufgabe zum analytischen Schreiben eine Herausforderung.

Der Likert-Score reicht von 1 bis 7 (1 bedeutet „stimme überhaupt nicht zu“ und 7 bedeutet „stimme völlig zu“). Eine höhere Punktzahl weist auf eine höhere selbst wahrgenommene Herausforderung hin. Die Variable wird als kontinuierliche Variable behandelt.

Verweise:

1. Gaab, J. (2009). PASA-Primäre Beurteilung. Sekundäre Beurteilung. Ein Fragebogen zur Erfassung kognitiver Situationsbeurteilungen. Verhaltenstherapie, 19(2), 114-115.
2. Pollak, A., Paliga, M., Pulopulos, M. M., Kozusznik, B. & Kozusznik, M. W. (2020). Stress bei manueller und autonomer Zusammenarbeit mit einem Cobot. Computer im menschlichen Verhalten, 112, 106469. https://doi.org/10.1016/j.chb.2020.106469

Selbstwirksamkeit beim Schreiben

Dabei handelt es sich um eine sechzehn Punkte umfassende Likert-Skala, die drei Dimensionen der Selbstwirksamkeit beim Schreiben misst: Ideenfindung, Konvention und Selbstregulierung (Bruning et al., 2013). Der Likert-Score reicht von 1 bis 7 (1 bedeutet „stimme überhaupt nicht zu“ und 7 bedeutet „stimme völlig zu“). Ein höherer Wert weist auf eine höhere Selbstwirksamkeit hin. Die drei Dimensionen werden separat behandelt, jeweils als kontinuierliche Variable.

Referenz:

1. Bruning, R., Dempsey, M., Kauffman, D. F., McKim, C. & Zumbrunn, S. (2013). Untersuchung der Dimensionen der Selbstwirksamkeit beim Schreiben. Zeitschrift für Pädagogische Psychologie, 105(1), 25.

Situatives Interesse am analytischen Schreiben

Hierbei handelt es sich um eine aus vier Elementen bestehende Likert-Skala, die an die Situationsinteressenskala angelehnt ist (Hulleman et al., 2010). Diese Skala misst das situative Interesse der Teilnehmer am analytischen Schreiben:

Auf einer Skala von 1 bis 7, wie sehr würden Sie den folgenden Aussagen zu Ihrem Interesse an der gerade abgeschlossenen analytischen Schreibaufgabe zustimmen oder nicht zustimmen?

1. Die Aufgabe zum analytischen Schreiben war interessant.
2. Die Arbeit an dem Aufsatz hat Spaß gemacht.
3. Es hat mir Spaß gemacht, den Aufsatz zu schreiben.
4. Die Aufgabe zum analytischen Schreiben hat mir viel Spaß gemacht.

Der Likert-Score reicht von 1 bis 7 (1 bedeutet „stimme überhaupt nicht zu“ und 7 bedeutet „stimme völlig zu“). Eine höhere Punktzahl weist auf ein höheres Situationsinteresse hin. Die Variable wird als kontinuierliche Variable behandelt.

Referenz:

1. Hulleman, C. S., Godes, O., Hendricks, B. L. & Harackiewicz, J. M. (2010). Steigerung von Interesse und Leistung durch eine Nutzwertintervention. Zeitschrift für Pädagogische Psychologie, 102(4), 880.

Verhaltensabsicht bei der Verwendung von ChatGPT

Hierbei handelt es sich um eine Likert-Skala mit zwei Elementen, die die Verhaltensabsicht der Teilnehmer misst, ChatGPT in Zukunft für Aufsatzschreibaufgaben zu verwenden (Albayati, 2024):

Auf einer Skala von 1 bis 7, wie sehr würden Sie den folgenden Aussagen zur Verwendung von ChatGPT beim Verfassen von Aufsätzen zustimmen oder nicht zustimmen?

1. Wenn ich Zugriff auf ChatGPT hätte, würde ich es zum Schreiben von Aufsätzen verwenden.
2. Ich habe vor, ChatGPT in Zukunft zu verwenden, wenn ich eine Aufgabe zum Schreiben von Aufsätzen habe.

Der Likert-Score reicht von 1 bis 7 (1 bedeutet „stimme überhaupt nicht zu“ und 7 bedeutet „stimme völlig zu“). Eine höhere Punktzahl weist auf eine höhere Verhaltensabsicht bei der Nutzung von ChatGPT hin. Die Variable wird als kontinuierliche Variable behandelt.

Referenz:

1. Albayati, H. (2024). Untersuchung der Wahrnehmung und des Bewusstseins von Studenten im Grundstudium hinsichtlich der Verwendung von ChatGPT als regelmäßiges Hilfstool: Eine Studie zur Benutzerakzeptanzperspektive. Computer und Bildung: Künstliche Intelligenz, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203