Влияние использования GPT на эффективность написания эссе и когнитивные способности
Рандомизированное контролируемое исследование влияния использования генеративного искусственного интеллекта на аналитическое письмо и когнитивные способности
Цель этого рандомизированного контролируемого лабораторного эксперимента — выяснить, повлияет ли использование технологии искусственного интеллекта (ИИ) на академическую успеваемость и когнитивные способности людей в контексте аналитического письма среди студентов колледжей. Основные вопросы, на которые он призван ответить:
- Влияет ли использование этой технологии на письменную успеваемость учащихся?
- Влияет ли использование этой технологии на когнитивные усилия учащихся в процессе письма?
Участники будут случайным образом распределены либо в контрольную группу, которая пишет без помощи ИИ, либо в экспериментальную группу, которая пишет с помощью ChatGPT. Исследователи сравнит две группы, чтобы увидеть, влияет ли ChatGPT на письменные способности и когнитивные способности учащихся.
Для каждого участника лабораторный эксперимент продлится не более 1,5 часов. Айтрекер будет отслеживать активность взгляда участника и размер зрачка. Функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS) будет контролировать деятельность мозга участника в лобной доле. В ходе эксперимента участникам будет предложено:
- Прочтите учебные материалы по методам аналитического письма.
- На основе ранее предоставленных материалов выполните аналитическое письменное задание, которое займет около 30 минут с помощью ChatGPT или без него.
- Ответьте на вопросы анкеты об их опыте выполнения письменного задания, отношении к использованию ChatGPT и демографическом происхождении.
Обзор исследования
Статус
Вмешательство/лечение
Тип исследования
Регистрация (Действительный)
Фаза
- Непригодный
Контакты и местонахождение
Места учебы
-
-
-
Heidelberg, Германия
- Core Facility for Neuroscience of Self-Regulation, Heidelberg University
-
-
Критерии участия
Критерии приемлемости
Возраст, подходящий для обучения
- Взрослый
Принимает здоровых добровольцев
Описание
Критерии включения:
- Студентка дневного отделения университета.
- Умеет читать и писать по-английски.
- Используйте компьютер большую часть дней в неделю.
- Не сдавали выпускные экзамены (GRE) и в настоящее время не готовимся к ним.
- Не носите очки (разрешены контактные линзы).
- Не иметь нарушений зрения.
- В настоящее время не принимает опиоиды, адреналин или антигипертензивные препараты.
- Во время эксперимента не красилась вокруг глаз.
Учебный план
Как устроено исследование?
Детали дизайна
- Основная цель: Другой
- Распределение: Рандомизированный
- Интервенционная модель: Параллельное назначение
- Маскировка: Одинокий
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Экспериментальный: Рука вмешательства
В группе вмешательства участникам предлагается использовать ChatGPT для помощи в выполнении аналитического письменного задания.
|
Компьютерный интерфейс, используемый для написания эссе, имеет разделенный экран.
Инструкции по написанию и поле ввода текста администрируются на обзорной платформе, расположенной в левой половине экрана.
ChatGPT размещается в правой половине экрана для технической помощи.
|
|
Без вмешательства: Рукоятка управления
В контрольной группе участникам предлагается выполнить аналитическое задание самостоятельно, без доступа к какой-либо технологической помощи.
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Написание производительности
Временное ограничение: 1,5 часа
|
Задача по написанию эссе взята из раздела «Аналитическое письмо» экзаменационных экзаменов для выпускников (GRE), который представляет собой всемирный стандартизированный компьютерный экзамен, разработанный Службой образовательного тестирования (ETS).
Эссе участников будут оцениваться по шкале от 0 до 6 с помощью автоматического проверенного стороннего инструмента оценки, также разработанного ETS.
|
1,5 часа
|
|
Когнитивные усилия, измеряемые размером ученика
Временное ограничение: 1,5 часа
|
Когнитивные усилия оцениваются количественно путем мониторинга изменений размера зрачков.
Для этого диаметр зрачков регистрируется на протяжении всего процесса письма с помощью айтрекера ближнего инфракрасного диапазона, в частности модели Tobii Pro Fusion.
В начале эксперимента во время 30-секундной задачи релаксации измеряются отдельные исходные диаметры зрачков.
|
1,5 часа
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Самовосприятие писательской деятельности
Временное ограничение: 1,5 часа
|
Это шкала из одного пункта: Используя те же критерии оценки, что и раньше, как вы думаете, какой балл должно получить ваше эссе (0 — самый низкий балл, 6 — самый высокий)? Оценка варьируется от 0 до 6. Более высокий балл указывает на более высокую самооценку навыков письма. Переменная рассматривается как непрерывная переменная. |
1,5 часа
|
|
Самовосприятие когнитивных усилий
Временное ограничение: 1,5 часа
|
Это шкала Лайкерта, состоящая из одного пункта, адаптированная на основе индекса нагрузки задач Национального управления по аэронавтике и исследованию космического пространства (NASA-TLX; Hart, 2006; Hart & Staveland, 1988): По шкале от 1 до 7 оцените, насколько усердно вам приходится работать, чтобы достичь своего уровня производительности. Оценка Лайкерта варьируется от 1 до 7 (1 — «очень низкая», 7 — «очень высокая»). Более высокий балл указывает на более высокие когнитивные усилия по самооценке. Переменная рассматривается как непрерывная переменная. Использованная литература:
|
1,5 часа
|
|
Когнитивные усилия, измеряемые по кортикальной гемодинамической активности в лобной доле
Временное ограничение: 1,5 часа
|
Когнитивное усилие оценивается количественно путем мониторинга изменений кортикальной гемодинамической активности в лобной доле.
Для этого активность мозга регистрируется на протяжении всего процесса письма с помощью функциональной спектроскопии ближнего инфракрасного диапазона (fNIRS), в частности модели NIRSport2.
|
1,5 часа
|
|
Самовосприятие стресса
Временное ограничение: 1,5 часа
|
Это подшкала Лайкерта, состоящая из одного пункта, адаптированная из шкалы первичной и вторичной оценки (PASA; Gaab, 2009; Pollak et al., 2020): По шкале от 1 до 7 насколько бы вы согласились или не согласились со следующим утверждением о воспринимаемом стрессе: Задание по написанию аналитических статей вызвало у меня стресс. Оценка Лайкерта варьируется от 1 до 7 (1 — «совершенно не согласен», 7 — «полностью согласен»). Более высокий балл указывает на более высокий уровень самооценки стресса. Переменная рассматривается как непрерывная переменная. Использованная литература:
|
1,5 часа
|
|
Самовосприятие вызова
Временное ограничение: 1,5 часа
|
Это подшкала Лайкерта, состоящая из одного пункта, адаптированная из шкалы первичной и вторичной оценки (PASA; Gaab, 2009; Pollak et al., 2020): По шкале от 1 до 7 насколько бы вы согласились или не согласились со следующим утверждением о воспринимаемой трудности: Я считаю, что аналитическое задание является сложной задачей. Оценка Лайкерта варьируется от 1 до 7 (1 — «совершенно не согласен», 7 — «полностью согласен»). Более высокий балл указывает на более высокую самооценку проблемы. Переменная рассматривается как непрерывная переменная. Использованная литература:
|
1,5 часа
|
|
Самоэффективность в писательстве
Временное ограничение: 1,5 часа
|
Это шкала Лайкерта, состоящая из шестнадцати пунктов, которая измеряет три аспекта писательской самоэффективности: мышление, условности и саморегуляцию (Bruning et al., 2013). Оценка Лайкерта варьируется от 1 до 7 (1 — «совершенно не согласен», 7 — «полностью согласен»). Более высокий балл указывает на более высокую самоэффективность. Три измерения будут рассматриваться отдельно, каждое как непрерывная переменная. Ссылка: 1. Брюнинг Р., Демпси М., Кауфман Д.Ф., МакКим К. и Зумбрунн С. (2013). Изучение аспектов самоэффективности в писательстве. Журнал педагогической психологии, 105 (1), 25. |
1,5 часа
|
|
Ситуационный интерес к аналитическому письму
Временное ограничение: 1,5 часа
|
Это шкала Лайкерта, состоящая из четырех пунктов, адаптированная на основе ситуационной шкалы интереса (Hulleman et al., 2010). Эта шкала измеряет ситуативный интерес участников к аналитическому письму: По шкале от 1 до 7 насколько бы вы согласились или не согласились со следующими утверждениями относительно вашего интереса к аналитическому заданию, которое вы только что выполнили?
Оценка Лайкерта варьируется от 1 до 7 (1 — «совершенно не согласен», 7 — «полностью согласен»). Более высокий балл указывает на более высокий ситуационный интерес. Переменная рассматривается как непрерывная переменная. Ссылка: 1. Халлеман К.С., Годес О., Хендрикс Б.Л. и Харацкевич Дж.М. (2010). Повышение интереса и производительности за счет вмешательства в повышение полезности. Журнал педагогической психологии, 102 (4), 880. |
1,5 часа
|
|
Поведенческое намерение при использовании ChatGPT
Временное ограничение: 1,5 часа
|
Это шкала Лайкерта, состоящая из двух пунктов, которая измеряет поведенческие намерения участников использовать ChatGPT в будущем для написания эссе (Албаяти, 2024): По шкале от 1 до 7 насколько вы согласны или не согласны со следующими утверждениями об использовании ChatGPT при написании эссе?
Оценка Лайкерта варьируется от 1 до 7 (1 — «совершенно не согласен», 7 — «полностью согласен»). Более высокий балл указывает на более высокое поведенческое намерение при использовании ChatGPT. Переменная рассматривается как непрерывная переменная. Ссылка: 1. Албаяти, Х. (2024). Исследование восприятия и осведомленности студентов бакалавриата об использовании ChatGPT в качестве регулярного вспомогательного инструмента: исследование перспективы принятия пользователями. Компьютеры и образование: Искусственный интеллект, 6, 100203. https://doi.org/10.1016/j.caeai.2024.100203 |
1,5 часа
|
Соавторы и исследователи
Спонсор
Следователи
- Главный следователь: Till Bärnighausen, Heidelberg Institute of Global Health
Даты записи исследования
Изучение основных дат
Начало исследования (Действительный)
Первичное завершение (Действительный)
Завершение исследования (Действительный)
Даты регистрации исследования
Первый отправленный
Впервые представлено, что соответствует критериям контроля качества
Первый опубликованный (Действительный)
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
Последнее отправленное обновление, отвечающее критериям контроля качества
Последняя проверка
Дополнительная информация
Термины, связанные с этим исследованием
Другие идентификационные номера исследования
- S-117/2024
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
продукт, произведенный в США и экспортированный из США.
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .