Лингвистически адаптированные сообщения о здоровье для поощрения подростков к выбору растительной пищи

Это исследование представляет собой рандомизированное контролируемое исследование с участием пяти групп, ориентированное на подростков в возрасте 11–15 лет в Великобритании и Ирландии (рис. 1). В группах вмешательства участники будут получать ежедневные сообщения, рекламирующие растительную диету, с понедельника по пятницу в течение двух недель. Первая группа служит пассивной контрольной группой, участники которой не получают никаких сообщений на протяжении всего исследования. В группе 2 участники будут получать ежедневные неиндивидуализированные сообщения в течение всех двух недель. В группе 3 участники будут получать лингвистически адаптированные сообщения. Участники группы 4 будут получать как неиндивидуализированные, так и адаптированные сообщения в течение одной недели каждая: адаптированные сообщения на неделе 1 и неиндивидуализированные сообщения на неделе 2 (группа 4a) и неиндивидуализированные сообщения на неделе 1 и адаптированные на неделе 2 (группа 4b). . Этот дизайн поддерживает как сравнения внутри субъектов (индивидуализированные и неиндивидуализированные), так и сравнения между субъектами (например, контроль и вмешательство).

В начале программы участник сыграет в чат-игру, чтобы собрать данные чата для анализа своего языкового стиля. Эти данные будут использоваться для передачи текстового стиля сообщений о вмешательстве с использованием модели большого языка (LLM). После этого двухнедельное вмешательство начнется с базового исследования, проведенного в первые выходные. В будние дни (с понедельника по пятницу) участники интервенционных групп (группы 2, 3 и 4) будут получать ежедневные сообщения, рекламирующие растительную диету, через исследовательское приложение Avicenna. Кроме того, все участники, включая участников группы пассивного контроля, будут получать ежедневные опросы о выборе еды во время обеда. Участники интервенционных групп также получат вопросы о восприятии сообщений. По выходным после каждой недели вмешательства участники будут проходить комплексные опросы (промежуточный и финальный опросы). Эти опросы, наряду с базовым опросом, будут оценивать все показатели результатов, включая пищевое поведение, детерминанты поведения, восприятие источника сообщения, обработку сообщения и характеристики стиля текста.

Размер выборки Ожидаемый размер эффекта был основан на двух метаанализах онлайн-исследований по укреплению здоровья, которые включали общую адаптацию (Krebs et al., 2010; Lustria et al., 2013). В этих исследованиях средний размер эффекта составил 0,08 (f Коэна) в целом и 0,112 для вмешательств, связанных с диетой, в частности. Исходя из предполагаемого размера эффекта 0,1 и мощности 80% для сравнений между субъектами, требуется размер выборки в 592 участника. Поскольку внутрисубъектные сравнения обычно дают более высокую статистическую мощность, мы стремимся к целевому размеру выборки в 600 участников (по 150 на группу) с полными ответами.

Набор участников Участники будут набраны через исследовательскую группу (Norstat) в Великобритании и Ирландии. Члены комиссии, у которых есть подходящие дети, будут приглашены принять участие в исследовании. В рамках опроса при приеме на работу родители сначала ответят на вопросы предварительного отбора, чтобы подтвердить, что их ребенок соответствует критериям включения. Если это соответствует критериям, родители продолжают участвовать в опросе для набора персонала, который дополнительно включает информацию об исследовании, а также возможность записать своего ребенка и дать согласие на участие своего ребенка. После получения согласия родителей с детьми свяжутся для участия в исследовании. Участники получат баллы исследовательской группы (т. е. финансовую компенсацию) за завершение каждого этапа исследования: участие в чат-игре, прохождение базового, ежедневного, промежуточного опроса и итогового опроса).

Рандомизация Блочная рандомизация будет использоваться для распределения участников по группам вмешательства. Рукава 4а и 4б будут объединены в один блок, так как они имеют одинаковые условия, но только уравновешены. В результате получается четыре блока. При целевом размере выборки в 600 человек мы стремимся к 150 участникам на блок. Участники будут распределены по одному из четырех блоков с помощью функции автоматической рандомизации блоков в Qualtrics, интегрированной в опрос по подбору персонала.

Чат-игра: BetweenUs Мы разработали веб-игру для чата под названием BetweenUs, предназначенную для сбора данных чата при соблюдении стандартов этики, безопасности и конфиденциальности. Цель этой игры — создать образец аутентичных текстовых сообщений, из которого мы сможем узнать об индивидуальном языковом стиле каждого участника. Игра была создана по индивидуальному заказу (т. е. не требовалось стороннее программное обеспечение) и размещалась на сервере Microsoft Azure Университета Эразма. Доступ к нему можно получить здесь: (https://movez.ecda.ai/chat/test1).

Игра BetweenUs была разработана детьми в ходе совместного творчества. Дети высказали мнение о том, как должна выглядеть игра, какие типы аватаров следует использовать, продолжительность игры и о каких темах они хотели бы поговорить. Игра была вдохновлена ​​популярными играми-самозванцами, такими как «Among Us». Кроме того, игра была опробована среди детей для получения окончательного отзыва.

В игре игроки будут случайным образом объединены в группы по 4 участника в чате. В начале игры игрок будет руководствоваться пятью инструкциями на экранах, в которых объясняются правила игры. После этого игрок может начать игру, после чего ему необходимо ответить на два вопроса: 1) Нравится или не нравится игроку представленная тема (например, смотрит футбол), 2) комфортно ли игроку, играя самозванца. Затем каждому игроку (следователю или самозванцу) случайным образом будет назначена роль. Следователям нужно будет поговорить о том, что им действительно нравится/не нравится представленная тема, в то время как самозванцам предлагается взять на себя роль, противоположную их фактическим предпочтениям (например, «Я не люблю смотреть футбол, хотя он мне действительно нравится»), не будучи пойманный другими игроками.

Игра разделена на три раунда индивидуальных бесед продолжительностью 8 минут и завершается групповой беседой продолжительностью 5 минут. Таким образом, мы могли фиксировать динамику разговоров как в индивидуальных, так и в групповых настройках, отражая реальные чаты. Во время чата. Игра завершается голосованием, в ходе которого следователям предлагается угадать самозванца в группе. Сыщик выигрывает, если он правильно угадал самозванца, а самозванец побеждает, если он не получил большинства голосов.

Чат-игра полностью анонимна. Игроки представлены аватарами, похожими на животных. Во время игры не собирается никакая личная или идентифицируемая информация, и игрокам рекомендуется воздерживаться от разглашения каких-либо личных данных. Если по какой-либо причине в чате появятся личные или конфиденциальные данные (например, имена, возраст и т. д.), они будут удалены/хешированы. Кроме того, темы игр тщательно выбираются исследователями (с учетом предложений сессии совместного творчества), чтобы избежать деликатных тем. У игроков также есть возможность выразить свой дискомфорт, взяв на себя роль самозванца во время игры. Наконец, данные доступны только исследователям и сохраняются на университетских серверах.

Сообщения о мерах вмешательства Было разработано десять сообщений о мерах вмешательства, призванных пропагандировать преимущества растительного питания в целях поддержки автономии. Каждое сообщение нацелено на один из трех наиболее часто упоминаемых мотивов употребления растительной пищи (Miki et al., 2020), а именно мотивы здоровья, экологические мотивы и мотивы благополучия животных. Мы сохраняем порядок мотивов сообщений постоянным в течение будних дней, так что каждый день будет посвящен одному из трех мотивов в течение обеих недель. При создании сообщений руководствовались предпочтениями подростков в отношении сообщений о вмешательстве. Все сообщения были составлены так, чтобы быть основанными на фактах (включая научно обоснованную статистику), краткими (4–5 предложений), актуальными для подростков (например, решение проблем со здоровьем, таких как прыщи) и поддерживающими самостоятельность (предложения и советы, а не указания) (Хингл и др., 2013). Сообщения были намеренно созданы в нейтральном лингвистическом стиле, избегая использования высокоэмоциональной лексики, нестандартного синтаксиса или смайлов. Они составляют неиндивидуализированные сообщения и служат основой для разработки адаптированных сообщений посредством передачи стиля текста с использованием LLM. Неиндивидуализированные сообщения были написаны активным разговорным голосом, чтобы обеспечить справедливое сравнение с адаптированными версиями, которые также должны иметь активный залог после передачи стиля. Нейтральность сообщения была подтверждена экспертной оценкой человека и инструментом Linguistic Inquiry Word Count 2022 (LIWC22), который оценивал каждое сообщение по 22 лингвистическим параметрам, набирая баллы от 0 (нейтрально) до 100 (чрезвычайно высокий) (Boyd et al., 2022). Чтобы гарантировать, что сообщения были точными, достоверными, ясными, привлекательными для подростков и, прежде всего, основанными на фактах в лингвистическом стиле, были проведены многочисленные раунды корректуры старшими исследователями, имеющими опыт в области молодежной коммуникации.

Большая языковая модель LLM будет использоваться для лингвистической адаптации сообщений о вмешательстве. Основная задача LLM — изучить стиль разговора каждого участника, используя данные, собранные в ходе чат-игры, и соответствующим образом адаптировать сообщение о вмешательстве. В результате для каждого участника будет создано 10 лингвистически адаптированных сообщений, в то время как содержание и факты сообщений останутся неизменными для неиндивидуализированных и адаптированных сообщений.

LLM Mistral-large был выбран на основе текущих общих показателей производительности и доступности открытого исходного кода. В отдельном исследовании мы оценивали эффективность различных LLM (Mistral и GPT) при адаптации сообщений о вмешательстве, уделяя особое внимание точности передачи стиля текста, сохранению содержания (т. е. сходству значений) и беглости речи (т. е. понятности) (рукопись в стадии подготовки). . Все оцениваемые модели продемонстрировали хорошие способности улавливать стили разговора пользователей и получили очень высокие баллы по сохранению контента и беглости речи. В настоящее время «Мистраль-большой» считался наиболее подходящей моделью для данного исследования.

Во-первых, Mistral-large сгенерирует нейтральные по стилю эквиваленты данных чата, чтобы создать параллельный набор данных для каждого участника. Чтобы сохранить релевантность, включаются только сообщения, превышающие среднее количество слов участника, тем самым исключая короткие или бессмысленные сообщения, такие как «привет». Этот параллельный набор данных будет служить входными данными для обучения модели. После этого LLM явно предлагается действовать в качестве эксперта-лингвиста, анализируя стиль разговора, отраженный в параллельном наборе данных. В частности, LLM рекомендуется учитывать: 1) использование участниками служебных слов (например, местоимения, такие как «я», «мы», «вы»), 2) их предпочтительный тон (например, формальный или неформальный, аналитический или повествование), 3) часто используемые стилистические слова (например, фразы, слова-вставки) и 4) использование смайлов или смайликов в примерах предложений. LLM также просят предоставить объяснение переноса стиля текста.

Приложение Research App Ежедневные сообщения и опросы будут доставляться через исследовательское приложение для смартфонов под названием Avicenna. Участнику необходимо загрузить и зарегистрироваться в этом приложении с уникальным идентификатором до начала программы. Это приложение обеспечивает анонимное участие в исследовательской программе. Каждый учебный день участники будут получать утреннее push-уведомление с предложением просмотреть новое сообщение, открыв приложение. Кроме того, приложение будет отображать красный значок всякий раз, когда появляется новое сообщение. Доступ к сообщениям можно получить до полуночи того же учебного дня, после чего они исчезнут из приложения, а все непрочитанные сообщения будут помечены как недостающие данные за этот день. Прочитав сообщение, участники будут выполнять ежедневные измерения прямо в приложении. По выходным участники получат уведомление с напоминанием о необходимости пройти опросы на выходных (т. е. базовый, промежуточный и окончательный опрос).