청소년의 식물성 식품 선택을 장려하기 위한 언어 맞춤형 건강 메시지

이 연구는 영국과 아일랜드의 11~15세 청소년을 대상으로 한 5군 무작위 대조 시험입니다(그림 1). 중재 부문에서 참가자는 월요일부터 금요일까지 2주 동안 채식 기반 식단을 홍보하는 매일 메시지를 받게 됩니다. 첫 번째 부문은 수동 통제 그룹 역할을 하며 참가자는 연구 전반에 걸쳐 메시지를 받지 않습니다. 두 번째 단계에서 참가자는 전체 2주 동안 매일 비맞춤형 메시지를 받게 됩니다. 3단계에서 참가자는 언어적으로 맞춤화된 메시지를 받게 됩니다. 4단계 참가자는 각각 한 주 동안 비맞춤형 메시지와 맞춤형 메시지를 모두 받게 됩니다. 1주차에는 맞춤형 메시지, 2주차에는 비맞춤형 메시지(arm 4a), 1주차에는 비맞춤형 메시지, 2주차에는 맞춤형 메시지(4b단계)를 받게 됩니다. . 이 디자인은 개체 내 비교(맞춤형 대 비맞춤형)와 개체 간 비교(예: 제어 대 개입)를 모두 지원합니다.

프로그램 시작 시 참가자는 자신의 언어 스타일을 분석하기 위한 채팅 데이터를 수집하기 위해 채팅 게임을 플레이하게 됩니다. 이러한 데이터는 LLM(대형 언어 모델)을 사용하여 개입 메시지에 대한 텍스트 스타일 전송을 수행하는 데 사용됩니다. 그 후 첫 번째 주말에 실시되는 기본 조사로 2주간의 개입이 시작됩니다. 주중(월요일~금요일) 동안 중재 부문(군 2, 3, 4) 참가자는 연구 앱 Avicenna를 통해 채식 기반 식단을 홍보하는 매일 메시지를 받게 됩니다. 또한 수동 통제 그룹을 포함한 모든 참가자는 점심 시간 음식 선택에 대한 일일 설문 조사를 받게 됩니다. 개입 부문의 참가자도 메시지 인식에 대한 질문을 받게 됩니다. 각 개입 주간 다음 주말에 참가자는 종합 설문조사(중간 및 최종 설문조사)를 완료합니다. 기본 설문조사와 함께 이러한 설문조사에서는 식이 행동, 행동 결정 요인, 메시지 소스에 대한 인식, 메시지 처리 및 텍스트 스타일 특성을 포함한 모든 결과 측정을 평가합니다.

표본 크기 예상되는 효과 크기는 일반 맞춤을 포함하는 온라인 건강 증진 연구에 대한 두 가지 메타 분석을 기반으로 했습니다(Krebs et al., 2010; Lustria et al., 2013). 이들 연구에서는 전체적으로 평균 효과 크기가 0.08(Cohen's f)이고 특히 식이 관련 중재에 대해서는 0.112라고 보고했습니다. 개체 간 비교에 대한 가정된 효과 크기 0.1과 검정력 80%를 기반으로 592명의 참가자의 표본 크기가 필요합니다. 피험자 내 비교는 일반적으로 더 높은 통계적 검정력을 제공하므로 완전한 응답을 갖춘 600명의 참가자(팔당 150명)의 목표 표본 크기를 목표로 합니다.

참가자 모집 참가자는 영국과 아일랜드의 연구 패널(Norstat)을 통해 모집됩니다. 자격을 갖춘 자녀를 둔 패널 구성원이 연구에 참여하도록 초대됩니다. 채용 설문조사의 일환으로 부모는 자녀가 포함 기준을 충족하는지 확인하기 위해 사전 심사관 질문에 먼저 답변하게 됩니다. 자격이 있는 경우, 부모는 연구에 대한 정보와 자녀를 등록하고 자녀의 참여에 동의할 수 있는 기회를 추가로 포함하는 모집 설문조사에 계속 참여합니다. 부모의 동의를 얻은 후에는 연구에 참여하기 위해 아동에게 연락을 드릴 것입니다. 참가자는 연구의 각 단계(채팅 게임 플레이, 기준선 완료, 일일, 중간점 설문조사 및 최종 설문조사)를 완료하면 연구 패널의 크레딧(예: 재정적 보상)을 받게 됩니다.

무작위화 블록 무작위화는 중재 부문 전체에 참가자를 할당하는 데 사용됩니다. 팔 4a와 4b는 동일한 조건을 갖고 있지만 균형만 잡혀 있으므로 단일 블록으로 결합됩니다. 결과적으로 총 4개의 블록이 생성됩니다. 목표 표본 크기는 600이며, 블록당 참가자 수는 150명입니다. 참가자는 채용 설문조사에 통합된 Qualtrics의 자동 블록 무작위화 기능을 통해 4개 블록 중 하나에 할당됩니다.

채팅 게임: BetweenUs 우리는 윤리, 안전 및 개인 정보 보호 기준을 충족하면서 채팅 데이터를 수집하기 위해 BetweenUs라는 웹 기반 채팅 게임을 개발했습니다. 이 게임의 목적은 각 참가자의 개별 언어 스타일을 배울 수 있는 실제 문자 메시지 샘플을 생성하는 것입니다. 이 게임은 맞춤형으로 제작되었으며(즉, 타사 소프트웨어가 필요하지 않음) Erasmus University의 Microsoft Azure 서버에서 호스팅되었습니다. 여기(https://movez.ecda.ai/chat/test1)에서 액세스할 수 있습니다.

BetweenUs는 공동 창작 세션에서 어린이들이 공동 디자인했습니다. 아이들은 게임이 어떻게 보여야 하는지, 어떤 유형의 아바타를 사용해야 하는지, 게임의 길이, 어떤 주제에 대해 이야기하고 싶은지에 대한 의견을 제공했습니다. 이 게임은 "Among Us"와 같은 인기 임포스터 게임에서 영감을 받았습니다. 또한 이 게임은 최종 피드백을 위해 어린이들 사이에서 시범 운영되었습니다.

게임에서 플레이어는 채팅방 내에서 4명의 참가자로 구성된 그룹으로 무작위로 짝을 이루게 됩니다. 게임이 시작되면 플레이어는 게임 규칙을 설명하는 5가지 지침 화면 지침의 안내를 받게 됩니다. 그 후 플레이어는 두 가지 질문에 대답해야 하는 게임을 시작할 수 있습니다. 1) 플레이어가 제시된 주제를 좋아하거나 싫어합니까(예: 축구 시청), 2) 플레이어가 사기꾼 플레이를 편안하게 느끼는가? 그런 다음 각 플레이어(조사자 또는 사기꾼)에게 역할이 무작위로 할당됩니다. 조사관은 제시된 주제에 대해 실제로 좋아하거나 싫어하는 것에 대해 이야기해야 하며, 사기꾼은 실제 선호와 반대되는 역할을 맡도록 지시받습니다(예: "실제로는 축구를 좋아하지만 축구 보는 것을 싫어합니다"). 다른 플레이어에게 잡혔습니다.

게임은 8분간의 일대일 대화 3회로 나누어 진행되며, 5분간의 그룹 대화로 마무리됩니다. 이러한 방식으로 우리는 실제 채팅을 반영하여 일대일 설정과 그룹 설정에서 대화의 역학을 포착할 수 있었습니다. 채팅 중. 게임은 조사자들에게 그룹 내의 사기꾼을 추측하도록 요청하는 투표로 종료됩니다. 사기꾼을 정확하게 추측한 경우 조사관이 승리하고, 과반수 표를 얻지 못한 사기꾼이 승리합니다.

채팅 게임은 완전히 익명입니다. 플레이어는 동물과 같은 아바타로 표현됩니다. 게임 중에는 개인 정보나 식별 가능한 정보가 수집되지 않으며, 플레이어는 개인 정보를 공유하지 않도록 지시받습니다. 어떤 이유로든 개인 정보나 민감한 정보(예: 이름, 나이 등)가 채팅에 나타나면 해당 정보는 삭제/해시됩니다. 또한 게임 주제는 민감한 주제를 피할 수 있도록 연구원들이 (공동 창작 세션의 제안을 고려하여) 신중하게 선택합니다. 플레이어는 게임 중에 사기꾼 역할을 맡아 자신의 불편함을 표시할 수도 있습니다. 마지막으로 데이터는 연구자만 접근할 수 있으며 대학 서버에 저장됩니다.

개입 메시지 자율성을 지지하는 방식으로 채식의 이점을 홍보하기 위해 10가지 개입 메시지가 개발되었습니다. 각 메시지는 식물성 식사에 대해 가장 많이 언급된 세 가지 동기(Miki et al., 2020) 중 하나, 즉 건강 동기, 환경 동기 및 동물 복지 동기 중 하나를 대상으로 합니다. 우리는 평일 내내 메시지 동기의 순서를 일정하게 유지하여 매일 두 주에 걸쳐 세 가지 동기 중 하나를 다루게 됩니다. 메시지 생성은 개입 메시지에 대한 청소년의 선호도에 따라 결정되었습니다. 모든 메시지는 사실(과학 기반 통계 포함), 간결(4-5문장), 십대 관련(예: 여드름과 같은 건강 문제 해결), 자율성을 지원(지시보다는 제안 및 팁 제공)하도록 설계되었습니다(Hingle 외., 2013). 메시지는 의도적으로 중립적인 언어 스타일로 작성되었으며 매우 감정적인 언어, 비표준 구문 또는 이모티콘의 사용을 피했습니다. 이는 비맞춤형 메시지를 구성하며 LLM을 사용한 텍스트 스타일 전송을 통해 맞춤형 메시지를 개발하기 위한 기초 역할을 합니다. 비맞춤형 메시지는 스타일 전환에 따라 능동형 음성을 가질 것으로 예상되는 맞춤형 버전과의 공정한 비교를 위해 능동적이고 대화적인 음성으로 작성되었습니다. 메시지 중립성은 전문가의 평가와 LIWC22(Linguistic Inquiry Word Count 2022) 도구를 통해 검증되었습니다. 이 도구는 22개의 언어 차원에 걸쳐 각 메시지를 평가하여 0(중립)에서 100(매우 높음)까지 점수를 매겼습니다(Boyd et al., 2022). 메시지가 정확하고, 신뢰할 수 있고, 명확하고, 청소년에게 매력적이며, 언어적 스타일에서 주로 사실인지 확인하기 위해 청소년 커뮤니케이션에 대한 전문 지식을 갖춘 선임 연구원이 여러 차례 교정을 실시했습니다.

대규모 언어 모델 LLM은 개입 메시지를 언어적으로 맞춤화하는 데 사용됩니다. LLM의 주요 임무는 채팅 게임에서 수집된 데이터를 사용하여 각 참가자의 대화 스타일을 배우고 이에 따라 개입 메시지를 조정하는 것입니다. 이를 통해 각 참가자에 대해 10개의 언어적으로 맞춤화된 메시지가 생성되며, 메시지의 내용과 사실은 비맞춤형 메시지와 맞춤식 메시지 전반에서 일관되게 유지됩니다.

LLM Mistral-large는 현재 일반 성과 점수와 오픈 소스 가용성을 기준으로 선택되었습니다. 별도의 연구에서 우리는 텍스트 스타일 전송 정확도, 콘텐츠 보존(즉, 의미 유사성) 및 유창성(즉, 이해도)에 중점을 두고 중재 메시지를 맞춤화하는 데 있어 다양한 LLM(Mistral 및 GPT)의 성능을 평가했습니다(원고 준비 중). . 평가된 모든 모델은 사용자의 대화 스타일을 포착하는 데 뛰어난 능력을 보여주었으며 콘텐츠 보존 및 유창성에서 매우 높은 점수를 받았습니다. Mistral-large는 현재 이 연구에 가장 적합한 모델로 간주되었습니다.

먼저 Mistral-large는 스타일 중립적인 채팅 데이터를 생성하여 각 참가자에 대한 병렬 데이터 세트를 생성합니다. 관련성을 유지하기 위해 참가자의 중간 단어 수를 초과하는 메시지만 포함되므로 "안녕하세요"와 같이 짧거나 의미가 없는 메시지는 제외됩니다. 이 병렬 데이터 세트는 모델의 교육 입력 역할을 합니다. 그 후, LLM은 병렬 데이터 세트에 반영된 대화 스타일을 분석하면서 언어 전문가 역할을 하도록 명시적으로 요청됩니다. 특히 LLM은 다음 사항을 고려하도록 안내합니다. 1) 참가자의 기능 단어 사용(예: "나", "우리", "당신"과 같은 대명사), 2) 선호하는 어조(예: 공식 또는 비공식, 분석 또는 내러티브), 3) 일반적으로 사용되는 문체 단어(예: 문구, 필러 단어), 4) 예문에서 이모티콘 또는 이모티콘의 사용. LLM은 또한 텍스트 스타일 전송에 대한 설명을 제공하도록 요청받습니다.

연구 앱 일일 메시지와 설문조사는 Avicenna라는 스마트폰 연구 앱을 통해 전달됩니다. 참가자는 프로그램 시작 전에 고유 ID로 이 앱을 다운로드하고 등록해야 합니다. 이 앱은 연구 프로그램에 익명으로 참여하는 것을 보장합니다. 매 수업일마다 참가자는 앱을 열어 새 메시지를 확인하라는 아침 푸시 알림을 받게 됩니다. 또한 새 메시지가 있을 때마다 앱에 빨간색 배지가 표시됩니다. 메시지는 같은 수업일 자정까지 액세스할 수 있으며 그 이후에는 앱에서 사라지며, 읽지 않은 메시지는 해당 날짜의 누락된 데이터로 표시됩니다. 메시지를 읽으면 참가자는 앱 내에서 직접 일일 측정을 완료하게 됩니다. 주말에는 참가자에게 주말 설문조사(예: 기준, 중간점 및 최종 설문조사)를 완료하라고 알리는 알림이 전송됩니다.