Mensagens de saúde linguísticamente adaptadas para incentivar escolhas alimentares baseadas em plantas em adolescentes

Este estudo é um ensaio clínico randomizado e controlado de cinco braços direcionado a adolescentes de 11 a 15 anos no Reino Unido e na Irlanda (Figura 1). Nos braços de intervenção, os participantes receberão mensagens diárias promovendo uma dieta baseada em vegetais, de segunda a sexta-feira, durante duas semanas. O primeiro braço serve como um grupo de controle passivo, com os participantes não recebendo mensagens durante o estudo. No braço 2, os participantes receberão mensagens diárias não personalizadas durante as duas semanas inteiras. No braço 3, os participantes receberão mensagens linguísticamente adaptadas. Os participantes do braço 4 receberão mensagens não personalizadas e personalizadas durante uma semana cada: mensagens personalizadas na semana 1 e não personalizadas na semana 2 (braço 4a) e não personalizadas na semana 1 e personalizadas na semana 2 (braço 4b) . Este design suporta comparações dentro dos sujeitos (sob medida vs. não adaptadas) e comparações entre sujeitos (por exemplo, controle vs. intervenção).

No início do programa, o participante jogará um jogo de bate-papo para coletar dados de bate-papo para analisar seu estilo linguístico. Esses dados serão usados ​​para realizar uma transferência de estilo de texto nas mensagens de intervenção usando um Large Language Model (LLM). Depois disso, a intervenção de duas semanas começará com uma pesquisa de base realizada durante o primeiro fim de semana. Durante a semana (segunda a sexta), os participantes dos braços de intervenção (braços 2, 3 e 4) receberão mensagens diárias promovendo uma dieta baseada em vegetais por meio do aplicativo de pesquisa Avicena. Além disso, todos os participantes, incluindo aqueles do grupo de controle passivo, receberão pesquisas diárias sobre sua escolha alimentar na hora do almoço. Os participantes nos braços de intervenção também receberão perguntas sobre a percepção da mensagem. Nos fins de semana seguintes a cada semana de intervenção, os participantes preencherão pesquisas abrangentes (pesquisas intermediárias e finais). Estas pesquisas, juntamente com a pesquisa de base, avaliarão todas as medidas de resultados, incluindo comportamentos alimentares, determinantes do comportamento, percepções da fonte da mensagem, processamento da mensagem e características do estilo do texto.

Tamanho da amostra O tamanho do efeito esperado baseou-se em duas meta-análises de estudos online de promoção da saúde que incluíram adaptação geral (Krebs et al., 2010; Lustria et al., 2013). Esses estudos relataram um tamanho de efeito médio de 0,08 (f de Cohen) em geral e 0,112 para intervenções relacionadas à dieta especificamente. Com base em um tamanho de efeito assumido de 0,1 e um poder de 80% para comparações entre sujeitos, é necessário um tamanho de amostra de 592 participantes. Como as comparações dentro dos sujeitos normalmente produzem maior poder estatístico, pretendemos um tamanho de amostra alvo de 600 participantes (150 por braço) com respostas completas.

Recrutamento de participantes Os participantes serão recrutados através de um painel de pesquisa (Norstat) no Reino Unido e na Irlanda. Os membros do painel com crianças elegíveis serão convidados a participar do estudo. Como parte da pesquisa de recrutamento, os pais responderão primeiro às perguntas da pré-seleção para confirmar se seu filho atende aos critérios de inclusão. Se elegíveis, os pais continuam na pesquisa de recrutamento, que inclui ainda informações sobre o estudo e a oportunidade de inscrever seu filho e fornecer consentimento para a participação de seu filho. Assim que o consentimento dos pais for obtido, as crianças serão contatadas para participar do estudo. Os participantes receberão créditos do painel de pesquisa (ou seja, compensação financeira) pela conclusão de cada etapa do estudo: jogar o jogo de bate-papo, completar a linha de base, diária, pesquisa intermediária e pesquisa final).

Randomização A randomização em bloco será usada para alocar os participantes nos braços de intervenção. Os braços 4a e 4b serão combinados em um único bloco, pois apresentam condições idênticas, mas apenas contrabalançadas. Isso resulta em quatro blocos no total. Com um tamanho de amostra alvo de 600, pretendemos 150 participantes por bloco. Os participantes serão atribuídos a um dos quatro blocos por meio da função automatizada de randomização de blocos no Qualtrics, integrada à pesquisa de recrutamento.

Jogo de bate-papo: BetweenUs Desenvolvemos um jogo de bate-papo baseado na web, chamado BetweenUs, para coletar dados de bate-papo e, ao mesmo tempo, atender aos padrões éticos, de segurança e de privacidade. O objetivo deste jogo é gerar uma amostra de mensagens de texto autênticas, a partir das quais podemos aprender sobre o estilo linguístico individual de cada participante. O jogo foi construído à medida (ou seja, sem necessidade de software de terceiros) e alojado num servidor Microsoft Azure da Universidade Erasmus. Pode ser acessado aqui: (https://movez.ecda.ai/chat/test1).

BetweenUs foi co-projetado por crianças em uma sessão de cocriação. As crianças forneceram sugestões sobre como o jogo deveria ser, que tipos de avatares deveriam ser usados, a duração do jogo e sobre quais tópicos gostariam de falar. O jogo foi inspirado em jogos populares de impostores, como "Among Us". Além disso, o jogo foi testado entre crianças para feedback final.

No jogo, os jogadores serão emparelhados aleatoriamente em grupos de 4 participantes em uma sala de chat. No início do jogo, o jogador será guiado por cinco telas de instruções, que explicam as regras do jogo. Depois, o jogador pode iniciar o jogo no qual precisa responder a duas perguntas: 1) O jogador gosta ou não gosta do tema apresentado (ex. assistindo futebol), 2) o jogador se sente confortável jogando como impostor. Então, uma função para cada jogador (investigador ou impostor) será atribuída aleatoriamente. Os investigadores precisarão conversar sobre o que realmente gostam/não gostam do tópico apresentado, enquanto os impostores são instruídos a assumir o papel oposto de sua preferência real (por exemplo, "Não gosto de assistir futebol, embora na verdade goste") sem serem questionados. capturado pelos outros jogadores.

O jogo é dividido em três rodadas de conversas individuais de 8 minutos e finalizadas por uma conversa em grupo de 5 minutos. Dessa forma, poderíamos capturar a dinâmica das conversas em ambientes individuais, bem como em grupos, refletindo os bate-papos do mundo real. Durante o bate-papo. O jogo termina com uma votação, pedindo aos investigadores que adivinhem o impostor dentro do grupo. O investigador vence se adivinhar o impostor corretamente, enquanto o impostor vence quando não recebe a maioria dos votos.

O jogo de bate-papo é totalmente anônimo. Os jogadores são representados por avatares semelhantes a animais. Nenhuma informação pessoal ou identificável é coletada durante o jogo e os jogadores são instruídos a não compartilhar quaisquer dados pessoais. Se por algum motivo detalhes pessoais ou confidenciais (como nomes, idade, etc.) ocorrerem no bate-papo, eles serão removidos/com hash. Além disso, os temas do jogo são cuidadosamente escolhidos pelos pesquisadores (considerando as sugestões da sessão de cocriação) para garantir que assuntos delicados sejam evitados. Os jogadores também têm a opção de indicar seu desconforto assumindo o papel de impostor durante o jogo. Por fim, os dados só são acessíveis aos pesquisadores e salvos nos servidores das universidades.

Mensagens de intervenção Dez mensagens de intervenção foram desenvolvidas para promover os benefícios da alimentação baseada em vegetais de uma forma que apoia a autonomia. Cada mensagem visa um dos três motivos mais mencionados para a alimentação à base de plantas (Miki et al., 2020), nomeadamente motivos de saúde, motivos ambientais e motivos de bem-estar animal. Mantemos a ordem dos motivos das mensagens constante durante os dias da semana, de modo que cada dia aborde um dos três motivos nas duas semanas. A criação de mensagens foi orientada pelas preferências dos adolescentes por mensagens de intervenção. Todas as mensagens foram concebidas para serem factuais (incluindo estatísticas baseadas na ciência), concisas (4-5 frases), relevantes para os adolescentes (por exemplo, abordando questões de saúde como acne) e de apoio à autonomia (oferecendo sugestões e dicas em vez de directivas) (Hingle e outros, 2013). As mensagens foram criadas intencionalmente num estilo linguístico neutro, evitando o uso de linguagem altamente emotiva, sintaxe não padronizada ou emojis. Estas constituem as mensagens não personalizadas e servem como base para o desenvolvimento de mensagens personalizadas através da transferência de estilo de texto usando um LLM. As mensagens não personalizadas foram escritas com uma voz ativa e coloquial para permitir uma comparação justa com as versões personalizadas, que também devem ter uma voz ativa após a transferência de estilo. A neutralidade da mensagem foi validada através de avaliação humana especializada e da ferramenta Linguistic Inquiry Word Count 2022 (LIWC22), que avaliou cada mensagem em 22 dimensões linguísticas, pontuando de 0 (neutro) a 100 (extremamente alto) (Boyd et al., 2022). Para garantir que as mensagens eram precisas, confiáveis, claras, envolventes para os adolescentes e principalmente factuais no estilo linguístico, foram realizadas várias rodadas de revisão por pesquisadores seniores com experiência em comunicação juvenil.

Modelo de linguagem ampla Um LLM será usado para adaptar linguisticamente as mensagens de intervenção. A tarefa principal do LLM é aprender o estilo de conversação de cada participante, usando os dados coletados no jogo de bate-papo, e adaptar a mensagem das intervenções de acordo. Isto resultará em 10 mensagens linguísticamente adaptadas para cada participante, enquanto o conteúdo e os factos das mensagens permanecem constantes em mensagens não adaptadas e personalizadas.

O LLM Mistral-large foi selecionado com base em suas pontuações gerais de desempenho atuais e disponibilidade de código aberto. Num estudo separado, avaliamos o desempenho de vários LLMs (Mistral e GPT) na adaptação de mensagens de intervenção, com foco na precisão da transferência de estilo de texto, preservação de conteúdo (ou seja, similaridade de significado) e fluência (ou seja, compreensibilidade) (manuscrito em preparação) . Todos os modelos avaliados demonstraram boas capacidades na captura dos estilos de conversação dos usuários e obtiveram pontuações muito altas na preservação e fluência do conteúdo. Mistral-large foi considerado o modelo mais adequado para este estudo atualmente.

Primeiro, Mistral-large gerará equivalentes de estilo neutro dos dados de bate-papo para criar um conjunto de dados paralelo para cada participante. Para manter a relevância, apenas as mensagens que excedem a contagem mediana de palavras do participante são incluídas, excluindo assim mensagens breves ou sem significado, como "oi". Este conjunto de dados paralelo servirá como entrada de treinamento para o modelo. Posteriormente, o LLM é explicitamente solicitado a atuar como especialista linguístico, analisando o estilo conversacional refletido no conjunto de dados paralelo. Especificamente, o LLM é orientado a considerar: 1) O uso de palavras funcionais pelo participante (por exemplo, pronomes como "eu", "nós", "você"), 2) Seu tom preferido (por exemplo, formal ou informal, analítico ou narrativa), 3) As palavras estilísticas comumente usadas (por exemplo, frases, palavras de preenchimento) e 4) O uso de emojis ou emoticons em frases de exemplo. O LLM também é solicitado a fornecer uma explicação sobre a transferência do estilo do texto.

Aplicativo de pesquisa Mensagens e pesquisas diárias serão entregues por meio de um aplicativo de pesquisa para smartphone chamado Avicena. Os participantes devem baixar e registrar-se neste aplicativo com um ID exclusivo antes do início do programa. Este aplicativo garante a participação anônima no programa de pesquisa. Todos os dias letivos, os participantes receberão uma notificação push matinal solicitando que visualizem uma nova mensagem abrindo o aplicativo. Além disso, o aplicativo exibirá um emblema vermelho sempre que uma nova mensagem estiver disponível. As mensagens podem ser acessadas até meia-noite do mesmo dia letivo, após o qual desaparecerão do aplicativo, e quaisquer mensagens não lidas serão marcadas como dados faltantes daquele dia. Ao ler a mensagem, os participantes realizarão as medidas diárias diretamente no aplicativo. Nos finais de semana, os participantes receberão uma notificação lembrando-os de concluir as pesquisas de fim de semana (ou seja, pesquisa de linha de base, intermediária e final).