Taalkundig op maat gemaakte gezondheidsboodschappen om plantaardige voedingskeuzes bij adolescenten aan te moedigen

Deze studie is een gerandomiseerde, gecontroleerde studie met vijf armen, gericht op adolescenten van 11 tot 15 jaar in Groot-Brittannië en Ierland (Figuur 1). In de interventiearmen ontvangen deelnemers twee weken lang dagelijks berichten waarin ze een plantaardig dieet promoten. De eerste arm dient als een passieve controlegroep, waarbij de deelnemers gedurende het hele onderzoek geen berichten ontvangen. In arm 2 ontvangen deelnemers gedurende twee weken dagelijks niet-op maat gemaakte berichten. In arm 3 ontvangen deelnemers taalkundig op maat gemaakte berichten. Deelnemers aan arm 4 ontvangen gedurende één week zowel niet-op maat gemaakte als op maat gemaakte berichten: op maat gemaakte berichten in week 1 en niet-op maat gemaakte in week 2 (arm 4a) en niet-op maat gemaakte in week 1 en op maat gemaakte in week 2 (arm 4b) . Dit ontwerp ondersteunt zowel vergelijkingen binnen proefpersonen (op maat gemaakt versus niet-op maat) als vergelijkingen tussen proefpersonen (bijvoorbeeld controle versus interventie).

Aan het begin van het programma speelt de deelnemer een chatspel om chatgegevens te verzamelen voor het analyseren van zijn taalstijl. Deze gegevens zullen worden gebruikt om een ​​tekststijloverdracht uit te voeren op de interventieberichten met behulp van een Large Language Model (LLM). Hierna begint de twee weken durende interventie met een basisonderzoek dat tijdens het eerste weekend wordt uitgevoerd. Tijdens de weekdagen (maandag tot en met vrijdag) ontvangen deelnemers aan de interventiearmen (armen 2, 3 en 4) dagelijks berichten waarin ze een plantaardig dieet promoten via de onderzoeksapp Avicenna. Bovendien zullen alle deelnemers, inclusief de passieve controlegroep, dagelijks enquêtes ontvangen over hun voedselkeuze tijdens de lunch. Deelnemers aan de interventiearmen krijgen ook vragen over boodschapperceptie. In de weekenden na elke interventieweek vullen de deelnemers uitgebreide enquêtes in (midden- en eindenquêtes). Deze onderzoeken zullen, samen met het basisonderzoek, alle uitkomstmaten beoordelen, inclusief voedingsgedrag, gedragsdeterminanten, percepties van de berichtbron, berichtverwerking en tekststijlkenmerken.

Steekproefgrootte De verwachte effectgrootte was gebaseerd op twee meta-analyses van online onderzoeken naar gezondheidsbevordering waarin algemene maatwerk was opgenomen (Krebs et al., 2010; Lustria et al., 2013). Deze onderzoeken rapporteerden een gemiddelde effectgrootte van 0,08 (Cohen's f) in totaal en 0,112 voor dieetgerelateerde interventies specifiek. Gebaseerd op een veronderstelde effectgrootte van 0,1 en een power van 80% voor vergelijkingen tussen proefpersonen, is een steekproefomvang van 592 deelnemers vereist. Omdat vergelijkingen binnen proefpersonen doorgaans een hogere statistische kracht opleveren, streven we naar een beoogde steekproefomvang van 600 deelnemers (150 per arm) met volledige antwoorden.

Rekrutering van deelnemers Deelnemers worden gerekruteerd via een onderzoekspanel (Norstat) in Groot-Brittannië en Ierland. Panelleden met in aanmerking komende kinderen worden uitgenodigd om aan het onderzoek deel te nemen. Als onderdeel van de rekruteringsenquête zullen ouders eerst pre-screenervragen beantwoorden om te bevestigen dat hun kind aan de inclusiecriteria voldoet. Als ouders hiervoor in aanmerking komen, gaan ze door met het rekruteringsonderzoek, dat verder informatie over het onderzoek bevat, en de mogelijkheid om hun kind aan te melden en toestemming te geven voor de deelname van hun kind. Zodra de toestemming van de ouders is verkregen, wordt er contact met de kinderen opgenomen om aan het onderzoek deel te nemen. Deelnemers ontvangen onderzoekspanelcredits (d.w.z. financiële compensatie) voor het voltooien van elke fase van het onderzoek: het spelen van het chatspel, het invullen van de basislijn, de dagelijkse enquête, de tussentijdse enquête en de eindenquête.

Randomisatie Blokrandomisatie zal worden gebruikt om deelnemers over de interventiearmen te verdelen. Armen 4a en 4b zullen worden gecombineerd tot één blok, omdat ze identieke omstandigheden hebben, maar alleen gecompenseerd worden. Dit resulteert in vier totale blokken. Met een beoogde steekproefgrootte van 600 streven we naar 150 deelnemers per blok. Deelnemers worden toegewezen aan een van de vier blokken via de geautomatiseerde blokrandomisatiefunctie in Qualtrics, geïntegreerd in de wervingsenquête.

Chatspel: BetweenUs We hebben een webgebaseerd chatspel ontwikkeld, BetweenUs genaamd, om chatgegevens te verzamelen en tegelijkertijd te voldoen aan ethische, veiligheids- en privacynormen. Het doel van dit spel is om een ​​voorbeeld van authentieke sms-berichten te genereren, waaruit we de individuele taalstijl van elke deelnemer kunnen leren kennen. De game is op maat gebouwd (er is dus geen software van derden nodig) en gehost op een Microsoft Azure-server van de Erasmus Universiteit. Het is hier toegankelijk: (https://movez.ecda.ai/chat/test1).

BetweenUs is mede ontworpen door kinderen in een co-creatiesessie. Kinderen gaven input over hoe het spel eruit moet zien, welke soorten avatars er gebruikt moeten worden, hoe lang het spel duurt en over welke onderwerpen ze graag willen praten. De game is geïnspireerd op populaire bedriegerspellen, zoals "Among Us". Het spel werd bovendien getest onder kinderen voor definitieve feedback.

In het spel worden spelers willekeurig gekoppeld in groepen van 4 deelnemers in een chatroom. Aan het begin van het spel wordt de speler begeleid door vijf instructieschermen waarin de spelregels worden uitgelegd. Daarna kan de speler het spel starten, waarop hij twee vragen moet beantwoorden: 1) Vindt de speler het gepresenteerde onderwerp leuk of niet leuk (bijv. voetbal kijken), 2) voelt de speler zich op zijn gemak als hij de bedrieger speelt? Vervolgens wordt aan elke speler (onderzoeker of bedrieger) willekeurig een rol toegewezen. De onderzoekers zullen moeten praten over hun werkelijke voorkeur/afkeer van het gepresenteerde onderwerp, terwijl de bedriegers de opdracht krijgen om de tegenovergestelde rol op zich te nemen van hun werkelijke voorkeur (bijvoorbeeld: "Ik hou niet van voetbal kijken, hoewel ik het eigenlijk wel leuk vind") zonder te worden gevangen door de andere spelers.

Het spel is opgedeeld in drie rondes van één-op-één gesprekken van 8 minuten en afgesloten met een groepsgesprek van 5 minuten. Op deze manier konden we de dynamiek van gesprekken vastleggen in zowel één-op-één-situaties als groepssituaties, die echte chats weerspiegelen. Tijdens het chatten. Het spel wordt afgesloten met een stemming, waarbij de onderzoekers worden gevraagd de bedrieger binnen de groep te raden. De onderzoeker wint als hij de bedrieger correct heeft geraden, terwijl de bedrieger wint als hij niet de meerderheid van de stemmen heeft gekregen.

Het chatspel is volledig anoniem. Spelers worden vertegenwoordigd door dierachtige avatars. Er wordt tijdens het spel geen persoonlijke of identificeerbare informatie verzameld en spelers worden geïnstrueerd om geen persoonlijke gegevens te delen. Mochten om welke reden dan ook persoonlijke of gevoelige gegevens (zoals namen, leeftijd etc.) in de chat voorkomen, dan worden deze verwijderd/gehasht. Bovendien worden de gameonderwerpen zorgvuldig gekozen door onderzoekers (rekening houdend met de suggesties uit de co-creatiesessie) om ervoor te zorgen dat gevoelige onderwerpen worden vermeden. Spelers hebben ook de mogelijkheid om hun ongemak kenbaar te maken door tijdens het spel de rol van bedrieger op zich te nemen. Tenslotte zijn de data alleen toegankelijk voor onderzoekers en opgeslagen op servers van de universiteit.

Interventieboodschappen Er zijn tien interventieboodschappen ontwikkeld om de voordelen van plantaardig eten op een autonomieondersteunende manier te promoten. Elk bericht richt zich op één van de drie meest genoemde motieven voor plantaardig eten (Miki et al., 2020), namelijk gezondheidsmotieven, milieumotieven en dierenwelzijnsmotieven. We houden de volgorde van de berichtmotieven constant gedurende de weekdagen, zodat elke dag een van de drie motieven van beide weken behandelt. Het maken van berichten werd geleid door de voorkeuren van adolescenten voor interventieboodschappen. Alle berichten zijn ontworpen om feitelijk te zijn (inclusief op wetenschap gebaseerde statistieken), beknopt (4-5 zinnen), relevant voor tieners (bijvoorbeeld om gezondheidsproblemen zoals acne aan te pakken) en autonomie-ondersteunend (het bieden van suggesties en tips in plaats van richtlijnen) (Hingle et al., 2013). De berichten zijn opzettelijk in een neutrale taalkundige stijl gemaakt, waarbij het gebruik van zeer emotionele taal, niet-standaard syntaxis of emoji's werd vermeden. Deze vormen de niet-op maat gemaakte berichten en dienen als basis voor het ontwikkelen van op maat gemaakte berichten door middel van tekststijloverdracht met behulp van een LLM. De niet-op maat gemaakte berichten zijn geschreven met een actieve, gemoedelijke stem om een ​​eerlijke vergelijking mogelijk te maken met de op maat gemaakte versies, waarvan wordt verwacht dat ze na stijloverdracht ook een actieve stem zullen hebben. De berichtneutraliteit werd gevalideerd door menselijke evaluatie door deskundigen en de tool Linguistic Inquiry Word Count 2022 (LIWC22), waarbij elk bericht op 22 taalkundige dimensies werd beoordeeld, met een score van 0 (neutraal) tot 100 (extreem hoog) (Boyd et al., 2022). Om ervoor te zorgen dat de boodschappen accuraat, betrouwbaar, duidelijk, aantrekkelijk voor adolescenten en voornamelijk feitelijk in taalkundige stijl waren, werden meerdere proefleesrondes uitgevoerd door senior onderzoekers met expertise in jeugdcommunicatie.

Groot Taalmodel Er zal een LLM worden gebruikt om de interventieboodschappen taalkundig aan te passen. De primaire taak van de LLM is om de gespreksstijl van elke deelnemer te leren kennen, met behulp van de gegevens die zijn verzameld tijdens het chatspel, en om de interventieboodschap dienovereenkomstig aan te passen. Dit zal resulteren in tien taalkundig op maat gemaakte berichten voor elke deelnemer, terwijl de inhoud en feiten van de berichten constant blijven in zowel niet-op maat gemaakte als op maat gemaakte berichten.

De LLM Mistral-large werd geselecteerd op basis van hun huidige algemene prestatiescores en open-source beschikbaarheid. In een afzonderlijke studie hebben we de prestaties van verschillende LLM's (Mistral en GPT) beoordeeld bij het op maat maken van interventieboodschappen, met de nadruk op de nauwkeurigheid van de overdracht van tekststijlen, het behoud van de inhoud (dat wil zeggen, wat gelijkenis betekent) en vloeiendheid (dat wil zeggen begrijpelijkheid) (manuscript in voorbereiding). . Alle geëvalueerde modellen vertoonden goede mogelijkheden bij het vastleggen van de gespreksstijlen van gebruikers en scoorden zeer hoog op het gebied van behoud en vloeiendheid van de inhoud. Mistral-large werd momenteel als het meest geschikte model voor dit onderzoek beschouwd.

Ten eerste zal Mistral-large stijlneutrale equivalenten van de chatgegevens genereren om voor elke deelnemer een parallelle dataset te creëren. Om de relevantie te behouden, worden alleen berichten opgenomen die het gemiddelde aantal woorden van de deelnemer overschrijden, waardoor korte of niet-betekenisvolle berichten zoals 'hallo' worden uitgesloten. Deze parallelle dataset zal dienen als trainingsinvoer voor het model. Daarna wordt de LLM expliciet gevraagd om als taalkundige op te treden en de gespreksstijl te analyseren die wordt weerspiegeld in de parallelle dataset. In het bijzonder wordt de LLM begeleid bij het overwegen van: 1) het gebruik door de deelnemer van functiewoorden (bijv. voornaamwoorden als ‘ik’, ‘wij’, ‘jij’), 2) de toon van zijn voorkeur (bijv. verhaal), 3) De stilistische woorden die vaak worden gebruikt (bijvoorbeeld zinnen, vulwoorden), en 4) Het gebruik van emoji's of emoticons in voorbeeldzinnen. Ook wordt de LLM gevraagd een toelichting te geven op de tekststijloverdracht.

Onderzoeksapp Dagelijkse berichten en enquêtes worden geleverd via een onderzoeksapp voor smartphones genaamd Avicenna. Deelnemers moeten deze app vóór aanvang van het programma downloaden en zich bij deze app registreren met een unieke ID. Deze app zorgt voor anonieme deelname aan het onderzoeksprogramma. Elke schooldag ontvangen de deelnemers een ochtendpushmelding waarin ze worden gevraagd een nieuw bericht te bekijken door de app te openen. Bovendien geeft de app een rode badge weer wanneer er een nieuw bericht beschikbaar is. Berichten zijn toegankelijk tot middernacht op dezelfde schooldag. Daarna verdwijnen ze uit de app en worden eventuele ongelezen berichten gemarkeerd als ontbrekende gegevens voor die dag. Na het lezen van het bericht voltooien de deelnemers de dagelijkse metingen rechtstreeks in de app. In het weekend ontvangen deelnemers een melding waarin ze eraan worden herinnerd de weekendenquêtes in te vullen (d.w.z. basis-, middelpunt- en eindenquête).