Språklig skreddersydde helsemeldinger for å oppmuntre til plantebaserte matvalg hos ungdom

Denne studien er en femarmet randomisert kontrollert studie rettet mot ungdom i alderen 11-15 år i Storbritannia og Irland (figur 1). I intervensjonsarmene vil deltakerne motta daglige meldinger som fremmer et plantebasert kosthold fra mandag til fredag ​​i to uker. Den første armen fungerer som en passiv kontrollgruppe, hvor deltakerne ikke mottar noen meldinger gjennom hele studien. I arm 2 vil deltakerne motta daglige ikke-tilpassede meldinger i hele to uker. I arm 3 vil deltakerne få språklig skreddersydde meldinger. Deltakere i arm 4 vil motta både skreddersydde og skreddersydde meldinger i én uke hver: skreddersydde meldinger i uke 1 og ikke-skreddersydde i uke 2 (arm 4a) og skreddersydde i uke 1 og skreddersydde i uke 2 (arm 4b) . Denne utformingen støtter både sammenligninger innenfor fag (skreddersydd vs. ikke-tilpasset) og sammenligninger mellom fag (f.eks. kontroll vs. intervensjon).

Ved starten av programmet vil deltakeren spille et chat-spill for å samle chattedata for å analysere deres språklige stil. Disse dataene vil bli brukt til å utføre en tekststiloverføring på intervensjonsmeldingene ved å bruke en stor språkmodell (LLM). Etter dette vil den to uker lange intervensjonen starte med en baseline-undersøkelse utført i løpet av den første helgen. I løpet av ukedagene (mandag til fredag) vil deltakere i intervensjonsarmene (arm 2, 3 og 4) motta daglige meldinger som fremmer et plantebasert kosthold gjennom forskningsappen Avicenna. I tillegg vil alle deltakere, inkludert de passive kontrollgruppen, motta daglige spørreundersøkelser om matvalget ved lunsjtid. Deltakere i intervensjonsarmene vil også få spørsmål om meldingsoppfatning. I helgene etter hver intervensjonsuke vil deltakerne fullføre omfattende undersøkelser (midtpunkt- og sluttundersøkelser). Disse undersøkelsene, sammen med grunnundersøkelsen, vil vurdere alle utfallsmål, inkludert kostholdsatferd, atferdsdeterminanter, oppfatninger av meldingskilden, meldingsbehandling og tekststilkarakteristikker.

Prøvestørrelse Den forventede effektstørrelsen var basert på to metaanalyser av nettbaserte helsefremmende studier som inkluderte generell skreddersøm (Krebs et al., 2010; Lustria et al., 2013). Disse studiene rapporterte en gjennomsnittlig effektstørrelse på 0,08 (Cohens f) totalt og 0,112 spesifikt for kostholdsrelaterte intervensjoner. Basert på en antatt effektstørrelse på 0,1 og en potens på 80 % for sammenligninger mellom emner, kreves det en prøvestørrelse på 592 deltakere. Siden sammenligninger innenfor fag vanligvis gir høyere statistisk kraft, tar vi sikte på en målprøvestørrelse på 600 deltakere (150 per arm) med fullstendige svar.

Rekruttering av deltakere Deltakerne vil bli rekruttert gjennom et forskningspanel (Norstat) i Storbritannia og Irland. Panelmedlemmer med kvalifiserte barn vil bli invitert til å delta i studien. Som en del av rekrutteringsundersøkelsen vil foreldre først svare på spørsmål fra forhåndskontroller for å bekrefte at barnet deres oppfyller inkluderingskriteriene. Hvis de er kvalifisert, fortsetter foreldrene i rekrutteringsundersøkelsen, som videre inkluderer informasjon om studien, og muligheten til å registrere barnet sitt og gi samtykke til barnets deltakelse. Når foreldrenes samtykke er innhentet, vil barn bli kontaktet for å delta i studien. Deltakerne vil motta forskningspanelets studiepoeng (dvs. økonomisk kompensasjon) for å fullføre hvert trinn av studien: å spille chat-spillet, fullføre grunnlinje, daglig, midtpunktsundersøkelse og sluttundersøkelse).

Randomisering Blokkrandomisering vil bli brukt til å fordele deltakere på tvers av intervensjonsarmene. Armene 4a og 4b vil bli kombinert til en enkelt blokk siden de har identiske forhold, men bare motvekt. Dette resulterer i fire totale blokker. Med en målprøvestørrelse på 600 tar vi sikte på 150 deltakere per blokk. Deltakerne vil bli tildelt en av de fire blokkene via den automatiserte blokkrandomiseringsfunksjonen i Qualtrics, integrert i rekrutteringsundersøkelsen.

Chattespill: BetweenUs Vi utviklet et nettbasert chattespill, kalt BetweenUs, for å samle inn chattedata samtidig som vi oppfyller etiske, sikkerhets- og personvernstandarder. Hensikten med dette spillet er å generere et utvalg autentiske tekstmeldinger, der vi kan lære om hver deltakers individuelle språklige stil. Spillet ble spesialbygd (dvs. uten behov for tredjepartsprogramvare) og vert på en Microsoft Azure-server ved Erasmus University. Den kan nås her: (https://movez.ecda.ai/chat/test1).

BetweenUs ble co-designet av barn i en samskapende økt. Barn kom med innspill til hvordan spillet skulle se ut, hvilke typer avatarer som skulle brukes, lengden på spillet og hvilke temaer de kunne tenke seg å snakke om. Spillet var inspirert av populære bedragerspill, for eksempel "Among Us". Spillet ble videre testet blant barn for endelig tilbakemelding.

I spillet vil spillere bli tilfeldig sammenkoblet i grupper på 4 deltakere i et chatterom. Ved starten av spillet vil spilleren bli veiledet av fem instruksjonsskjermer, som forklarer spillets regler. Etterpå kan spilleren starte spillet der han må svare på to spørsmål: 1) Liker eller misliker spilleren emnet som presenteres (f.eks. ser på fotball), 2) føler spilleren seg komfortabel med å spille bedrageren. Deretter vil en rolle til hver spiller (etterforsker eller bedrager) tildeles tilfeldig. Etterforskerne må snakke om deres faktiske liker/misliker av det presenterte emnet, mens bedragerne blir bedt om å ta på seg den motsatte rollen av deres faktiske preferanser (f.eks. "Jeg liker ikke å se fotball, selv om jeg faktisk liker det") uten å være fanget av de andre spillerne.

Spillet er delt inn i tre runder med en-til-en-samtaler på 8 minutter og avsluttes med en gruppesamtale på 5 minutter. På denne måten kunne vi fange dynamikken i samtaler i en-til-en-innstillinger samt gruppeinnstillinger, som gjenspeiler chatter i den virkelige verden. Under chatten. Spillet avsluttes med en avstemning, og ber etterforskerne gjette bedrageren i gruppen. Etterforskeren vinner hvis de gjettet bedrageren riktig, mens bedrageren vinner når han ikke fikk flertallet.

Chat-spillet er helt anonymt. Spillere er representert av dyrelignende avatarer. Ingen personlig eller identifiserbar informasjon samles inn under spillet, og spillere blir bedt om å avstå fra å dele noen personlige detaljer. Hvis det av en eller annen grunn oppstår personlige eller sensitive detaljer (som navn, alder osv.) i chatten, vil dette bli fjernet/hashed. I tillegg er spillemnene nøye valgt av forskere (med tanke på forslagene fra samskapingsøkten) for å sikre at sensitive emner unngås. Spillere har også muligheten til å indikere ubehag ved å påta seg rollen som en bedrager under spillet. Til slutt er dataene kun tilgjengelige for forskere og lagret på universitetets servere.

Intervensjonsmeldinger Ti intervensjonsmeldinger ble utviklet for å fremme fordelene med plantebasert spising på en autonomistøttende måte. Hver melding retter seg mot ett av de tre mest nevnte motivene for plantebasert spising (Miki et al., 2020), nemlig helsemotiver, miljømotiver og dyrevelferdsmotiver. Vi holder rekkefølgen på meldingsmotiver konstant gjennom ukedagene, slik at hver dag vil ta for seg ett av de tre motivene på tvers av begge ukene. Meldingsskaping ble styrt av ungdommens preferanser for intervensjonsmeldinger. Alle meldingene ble utformet for å være saklige (inkludert vitenskapsbasert statistikk), konsise (4–5 setninger), relevante for tenåringer (f.eks. adresserer helseproblemer som akne) og autonomistøttende (gi forslag og tips i stedet for direktiver) (Hingle et al., 2013). Meldingene ble med vilje laget i en nøytral språklig stil, og unngikk bruk av svært følelsesladet språk, ikke-standard syntaks eller emojis. Disse utgjør de ikke-tilpassede meldingene og fungerer som grunnlag for å utvikle skreddersydde meldinger gjennom tekststiloverføring ved bruk av en LLM. De ikke-tilpassede meldingene ble skrevet med en aktiv samtalestemme for å muliggjøre en rettferdig sammenligning med de skreddersydde versjonene, som også forventes å ha en aktiv stemme etter stiloverføring. Meldingsnøytralitet ble validert gjennom menneskelig ekspertevaluering og verktøyet Linguistic Inquiry Word Count 2022 (LIWC22), som vurderte hver melding på tvers av 22 språklige dimensjoner, og scoret fra 0 (nøytral) til 100 (ekstremt høy) (Boyd et al., 2022). For å sikre at meldingene var nøyaktige, tillitsfulle, klare, engasjerende for ungdom og først og fremst saklige i språklig stil, ble det gjennomført flere runder med korrekturlesing av seniorforskere med ekspertise innen ungdomskommunikasjon.

Stor språkmodell En LLM vil bli brukt til å språklig skreddersy intervensjonsbudskapene. Den primære oppgaven til LLM er å lære hver deltakers samtalestil ved å bruke dataene som samles inn fra chattespillet, og tilpasse intervensjonsmeldingen deretter. Dette vil resultere i 10 språklig skreddersydde meldinger for hver deltaker, mens innholdet og fakta i meldingene forblir konstant på tvers av ikke-tilpassede og skreddersydde meldinger.

LLM Mistral-large ble valgt basert på deres nåværende generelle ytelsespoeng og åpen kildekode-tilgjengelighet. I en egen studie vurderte vi ytelsen til ulike LLM-er (Mistral og GPT) når det gjelder å skreddersy intervensjonsmeldinger, med fokus på tekststiloverføringsnøyaktighet, innholdsbevaring (dvs. betydningslikhet) og flyt (dvs. forståelighet) (manuskript under forberedelse) . Alle evaluerte modeller viste gode evner til å fange brukernes samtalestiler og scoret svært høyt i innholdsbevaring og flyt. Mistral-large ble ansett som den mest passende modellen for denne studien for tiden.

Først vil Mistral-large generere stilnøytrale ekvivalenter av chatdataene for å lage et parallelt datasett for hver deltaker. For å opprettholde relevansen er bare meldinger som overstiger deltakerens medianordantall inkludert, og ekskluderer dermed korte eller ikke-meningsfulle meldinger som "hei". Dette parallelle datasettet vil tjene som treningsinndata for modellen. Etterpå blir LLM eksplisitt bedt om å fungere som en språkekspert, og analyserer samtalestilen som gjenspeiles i det parallelle datasettet. Spesifikt veiledes LLM til å vurdere: 1) Deltakerens bruk av funksjonsord (f.eks. pronomen som "jeg", "vi", "du"), 2) deres foretrukne tone (f.eks. formell eller uformell, analytisk eller fortelling), 3) de stilistiske ordene som vanligvis brukes (f.eks. setninger, utfyllingsord), og 4) bruken av emojis eller uttrykksikoner i eksempelsetninger. LLM blir også bedt om å gi en forklaring på tekststiloverføringen.

Forskningsapp Daglige meldinger og undersøkelser vil bli levert via en smarttelefonforskningsapp kalt Avicenna. Deltakeren må laste ned og registrere seg for denne appen med en unik ID før programmet starter. Denne appen sikrer anonym deltakelse i forskningsprogrammet. Hver skoledag vil deltakerne motta et morgen-push-varsel som ber dem om å se en ny melding ved å åpne appen. I tillegg vil appen vise et rødt merke hver gang en ny melding er tilgjengelig. Meldinger kan nås frem til midnatt samme skoledag, deretter vil de forsvinne fra appen, og eventuelle uleste meldinger merkes som manglende data for den dagen. Etter å ha lest meldingen, vil deltakerne gjennomføre daglige tiltak direkte i appen. I helgene vil deltakerne motta et varsel som minner dem om å fullføre helgeundersøkelsene (dvs. grunnlinje, midtpunkt og sluttundersøkelse).