Kielellisesti räätälöidyt terveysviestit, jotka rohkaisevat nuoria tekemään kasviperäisiä ruokavalintoja

Tämä tutkimus on viisihaarainen satunnaistettu kontrolloitu tutkimus, joka kohdistuu 11–15-vuotiaisiin nuoriin Isossa-Britanniassa ja Irlannissa (kuva 1). Interventiohaaroissa osallistujat saavat päivittäin kasviperäistä ruokavaliota edistäviä viestejä maanantaista perjantaihin kahden viikon ajan. Ensimmäinen haara toimii passiivisena kontrolliryhmänä, ja osallistujat eivät saa viestejä koko tutkimuksen ajan. Osassa 2 osallistujat saavat päivittäin räätälöimättömiä viestejä koko kahden viikon ajan. Käsivarressa 3 osallistujat saavat kielellisesti räätälöityjä viestejä. Osaan 4 osallistujat saavat sekä räätälöimättömiä että räätälöityjä viestejä viikon ajan kumpikin: räätälöityjä viestejä viikolla 1 ja räätälöimättömiä viestejä viikolla 2 (osa 4a) ja räätälöimättömiä viikolla 1 ja räätälöityjä viikolla 2 (käsi 4b) . Tämä malli tukee sekä tutkimusaiheen sisäisiä vertailuja (räätälöity vs. ei-räätälöity) että koehenkilöiden välisiä vertailuja (esim. kontrolli vs. interventio).

Ohjelman alussa osallistuja pelaa chat-peliä kerätäkseen chattidataa kielellisen tyylinsä analysointia varten. Näitä tietoja käytetään tekstityylien siirtoon interventioviesteissä käyttämällä Large Language Model (LLM) -mallia. Tämän jälkeen kahden viikon mittainen interventio alkaa ensimmäisen viikonlopun aikana tehdyllä perustutkimuksella. Arkipäivisin (maanantaista perjantaihin) interventioaseiden (Arms 2, 3 ja 4) osallistujat saavat päivittäin kasviperäistä ruokavaliota edistäviä viestejä Avicenna-tutkimussovelluksen kautta. Lisäksi kaikki osallistujat, mukaan lukien passiivinen kontrolliryhmä, saavat päivittäin kyselyitä lounasaikaan liittyvistä ruokavalinnoistaan. Interventioryhmien osallistujat saavat myös kysymyksiä viestin havaitsemisesta. Jokaista interventioviikkoa seuraavina viikonloppuina osallistujat suorittavat kattavat kyselyt (keskipiste- ja loppututkimukset). Nämä tutkimukset yhdessä perustutkimuksen kanssa arvioivat kaikkia tulosmittauksia, mukaan lukien ruokavaliokäyttäytymistä, käyttäytymiseen vaikuttavia tekijöitä, havaintoja viestin lähteestä, viestien käsittelyä ja tekstin tyylin ominaisuuksia.

Otoskoko Odotettu vaikutuksen koko perustui kahteen meta-analyysiin online-terveyden edistämisen tutkimuksesta, jotka sisälsivät yleistä räätälöintiä (Krebs et al., 2010; Lustria et al., 2013). Nämä tutkimukset raportoivat keskimäärin 0,08 (Cohenin f) kokonaisvaikutuksen ja 0,112 ruokavalioon liittyvien interventioiden osalta. Oletusvaikutuskoon 0,1 ja koehenkilöiden välisten vertailujen tehon 80 % perusteella vaaditaan 592 osallistujan otos. Koska tutkimusaiheen sisäiset vertailut antavat tyypillisesti korkeamman tilastollisen tehon, tavoitteenamme on 600 osallistujan tavoitekoko (150 henkilöä kohden), joilla on täydelliset vastaukset.

Osallistujien rekrytointi Osallistujat rekrytoidaan tutkimuspaneelin (Norstat) kautta Isossa-Britanniassa ja Irlannissa. Paneelin jäsenet, joilla on kelvollisia lapsia, kutsutaan osallistumaan tutkimukseen. Osana rekrytointikyselyä vanhemmat vastaavat ensin esiseulonnan kysymyksiin varmistaakseen, että heidän lapsensa täyttää osallistumiskriteerit. Mikäli vanhemmat ovat oikeutettuja, he jatkavat rekrytointikyselyssä, joka sisältää lisäksi tietoa tutkimuksesta sekä mahdollisuuden ilmoittaa lapsensa ja antaa suostumuksensa lapsensa osallistumiseen. Kun vanhempien suostumus on saatu, lapsiin otetaan yhteyttä tutkimukseen osallistumista varten. Osallistujat saavat tutkimuspaneelin krediittejä (eli taloudellista korvausta) tutkimuksen kunkin vaiheen suorittamisesta: chat-pelin pelaamisesta, perustilanteen suorittamisesta, päivittäin, keskipistekyselystä ja loppukyselystä.

Satunnaistaminen Lohkon satunnaistamista käytetään osallistujien jakamiseen interventioryhmien kesken. Varret 4a ja 4b yhdistetään yhdeksi lohkoksi, koska niillä on identtiset olosuhteet, mutta vain vastapaino. Tämä johtaa neljään lohkoon. Tavoitteenamme on 600 osallistujaa 150 osallistujaa kohden. Osallistujat määrätään johonkin neljästä lohkosta rekrytointikyselyyn integroidun Qualtricsin automaattisen lohkosatunnaistuksen kautta.

Chat Game: BetweenUs Kehitimme verkkopohjaisen chat-pelin nimeltä BetweenUs kerätäksemme chat-tietoja noudattaen samalla eettisiä, turvallisuus- ja yksityisyysstandardeja. Tämän pelin tarkoituksena on luoda näyte autenttisista tekstiviesteistä, joista voimme oppia kunkin osallistujan yksilöllisestä kielityylistä. Peli oli räätälöity (eli ei tarvita kolmannen osapuolen ohjelmistoja) ja isännöi Erasmus-yliopiston Microsoft Azure -palvelimella. Se löytyy täältä: (https://movez.ecda.ai/chat/test1).

Lapset suunnittelivat BetweenUsin yhteisluomisistunnossa. Lapset kertoivat, miltä pelin tulisi näyttää, minkä tyyppisiä avatareja tulisi käyttää, kuinka kauan peli on kestänyt ja mistä aiheista he haluaisivat keskustella. Peli on saanut inspiraationsa suosituista huijaripeleistä, kuten "Among Us". Peliä pilotoitiin lisäksi lasten kesken lopullista palautetta varten.

Pelissä pelaajat jaetaan satunnaisesti pareittain 4 osallistujan ryhmiin chat-huoneessa. Pelin alussa pelaajaa ohjaavat viisi ohjenäytön ohjeita, jotka selittävät pelin säännöt. Jälkeenpäin pelaaja voi aloittaa pelin, johon hänen on vastattava kahteen kysymykseen: 1) Pitääkö pelaaja esitellystä aiheesta (esim. katsomassa jalkapalloa), 2) tuntuuko pelaajalta mukavaa pelata huijaria. Sitten jokaiselle pelaajalle (tutkijalle tai huijarille) jaetaan rooli satunnaisesti. Tutkijoiden on keskusteltava todellisesta pitävänsä/inhoavasta aiheesta, kun taas huijareita neuvotaan ottamaan todellisen mieltymyksensä vastakkainen rooli (esim. "En pidä jalkapallon katsomisesta, vaikka itse asiassa pidän siitä") olematta kuitenkaan muiden pelaajien kiinni.

Peli on jaettu kolmeen 8 minuutin kahdenkeskiseen keskustelukierrokseen ja päättyy 5 minuutin ryhmäkeskusteluun. Tällä tavalla voimme vangita keskustelujen dynamiikkaa henkilökohtaisissa asetuksissa sekä ryhmäasetuksissa, jotka heijastavat tosielämän keskusteluja. Chatin aikana. Peli päättyy äänestykseen, jossa tutkijoita pyydetään arvaamaan ryhmän sisällä oleva huijari. Tutkija voittaa, jos hän arvasi huijarin oikein, kun taas huijari voittaa, kun hän ei saanut enemmistöä.

Chat-peli on täysin anonyymi. Pelaajia edustavat eläinmäiset avatarit. Pelin aikana ei kerätä henkilökohtaisia ​​tai tunnistettavia tietoja, ja pelaajia kehotetaan pidättymään henkilökohtaisten tietojen jakamisesta. Jos chatissa jostain syystä ilmenee henkilökohtaisia ​​tai arkaluonteisia tietoja (kuten nimet, ikä jne.), tämä poistetaan/tiivistetään. Lisäksi tutkijat valitsevat pelien aiheet huolellisesti (ottaen huomioon yhteisluontiistunnon ehdotukset), jotta herkkiä aiheita vältetään. Pelaajilla on myös mahdollisuus ilmaista epämukavuutensa omaksumalla huijarin roolin pelin aikana. Lopuksi, tiedot ovat vain tutkijoiden käytettävissä ja ne tallennetaan yliopiston palvelimille.

Interventioviestit Kehitettiin kymmenen interventioviestiä edistämään kasviperäisen syömisen etuja autonomiaa tukevalla tavalla. Jokainen viesti kohdistuu yhteen kolmesta eniten mainitusta kasviperäisen syömisen motiivista (Miki et al., 2020), nimittäin terveys-, ympäristö- ja eläinten hyvinvointimotiivit. Pidämme viestien motiivien järjestyksen vakiona arkipäivien ajan siten, että jokainen päivä koskee yhtä kolmesta motiivista molempien viikkojen aikana. Viestin luomista ohjasivat nuorten mieltymykset interventioviestien suhteen. Kaikki viestit on suunniteltu tosiasioihin (mukaan lukien tieteeseen perustuvat tilastot), ytimekkäiksi (4–5 lausetta), teini-ikäisille osuviksi (esim. käsittelemään terveysongelmia, kuten aknea) ja tukemaan autonomiaa (tarjoamaan ehdotuksia ja vinkkejä ohjeiden sijaan) (Hingle) et ai., 2013). Viestit luotiin tarkoituksella neutraaliin kielelliseen tyyliin välttäen erittäin tunteita herättävän kielen, epästandardin syntaksin tai emojien käyttöä. Nämä muodostavat räätälöimättömät viestit ja toimivat perustana räätälöityjen viestien kehittämiselle tekstityylisiirrolla LLM:n avulla. Räätälöimättömät viestit on kirjoitettu aktiivisella, keskusteluäänellä, jotta niitä voidaan verrata reilusti räätälöityihin versioihin, joilta odotetaan myös aktiivista ääntä tyylin siirron jälkeen. Viestien neutraalisuus vahvistettiin asiantuntija-ihmisarvioinnilla ja Linguistic Enquiry Word Count 2022 (LIWC22) -työkalulla, joka arvioi jokaisen viestin 22 kielellisen ulottuvuuden välillä arvosanalla 0 (neutraali) 100 (erittäin korkea) (Boyd et al., 2022). Sen varmistamiseksi, että viestit olivat tarkkoja, luotettavia, selkeitä, nuoria kiinnostavia ja ensisijaisesti asiallisia kielellisesti, suoritettiin useita oikolukukierroksia nuorisoviestintään perehtyneiltä vanhemmilta tutkijoilta.

Large Language Model LLM:ää käytetään interventioviestien kielellisesti räätälöimiseen. LLM:n ensisijaisena tehtävänä on oppia jokaisen osallistujan keskustelutyyli chat-pelistä kerätyn tiedon avulla ja mukauttaa interventioviesti sen mukaisesti. Tämä johtaa 10 kielellisesti räätälöityä viestiä jokaiselle osallistujalle, kun taas viestien sisältö ja tosiasiat pysyvät muuttumattomina räätälöimättömissä ja räätälöityissä viesteissä.

LLM Mistral-large valittiin niiden nykyisten yleisten suorituskykypisteiden ja avoimen lähdekoodin saatavuuden perusteella. Arvioimme erillisessä tutkimuksessa eri LLM:ien (Mistral ja GPT) suorituskykyä interventioviestien räätälöinnissa keskittyen tekstityylien siirron tarkkuuteen, sisällön säilyttämiseen (eli merkityksen samankaltaisuuteen) ja sujuvuuteen (eli ymmärrettävyyteen) (käsikirjoitus valmisteilla) . Kaikki arvioidut mallit osoittivat hyviä kykyjä vangita käyttäjien keskustelutyylejä ja saivat erittäin korkeat pisteet sisällön säilyvyyden ja sujuvuuden suhteen. Mistral-suuria pidettiin tällä hetkellä sopivimpana mallina tähän tutkimukseen.

Ensin Mistral-large luo tyylineutraalit vastineet chat-tiedoista rinnakkaisen tietojoukon luomiseksi jokaiselle osallistujalle. Relevanssin säilyttämiseksi mukaan otetaan vain viestit, jotka ylittävät osallistujan mediaanisanamäärän, jolloin suljetaan pois lyhyet tai merkityksettömät viestit, kuten "hei". Tämä rinnakkaistietojoukko toimii mallin opetussyötteenä. Myöhemmin LLM on nimenomaisesti kehotettu toimimaan kielellisenä asiantuntijana, joka analysoi rinnakkaistietojoukossa heijastuvaa keskustelutyyliä. Erityisesti LLM:ää ohjataan ottamaan huomioon: 1) osallistujan funktiosanojen käyttö (esim. pronominit, kuten "minä", "me", "sinä"), 2) heidän ensisijainen sävynsä (esim. muodollinen tai epävirallinen, analyyttinen tai kerronta), 3) yleisesti käytetyt tyylisanat (esim. lauseet, täytesanat) ja 4) emojien tai hymiöt esimerkkilauseissa. LLM:tä pyydetään myös antamaan selitys tekstityylien siirrosta.

Research App Päivittäiset viestit ja kyselyt toimitetaan Avicenna-nimisen älypuhelintutkimussovelluksen kautta. Osallistujan tulee ladata ja rekisteröityä tähän sovellukseen yksilöllisellä tunnuksella ennen ohjelman alkamista. Tämä sovellus varmistaa anonyymin osallistumisen tutkimusohjelmaan. Joka koulupäivä osallistujat saavat aamulla push-ilmoituksen, jossa heitä kehotetaan katsomaan uutta viestiä avaamalla sovellus. Lisäksi sovellus näyttää punaisen merkin aina, kun uusi viesti on saatavilla. Viestejä voi lukea saman koulupäivän keskiyöhön asti, jonka jälkeen ne katoavat sovelluksesta ja lukemattomat viestit merkitään kyseisen päivän puuttuviksi tiedoiksi. Viestin luettuaan osallistujat suorittavat päivittäisiä mittauksia suoraan sovelluksessa. Viikonloppuisin osallistujat saavat ilmoituksen, jossa heitä muistutetaan viikonloppukyselyiden (eli lähtötilanteen, keskipisteen ja viimeisen kyselyn) suorittamisesta.