Messaggi sanitari linguisticamente personalizzati per incoraggiare scelte alimentari a base vegetale negli adolescenti

Questo studio è uno studio randomizzato e controllato a cinque bracci rivolto ad adolescenti di età compresa tra 11 e 15 anni nel Regno Unito e in Irlanda (Figura 1). Nei bracci di intervento, i partecipanti riceveranno messaggi giornalieri che promuovono una dieta a base vegetale dal lunedì al venerdì per due settimane. Il primo braccio funge da gruppo di controllo passivo, in cui i partecipanti non ricevono messaggi durante lo studio. Nel braccio 2, i partecipanti riceveranno messaggi giornalieri non personalizzati per le due settimane intere. Nel braccio 3, i partecipanti riceveranno messaggi linguisticamente personalizzati. I partecipanti al braccio 4 riceveranno messaggi sia non personalizzati che personalizzati per una settimana ciascuno: messaggi personalizzati nella settimana 1 e non personalizzati nella settimana 2 (braccio 4a) e messaggi non personalizzati nella settimana 1 e personalizzati nella settimana 2 (braccio 4b) . Questo disegno supporta sia i confronti all'interno del soggetto (su misura vs. non su misura) sia i confronti tra soggetti (ad esempio, controllo vs. intervento).

All'inizio del programma i partecipanti giocheranno a un gioco di chat per raccogliere dati di chat per analizzare il proprio stile linguistico. Questi dati verranno utilizzati per effettuare un trasferimento dello stile testuale sui messaggi di intervento utilizzando un Large Language Model (LLM). Successivamente, l’intervento di due settimane inizierà con un’indagine di base condotta durante il primo fine settimana. Durante i giorni feriali (dal lunedì al venerdì), i partecipanti ai bracci di intervento (bracci 2, 3 e 4) riceveranno messaggi giornalieri che promuovono una dieta a base vegetale attraverso l'app di ricerca Avicenna. Inoltre, tutti i partecipanti, compresi quelli del gruppo di controllo passivo, riceveranno sondaggi giornalieri sulla loro scelta alimentare all'ora di pranzo. I partecipanti ai bracci di intervento riceveranno anche domande sulla percezione del messaggio. Nei fine settimana successivi a ciascuna settimana di intervento, i partecipanti completeranno sondaggi completi (sondaggi intermedi e finali). Queste indagini, insieme all’indagine di base, valuteranno tutte le misure dei risultati, inclusi i comportamenti alimentari, i determinanti del comportamento, la percezione della fonte del messaggio, l’elaborazione del messaggio e le caratteristiche dello stile del testo.

Dimensione del campione La dimensione dell'effetto atteso si basava su due meta-analisi di studi di promozione della salute online che includevano personalizzazioni generali (Krebs et al., 2010; Lustria et al., 2013). Questi studi hanno riportato una dimensione media dell'effetto di 0,08 (f di Cohen) in generale e di 0,112 per gli interventi specifici legati alla dieta. Sulla base di una dimensione dell'effetto presunta di 0,1 e di una potenza dell'80% per i confronti tra soggetti, è richiesta una dimensione del campione di 592 partecipanti. Poiché i confronti all'interno dei soggetti producono in genere un potere statistico più elevato, miriamo a una dimensione del campione target di 600 partecipanti (150 per braccio) con risposte complete.

Reclutamento dei partecipanti I partecipanti saranno reclutati attraverso un gruppo di ricerca (Norstat) nel Regno Unito e in Irlanda. I membri del panel con figli idonei saranno invitati a partecipare allo studio. Nell'ambito del sondaggio di reclutamento, i genitori risponderanno prima alle domande di pre-screening per confermare che il loro bambino soddisfa i criteri di inclusione. Se idonei, i genitori continuano il sondaggio di reclutamento, che include ulteriori informazioni sullo studio e l'opportunità di iscrivere il proprio figlio e fornire il consenso alla partecipazione del figlio. Una volta ottenuto il consenso dei genitori, i bambini verranno contattati per prendere parte allo studio. I partecipanti riceveranno i crediti del panel di ricerca (ovvero, un compenso finanziario) per aver completato ogni fase dello studio: giocare al gioco in chat, completare il sondaggio di base, giornaliero, intermedio e finale).

Randomizzazione La randomizzazione a blocchi verrà utilizzata per assegnare i partecipanti tra i bracci di intervento. I bracci 4a e 4b verranno riuniti in un unico blocco poiché presentano condizioni identiche, ma solo controbilanciate. Ciò si traduce in quattro blocchi totali. Con una dimensione del campione target di 600, miriamo a 150 partecipanti per blocco. I partecipanti verranno assegnati a uno dei quattro blocchi tramite la funzione automatizzata di randomizzazione dei blocchi in Qualtrics, integrata nel sondaggio di reclutamento.

Gioco di chat: BetweenUs Abbiamo sviluppato un gioco di chat basato sul web, chiamato BetweenUs, per raccogliere dati di chat rispettando gli standard etici, di sicurezza e di privacy. Lo scopo di questo gioco è generare un campione di messaggi di testo autentici, dai quali possiamo conoscere lo stile linguistico individuale di ogni partecipante. Il gioco è stato realizzato su misura (ovvero senza bisogno di software di terze parti) e ospitato su un server Microsoft Azure dell'Università Erasmus. È possibile accedervi qui: (https://movez.ecda.ai/chat/test1).

BetweenUs è stato co-progettato dai bambini in una sessione di co-creazione. I bambini hanno fornito suggerimenti su come dovrebbe apparire il gioco, quali tipi di avatar dovrebbero essere utilizzati, la durata del gioco e di quali argomenti vorrebbero parlare. Il gioco è stato ispirato da popolari giochi impostori, come "Among Us". Il gioco è stato inoltre sperimentato tra i bambini per il feedback finale.

Nel gioco, i giocatori verranno accoppiati casualmente in gruppi di 4 partecipanti all'interno di una chat room. All'inizio del gioco, il giocatore sarà guidato da cinque schermate di istruzioni, che spiegano le regole del gioco. Successivamente, il giocatore può iniziare il gioco in cui deve rispondere a due domande: 1) Al giocatore piace o non piace l'argomento presentato (ad es. guardando il calcio), 2) il giocatore si sente a suo agio nel interpretare l'impostore. Quindi, verrà assegnato casualmente un ruolo a ciascun giocatore (investigatore o impostore). Gli investigatori dovranno parlare delle loro reali simpatie/antipatie per l'argomento presentato, mentre agli impostori verrà chiesto di assumere il ruolo opposto alle loro reali preferenze (ad esempio, "Non mi piace guardare il calcio, anche se in realtà mi piace") senza essere catturato dagli altri giocatori.

Il gioco è diviso in tre round di conversazioni individuali di 8 minuti e si conclude con una conversazione di gruppo di 5 minuti. In questo modo abbiamo potuto catturare le dinamiche delle conversazioni sia in contesti uno a uno che in contesti di gruppo, riflettendo le chat del mondo reale. Durante la chiacchierata. Il gioco si chiude con una votazione in cui si chiede agli investigatori di indovinare l'impostore all'interno del gruppo. L'investigatore vince se ha indovinato correttamente l'impostore, mentre l'impostore vince quando non ha ricevuto la maggioranza dei voti.

Il gioco in chat è completamente anonimo. I giocatori sono rappresentati da avatar simili ad animali. Durante il gioco non vengono raccolte informazioni personali o identificabili e ai giocatori viene richiesto di astenersi dal condividere qualsiasi dato personale. Se per qualsiasi motivo nella chat compaiono dettagli personali o sensibili (come nomi, età, ecc.), questi verranno rimossi/hashing. Inoltre, gli argomenti del gioco vengono scelti con cura dai ricercatori (considerando i suggerimenti della sessione di co-creazione) per garantire che vengano evitati argomenti delicati. I giocatori hanno anche la possibilità di esprimere il proprio disagio assumendo il ruolo di un impostore durante il gioco. Infine, i dati sono accessibili solo ai ricercatori e salvati sui server dell'Ateneo.

Messaggi di intervento Sono stati sviluppati dieci messaggi di intervento per promuovere i benefici dell'alimentazione a base vegetale in modo da supportare l'autonomia. Ogni messaggio prende di mira uno dei tre motivi più menzionati per il consumo di prodotti vegetali (Miki et al., 2020), vale a dire motivi di salute, motivi ambientali e motivi di benessere degli animali. Manteniamo costante l'ordine dei motivi del messaggio durante i giorni feriali, in modo tale che ogni giorno affronti uno dei tre motivi in ​​entrambe le settimane. La creazione del messaggio è stata guidata dalle preferenze degli adolescenti per i messaggi di intervento. Tutti i messaggi sono stati progettati per essere concreti (incluse statistiche basate sulla scienza), concisi (4-5 frasi), rilevanti per gli adolescenti (ad esempio, affrontando problemi di salute come l'acne) e di supporto all'autonomia (offrendo suggerimenti e suggerimenti piuttosto che direttive) (Hingle et al., 2013). I messaggi sono stati creati intenzionalmente in uno stile linguistico neutro, evitando l'uso di un linguaggio altamente emotivo, di una sintassi non standard o di emoji. Questi costituiscono i messaggi non personalizzati e servono come base per lo sviluppo di messaggi personalizzati attraverso il trasferimento di stili di testo utilizzando un LLM. I messaggi non personalizzati sono stati scritti con una voce attiva e colloquiale per consentire un confronto equo con le versioni personalizzate, che dovrebbero avere anche una voce attiva in seguito al trasferimento di stile. La neutralità del messaggio è stata convalidata attraverso la valutazione umana di esperti e lo strumento Linguistic Inquiry Word Count 2022 (LIWC22), che ha valutato ciascun messaggio in 22 dimensioni linguistiche, ottenendo un punteggio da 0 (neutro) a 100 (estremamente alto) (Boyd et al., 2022). Per garantire che i messaggi fossero accurati, affidabili, chiari, coinvolgenti per gli adolescenti e soprattutto concreti nello stile linguistico, sono stati condotti più cicli di correzione di bozze da parte di ricercatori senior con esperienza nella comunicazione giovanile.

Modello linguistico di grandi dimensioni Verrà utilizzato un LLM per adattare linguisticamente i messaggi di intervento. Il compito principale del LLM è apprendere lo stile di conversazione di ciascun partecipante, utilizzando i dati raccolti dal gioco in chat, e adattare di conseguenza il messaggio di intervento. Ciò si tradurrà in 10 messaggi linguisticamente personalizzati per ciascun partecipante, mentre il contenuto e i fatti dei messaggi rimarranno costanti sia nei messaggi non personalizzati che in quelli personalizzati.

Il LLM Mistral-large è stato selezionato in base agli attuali punteggi delle prestazioni generali e alla disponibilità open source. In uno studio separato, abbiamo valutato le prestazioni di vari LLM (Mistral e GPT) nella personalizzazione dei messaggi di intervento, concentrandosi sull'accuratezza del trasferimento dello stile del testo, sulla conservazione del contenuto (ovvero, somiglianza di significato) e sulla fluidità (ovvero, comprensibilità) (manoscritto in preparazione) . Tutti i modelli valutati hanno dimostrato buone capacità nel catturare gli stili di conversazione degli utenti e hanno ottenuto punteggi molto alti nella conservazione e nella fluidità dei contenuti. Mistral-large è stato considerato attualmente il modello più adatto per questo studio.

Innanzitutto, Mistral-large genererà equivalenti neutrali rispetto allo stile dei dati della chat per creare un set di dati parallelo per ciascun partecipante. Per mantenere la pertinenza, vengono inclusi solo i messaggi che superano il numero medio di parole del partecipante, escludendo così messaggi brevi o non significativi come "ciao". Questo set di dati parallelo servirà come input di addestramento per il modello. Successivamente, al LLM viene esplicitamente richiesto di agire come esperto linguistico, analizzando lo stile di conversazione riflesso nel set di dati parallelo. Nello specifico, il LLM è guidato a considerare: 1) L'uso di parole funzionali da parte del partecipante (ad esempio, pronomi come "io", "noi", "tu"), 2) Il loro tono preferito (ad esempio, formale o informale, analitico o narrativa), 3) Le parole stilistiche comunemente usate (ad esempio, frasi, parole di riempimento) e 4) L'uso di emoji o emoticon in frasi di esempio. Viene inoltre richiesto al LLM di fornire una spiegazione del trasferimento dello stile del testo.

App di ricerca I messaggi e i sondaggi giornalieri verranno forniti tramite un'app di ricerca per smartphone chiamata Avicenna. I partecipanti sono tenuti a scaricare e registrarsi a questa app con un ID univoco prima dell'inizio del programma. Questa app garantisce la partecipazione anonima al programma di ricerca. Ogni giorno scolastico, i partecipanti riceveranno una notifica push mattutina che li invita a visualizzare un nuovo messaggio aprendo l'app. Inoltre, l'app visualizzerà un badge rosso ogni volta che è disponibile un nuovo messaggio. È possibile accedere ai messaggi fino alla mezzanotte dello stesso giorno scolastico, dopodiché scompariranno dall'app e tutti i messaggi non letti verranno contrassegnati come dati mancanti per quel giorno. Dopo aver letto il messaggio, i partecipanti completeranno le misure giornaliere direttamente all'interno dell'app. Nei fine settimana, i partecipanti riceveranno una notifica che ricorda loro di completare i sondaggi del fine settimana (ovvero sondaggio di base, punto intermedio e finale).