Dostosowane językowo komunikaty zdrowotne zachęcające młodzież do wybierania żywności pochodzenia roślinnego

Niniejsze badanie jest pięcioramiennym, randomizowanym, kontrolowanym badaniem, skierowanym do młodzieży w wieku 11–15 lat w Wielkiej Brytanii i Irlandii (ryc. 1). W ramionach interwencyjnych uczestnicy będą codziennie od poniedziałku do piątku przez dwa tygodnie otrzymywać komunikaty promujące dietę roślinną. Pierwsza grupa służy jako pasywna grupa kontrolna, a uczestnicy nie otrzymują żadnych wiadomości przez całe badanie. W ramieniu 2 uczestnicy będą codziennie przez całe dwa tygodnie otrzymywać niestandardowe wiadomości. W części 3 uczestnicy otrzymają komunikaty dostosowane językowo. Uczestnicy ramienia 4 będą otrzymywać przez tydzień zarówno komunikaty dostosowane, jak i dostosowane do indywidualnych potrzeb: komunikaty dostosowane w pierwszym tygodniu i niedopasowane w tygodniu 2 (ramię 4a) oraz niedostosowane w tygodniu 1 i dostosowane w tygodniu 2 (ramię 4b) . Ten projekt obsługuje zarówno porównania wewnątrzobiektowe (dostosowane i niedostosowane), jak i porównania międzyobiektowe (np. kontrola vs. interwencja).

Na początku programu uczestnik będzie grał w grę na czacie, w celu zebrania danych na temat czatu w celu analizy jego stylu językowego. Dane te zostaną wykorzystane do przeniesienia stylu tekstu w komunikatach interwencyjnych przy użyciu modelu dużego języka (LLM). Następnie dwutygodniowa interwencja rozpocznie się od badania podstawowego przeprowadzonego w pierwszy weekend. W dni powszednie (od poniedziałku do piątku) uczestnicy ramion interwencyjnych (ramiona 2, 3 i 4) będą codziennie otrzymywać wiadomości promujące dietę roślinną za pośrednictwem aplikacji badawczej Avicenna. Dodatkowo wszyscy uczestnicy, w tym ci z biernej grupy kontrolnej, będą codziennie otrzymywać ankiety dotyczące wyboru jedzenia w porze lunchu. Uczestnicy ramion interwencyjnych otrzymają także pytania dotyczące postrzegania przekazu. W weekendy następujące po każdym tygodniu interwencji uczestnicy wypełnią kompleksowe ankiety (ankiety w połowie i na końcu). Ankiety te, wraz z ankietą bazową, ocenią wszystkie mierniki wyników, w tym zachowania żywieniowe, determinanty zachowania, postrzeganie źródła komunikatu, przetwarzanie komunikatu i charakterystykę stylu tekstu.

Wielkość próby Oczekiwaną wielkość efektu oparto na dwóch metaanalizach badań dotyczących promocji zdrowia w Internecie, które obejmowały ogólne dostosowywanie (Krebs i in., 2010; Lustria i in., 2013). W badaniach tych wykazano, że średni efekt ogółem wynosił 0,08 (f Cohena) i 0,112 w przypadku interwencji związanych z dietą. W oparciu o założoną wielkość efektu 0,1 i moc 80% dla porównań międzyobiektowych, wymagana jest wielkość próby wynosząca 592 uczestników. Ponieważ porównania wewnątrzobiektowe zazwyczaj dają większą moc statystyczną, naszym celem jest docelowa wielkość próby wynosząca 600 uczestników (150 na ramię) z pełnymi odpowiedziami.

Rekrutacja uczestników Uczestnicy będą rekrutowani za pośrednictwem panelu badawczego (Norstat) w Wielkiej Brytanii i Irlandii. Do udziału w badaniu zostaną zaproszeni członkowie panelu posiadający kwalifikujące się dzieci. W ramach ankiety rekrutacyjnej rodzice najpierw odpowiedzą na pytania osoby przeprowadzającej wstępną selekcję, aby potwierdzić, że ich dziecko spełnia kryteria włączenia. Jeśli się zakwalifikują, rodzice kontynuują udział w ankiecie rekrutacyjnej, która dodatkowo zawiera informacje o badaniu oraz możliwość zapisania się dziecka i wyrażenia zgody na jego udział. Po uzyskaniu zgody rodziców skontaktujemy się z dziećmi w celu wzięcia udziału w badaniu. Uczestnicy otrzymają punkty panelu badawczego (tj. rekompensatę finansową) za ukończenie każdego etapu badania: zagranie w grę na czacie, wypełnienie ankiety podstawowej, dziennej, środkowej i końcowej).

Randomizacja Randomizacja blokowa zostanie wykorzystana do przydzielenia uczestników do ramion interwencji. Ramiona 4a i 4b zostaną połączone w jeden blok, ponieważ mają identyczne warunki, ale są jedynie zrównoważone. Daje to w sumie cztery bloki. Przy docelowej wielkości próby wynoszącej 600, naszym celem jest 150 uczestników w każdym bloku. Uczestnicy zostaną przydzieleni do jednego z czterech bloków poprzez funkcję automatycznej randomizacji bloków w Qualtrics, zintegrowaną z ankietą rekrutacyjną.

Gra na czacie: BetweenUs Opracowaliśmy internetową grę na czacie o nazwie BetweenUs, która umożliwia zbieranie danych z rozmów przy jednoczesnym przestrzeganiu standardów etycznych, bezpieczeństwa i prywatności. Celem tej gry jest wygenerowanie próbki autentycznych wiadomości tekstowych, z których możemy poznać indywidualny styl językowy każdego uczestnika. Gra została zbudowana na zamówienie (tj. Nie wymagała oprogramowania stron trzecich) i hostowana na serwerze Microsoft Azure Uniwersytetu Erasmusa. Dostęp do niego można uzyskać tutaj: (https://movez.ecda.ai/chat/test1).

BetweenUs zostało zaprojektowane wspólnie przez dzieci podczas sesji współtworzenia. Dzieci przekazały informacje na temat tego, jak powinna wyglądać gra, jakich typów awatarów należy używać, jak długo trwa gra i na jakie tematy chciałyby porozmawiać. Gra została zainspirowana popularnymi grami o oszustach, takimi jak „Among Us”. Gra była ponadto pilotażowo testowana wśród dzieci w celu uzyskania ostatecznych informacji zwrotnych.

W grze gracze będą losowo dobierani w grupy po 4 uczestników w pokoju rozmów. Na początku gry gracz będzie prowadzony przez pięć ekranów z instrukcjami, które wyjaśniają zasady gry. Następnie gracz może rozpocząć grę, po której musi odpowiedzieć na dwa pytania: 1) Czy graczowi podoba się przedstawiony temat (np. oglądanie piłki nożnej), 2) czy gracz czuje się komfortowo grając oszusta. Następnie każdemu graczowi (badaczowi lub oszustowi) zostanie losowo przydzielona rola. Śledczy będą musieli porozmawiać na temat tego, co im się podoba/nie podoba im się przedstawiony temat, podczas gdy oszuści są instruowani, aby przyjęli rolę odwrotną do ich rzeczywistych preferencji (np. „Nie lubię oglądać piłki nożnej, chociaż naprawdę ją lubię”), nie będąc złapany przez innych graczy.

Gra jest podzielona na trzy rundy rozmów indywidualnych trwających 8 minut i zakończona rozmową grupową trwającą 5 minut. W ten sposób mogliśmy uchwycić dynamikę rozmów w ustawieniach indywidualnych i grupowych, odzwierciedlając czaty w świecie rzeczywistym. Podczas czatu. Gra kończy się głosowaniem, podczas którego badacze mają odgadnąć oszusta w grupie. Badacz wygrywa, jeśli poprawnie odgadł oszusta, natomiast oszust wygrywa, jeśli nie uzyskał większości głosów.

Gra na czacie jest całkowicie anonimowa. Gracze są reprezentowani przez awatary przypominające zwierzęta. Podczas gry nie są gromadzone żadne dane osobowe ani umożliwiające identyfikację, a gracze proszeni są o powstrzymanie się od udostępniania jakichkolwiek danych osobowych. Jeśli z jakiegokolwiek powodu na czacie pojawią się dane osobowe lub wrażliwe (takie jak imiona, wiek itp.), zostaną one usunięte/zaszyfrowane. Dodatkowo tematy gier są starannie dobierane przez badaczy (biorąc pod uwagę sugestie z sesji współtworzenia), aby uniknąć tematów drażliwych. Gracze mają również możliwość zasygnalizowania swojego dyskomfortu, wcielając się w rolę oszusta podczas gry. Wreszcie dane są dostępne wyłącznie dla badaczy i zapisywane na serwerach uniwersyteckich.

Komunikaty interwencyjne Opracowano dziesięć komunikatów interwencyjnych w celu promowania korzyści płynących z jedzenia roślinnego w sposób wspierający autonomię. Każdy komunikat jest ukierunkowany na jeden z trzech najczęściej wymienianych motywów jedzenia roślinnego (Miki i in., 2020), a mianowicie motywy zdrowotne, motywy środowiskowe i motywy związane z dobrostanem zwierząt. Utrzymujemy stałą kolejność motywów przesłania w dni powszednie, tak aby każdy dzień dotyczył jednego z trzech motywów w ciągu obu tygodni. Przy tworzeniu wiadomości kierowano się preferencjami nastolatków dotyczącymi komunikatów interwencyjnych. Wszystkie komunikaty miały być oparte na faktach (w tym statystyki oparte na nauce), zwięzłe (4–5 zdań), istotne dla nastolatków (np. omawiać problemy zdrowotne, takie jak trądzik) i wspierać autonomię (zawierać sugestie i wskazówki, a nie dyrektywy) (Hingle i in., 2013). Wiadomości zostały celowo stworzone w neutralnym stylu językowym, unikając użycia języka silnie emocjonalnego, niestandardowej składni czy emotikonów. Stanowią one komunikaty niedostosowane i służą jako podstawa do opracowywania komunikatów dostosowanych do indywidualnych potrzeb poprzez transfer stylu tekstu za pomocą LLM. Niedostosowane wiadomości zostały napisane aktywnym, konwersacyjnym głosem, aby umożliwić rzetelne porównanie z wersjami dostosowanymi, które również mają mieć aktywny głos po przeniesieniu stylu. Neutralność komunikatu została sprawdzona poprzez ocenę ekspertów przez człowieka i narzędzie Linguistic Inquiry Word Count 2022 (LIWC22), które oceniało każdy komunikat w 22 wymiarach językowych, przyznając punktację od 0 (neutralny) do 100 (bardzo wysoki) (Boyd i in., 2022). Aby mieć pewność, że przekazy były dokładne, godne zaufania, jasne, angażujące dla nastolatków, a przede wszystkim oparte na faktach pod względem językowym, przeprowadzono wiele rund korekty przez starszych badaczy posiadających wiedzę z zakresu komunikacji młodzieżowej.

Model dużego języka LLM zostanie wykorzystany do językowego dostosowania komunikatów interwencyjnych. Podstawowym zadaniem LLM jest poznanie stylu konwersacji każdego uczestnika na podstawie danych zebranych w grze na czacie i odpowiednie dostosowanie komunikatu interwencyjnego. W rezultacie dla każdego uczestnika powstanie 10 komunikatów dostosowanych pod względem językowym, przy czym treść i fakty zawarte w komunikatach pozostaną niezmienne w przypadku komunikatów niedostosowanych i dostosowanych do indywidualnych potrzeb.

LLM Mistral-large został wybrany na podstawie bieżących ogólnych wyników wydajności i dostępności oprogramowania typu open source. W oddzielnym badaniu oceniliśmy skuteczność różnych LLM (Mistral i GPT) w dostosowywaniu komunikatów interwencyjnych, koncentrując się na dokładności przekazu stylu tekstu, zachowaniu treści (tj. podobieństwie znaczeń) i płynności (tj. zrozumiałości) (rękopis w przygotowaniu). . Wszystkie oceniane modele wykazały dobre możliwości w zakresie uchwycenia stylu konwersacji użytkowników i uzyskały bardzo wysokie wyniki w zakresie zachowania i płynności treści. Obecnie za najbardziej odpowiedni model do tego badania uznano Mistral-large.

Po pierwsze, Mistral-large wygeneruje neutralne pod względem stylu odpowiedniki danych czatu, aby utworzyć równoległy zbiór danych dla każdego uczestnika. Aby zachować trafność, uwzględniane są tylko wiadomości przekraczające średnią liczbę słów uczestnika, wykluczając w ten sposób wiadomości krótkie lub pozbawione znaczenia, takie jak „cześć”. Ten równoległy zbiór danych będzie służyć jako dane wejściowe do szkolenia modelu. Następnie LLM zostaje wyraźnie poproszony o pełnienie roli eksperta językowego, analizującego styl konwersacji odzwierciedlony w równoległym zbiorze danych. W szczególności LLM zaleca rozważenie: 1) użycia przez uczestnika słów funkcyjnych (np. zaimków takich jak „ja”, „my”, „ty”), 2) preferowanego tonu (np. formalny lub nieformalny, analityczny lub narracja), 3) powszechnie używane słowa stylistyczne (np. wyrażenia, słowa wypełniające) oraz 4) użycie emoji lub emotikonów w przykładowych zdaniach. LLM proszony jest również o wyjaśnienie przeniesienia stylu tekstu.

Aplikacja badawcza Codzienne wiadomości i ankiety będą dostarczane za pośrednictwem aplikacji badawczej na smartfony o nazwie Awicenna. Uczestnicy są zobowiązani pobrać i zarejestrować się w tej aplikacji przy użyciu unikalnego identyfikatora przed rozpoczęciem programu. Ta aplikacja zapewnia anonimowy udział w programie badawczym. Każdego dnia w szkole uczestnicy otrzymają poranne powiadomienie push z prośbą o wyświetlenie nowej wiadomości po otwarciu aplikacji. Dodatkowo aplikacja wyświetli czerwoną plakietkę, gdy dostępna będzie nowa wiadomość. Dostęp do wiadomości można uzyskać do północy tego samego dnia szkolnego, po czym znikną one z aplikacji, a nieprzeczytane wiadomości zostaną oznaczone jako brakujące dane dla tego dnia. Po przeczytaniu wiadomości uczestnicy wykonają codzienne pomiary bezpośrednio w aplikacji. W weekendy uczestnicy otrzymają powiadomienie przypominające o konieczności wypełnienia ankiet weekendowych (tj. ankiety podstawowej, środkowej i końcowej).