Evaluering av effektiviteten og akseptabiliteten til en GPT-4O og RAG-basert stemmechatbot for depresjonsscreening ved bruk av PHQ-9 (GPT4-RAG-PHQ)

Depresjon er en utbredt mental helseutfordring med betydelige personlige, sosiale og økonomiske kostnader. Tradisjonelle ressurser for mental helse står overfor barrierer som stigma, begrenset tilgjengelighet og lange ventetider. Teknologi, spesielt AI-drevne verktøy, gir en mulighet til å bygge bro mellom disse hullene. Denne studien bruker GPT-4O og RAG for å lage en stemme-interaktiv chatbot som er i stand til samtaleengasjement, administrere PHQ-9-spørreskjemaet og leverer personlig tilbakemelding.

Deltakerne vil fylle ut PHQ-9 for selvtesting før de samhandler med chatbot (resultatene vil ikke bli avslørt for publikum og vil bare bli brukt for å sammenligne nøyaktigheten), og resultatene av deres selvtester vil bli sammenlignet med Resultater gitt av chatbot når det gjelder nøyaktighet.

Chatbot -interaksjonen omfatter tre faser:

1. Oppvarmingssamtaler for rapportbygging og generell støtte.

   • Chatbot initierer tilfeldige, empatiske dialoger for å bygge rapport med brukere, og hjelper dem til å føle seg komfortable og rolig før de går over til PHQ-9-screening.
   • Brukere kan stille generelle spørsmål relatert til mental helse, og chatbot gir informerte og støttende svar.

2. Administrering av PHQ-9-spørreskjemaet for screening av depresjon.

   • Chatbot introduserer PHQ-9-spørreskjemaet, og forklarer dets formål og hvordan resultatene vil bidra til å vurdere brukerens mentale helse.
   • Gjennom stemmeinteraksjon svarer brukere på de ni PHQ-9-spørsmålene, og chatbot registrerer svarene sine. Chatbot kan avklare spørsmål eller gi ekstra kontekst hvis brukere har vanskeligheter med å forstå spesifikke elementer.

3. Analyse av resultater og levering av skreddersydde anbefalinger.

   • Etter at brukeren har fullført PHQ-9, analyserer chatbot svarene, beregner den totale poengsummen og kategoriserer resultatene i alvorlighetsnivået (f.eks. Mild, moderat).
   • Basert på poengsummen gir Chatbot personlige anbefalinger, for eksempel strategier for selvhjelp for milde symptomer eller foreslår profesjonelle mentale helsetjenester for mer alvorlige tilfeller.

Deltakerne vil samhandle med chatbot og deretter delta i et 1-timers semistrukturert intervju for å gi tilbakemelding på opplevelsen. Studien fokuserer på å evaluere akseptabiliteten og gjennomførbarheten av å bruke slike LLM-baserte chatbots i screening av mental helse og identifisere potensielle forbedringer og risikoer.

Studere mål primære mål

1. For å evaluere akseptabiliteten, gjennomførbarheten og nøyaktigheten av en GPT-4O og RAG-basert stemme-chatbot (hopebot) for depresjonsscreening ved bruk av PHQ-9.

   Hypotese: Deltakerne viste høy aksept av hopbot (høyere enn 65%) og høy vilje til å bruke en slik LLM-basert chatbot for screening av mental helse i fremtiden (høyere enn 65%), noe som indikerer anerkjennelse av troverdigheten til LLM som et støttende verktøy i Psykisk helse screening (høyere enn 65%). Deltakerne Bruk av hopebot for depresjonsscreening samsvarte med deres selvtest PHQ-9-resultater med 100%

2. Å analysere chatbots effektivitet i å identifisere depressive symptomer og levere handlingsrike anbefalinger.

Hypotese: Hopebot kan hjelpe brukere med å ta PHQ-9-testen på en vennlig måte, hjelpe brukere med å kategorisere svarene nøyaktig, og gi nøyaktige testresultater, rådene de gir er basert på de offisielle PHQ-9-retningslinjene, og mer enn 70% av Brukerne sier at svarene deres er veldig effektive og nyttige.

Sekundære mål

1. For å vurdere gjennomførbarheten og ytelsen til å integrere RAG med LLM i å lage en stemme-interaktiv chatbot for mental helse.

   Hypotese: Over 65% av deltakerne erkjente at svarene som bruker RAG var mer nyttige og effektive.

2. For å utforske styrkene, begrensningene og risikoen ved å distribuere LLMer i det mentale helse -domenet.

Hypotese: Mer enn 65% av brukerne sier at Hopebot er veldig praktisk, mer tilgjengelig og kostnadsfri for å gi ikke-dømmende råd. Imidlertid uttrykte 50% fortsatt bekymring for personvernet og datasikkerheten.