Evaluering af effektiviteten og acceptabiliteten af ​​en GPT-4O og ragbaseret stemme chatbot til depression screening ved hjælp af PHQ-9 (GPT4-RAG-PHQ)

Depression er en udbredt mental sundhedsudfordring med betydelige personlige, sociale og økonomiske omkostninger. Traditionelle mentale sundhedsressourcer står over for barrierer såsom stigma, begrænset tilgængelighed og lange ventetider. Teknologi, især AI-drevne værktøjer, giver en mulighed for at bygge bro over disse huller. Denne undersøgelse bruger GPT-4O og RAG til at skabe en stemme-interaktiv chatbot, der er i stand til samtaleengagement, administration af PHQ-9-spørgeskemaet og levering af personlig feedback.

Deltagerne udfylder PHQ-9 til selvtestning, før de interagerer med chatboten (resultaterne vil ikke blive videregivet til offentligheden og vil kun blive brugt til nøjagtighedssammenligninger), og resultaterne af deres selvtest vil blive sammenlignet med Resultater givet af chatboten med hensyn til nøjagtighed.

Chatbot -interaktionen omfatter tre faser:

1. Opvarmningssamtaler til rapportopbygning og generel støtte.

   • Chatboten indleder afslappede, empatiske dialoger til at opbygge rapport med brugere, hjælpe dem med at føle sig godt tilpas og let, før de overgår til PHQ-9-screeningen.
   • Brugere kan stille generelle spørgsmål relateret til mental sundhed, og Chatbot giver informerede og støttende svar.

2. Administration af PHQ-9-spørgeskemaet til screening af depression.

   • Chatbot introducerer PHQ-9-spørgeskemaet, der forklarer dets formål, og hvordan resultaterne vil hjælpe med at vurdere brugerens mentale sundhed.
   • Gennem stemmeinteraktion svarer brugerne på de ni PHQ-9-spørgsmål, og Chatbot registrerer deres svar. Chatboten kan afklare spørgsmål eller give yderligere kontekst, hvis brugerne har svært ved at forstå specifikke genstande.

3. Analyse af resultater og levering af skræddersyede anbefalinger.

   • Når brugeren er afsluttet PHQ-9, analyserer chatbotene svarene, beregner den samlede score og kategoriserer resultaterne i sværhedsgraden (f.eks. Mild, moderat).
   • Baseret på scoringen giver Chatbot personlige anbefalinger, såsom selvhjælpsstrategier for milde symptomer eller foreslår professionelle mentale sundhedsydelser til mere alvorlige tilfælde.

Deltagerne vil interagere med Chatbot og derefter deltage i et 1-timers semistruktureret interview for at give feedback om deres oplevelse. Undersøgelsen fokuserer på at evaluere acceptabiliteten og gennemførligheden af ​​at bruge sådanne LLM-baserede chatbots i screening af mental sundhed og identificere potentielle forbedringer og risici.

Undersøgelsesmål Primære mål

1. For at evaluere acceptabiliteten, gennemførligheden og nøjagtigheden af ​​en GPT-4O og RAG-baseret stemme Chatbot (HOPEBOT) til depressionsscreening ved hjælp af PHQ-9.

   Hypotese: Deltagerne viste stor accept af HopeBot (højere end 65%) og høj vilje til at bruge en sådan LLM-baseret chatbot til mental sundhedsscreening i fremtiden (højere end 65%), hvilket indikerer anerkendelse af troværdigheden af ​​LLM som et understøttende værktøj i værktøjet i Screening af mental sundhed (højere end 65%). Deltagerne Brug af hopebot til depressionsscreening matchede deres selvtest PHQ-9-resultater med 100%

2. At analysere chatbotens effektivitet til at identificere depressive symptomer og levere handlingsmæssige anbefalinger.

Hypotese: HopeBot kan hjælpe brugerne med at tage PHQ-9-testen på en venlig måde, hjælpe brugerne med at kategorisere svarene nøjagtigt og give nøjagtige testresultater, det råd, de giver, er baseret på de officielle PHQ-9-retningslinjer og mere end 70% af Brugere siger, at deres svar er meget effektive og hjælpsomme.

Sekundære mål

1. At vurdere muligheden og ydeevnen ved at integrere RAG med LLM i at skabe en stemme-interaktiv chatbot for mental sundhed.

   Hypotese: Over 65% af deltagerne anerkendte, at svarene ved hjælp af RAG var mere nyttige og effektive.

2. At udforske styrker, begrænsninger og risici ved at implementere LLM'er inden for det mentale sundhedsdomæne.

Hypotese: Mere end 65% af brugerne siger, at HopeBot er meget praktisk, mere tilgængelig og omkostningsfri til at give ikke-dømmende rådgivning. 50% udtrykte dog stadig bekymring for dets privatliv og datasikkerhed.