Utvärdering av effektiviteten och acceptabiliteten hos en GPT-4O och RAG-baserad röstchatbot för depressionsscreening med PHQ-9 (GPT4-RAG-PHQ)

Depression är en utbredd utmaning för mental hälsa med betydande personliga, sociala och ekonomiska kostnader. Traditionella resurser för mental hälsa möter hinder som stigma, begränsad tillgänglighet och långa väntetider. Teknik, särskilt AI-driven verktyg, ger en möjlighet att överbrygga dessa luckor. Denna studie använder GPT-4O och RAG för att skapa en röstinteraktiv chatbot som kan konversationsengagemang, administrera phq-9-frågeformuläret och leverera personlig feedback.

Deltagarna kommer att fylla i PHQ-9 för självtest innan de interagerar med chatboten (resultaten kommer inte att avslöjas för allmänheten och kommer endast att användas för noggrannhetsjämförelser), och resultaten av deras självtest kommer att jämföras med Resultat som ges av chatboten när det gäller noggrannhet.

Chatbot -interaktionen omfattar tre faser:

1. Uppvärmningskonversationer för rapportbyggnad och allmänt stöd.

   • Chatboten initierar avslappnade, empatiska dialoger för att bygga rapport med användare och hjälpa dem att känna sig bekväma och lugna innan de övergår till PHQ-9-screening.
   • Användare kan ställa allmänna frågor relaterade till mental hälsa, och chatboten ger informerade och stödjande svar.

2. Administration av PHQ-9-frågeformuläret för screening av depression.

   • Chatbot introducerar phq-9-frågeformuläret och förklarar dess syfte och hur resultaten kommer att hjälpa till att bedöma användarens mentala hälsa.
   • Genom röstinteraktion svarar användare på de nio PHQ-9-frågorna, och Chatbot registrerar deras svar. Chatboten kan klargöra frågor eller ge ytterligare sammanhang om användare har svårt att förstå specifika objekt.

3. Analys av resultat och leverans av skräddarsydda rekommendationer.

   • När användaren har slutfört PHQ-9 analyserar chatboten svaren, beräknar den totala poängen och kategoriserar resultaten till svårighetsnivåer (t.ex. mild, måttlig).
   • Baserat på poängen ger Chatbot personliga rekommendationer, till exempel självhjälpsstrategier för milda symtom eller föreslår professionella mentalvårdstjänster för mer allvarliga fall.

Deltagarna kommer att interagera med chatboten och sedan delta i en 1-timmars semistrukturerad intervju för att ge feedback om deras upplevelse. Studien fokuserar på att utvärdera acceptabiliteten och genomförbarheten av att använda sådana LLM-baserade chatbots i screening av mental hälsa och identifiera potentiella förbättringar och risker.

Studie mål primära mål

1. För att utvärdera acceptabilitet, genomförbarhet och noggrannhet för en GPT-4O och RAG-baserad röstchatbot (Hoppebot) för depressionsscreening med PHQ-9.

   Hypotes: Deltagarna visade hög acceptans av hoppbot (högre än 65%) och hög villighet att använda en sådan LLM-baserad chatbot för mental hälsa screening i framtiden (högre än 65%), vilket indikerar erkännande av LLM: s trovärdighet som ett stödjande verktyg i Mental hälsa screening (högre än 65%). Deltagare Användning av Hopebot for Depression Screening matchade sina självtest PHQ-9-resultat med 100%

2. Att analysera chatbots effektivitet när det gäller att identifiera depressiva symtom och leverera handlingsbara rekommendationer.

Hypotes: Hopebot kan hjälpa användare att ta PHQ-9-testet på ett vänligt sätt, hjälpa användare att kategorisera svaren exakt och ge exakta testresultat, råd de ger baseras på de officiella PHQ-9-riktlinjerna och mer än 70% av Användarna säger att deras svar är mycket effektiva och hjälpsamma.

Sekundärmål

1. För att bedöma genomförbarheten och prestandan för att integrera RAG med LLM för att skapa en röstinteraktiv chatbot för mental hälsa.

   Hypotes: Över 65% av deltagarna insåg att svar med RAG var mer användbara och effektiva.

2. Att utforska styrkorna, begränsningarna och riskerna för att distribuera LLM: er inom mentalhälsodomänen.

Hypotes: Mer än 65% av användarna säger att Hopebot är mycket bekvämt, mer tillgängligt och kostnadsfritt för att ge icke-dömande råd. 50% uttryckte dock fortfarande oro över dess integritet och datasäkerhet.