Bewertung der Wirksamkeit und Akzeptanz eines GPT-4O- und RAG-basierten Sprach-Chatbots für Depressions-Screening mit PHQ-9 (GPT4-RAG-PHQ)
Diese Studie zielt darauf ab, die Durchführbarkeit und Akzeptanz eines sprachbasierten Chatbots zu bewerten, das von GPT-4O und RAGRIEVAL-AUGmented-Generation (RAG) angetrieben wird, um Depressions-Screening unter Verwendung des Fragebogens der Patientengesundheit (PHQ-9) durchzuführen. Das PHQ-9 ist ein validiertes Selbstberichtsinstrument, das häufig verwendet wird, um den Schweregrad der Depression zu diagnostizieren, zu diagnostizieren und zu überwachen. Es besteht aus neun Fragen, die dem diagnostischen und statistischen Handbuch für psychische Störungen (DSM-5) -Kriterien für schwere depressive Störungen entsprechen. Die Befragten bewerten die Häufigkeit der Symptome in den letzten zwei Wochen auf einer Skala von 0 ("überhaupt nicht") auf 3 ("fast jeden Tag"). Die Gesamtpunktzahl (von 0 bis 27) zeigt die Schwere der depressiven Symptome an, die in minimale, leichte, mittelschwere, mäßig schwere oder schwere Depressionen eingeteilt sind. Der PHQ-9 wird auch verwendet, um Funktionen zu bewerten und die Behandlungsentscheidungen in klinischen und Forschungsumgebungen zu steuern.
Der sprachbasierte Chatbot integriert GPT-4O mit RAG, um seine Fähigkeit zu verbessern, fundierte und kontextualisierte Antworten während der Interaktionen zu liefern. GPT-4O dient als Konversationsmotor, der in der Lage ist, menschliche, einfühlsame und kontextbezogene Dialog zu erzeugen. Auf der anderen Seite kann der Chatbot externes, aktuelles Wissen aus einer kuratierten Datenbank oder einem Wissens-Repository abrufen und einbeziehen, um die Genauigkeit und Zuverlässigkeit seiner Antworten sicherzustellen.
Studienübersicht
Status
Bedingungen
Intervention / Behandlung
Detaillierte Beschreibung
Depression ist eine weit verbreitete Herausforderung für psychische Gesundheit mit erheblichen persönlichen, sozialen und wirtschaftlichen Kosten. Traditionelle psychische Gesundheitsressourcen sind mit Barrieren wie Stigma, begrenzter Verfügbarkeit und langen Wartezeiten ausgesetzt. Technologie, insbesondere KI-angetriebene Werkzeuge, bietet die Möglichkeit, diese Lücken zu schließen. In dieser Studie wird GPT-4O und RAG verwendet, um einen Sprachinteraktiven-Chatbot zu erstellen, der zum Gesprächsbetrieb in der Lage ist, den PHQ-9-Fragebogen zu verwalten und personalisiertes Feedback zu liefern.
Die Teilnehmer werden den PHQ-9 für die Selbstprüfung ausfüllen, bevor sie mit dem Chatbot interagieren (die Ergebnisse werden der Öffentlichkeit nicht weitergegeben und werden nur für Genauigkeitsvergleiche verwendet), und die Ergebnisse ihrer Selbsttests werden mit dem verglichen Ergebnisse des Chatbots in Bezug auf die Genauigkeit.
Die Chatbot -Interaktion umfasst drei Phasen:
Aufwärmengespräche für den Aufbau von Rapport und allgemeine Unterstützung.
- Der Chatbot initiiert lässige, einfühlsame Dialoge, um ein Verhältnis zu Benutzern aufzubauen und ihnen zu helfen, sich wohl und entspannt zu fühlen, bevor sie zum PHQ-9-Screening übergeht.
- Benutzer können allgemeine Fragen zur psychischen Gesundheit stellen, und der Chatbot bietet fundierte und unterstützende Antworten.
Verabreichung des PHQ-9-Fragebogens zur Depressions-Screening.
- Der Chatbot führt den PHQ-9-Fragebogen ein und erklärt seinen Zweck und wie die Ergebnisse dazu beitragen, die psychische Gesundheit des Benutzers zu bewerten.
- Durch die Sprachinteraktion reagieren Benutzer auf die neun PHQ-9-Fragen, und die Chatbot zeichnet ihre Antworten auf. Der Chatbot kann Fragen klären oder zusätzlichen Kontext bereitstellen, wenn Benutzer Schwierigkeiten haben, bestimmte Elemente zu verstehen.
Analyse der Ergebnisse und Abgabe von maßgeschneiderten Empfehlungen.
- Nachdem der Benutzer den PHQ-9 abgeschlossen hat, analysiert der Chatbot die Antworten, berechnet die Gesamtpunktzahl und kategorisiert die Ergebnisse in Schweregrade (z. B. leicht, mittelschwer).
- Basierend auf der Punktzahl bietet der Chatbot personalisierte Empfehlungen wie Selbsthilfstrategien für milde Symptome oder die Vorschlag für professionelle psychische Gesundheit für schwerwiegendere Fälle.
Die Teilnehmer werden mit dem Chatbot interagieren und dann an einem 1-stündigen halbstrukturierten Interview teilnehmen, um Feedback zu ihrer Erfahrung zu geben. Die Studie konzentriert sich auf die Bewertung der Akzeptanz und Machbarkeit der Verwendung solcher LLM-basierten Chatbots beim Screening der psychischen Gesundheit und der Identifizierung potenzieller Verbesserungen und Risiken.
Studienziele Hauptziele
Bewertung der Akzeptanz, Machbarkeit und Genauigkeit eines GPT-4O- und RAG-basierten Voice Chatbot (HopeBot) für Depressions-Screening unter Verwendung von PHQ-9.
Hypothese: Die Teilnehmer zeigten eine hohe Akzeptanz von HopeBot (höher als 65%) und eine hohe Bereitschaft, in Zukunft einen solchen LLM-basierten Chatbot für die psychische Gesundheit zu verwenden (höher als 65%), was darauf hinweist psychische Gesundheitsscreening (höher als 65%). Die Verwendung des HopeBot für Depressions-Screening der Teilnehmer stimmte mit ihren Selbsttest-PHQ-9-Ergebnissen um 100% überein
- Analyse der Wirksamkeit des Chatbot bei der Identifizierung depressiver Symptome und der Abgabe von umsetzbaren Empfehlungen.
Hypothese: HopeBot kann den Benutzern helfen, den PHQ-9-Test freundlich zu machen, den Benutzern dabei zu helfen, die Antworten genau zu kategorisieren und genaue Testergebnisse zu geben. Die Benutzer sagen, dass ihre Antworten sehr effektiv und hilfreich sind.
Sekundäre Ziele
Bewertung der Machbarkeit und Leistung des Integrierens von Lappen mit LLM bei der Erstellung eines Sprachinteraktiven Chatbots für die psychische Gesundheit.
Hypothese: Über 65% der Teilnehmer erkannten, dass die Reaktionen mit LAG hilfreicher und effektiver waren.
- Untersuchung der Stärken, Einschränkungen und Risiken des Einsatzes von LLMs im Bereich der psychischen Gesundheit.
Hypothese: Mehr als 65% der Benutzer sagen, dass HopeBot sehr bequem, zugänglicher und kostenlos ist, um nicht wertende Ratschläge zu erhalten. 50% äußerten jedoch immer noch Bedenken hinsichtlich der Datenschutz und Datensicherheit.
Studientyp
Einschreibung (Geschätzt)
Kontakte und Standorte
Studienorte
-
-
-
London, Vereinigtes Königreich, NW1 2DA
- UCL Institute of Health Informatics
-
-
Teilnahmekriterien
Zulassungskriterien
Studienberechtigtes Alter
- Erwachsene
- Älterer Erwachsener
Akzeptiert gesunde Freiwillige
Probenahmeverfahren
Studienpopulation
Die Studienpopulation besteht aus gesunden Personen im Alter von 18 bis 65 Jahren, die keine schwerwiegenden psychischen Erkrankungen haben. Wir begrüßen Teilnehmer, die ein Interesse an Technologien für künstliche Intelligenz haben. Die Rekrutierung wird sowohl online als auch offline durchgeführt.
Die Teilnehmer werden sich mit einem hoch entwickelten KI -Chatbot befassen, der eine Beratung mit einem psychiatrischen Fachmann simulieren soll. Diese Interaktion ermöglicht es ihnen, eine psychometrische Bewertung wie den PHQ-9-Test auf strukturierte und dennoch konversende Weise abzuschließen. Im Gegensatz zu herkömmlichen Online-Versionen des PHQ-9-Tests bietet der Chatbot eine verbesserte Interaktivität. Für Personen, die Schwierigkeiten bei der Artikulation oder Zusammenfassung ihrer Antworten haben, bietet der Chatbot mithilfe eines umfassenden Sprachmodells Klarifikationen und Unterstützung.
Nach der Bewertung erhalten die Teilnehmer eine Auslegung ihrer Testergebnisse sowie maßgeschneiderte Ratschläge, die gemäß den festgelegten Richtlinien für psychische Gesundheit geliefert werden.
Beschreibung
Einschlusskriterien:
- Erwachsene im Alter von 18 bis 65 Jahren.
- Fließend Englisch.
- Zugriff auf ein Gerät, das mit Sprachinteraktion und stabiler Internetverbindung in der Lage ist.
- Bereit, an Chatbot-Interaktion und einem Follow-up-Interview teilzunehmen.
Ausschlusskriterien:
- Aktuelle schwere psychiatrische Diagnosen (z. B. Psychose, bipolare Störung).
- Teilnehmer, die eine aktive Behandlung für Depressionen mit einem Psychiater unterziehen.
- Beschwerden mit sprachbasiertem Technologie oder Unfähigkeit, eine Einwilligung zu erfüllen.
Studienplan
Wie ist die Studie aufgebaut?
Designdetails
Was misst die Studie?
Primäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Machbarkeit und Akzeptanz des GPT-4O- und Lag-Voice-Chatbots
Zeitfenster: Die Interviews werden unmittelbar nach der Chatbot -Interaktion durchgeführt.
|
Die Wahrnehmung der Teilnehmer in Bezug auf die Durchführbarkeit, Akzeptanz und Wirksamkeit des Chatbot wird durch semi-strukturierte Interviews bewertet, die nach der Interaktionssitzung durchgeführt wurden.
Diese Interviews untersuchen Themen wie das Empathie, die Benutzerfreundlichkeit des Chatbots und die allgemeine Benutzererfahrung.
|
Die Interviews werden unmittelbar nach der Chatbot -Interaktion durchgeführt.
|
Sekundäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Genauigkeit der PHQ-9-Bewertung durch den Chatbot
Zeitfenster: Gemessen unmittelbar nach der Interaktionssitzung, sobald der Chatbot PHQ-9-Scores generiert hat
|
Die Genauigkeit der vom Chatbot generierten PHQ-9-Ergebnisse wird gemessen, indem die Ergebnisse des Chatbot mit den selbst berichteten PHQ-9-Werten der Teilnehmer vor der Wechselwirkung verglichen werden.
Die Vereinbarung wird anhand statistischer Methoden wie dem Kappa- oder Intraclass -Korrelationskoeffizienten von Cohen (ICC) bewertet.
|
Gemessen unmittelbar nach der Interaktionssitzung, sobald der Chatbot PHQ-9-Scores generiert hat
|
Mitarbeiter und Ermittler
Sponsor
Ermittler
- Studienleiter: Kezhi Li, University College, London
Studienaufzeichnungsdaten
Haupttermine studieren
Studienbeginn (Geschätzt)
Primärer Abschluss (Geschätzt)
Studienabschluss (Geschätzt)
Studienanmeldedaten
Zuerst eingereicht
Zuerst eingereicht, das die QC-Kriterien erfüllt hat
Zuerst gepostet (Tatsächlich)
Studienaufzeichnungsaktualisierungen
Letztes Update gepostet (Tatsächlich)
Letztes eingereichtes Update, das die QC-Kriterien erfüllt
Zuletzt verifiziert
Mehr Informationen
Begriffe im Zusammenhang mit dieser Studie
Schlüsselwörter
Zusätzliche relevante MeSH-Bedingungen
Andere Studien-ID-Nummern
- 26133.001 (Andere Kennung: UCL Research Ethics Committee)
Plan für individuelle Teilnehmerdaten (IPD)
Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?
Beschreibung des IPD-Plans
Arzneimittel- und Geräteinformationen, Studienunterlagen
Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt
Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt
Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .