Evaluatie van de effectiviteit en aanvaardbaarheid van een GPT-4O en vodden-gebaseerde voice chatbot voor depressiescreening met behulp van PHQ-9 (GPT4-RAG-PHQ)
Deze studie beoogt de haalbaarheid en aanvaardbaarheid van een spraakgebaseerde chatbot, aangedreven door GPT-4O en Retrieval-Augmented Generation (RAG), te beoordelen voor het uitvoeren van depressiescreening met behulp van de Patient Health Questionnaire-9 (PHQ-9). De PHQ-9 is een gevalideerd zelfrapportage-instrument dat veel wordt gebruikt om de ernst van depressie te screenen, te diagnosticeren en te bewaken. Het bestaat uit negen vragen die overeenkomen met de diagnostische en statistische handleiding voor mentale stoornissen (DSM-5) criteria voor de belangrijkste depressieve stoornis. Respondenten beoordelen de frequentie van symptomen die de afgelopen twee weken worden ervaren op een schaal van 0 ("helemaal niet") tot 3 ("bijna elke dag"). De totale score (variërend van 0 tot 27) geeft de ernst van depressieve symptomen aan, gecategoriseerd in minimale, milde, matige, matig ernstige of ernstige depressie. De PHQ-9 wordt ook gebruikt om functionele beperkingen te beoordelen en de behandelingsbeslissingen te begeleiden in klinische en onderzoeksinstellingen.
De spraakgebaseerde chatbot integreert GPT-4O, met RAG om zijn vermogen te verbeteren om geïnformeerde en gecontextualiseerde antwoorden te geven tijdens interacties. GPT-4O dient als de conversatie-engine, die in staat is om mensachtige, empathische en contextueel geschikte dialoog te genereren. Rag daarentegen stelt de chatbot in staat om externe, up-to-date kennis op te halen en op te nemen uit een samengestelde database of kennisrepository, waardoor de nauwkeurigheid en betrouwbaarheid van zijn antwoorden wordt gewaarborgd.
Studie Overzicht
Toestand
Interventie / Behandeling
Gedetailleerde beschrijving
Depressie is een gangbare uitdaging voor geestelijke gezondheid met aanzienlijke persoonlijke, sociale en economische kosten. Traditionele bronnen voor geestelijke gezondheidszorg worden geconfronteerd met barrières zoals stigma, beperkte beschikbaarheid en lange wachttijden. Technologie, met name AI-aangedreven tools, biedt de mogelijkheid om deze hiaten te overbruggen. Deze studie maakt gebruik van GPT-4O en RAG om een spraak-interactieve chatbot te creëren die in staat is om conversatiebetrokkenheid, het beheren van de PHQ-9-vragenlijst en het leveren van gepersonaliseerde feedback.
Deelnemers vullen de PHQ-9 in voor zelftesten voordat ze interactie hebben met de chatbot (de resultaten worden niet aan het publiek bekendgemaakt en zullen alleen worden gebruikt voor nauwkeurigheidsvergelijkingen), en de resultaten van hun zelftesten worden vergeleken met de Resultaten gegeven door de chatbot in termen van nauwkeurigheid.
De chatbot -interactie omvat drie fasen:
Warm-upgesprekken voor het opbouwen van rapport en algemene ondersteuning.
- De chatbot initieert casual, empathische dialogen om een rapport op te bouwen met gebruikers, waardoor ze zich comfortabel en op hun gemak voelen voordat ze overstappen naar de PHQ-9-screening.
- Gebruikers kunnen algemene vragen stellen met betrekking tot geestelijke gezondheid en de chatbot biedt geïnformeerde en ondersteunende antwoorden.
Toediening van de PHQ-9-vragenlijst voor depressiescreening.
- De chatbot introduceert de PHQ-9-vragenlijst en legt het doel uit en hoe de resultaten de geestelijke gezondheid van de gebruiker zullen helpen beoordelen.
- Door spraakinteractie reageren gebruikers op de negen PHQ-9-vragen en registreert de chatbot hun antwoorden. De chatbot kan vragen verduidelijken of extra context bieden als gebruikers moeite hebben om specifieke items te begrijpen.
Analyse van resultaten en levering van op maat gemaakte aanbevelingen.
- Nadat de gebruiker de PHQ-9 heeft voltooid, analyseert de chatbot de reacties, berekent de totale score en categoriseert de resultaten in ernstniveaus (bijvoorbeeld mild, matig).
- Op basis van de score biedt de chatbot gepersonaliseerde aanbevelingen, zoals zelfhulpstrategieën voor milde symptomen of suggereren professionele geestelijke gezondheidszorg voor meer ernstige gevallen.
Deelnemers zullen communiceren met de chatbot en vervolgens deelnemen aan een semi-gestructureerd interview van 1 uur om feedback te geven over hun ervaring. De studie richt zich op het evalueren van de aanvaardbaarheid en haalbaarheid van het gebruik van dergelijke op LLM gebaseerde chatbots in screening op geestelijke gezondheid en het identificeren van potentiële verbeteringen en risico's.
Studiedoelstellingen primaire doelstellingen
Om de aanvaardbaarheid, haalbaarheid en nauwkeurigheid van een GPT-4O en vodden-gebaseerde voice chatbot (HopeBot) te evalueren voor depressiescreening met behulp van PHQ-9.
Hypothese: Deelnemers toonden een hoge acceptatie van HopeBot (hoger dan 65%) en een hoge bereidheid om een dergelijke LLM-gebaseerde chatbot te gebruiken voor screening op geestelijke gezondheid in de toekomst (hoger dan 65%), wat duidt op de erkenning van de geloofwaardigheid van LLM als een ondersteunend hulpmiddel in Screening op de geestelijke gezondheidszorg (hoger dan 65%). Deelnemers gebruik van de HopeBot voor depressiescreening kwamen overeen met hun PHQ-9-resultaten van de zelftest met 100%
- Om de effectiviteit van de chatbot te analyseren bij het identificeren van depressieve symptomen en het leveren van bruikbare aanbevelingen.
Hypothese: HopeBot kan gebruikers helpen de PHQ-9-test op een vriendelijke manier te doen, gebruikers te helpen de antwoorden nauwkeurig te categoriseren en nauwkeurige testresultaten te geven, het advies dat ze geven is gebaseerd op de officiële PHQ-9-richtlijnen, en meer dan 70% van De gebruikers zeggen dat hun antwoorden zeer effectief en nuttig zijn.
Secundaire doelstellingen
Om de haalbaarheid en prestaties van het integreren van dag met LLM te beoordelen bij het creëren van een spraak-interactieve chatbot voor geestelijke gezondheid.
Hypothese: meer dan 65% van de deelnemers erkende dat reacties die RAD gebruiken nuttiger en effectiever waren.
- Om de sterke punten, beperkingen en risico's van het inzetten van LLM's in het domein van de geestelijke gezondheidszorg te verkennen.
Hypothese: meer dan 65% van de gebruikers zegt dat HopeBot erg handig, toegankelijker en gratis is om niet-oordelende advies te geven. 50% uitte echter nog steeds bezorgdheid over de privacy en gegevensbeveiliging.
Studietype
Inschrijving (Geschat)
Contacten en locaties
Studie Locaties
-
-
-
London, Verenigd Koninkrijk, NW1 2DA
- UCL Institute of Health Informatics
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Bemonsteringsmethode
Studie Bevolking
De onderzoekspopulatie bestaat uit gezonde personen van 18 tot 65 jaar die geen ernstige psychische aandoeningen hebben. We verwelkomen deelnemers die interesse hebben in kunstmatige intelligentie -technologieën. Werving zal zowel online als offline worden uitgevoerd.
Deelnemers zullen zich bezighouden met een geavanceerde AI -chatbot die is ontworpen om een consult met een professional in de geestelijke gezondheidszorg te simuleren. Deze interactie stelt hen in staat om een psychometrische evaluatie, zoals de PHQ-9-test, op een gestructureerde maar gesprekkende manier te voltooien. In tegenstelling tot conventionele online versies van de PHQ-9-test, biedt de chatbot verbeterde interactiviteit. Voor personen die mogelijk problemen ondervinden bij het articuleren of samenvatten van hun antwoorden, biedt de chatbot verduidelijkingen en hulp met behulp van een uitgebreid taalmodel.
Na de beoordeling ontvangen deelnemers een interpretatie van hun testresultaten samen met op maat gemaakt advies, geleverd in overeenstemming met de gevestigde richtlijnen voor geestelijke gezondheidszorg.
Beschrijving
Inclusiecriteria:
- Volwassenen van 18-65 jaar.
- Vloeiend Engels.
- Toegang tot een apparaat dat in staat is om spraakinteractie en stabiele internetverbinding te kunnen.
- Bereid om deel te nemen aan chatbot-interactie en een vervolginterview.
Uitsluitingscriteria:
- Huidige ernstige psychiatrische diagnoses (bijv. Psychose, bipolaire stoornis).
- Deelnemers ondergaan een actieve behandeling voor depressie met een psychiater.
- Ongemak met spraakgebaseerde technologie of onvermogen om geïnformeerde toestemming te geven.
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Haalbaarheid en aanvaardbaarheid van de GPT-4O en RAG Voice Chatbot
Tijdsspanne: Interviews worden onmiddellijk afgenomen na de chatbot -interactie.
|
De perceptie van de deelnemers over de haalbaarheid, aanvaardbaarheid en effectiviteit van de chatbot worden beoordeeld door semi-gestructureerde interviews afgenomen na de interactiesessie.
Deze interviews onderzoeken thema's zoals de empathie, bruikbaarheid van de chatbot en de algemene gebruikerservaring.
|
Interviews worden onmiddellijk afgenomen na de chatbot -interactie.
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Nauwkeurigheid van PHQ-9 scoren door de chatbot
Tijdsspanne: Gemeten onmiddellijk na de interactiesessie, zodra de chatbot PHQ-9-scores heeft gegenereerd
|
De nauwkeurigheid van de PHQ-9-scores gegenereerd door de chatbot wordt gemeten door de resultaten van de chatbot te vergelijken met de zelfgerapporteerde PHQ-9-scores van de deelnemers die vóór de interactie zijn verzameld.
Overeenkomst zal worden beoordeeld met behulp van statistische methoden zoals Cohen's Kappa of Intraclass Correlation Coëfficiënt (ICC).
|
Gemeten onmiddellijk na de interactiesessie, zodra de chatbot PHQ-9-scores heeft gegenereerd
|
Medewerkers en onderzoekers
Sponsor
Onderzoekers
- Studie directeur: Kezhi Li, University College, London
Studie record data
Bestudeer belangrijke data
Studie start (Geschat)
Primaire voltooiing (Geschat)
Studie voltooiing (Geschat)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Aanvullende relevante MeSH-voorwaarden
Andere studie-ID-nummers
- 26133.001 (Andere identificatie: UCL Research Ethics Committee)
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Beschrijving IPD-plan
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .