Evaluación de la efectividad y aceptabilidad de un chatbot de voz GPT-4O y trapo para la detección de depresión utilizando PHQ-9 (GPT4-RAG-PHQ)
Este estudio tiene como objetivo evaluar la viabilidad y la aceptabilidad de un chatbot basado en la voz, impulsado por GPT-4O y la generación de recuperación (RAG), para realizar la detección de depresión utilizando el cuestionario de salud del paciente-9 (PHQ-9). El PHQ-9 es un instrumento de autoinforme validado ampliamente utilizado para detectar, diagnosticar y monitorear la gravedad de la depresión. Consiste en nueve preguntas que corresponden a los criterios del Manual de diagnóstico y estadístico de los trastornos mentales (DSM-5) para el trastorno depresivo mayor. Los encuestados califican la frecuencia de los síntomas experimentados en las últimas dos semanas en una escala de 0 ("en absoluto") a 3 ("casi todos los días"). La puntuación total (que oscila entre 0 y 27) indica la gravedad de los síntomas depresivos, clasificados en depresión mínima, leve, moderada, moderadamente grave o grave. El PHQ-9 también se utiliza para evaluar el deterioro funcional y guiar las decisiones de tratamiento en entornos clínicos y de investigación.
El chatbot basado en la voz integra GPT-4O, con RAG para mejorar su capacidad de proporcionar respuestas informadas y contextualizadas durante las interacciones. GPT-4O sirve como motor de conversación, capaz de generar diálogo humano, empático y contextualmente apropiado. Rag, por otro lado, permite al chatbot recuperar e incorporar conocimiento externo y actualizado de una base de datos o repositorio de conocimiento curado, asegurando la precisión y confiabilidad de sus respuestas.
Descripción general del estudio
Estado
Intervención / Tratamiento
Descripción detallada
La depresión es un desafío de salud mental frecuente con importantes costos personales, sociales y económicos. Los recursos tradicionales de salud mental enfrentan barreras como estigma, disponibilidad limitada y largos tiempos de espera. La tecnología, particularmente las herramientas con IA, brinda la oportunidad de cerrar estos huecos. Este estudio utiliza GPT-4O y RAG para crear un chatbot interactivo de voz capaz de participar conversacional, administrar el cuestionario PHQ-9 y entregar comentarios personalizados.
Los participantes completarán el PHQ-9 para la autoestimación antes de interactuar con el chatbot (los resultados no se revelarán al público y solo se utilizarán para comparaciones de precisión), y los resultados de sus autoprobaciones se compararán con el Resultados dados por el chatbot en términos de precisión.
La interacción chatbot comprende tres fases:
Conversaciones de calentamiento para la construcción de la relación y el apoyo general.
- El chatbot inicia diálogos casuales y empáticos para construir una relación con los usuarios, ayudándoles a sentirse cómodos y a gusto antes de la transición a la proyección PHQ-9.
- Los usuarios pueden hacer preguntas generales relacionadas con la salud mental, y el chatbot proporciona respuestas informadas y de apoyo.
Administración del cuestionario PHQ-9 para la detección de depresión.
- El chatbot presenta el cuestionario PHQ-9, explicando su propósito y cómo los resultados ayudarán a evaluar la salud mental del usuario.
- A través de la interacción de voz, los usuarios responden a las nueve preguntas PHQ-9, y el chatbot registra sus respuestas. El chatbot puede aclarar preguntas o proporcionar un contexto adicional si los usuarios tienen dificultades para comprender elementos específicos.
Análisis de resultados y entrega de recomendaciones personalizadas.
- Después de que el usuario completa el PHQ-9, el chatbot analiza las respuestas, calcula la puntuación total y clasifica los resultados en los niveles de gravedad (por ejemplo, leve, moderado).
- Según el puntaje, el chatbot proporciona recomendaciones personalizadas, como estrategias de autoayuda para síntomas leves o sugiriendo servicios profesionales de salud mental para casos más graves.
Los participantes interactuarán con el chatbot y luego participarán en una entrevista semiestructurada de 1 hora para proporcionar comentarios sobre su experiencia. El estudio se centra en evaluar la aceptabilidad y la viabilidad de usar dichos chatbots basados en LLM en la detección de salud mental e identificar potenciales mejoras y riesgos.
Objetivos de estudio Objetivos principales
Para evaluar la aceptabilidad, la viabilidad y la precisión de un chatbot de voz GPT-4O y trapo (Hopebot) para la detección de depresión utilizando PHQ-9.
Hipótesis: los participantes mostraron una alta aceptación de Hopebot (superior al 65%) y una alta disposición a usar dicho chatbot basado en LLM para la detección de salud mental en el futuro (superior al 65%), lo que indica el reconocimiento de la credibilidad de LLM como una herramienta de apoyo en Detección de salud mental (superior al 65%). El uso de los participantes del Hopebot para la detección de la depresión coincidió con sus resultados de Autodificación de PHQ-9 en un 100%
- Analizar la efectividad del chatbot en la identificación de síntomas depresivos y entregar recomendaciones procesables.
Hipótesis: Hopebot puede ayudar a los usuarios a tomar la prueba PHQ-9 de manera amigable, ayudar a los usuarios a clasificar las respuestas con precisión y dar resultados precisos de las pruebas, el consejo que proporcionan se basa en las pautas oficiales de PHQ-9 y más del 70% de Los usuarios dicen que sus respuestas son muy efectivas y útiles.
Objetivos secundarios
Para evaluar la viabilidad y el rendimiento de la integración de RAG con LLM en la creación de un chatbot interactivo para la salud mental.
Hipótesis: más del 65% de los participantes reconocieron que las respuestas que usan RAG fueron más útiles y efectivas.
- Explorar las fortalezas, limitaciones y riesgos de desplegar LLM en el dominio de salud mental.
Hipótesis: más del 65% de los usuarios dicen que Hopebot es muy conveniente, más accesible y sin costo para proporcionar asesoramiento sin juicio. Sin embargo, el 50% todavía expresó su preocupación por su privacidad y seguridad de datos.
Tipo de estudio
Inscripción (Estimado)
Contactos y Ubicaciones
Ubicaciones de estudio
-
-
-
London, Reino Unido, NW1 2DA
- UCL Institute of Health Informatics
-
-
Criterios de participación
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Método de muestreo
Población de estudio
La población de estudio consiste en individuos sanos de 18 a 65 años que no tienen enfermedades mentales graves. Damos la bienvenida a los participantes que tienen interés en las tecnologías de inteligencia artificial. El reclutamiento se llevará a cabo tanto en línea como fuera de línea.
Los participantes se involucrarán con un sofisticado chatbot de IA diseñado para simular una consulta con un profesional de la salud mental. Esta interacción les permite completar una evaluación psicométrica, como la prueba PHQ-9, de manera estructurada pero conversacional. A diferencia de las versiones en línea convencionales de la prueba PHQ-9, el chatbot ofrece una interactividad mejorada. Para las personas que pueden experimentar dificultades para articular o resumir sus respuestas, el chatbot proporciona aclaraciones y asistencia utilizando un modelo de lenguaje integral.
Después de la evaluación, los participantes recibirán una interpretación de los resultados de sus pruebas junto con asesoramiento personalizado, entregados de acuerdo con las pautas de salud mental establecidas.
Descripción
Criterios de inclusión:
- Adultos de entre 18 y 65 años.
- Fluido en inglés.
- Acceso a un dispositivo capaz de interacción de voz y conexión a Internet estable.
- Dispuesto a participar en la interacción Chatbot y una entrevista de seguimiento.
Criterios de exclusión:
- Diagnósticos psiquiátricos graves actuales (por ejemplo, psicosis, trastorno bipolar).
- Los participantes sometidos a tratamiento activo para la depresión con un psiquiatra.
- Incomodidad con la tecnología basada en la voz o la incapacidad para proporcionar consentimiento informado.
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Viabilidad y aceptabilidad del chatbot GPT-4O y Rag Voice
Periodo de tiempo: Las entrevistas se realizan inmediatamente después de la interacción ChatBot.
|
Las percepciones de los participantes sobre la viabilidad, aceptabilidad y efectividad del chatbot se evalúan a través de entrevistas semiestructuradas realizadas después de la sesión de interacción.
Estas entrevistas exploran temas como la empatía, la usabilidad y la experiencia general del usuario del chatbot.
|
Las entrevistas se realizan inmediatamente después de la interacción ChatBot.
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Precisión de la puntuación PHQ-9 por el chatbot
Periodo de tiempo: Medido inmediatamente después de la sesión de interacción, una vez que el chatbot ha generado puntajes PHQ-9
|
La precisión de los puntajes PHQ-9 generados por el chatbot se mide comparando los resultados del chatbot con las puntuaciones PHQ-9 autoinformadas de los participantes recopiladas antes de la interacción.
El acuerdo se evaluará utilizando métodos estadísticos como Kappa de Cohen o coeficiente de correlación intraclase (ICC).
|
Medido inmediatamente después de la sesión de interacción, una vez que el chatbot ha generado puntajes PHQ-9
|
Colaboradores e Investigadores
Patrocinador
Investigadores
- Director de estudio: Kezhi Li, University College, London
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Estimado)
Finalización primaria (Estimado)
Finalización del estudio (Estimado)
Fechas de registro del estudio
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Más información
Términos relacionados con este estudio
Términos MeSH relevantes adicionales
Otros números de identificación del estudio
- 26133.001 (Otro identificador: UCL Research Ethics Committee)
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Descripción del plan IPD
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .