Retroalimentación Generada por IA en Pacientes Virtuales con Robots Sociales

El objetivo general de este proyecto es investigar si un sistema de retroalimentación directa incorporado en una plataforma de pacientes virtuales (VP) con robot social potenciado por IA es más efectivo en la formación de habilidades de razonamiento clínico (CR) y comunicación para estudiantes de medicina que la misma plataforma de VP con robot social potenciado por IA sin sistema de retroalimentación.

Un mayor conocimiento dentro de este campo de investigación contribuye a un uso optimizado de las nuevas tecnologías junto con otros recursos educativos para facilitar resultados de aprendizaje significativos, incluida la supervisión y los encuentros con pacientes. El objetivo a corto y largo plazo es mejorar el entorno de la educación médica para garantizar una mejor atención sanitaria para los pacientes que viven con enfermedades reumáticas, siendo también aplicable a otras disciplinas médicas. Aunque aún se están realizando mejoras, esta actividad educativa brinda a los estudiantes la oportunidad de entrenar en un entorno seguro e interactivo.

Antecedentes:

En la atención sanitaria actual, la mayoría de los servicios se brindan en consultas externas y unidades de día, siendo también el caso dentro de la reumatología. Sin embargo, una parte significativa de la educación de las profesiones sanitarias de pregrado (HPE) continúa teniendo lugar en entornos hospitalarios, donde garantizar que los pacientes hospitalizados se alineen con resultados de aprendizaje específicos sigue siendo un desafío. Los pacientes que requieren ingreso hospitalario suelen tener condiciones de larga duración, a menudo presentando manifestaciones y complicaciones complejas de la enfermedad, junto con comorbilidades médicas sustanciales. La pandemia de COVID-19 destacó barreras adicionales para que los estudiantes interactúen con profesores, pacientes y compañeros. Esta situación, combinada con propuestas anteriores de enfoques alternativos para la formación teórica y práctica de habilidades en la HPE de pregrado, enfatiza la necesidad apremiante de actividades de aprendizaje innovadoras que faciliten interacciones significativas entre los estudiantes y los casos de pacientes representados en los currículos de HPE.

Los pacientes virtuales (VP) son simulaciones digitales interactivas de escenarios clínicos diseñados con fines educativos y se representan a través de una variedad de sistemas y enfoques. Un componente fundamental de las simulaciones de VP es su interfaz interactiva, que permite a los usuarios interactuar con los pacientes de diversas formas: recopilar historial médico, realizar exámenes físicos e implementar estrategias de investigación. Estas posibilidades integrales de interacción permiten a los usuarios recopilar información esencial para realizar diagnósticos y decidir planes de manejo apropiados para sus VPs.

La clínica de reumatología del Hospital Universitario Karolinska ha complementado las prácticas clínicas para estudiantes de medicina durante los últimos 15 años para garantizar que los estudiantes interactúen con pacientes representativos incorporando casos de VP utilizando software informático como ReumaCase y Virtual Interactive Case simulator (VIC). Estas plataformas ejemplifican sistemas de VP semilineales, permitiendo a los usuarios navegar libremente entre los puntos predeterminados de presentación inicial del paciente y las decisiones diagnósticas y de manejo finales. La investigación en HPE ha generado enfoques de aprendizaje novedosos, incluidas estrategias de implementación optimizadas de VP y recomendaciones para desarrollar habilidades de razonamiento clínico (CR) a través de la práctica con VP. Si bien los estudiantes de HPE de pregrado reconocen a los VP como herramientas educativas valiosas para el entrenamiento en CR, reconocen que estas simulaciones carecen de la complejidad e interactividad de los encuentros con pacientes reales.

Si bien las habilidades de CR son importantes en la educación médica, algunos argumentan que la empatía es una de las habilidades más importantes de los profesionales sanitarios involucrados en la atención al paciente. Se ha demostrado que las habilidades empáticas de los proveedores de atención sanitaria están asociadas con mejores resultados de salud para los pacientes y disminuyen el riesgo de hospitalización. En la educación médica de pregrado, la conducta empática se entrena típicamente mediante juegos de roles con estudiantes, actores o profesores que representan pacientes estandarizados, que son condiciones médicas representativas de libros de texto. Sin embargo, los pacientes estandarizados pueden ser una opción costosa, y los aspectos de disponibilidad a veces pueden obstaculizar la práctica de la conducta empática. Una alternativa a esto podrían ser los VP que permiten formas de comunicación más auténticas e interactivas.

Los avances tecnológicos recientes han introducido métodos interactivos mejorados entre usuarios y VP, particularmente a través de la inteligencia artificial (IA) y la robótica social. Los investigadores desarrollaron una nueva plataforma que ha sido denominada Interfaz Robótica Mejorada con IA Social (SARI), combinando el robot social Furhat con el modelo de lenguaje grande (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Esta nueva plataforma se ha implementado para estudiantes de medicina en la clínica de Reumatología del Hospital Universitario Karolinska para complementar su formación durante las prácticas clínicas, junto con los encuentros convencionales de VP basados en computadora (VIC). Los hallazgos iniciales sugieren que los estudiantes perciben que SARI ofrece una experiencia de VP más auténtica e interactiva en el desarrollo de habilidades de CR en comparación con una plataforma convencional basada en computadora.

Este proyecto tiene como objetivo evaluar la efectividad de SARI como plataforma de VP para estudiantes de medicina, comparando si SARI combinado con un sistema de retroalimentación directa generado por IA integrado mejora aún más el rendimiento clínico en la toma de historias clínicas.

Antes de este estudio, los investigadores han desarrollado un total de diez casos de VP, que se han implementado y actualmente se utilizan para prácticas clínicas en la División de Reumatología del Hospital Universitario Karolinska. La mitad de estos casos se han desarrollado en la plataforma basada en computadora VIC y la otra mitad se han desarrollado en la plataforma robótica social mejorada con IA SARI. Los casos de VP en ambas plataformas se han desarrollado de acuerdo con recomendaciones distintas para el desarrollo de plataformas de VP y están siendo evaluados continuamente por estudiantes de medicina a través de retroalimentación directa (comentarios orales y formularios de evaluación) e indirecta (del análisis de datos de investigación).

Todos los casos de VP ahora forman parte de la actividad educativa "La Consulta Virtual de Pacientes Externos", que sirve como complemento a las prácticas clínicas dentro de la reumatología. Dentro de esta actividad, todos los estudiantes de medicina del sexto semestre del Instituto Karolinska participan durante un período de un día y medio de trabajo durante una colocación de una semana en reumatología. "La Consulta Virtual de Pacientes Externos" ha estado en curso en la clínica desde la primavera de 2024, albergando aproximadamente 150 estudiantes cada trimestre durante un período de seis semanas. En esta actividad educativa, todos los estudiantes realizan todos los casos únicos de VP y participan en seminarios de seguimiento con reumatólogos consultores después de cada caso para discutir preguntas sobre el contenido del caso y las condiciones reumáticas representadas. Al comienzo de la actividad, se solicita a todos los estudiantes que participen en el proyecto de investigación evaluando los casos de VP para mejorar aún más e investigar su valor agregado utilizando índices validados para el desarrollo de plataformas de VP. Al aceptar participar y firmar un formulario de consentimiento informado, la interacción de cada estudiante con SARI se almacena como un archivo de audio y se transcribe en tiempo real. Hasta la fecha, aproximadamente 400 estudiantes han interactuado con los cinco casos de VP en SARI, lo que ha resultado en casi 2000 interacciones únicas de VP.

Los investigadores han realizado una evaluación inicial de SARI y compararon su desempeño en la adquisición autopercibida de habilidades de CR por parte de los estudiantes de medicina en comparación con VIC, utilizando metodología mixta cuantitativa y cualitativa durante 2023. Se incluyeron quince estudiantes de medicina que completaron el mismo caso de VP tanto en SARI como en VIC. La experiencia de VP autopercibida por los estudiantes centrada en el entrenamiento de CR se evaluó utilizando un índice previamente validado para el desarrollo de plataformas de VP [23]. Además, se realizaron entrevistas en profundidad con 8 estudiantes de medicina. Esta evaluación inicial ilustró ventajas significativas a favor de SARI para el tema de autenticidad, así como el efecto de aprendizaje del encuentro con VP según temas predefinidos en el cuestionario de evaluación de VP. Junto con el análisis de esos temas predefinidos, se realizó un análisis temático de los datos de las entrevistas en profundidad, lo que resultó en cuatro temas. Los estudiantes experimentaron a SARI como superior a VIC en el entrenamiento de CR, comunicación y habilidades emocionales.

Durante la primavera de 2024, un total de 23 estudiantes de La Consulta Virtual de Pacientes Externos participaron en entrevistas en profundidad como un proyecto de continuación abordando sus percepciones del valor agregado de SARI y VIC respecto a la adquisición de habilidades de CR. Para este estudio, los investigadores crearon 4 casos de VP adicionales en cada plataforma. Además, todos los estudiantes participaron en seminarios después de completar cada caso, para asemejar la supervisión durante encuentros reales con pacientes. El análisis temático de las entrevistas totalmente transcritas arrojó hallazgos similares: los estudiantes encontraron que SARI era más auténtico y atractivo en comparación con VIC, y experimentaron que SARI permitía posibilidades de comunicación altamente interactivas y podía expresar emociones, ofreciendo colectivamente una experiencia realista. SARI facilitó el aprendizaje activo, la generación de hipótesis y el pensamiento adaptativo en mayor medida que VIC al permitir a los estudiantes formular sus propias preguntas en lugar de elegir entre opciones predeterminadas para recopilar historial médico.

Antes de las interacciones con VP, los estudiantes reciben formación estructurada en toma de historias clínicas, cubriendo tanto aspectos genéricos (aplicables en todas las especialidades médicas) como componentes específicos de reumatología. Esta formación preparatoria asegura que los estudiantes tengan conocimientos fundamentales antes de interactuar con los casos de VP.

Los estudiantes típicamente trabajan en parejas o pequeños grupos de tres durante las interacciones con VP, con un estudiante asumiendo el rol principal en cada encuentro con el paciente. Este enfoque colaborativo es consistente con la evidencia que respalda el aprendizaje entre pares en el entrenamiento de razonamiento clínico basado en VP. El estudiante principal lleva a cabo la interacción primaria con el VP, mientras que otros miembros del grupo observan y pueden contribuir a la discusión posterior y la formulación diagnóstica.

La Interfaz Robótica Mejorada con IA Social (SARI):

SARI representa una nueva modalidad de VP que integra robótica social con inteligencia artificial de modelos de lenguaje grande (LLM). La plataforma combina el robot social Furhat (desarrollado en el Instituto Real de Tecnología KTH, Estocolmo) con modelos de lenguaje GPT-4o-mini de OpenAI.

El robot Furhat consiste en una cabeza robótica física montada en un soporte, con una cara animada retroproyectada que muestra expresiones faciales y movimientos labiales sincronizados con el habla. El robot incluye una matriz de micrófonos para reconocimiento de voz y altavoces para salida de audio. La presencia física del robot en la habitación crea lo que los investigadores denominan "interacción situacional", en la que el robot ocupa un espacio físico real en lugar de existir únicamente como una interfaz basada en pantalla.

El sistema de diálogo de VP opera a través del siguiente flujo de trabajo técnico:

1. Reconocimiento de voz: El habla del estudiante se captura a través de la matriz de micrófonos del robot y se convierte en texto utilizando tecnología de reconocimiento automático del habla (ASR).

2. Procesamiento del diálogo: La entrada transcrita del estudiante se combina con:

   • Una descripción detallada del caso del paciente (incluyendo historial médico, síntomas, hallazgos de examen y características de personalidad)
   • Los últimos 10 turnos de diálogo (para mantener el contexto conversacional mientras se evita un uso excesivo de tokens)
   • Instrucciones del sistema que indican al LLM que responda desde la perspectiva del paciente en lugar de como un asistente general
3. Generación de respuesta: El LLM genera respuestas contextualmente apropiadas basadas en el caso del paciente y el historial de conversación.
4. Modelado de emociones: En puntos de anclaje específicos durante la conversación, el LLM también genera instrucciones para expresiones faciales apropiadas (por ejemplo, preocupado, aliviado, ansioso, confundido) basadas en el contexto conversacional. El sistema selecciona de un conjunto predefinido de expresiones disponibles en el software Furhat.
5. Síntesis de voz: Las respuestas de texto generadas se convierten en habla de sonido natural utilizando tecnología de texto a voz (TTS), con la cara animada mostrando movimientos labiales sincronizados y la expresión emocional seleccionada.
6. Transcripción: Todo el diálogo se transcribe automáticamente en tiempo real y se almacena de forma segura para la posterior generación de retroalimentación y análisis de investigación.

Cada caso de VP sigue principios establecidos para el desarrollo de VP, incluyendo:

• Objetivos de aprendizaje claros alineados con los requisitos del currículo
• Presentaciones realistas de pacientes basadas en escenarios clínicos típicos
• Nivel apropiado de complejidad para estudiantes de medicina de sexto semestre
• Integración tanto de condiciones comunes como de presentaciones diagnósticamente desafiantes
• Inclusión de factores psicosociales relevantes y preocupaciones del paciente

Todos los casos de VP se presentan en inglés para acomodar a los estudiantes de intercambio internacional que participan en el programa. Paneles estándar de pruebas de laboratorio con resultados específicos del caso se proporcionan junto con cada caso.

Los casos de VP representan diversas condiciones reumatológicas, incluyendo artritis inflamatorias, enfermedades del tejido conectivo y trastornos musculoesqueléticos. Cada caso requiere que los estudiantes realicen una toma de historial médico integral, incluyendo caracterización de síntomas, evaluación funcional, historial de medicamentos y revisión relevante de sistemas.

El sistema de retroalimentación utilizado como intervención en este estudio emplea un algoritmo sofisticado de dos etapas desarrollado de forma iterativa en colaboración con reumatólogos consultores:

Etapa 1: Modelo de Evaluación

La primera etapa analiza la transcripción completa del diálogo estudiante-VP utilizando una rúbrica de evaluación predefinida. Esta rúbrica evalúa múltiples dimensiones del desempeño clínico:

Habilidades de Comunicación:

• Abrir la consulta apropiadamente
• Establecer rapport con el paciente
• Usar lenguaje claro, sin jerga
• Demostrar escucha activa
• Mostrar empatía y abordar las preocupaciones del paciente
• Cerrar la consulta apropiadamente

Toma de Historial Médico Genérico:

• Exploración del historial médico pasado
• Medicamentos actuales y alergias
• Historial familiar de condiciones relevantes
• Historial social (ocupación, situación de vida, sistemas de apoyo)
• Factores de estilo de vida (tabaquismo, alcohol, ejercicio)
• Revisión de sistemas

Toma de Historial Específico de Reumatología:

• Evaluación sistemática de síntomas articulares
• Caracterización del dolor (inicio, ubicación, duración, calidad, radiación, factores agravantes/aliviadores)
• Evaluación del impacto funcional (actividades de la vida diaria, capacidad laboral)
• Duración y patrón de la rigidez matutina
• Manifestaciones extraarticulares
• Reconocimiento de patrones para síntomas inflamatorios versus mecánicos

Componentes de Razonamiento Clínico:

• Enfoque sistemático para la recopilación de información
• Reconocimiento de patrones de síntomas y significación clínica
• Amplitud apropiada de consideración de diagnóstico diferencial
• Progresión lógica a través de la toma de historial

El modelo de evaluación utiliza el LLM para evaluar cada diálogo contra esta rúbrica, generando evaluaciones estructuradas de fortalezas y áreas de mejora en estos dominios.

Etapa 2: Generación de Retroalimentación

La segunda etapa transforma la evaluación estructurada de la Etapa 1 en retroalimentación escrita legible y constructiva. La generación de retroalimentación utiliza indicaciones cuidadosamente elaboradas que instruyen al LLM para:

• Presentar la retroalimentación en un tono de apoyo y educativo
• Proporcionar ejemplos específicos del diálogo del estudiante
• Reconocer fortalezas antes de abordar áreas de mejora
• Ofrecer sugerencias concretas para la mejora
• Centrarse en el aprendizaje en lugar de la evaluación

Contenido y Alcance de la Retroalimentación Los estudiantes reciben aproximadamente una página (300-500 palabras) de retroalimentación escrita estructurada inmediatamente después de cada uno de los cinco encuentros de VP designados. La retroalimentación se centra específicamente en las habilidades de toma de historias clínicas y no aborda la precisión diagnóstica o las decisiones de manejo, ya que estos aspectos se cubren en seminarios posteriores con reumatólogos consultores.

El grupo de control completa casos de VP idénticos utilizando la misma plataforma SARI pero no recibe retroalimentación generada por IA. Sin embargo, ambos grupos reciben exposición equivalente a la tecnología de VP robótica social, participan en seminarios idénticos específicos del caso después de la finalización del caso con reumatólogos consultores y tienen acceso a transcripciones de diálogo para autorrevisión. La única diferencia sistemática es la presencia o ausencia de retroalimentación generada por IA.

La evaluación se realiza utilizando una estructura basada en examen clínico objetivo estructurado (OSCE) con pacientes estandarizados (SPs) después de la interacción con todos los VPs disponibles en SARI. Los SPs reciben información escrita del caso que describe una presentación del paciente, historial de síntomas y antecedentes relevantes. Los SPs también reciben entrenamiento en respuestas consistentes a formatos de preguntas comunes, e instrucciones sobre respuestas emocionales apropiadas, comunicación no verbal y manejo de preguntas inesperadas.

La rúbrica OSCE utilizada en este estudio fue desarrollada en colaboración con reumatólogos consultores experimentados basándose en marcos de Actividades Profesionales Confiables (EPA) específicos para competencias de toma de historias clínicas. La rúbrica se sometió a pruebas piloto y refinamiento para garantizar la confiabilidad interevaluador.

La evaluación evalúa cinco dominios distintos con asignaciones de puntos especificadas (totalizando 10 puntos):

• Comunicación al inicio de la consulta (0-3 puntos): 30% de la puntuación total
• Historial médico genérico (0-3.5 puntos): 35% de la puntuación total
• Historial médico dirigido (0-1.5 puntos): 15% de la puntuación total
• Razonamiento diagnóstico y de manejo (0-1 punto): 10% de la puntuación total
• Comunicación al final de la consulta (0-1 punto): 10% de la puntuación total

Una puntuación de 6 puntos corresponde a una tasa de aprobación en el examen basado en OSCE. Sin embargo, los estudiantes reciben información de que este estudio no tenía fines examinatorios y no afectó sus calificaciones de ninguna manera.

Dos reumatólogos consultores realizaron todas las evaluaciones OSCE, cegados a la asignación del brazo de intervención o control. A los evaluadores se les proporcionó solo la rúbrica de evaluación y no tenían conocimiento de qué estudiantes habían recibido retroalimentación generada por IA. Este cegamiento se mantuvo durante todo el período de recopilación de datos.