Feedback Gerado por IA em Pacientes Virtuais Robóticos Sociais

O objetivo principal deste projeto é investigar se um sistema de feedback direto incorporado numa plataforma de pacientes virtuais (PV) social robótica potenciada por IA será mais eficaz na formação de raciocínio clínico (RC) e competências de comunicação para estudantes de medicina do que a mesma plataforma de PV social robótica potenciada por IA sem sistema de feedback.

Um maior conhecimento neste campo de investigação contribui para uma utilização otimizada de novas tecnologias juntamente com outros recursos educativos para facilitar resultados de aprendizagem significativos, incluindo supervisão e encontros com pacientes. O objetivo a curto e longo prazo é melhorar o ambiente de educação médica para garantir melhores cuidados de saúde para pacientes com doenças reumáticas, sendo também aplicável a outras disciplinas médicas. Embora ainda esteja a sofrer aperfeiçoamentos, esta atividade educativa proporciona aos estudantes a oportunidade de treinar num ambiente seguro e interativo.

Contexto:

Na área da saúde atualmente, a maioria dos serviços é prestada em consultas externas e enfermarias de dia, sendo também o caso na reumatologia. No entanto, uma parte significativa da educação de graduação em profissões de saúde (EGPS) continua a decorrer em ambientes de internamento, onde garantir que os pacientes hospitalizados se alinham com resultados de aprendizagem específicos continua a ser um desafio. Os pacientes que requerem admissão hospitalar têm tipicamente condições de longa duração, apresentando frequentemente manifestações e complicações complexas da doença, juntamente com comorbilidades médicas substanciais. A pandemia de COVID-19 destacou barreiras adicionais para os estudantes interagirem com professores, pacientes e colegas. Esta situação, combinada com propostas anteriores para abordagens alternativas para o treino de competências teóricas e práticas na EGPS de graduação, enfatiza a necessidade premente de atividades de aprendizagem inovadoras que facilitem interações significativas entre estudantes e casos de pacientes que são representados nos currículos da EGPS.

Pacientes virtuais (PV) são simulações digitais interativas de cenários clínicos concebidas para fins educativos e são representadas através de uma variedade de sistemas e abordagens. Um componente fundamental das simulações de PV é a sua interface interativa, que permite aos utilizadores interagir com pacientes de várias formas: recolher história clínica, realizar exames físicos e implementar estratégias de investigação. Estas possibilidades abrangentes de interação permitem aos utilizadores recolher informações essenciais para realizar diagnósticos e decidir sobre planos de gestão apropriados para os seus PV.

A clínica de reumatologia do Hospital Universitário Karolinska tem complementado os estágios clínicos para estudantes de medicina ao longo dos últimos 15 anos para garantir que os estudantes interajam com pacientes representativos, incorporando casos de PV utilizando software de computador como o ReumaCase e o simulador Virtual Interactive Case (VIC). Estas plataformas exemplificam sistemas de PV semilineares, permitindo aos utilizadores navegar livremente entre os pontos predeterminados da apresentação inicial do paciente e as decisões de diagnóstico e gestão finais. A investigação em EGPS tem produzido novas abordagens de aprendizagem, incluindo estratégias otimizadas de implementação de PV e recomendações para desenvolver competências de raciocínio clínico (RC) através da prática com PV. Embora os estudantes de EGPS de graduação reconheçam os PV como ferramentas educativas valiosas para o treino de RC, reconhecem que estas simulações carecem da complexidade e interatividade dos encontros com pacientes reais.

Embora as competências de RC sejam importantes na educação médica, alguns argumentam que a empatia é uma das competências mais importantes dos profissionais de saúde envolvidos nos cuidados ao paciente. Demonstrou-se que as competências empáticas dos prestadores de cuidados de saúde estão associadas a melhores resultados de saúde para os pacientes e diminuem o risco de hospitalização. Na educação médica de graduação, a conduta empática é tipicamente treinada usando role-playing com estudantes, atores ou professores a representarem pacientes padronizados, que são condições médicas representativas de livro-texto. No entanto, os pacientes padronizados podem ser uma opção dispendiosa, e aspetos de disponibilidade podem por vezes dificultar a prática da conduta empática. Uma alternativa a isto poderiam ser PV que permitam formas de comunicação mais autênticas e interativas.

Os recentes avanços tecnológicos introduziram métodos interativos melhorados entre utilizadores e PV, particularmente através de inteligência artificial (IA) e robótica social. Os investigadores desenvolveram uma nova plataforma que foi denominada Interface Robótica Social Potenciada por IA (SARI), combinando o robô social Furhat com o modelo de linguagem grande (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Esta nova plataforma foi implementada para estudantes de medicina na clínica de Reumatologia do Hospital Universitário Karolinska para complementar o seu treino durante os estágios clínicos, juntamente com encontros convencionais de PV baseados em computador (VIC). Os resultados iniciais sugerem que os estudantes percecionam que o SARI oferece uma experiência de PV mais autêntica e interativa no desenvolvimento de competências de RC em comparação com uma plataforma convencional baseada em computador.

Este projeto visa avaliar a eficácia do SARI como uma plataforma de PV para estudantes de medicina, comparando se o SARI combinado com um sistema integrado de feedback direto gerado por IA melhora ainda mais o desempenho clínico na recolha de história clínica.

Antes deste estudo, os investigadores desenvolveram um total de dez casos de PV, que foram implementados e estão atualmente a ser utilizados para estágios clínicos na Divisão de Reumatologia do Hospital Universitário Karolinska. Metade destes casos foram desenvolvidos na plataforma baseada em computador VIC e metade foram desenvolvidos na plataforma robótica social potenciada por IA SARI. Os casos de PV em ambas as plataformas foram desenvolvidos de acordo com recomendações distintas para o desenvolvimento de plataformas de PV e estão a ser continuamente avaliados por estudantes de medicina através de feedback direto (feedback oral e formulários de avaliação) e indireto (da análise de dados de investigação).

Todos os casos de PV fazem agora parte da atividade educativa "A Consulta Virtual Externa", que serve como complemento aos estágios clínicos em reumatologia. Dentro desta atividade, todos os estudantes de medicina do sexto semestre do Karolinska Institutet participam durante um período de um dia e meio de trabalho durante uma colocação de uma semana em reumatologia. "A Consulta Virtual Externa" tem estado em curso na clínica desde a primavera de 2024, acolhendo aproximadamente 150 estudantes a cada semestre durante um período de seis semanas. Nesta atividade educativa, todos os estudantes realizam todos os casos únicos de PV e participam em seminários de acompanhamento com reumatologistas consultores após cada caso para discutir questões relativas ao conteúdo do caso e às condições reumáticas representadas. No início da atividade, todos os estudantes são convidados a participar no projeto de investigação avaliando os casos de PV para melhorar e investigar ainda mais o seu valor acrescentado utilizando índices validados para o desenvolvimento de plataformas de PV. Ao concordarem em participar e assinarem um formulário de consentimento informado, a interação de cada estudante com o SARI é armazenada como um ficheiro de áudio e transcrita em tempo real. Até à data, aproximadamente 400 estudantes interagiram com os cinco casos de PV no SARI, o que resultou em quase 2000 interações únicas de PV.

Os investigadores realizaram uma avaliação inicial do SARI e compararam o seu desempenho na perceção de aquisição de competências de RC pelos estudantes de medicina em comparação com o VIC, utilizando metodologia mista quantitativa e qualitativa durante 2023. Foram incluídos quinze estudantes de medicina que completaram o mesmo caso de PV tanto no SARI como no VIC. A experiência de PV autopercecionada pelos estudantes, focada no treino de RC, foi avaliada utilizando um índice previamente validado para o desenvolvimento de plataformas de PV [23]. Além disso, foram realizadas entrevistas aprofundadas com 8 estudantes de medicina. Esta avaliação inicial ilustrou vantagens significativas a favor do SARI para o tema autenticidade, bem como para o efeito de aprendizagem do encontro com o PV de acordo com temas predefinidos no questionário de avaliação de PV. Juntamente com a análise desses temas predefinidos, foi realizada uma análise temática dos dados das entrevistas aprofundadas, o que resultou em quatro temas. Os estudantes experienciaram o SARI como superior ao VIC no treino de RC, comunicação e competências emocionais.

Durante a primavera de 2024, um total de 23 estudantes da Consulta Virtual Externa participaram em entrevistas aprofundadas como um projeto de continuação abordando as suas perceções do valor acrescentado do SARI e do VIC relativamente à aquisição de competências de RC. Para este estudo, os investigadores criaram 4 casos adicionais de PV em cada plataforma. Além disso, todos os estudantes participaram em seminários após a conclusão de cada caso, para assemelhar-se à supervisão durante encontros com pacientes reais. A análise temática das entrevistas totalmente transcritas resultou em conclusões semelhantes: os estudantes consideraram o SARI mais autêntico e envolvente em comparação com o VIC, e experienciaram que o SARI permitiu possibilidades de comunicação altamente interativas e podia expressar emoções, oferecendo coletivamente uma experiência realista. O SARI facilitou a aprendizagem ativa, a geração de hipóteses e o pensamento adaptativo numa maior extensão do que o VIC, permitindo que os estudantes formulem as suas próprias questões em vez de escolherem entre opções predeterminadas para recolher a história clínica.

Antes das interações com PV, os estudantes recebem formação estruturada na recolha de história clínica, cobrindo tanto aspetos genéricos (aplicáveis a todas as especialidades médicas) como componentes específicos da reumatologia. Esta formação preparatória garante que os estudantes tenham conhecimento fundamental antes de se envolverem com os casos de PV.

Os estudantes trabalham tipicamente em pares ou pequenos grupos de três durante as interações com PV, com um estudante a assumir o papel principal em cada encontro com o paciente. Esta abordagem colaborativa é consistente com evidências que apoiam a aprendizagem entre pares no treino de raciocínio clínico baseado em PV. O estudante principal conduz a interação primária com o PV, enquanto outros membros do grupo observam e podem contribuir para discussões subsequentes e formulação diagnóstica.

A Interface Robótica Social Potenciada por IA (SARI):

O SARI representa uma nova modalidade de PV que integra robótica social com inteligência artificial de modelo de linguagem grande (LLM). A plataforma combina o robô social Furhat (desenvolvido no KTH Royal Institute of Technology, Estocolmo) com modelos de linguagem GPT-4o-mini da OpenAI.

O robô Furhat consiste numa cabeça robótica física montada num suporte, apresentando um rosto animado retroprojetado que exibe expressões faciais e movimentos labiais sincronizados com a fala. O robô inclui um conjunto de microfones para reconhecimento de voz e altifalantes para saída de áudio. A presença física do robô na sala cria o que os investigadores denominam "interação situacional", na qual o robô ocupa espaço físico real em vez de existir apenas como uma interface baseada em ecrã.

O sistema de diálogo de PV opera através do seguinte fluxo de trabalho técnico:

1. Reconhecimento de Fala: A fala do estudante é captada através do conjunto de microfones do robô e convertida em texto usando tecnologia de reconhecimento automático de fala (ASR).

2. Processamento de Diálogo: O input transcrito do estudante é combinado com:

   • Uma descrição detalhada do caso do paciente (incluindo história clínica, sintomas, achados de exame e características de personalidade)
   • Os últimos 10 turnos de diálogo (para manter o contexto conversacional evitando uso excessivo de tokens)
   • Instruções do sistema que solicitam ao LLM que responda da perspetiva do paciente em vez de como um assistente geral
3. Geração de Resposta: O LLM gera respostas contextualmente apropriadas com base no caso do paciente e no histórico da conversa.
4. Modelação de Emoção: Em pontos de ancoragem específicos durante a conversa, o LLM também gera instruções para expressões faciais apropriadas (por exemplo, preocupado, aliviado, ansioso, confuso) com base no contexto conversacional. O sistema seleciona a partir de um conjunto predefinido de expressões disponíveis no software Furhat.
5. Síntese de Fala: As respostas de texto geradas são convertidas em fala de som natural usando tecnologia de texto-para-fala (TTS), com o rosto animado a exibir movimentos labiais sincronizados e a expressão emocional selecionada.
6. Transcrição: Todo o diálogo é automaticamente transcrito em tempo real e armazenado de forma segura para geração de feedback subsequente e análise de investigação.

Cada caso de PV segue princípios estabelecidos para o desenvolvimento de PV, incluindo:

• Objetivos de aprendizagem claros alinhados com os requisitos do currículo
• Apresentações realistas de pacientes baseadas em cenários clínicos típicos
• Nível apropriado de complexidade para estudantes de medicina do sexto semestre
• Integração tanto de condições comuns como de apresentações diagnosticamente desafiantes
• Inclusão de fatores psicossociais relevantes e preocupações do paciente

Todos os casos de PV são apresentados em inglês para acomodar estudantes internacionais de intercâmbio que participam no programa. Painéis de testes laboratoriais padrão com resultados específicos do caso são fornecidos juntamente com cada caso.

Os casos de PV representam diversas condições reumatológicas, incluindo artrites inflamatórias, doenças do tecido conjuntivo e distúrbios musculoesqueléticos. Cada caso requer que os estudantes realizem uma recolha abrangente de história clínica, incluindo caracterização de sintomas, avaliação funcional, histórico de medicação e revisão relevante de sistemas.

O sistema de feedback utilizado como intervenção neste estudo emprega um algoritmo sofisticado de dois estágios desenvolvido iterativamente em colaboração com reumatologistas consultores:

Estágio 1: Modelo de Avaliação

O primeiro estágio analisa a transcrição completa do diálogo estudante-PV usando uma rubrica de avaliação predefinida. Esta rubrica avalia múltiplas dimensões do desempenho clínico:

Competências de Comunicação:

• Abrir a consulta apropriadamente
• Estabelecer empatia com o paciente
• Usar linguagem clara, sem jargão
• Demonstrar escuta ativa
• Mostrar empatia e abordar as preocupações do paciente
• Encerrar a consulta apropriadamente

Recolha de História Clínica Genérica:

• Exploração do histórico médico passado
• Medicações atuais e alergias
• Histórico familiar de condições relevantes
• Histórico social (ocupação, situação habitacional, sistemas de apoio)
• Fatores de estilo de vida (tabagismo, álcool, exercício)
• Revisão de sistemas

Recolha de História Clínica Específica da Reumatologia:

• Avaliação sistemática de sintomas articulares
• Caracterização da dor (início, localização, duração, qualidade, radiação, fatores agravantes/atenuantes)
• Avaliação do impacto funcional (atividades da vida diária, capacidade de trabalho)
• Duração e padrão da rigidez matinal
• Manifestações extra-articulares
• Reconhecimento de padrões para sintomas inflamatórios versus mecânicos

Componentes de Raciocínio Clínico:

• Abordagem sistemática à recolha de informação
• Reconhecimento de padrões de sintomas e significância clínica
• Amplitude apropriada de consideração de diagnóstico diferencial
• Progressão lógica através da recolha de história clínica

O modelo de avaliação usa o LLM para avaliar cada diálogo contra esta rubrica, gerando avaliações estruturadas de pontos fortes e áreas de melhoria nestes domínios.

Estágio 2: Geração de Feedback

O segundo estágio transforma a avaliação estruturada do Estágio 1 em feedback escrito legível e construtivo. A geração de feedback usa prompts cuidadosamente elaborados que instruem o LLM a:

• Apresentar feedback num tom de apoio e educativo
• Fornecer exemplos específicos do diálogo do estudante
• Reconhecer pontos fortes antes de abordar áreas de melhoria
• Oferecer sugestões concretas para melhoria
• Focar na aprendizagem em vez de na avaliação

Conteúdo e Âmbito do Feedback Os estudantes recebem aproximadamente uma página (300-500 palavras) de feedback escrito estruturado imediatamente após cada um dos cinco encontros de PV designados. O feedback foca-se especificamente nas competências de recolha de história clínica e não aborda a precisão diagnóstica ou decisões de gestão, uma vez que estes aspetos são cobertos em seminários subsequentes com reumatologistas consultores.

O grupo de controlo completa casos de PV idênticos usando a mesma plataforma SARI, mas não recebe feedback gerado por IA. No entanto, ambos os grupos recebem exposição equivalente à tecnologia de PV social robótica, participam em seminários idênticos específicos do caso após a conclusão do caso com reumatologistas consultores e têm acesso a transcrições de diálogo para autorrevisão. A única diferença sistemática é a presença ou ausência de feedback gerado por IA.

A avaliação é realizada usando uma estrutura baseada em exame clínico objetivo estruturado (OSCE) com pacientes padronizados (SPs) após interação com todos os PV disponíveis no SARI. Os SPs recebem informação escrita do caso descrevendo uma apresentação do paciente, histórico de sintomas e antecedentes relevantes. Os SPs também recebem treino em respostas consistentes a formatos comuns de perguntas, e instruções sobre respostas emocionais apropriadas, comunicação não verbal e lidar com perguntas inesperadas.

A rubrica OSCE utilizada neste estudo foi desenvolvida colaborativamente com reumatologistas consultores experientes com base em estruturas de Atividade Profissional Confiável (EPA) específicas para competências de recolha de história clínica. A rubrica passou por testes piloto e refinamento para garantir fiabilidade interavaliadores.

A avaliação avalia cinco domínios distintos com alocações de pontos especificadas (totalizando 10 pontos):

• Comunicação no início da consulta (0-3 pontos): 30% da pontuação total
• História clínica genérica (0-3,5 pontos): 35% da pontuação total
• História clínica direcionada (0-1,5 pontos): 15% da pontuação total
• Raciocínio de diagnóstico e gestão (0-1 ponto): 10% da pontuação total
• Comunicação no final da consulta (0-1 ponto): 10% da pontuação total

Uma pontuação de 6 pontos corresponde a uma taxa de aprovação no exame baseado em OSCE. No entanto, os estudantes recebem informação de que este estudo não teve propósitos examinatórios e não afetou as suas notas de forma alguma.

Dois reumatologistas consultores realizaram todas as avaliações OSCE, cegos para a alocação do braço de intervenção ou controlo. Aos avaliadores foi fornecida apenas a rubrica de avaliação e não tinham conhecimento de quais estudantes tinham recebido feedback gerado por IA. Este cegamento foi mantido durante todo o período de recolha de dados.