Elaboração e Feedback para Treinamento de Raciocínio Clínico

Testes formativos repetidos (ou seja, não classificados) aprimoram o resultado de aprendizado do aluno em habilidades de raciocínio clínico. No University Medical Center Göttingen (UMG), uma série de ensaios investigando o chamado efeito de teste já foram realizados no passado. Eles mostraram, entre outros, que lidar com casos clínicos gravados em vídeo em comparação com casos escritos aumenta o resultado de curto prazo, mas não a retenção de longo prazo. Mais recentemente, um estudo abordou a questão de saber se habilidades de raciocínio clínico podem ser promovidas por uma elaboração de respostas incorretas. Os resultados de uma tentativa anterior sugeriram que um número considerável de alunos não estava suficientemente motivado para fornecer respostas completas às questões de elaboração. Esta impressão manteve-se mesmo após a introdução de incentivos financeiros para os alunos, embora um pequeno mas significativo efeito da intervenção tenha sido observado (pontuação percentual no exame de saída: 65,7 +/- 19,6% vs. 62,3 +/- 22,9%; p = 0,022). No entanto, o desempenho dos alunos permaneceu moderado, na melhor das hipóteses. Assim, a intervenção será agora alargada com a inclusão de feedback automatizado fornecido por e-mail. Todos os alunos que participarem de um seminário eletrônico baseado em casos (e-seminário) receberão um e-mail individual após o evento, exibindo sua pontuação bruta, bem como suas respostas escritas para questões de elaboração e comentários de especialistas refletindo o conhecimento médico atual.

Este estudo aborda a seguinte questão de pesquisa:

Qual é o efeito da elaboração e feedback automatizado e individual consecutivo após e-seminários sobre as habilidades de raciocínio clínico dos estudantes de medicina?

2. Antecedentes e trabalhos anteriores De acordo com descobertas recentes, a recuperação do conhecimento não é um processo passivo. Em vez disso, a retenção de longo prazo está sendo facilitada pelo próprio ato de recuperação ('hipótese de recuperação'). Potencialmente, esse efeito, também chamado de 'efeito de teste direto', também pode ser devido à exposição adicional ao conteúdo durante uma avaliação. No entanto, estudos complexos em que a exposição foi controlada experimentalmente não deram suporte a essa 'hipótese do tempo total'. A eficácia dos exames como impulsionadores da memória em relação à educação médica foi demonstrada em vários estudos. No entanto, muitos deles usaram períodos de acompanhamento curtos (por exemplo, 7 dias) ou implementaram testes de reprodução em um nível taxonômico baixo. No entanto, esses estudos sugerem que os exames formativos podem promover processos de aprendizagem. Segundo revisão do tema, esses exames deveriam conter provas de produção e serem repetidos com espaçamento adequado. Além disso, os alunos devem receber feedback logo após o exame.

Dadas essas recomendações, exames de características chave longitudinais foram implementados em três módulos de ensino consecutivos em nossa instituição em 2013. Esses exames baseados em casos se prestam a promover habilidades cognitivas complexas. Uma característica chave é definida como uma etapa crítica na resolução de um problema clínico. De acordo com essa definição, um caso-chave consiste em uma vinheta de caso e aproximadamente cinco perguntas consecutivas relacionadas à abordagem diagnóstica e terapêutica. Em contraste com as perguntas de múltipla escolha de resposta única, os alunos não podem escolher em uma lista de cinco opções de resposta, mas devem produzir uma resposta por escrito. Assim, em vez de reconhecer a resposta correta, o objetivo de um exame de características-chave é produzir ativamente uma resposta correta. Para evitar que os alunos cometam erros subsequentes, eles são informados sobre as respostas corretas às perguntas anteriores sempre que tentam responder à próxima pergunta. Nesse ponto, os alunos também recebem feedback estático sobre sua resposta anterior.

Recentemente, foram publicados os resultados de um estudo cruzado randomizado comparando a recuperação ativa usando questões de características-chave com o estudo repetido do mesmo material. Os dados mostraram que trabalhar em casos de recursos principais com feedback estático gerou um resultado de aprendizado de médio prazo maior do que o reestudo passivo do mesmo conteúdo. O papel específico do feedback no processo, entretanto, permaneceu obscuro.

As descobertas atuais da pesquisa em psicologia educacional sugerem que os erros de diagnóstico cometidos em um ambiente de aprendizado protegido podem servir como pontos de partida para uma elaboração posterior que pode levar a uma redução nos erros de diagnóstico na prática clínica. Este ensaio visa implementar e avaliar este conceito. Para tal, foram analisados ​​os dados existentes obtidos em ensaios anteriores na UMG no que diz respeito aos erros comuns de raciocínio clínico (CCRE). Com base nisso, os e-seminários paralelos ao ensino curricular nos três módulos acima mencionados foram modificados na medida em que - ao responder a perguntas específicas - os alunos eram solicitados a comentar os CCREs ('elaboração') frequentes. A análise das entradas dos alunos revelou que, apesar de todo o conteúdo ter sido abordado nas sessões de ensino anteriores, uma proporção considerável de entradas representava respostas frouxas (por exemplo, 'não sei' ou 'não faço ideia'), sugerindo que os alunos podem não ter estudado o exercício sério o suficiente. Na verdade, essa noção foi corroborada nos comentários dos alunos durante as discussões do grupo focal após o estudo principal. Como consequência, o estudo foi repetido no ano seguinte, e desta vez as respostas completas às questões de elaboração foram incentivadas por meio de vouchers de livros. Nesse cenário, foi observado um efeito significativo da intervenção, mas o desempenho do aluno ainda foi, na melhor das hipóteses, moderado. Dada a importância do feedback para os processos de aprendizagem eliciados por exames formativos, este aspecto será reforçado no ensaio aqui descrito. Os alunos já podem abrir uma caixa de texto contendo feedback estático após cada pergunta, mas até agora não receberam feedback pessoal após cada exame. No período de inverno de 2018/19, todos os alunos participantes do teste receberão e-mails individuais contendo (a) a pontuação bruta alcançada em cada seminário eletrônico, (b) feedback estático de especialistas para questões de elaboração e (c) suas próprias entradas para essas questões de elaboração. Assim, os alunos poderão comparar suas próprias respostas com o feedback do instrutor.

3. Concepção e Condução do Estudo

Este é um ensaio educacional cruzado randomizado e controlado. Os alunos participantes serão estratificados de acordo com o sexo e as pontuações do exame somativo no período anterior. Posteriormente, eles serão randomizados para um dos dois grupos de estudo na proporção de 1:1. Durante os e-seminários semanais, eles trabalham em casos clínicos abordando estratégias diagnósticas e terapêuticas necessárias para lidar com pacientes com sintomas prevalentes de distúrbios médicos gerais. Os casos serão apresentados como casos principais com cinco perguntas por caso. Para algumas dessas perguntas, serão escritas perguntas de elaboração. Estes se concentrarão em equívocos comuns e erros de raciocínio clínico. Quando usadas como 'itens de intervenção', as perguntas de elaboração serão mostradas após a pergunta de característica principal original. Os alunos serão solicitados a inserir uma resposta de texto livre. Ao completar o item original e a pergunta de elaboração, eles poderão acessar um feedback estático ('comentário de especialista'). Este feedback será incluído em um e-mail enviado a todos os alunos no dia seguinte ao e-seminário, contendo também dados de desempenho individual, bem como a resposta em texto livre do aluno para a pergunta de elaboração. Quando usado como um 'item de controle', a mesma pergunta de recurso principal está sendo exibida e os alunos podem acessar o comentário do especialista diretamente após responder à pergunta. As informações sobre os itens de controle não estarão contidas no feedback enviado. Cada aluno será exposto a 15 itens de intervenção e controle, respectivamente, e cada um deles será mostrado duas vezes ao longo de 10 semanas. Os itens que estão sendo mostrados como itens de intervenção em um grupo randomizado serão mostrados como itens de controle no outro grupo e vice-versa, tornando cada aluno seu próprio controle. No final do estudo, as pontuações individuais do 'item de intervenção' e do 'item de controle' serão calculadas para cada aluno e essas duas pontuações serão comparadas usando um Teste t pareado. Esta análise primária será feita para testar a seguinte hipótese:

"A retenção de longo prazo será melhor para o conteúdo que foi testado repetidamente com perguntas de elaboração adicionais e feedback individual subsequente enviado por correio do que para o conteúdo que foi testado repetidamente sozinho."

A retenção de longo prazo será avaliada em uma avaliação formativa de recursos de chave eletrônica no semestre de verão de 2019. Será idêntico ao exame de entrada e saída realizado no período de inverno 2018/19.

As análises secundárias incluirão regressões lineares não ajustadas e ajustadas com pontuações percentuais no exame de saída e teste de retenção como variáveis ​​dependentes e características do aluno, bem como seu envolvimento com questões de recursos-chave como variáveis ​​independentes.