Eficiência da instrução verbal inteligente do tutor em simulação neurocirúrgica

Antecedentes: A habilidade técnica cirúrgica especializada está associada a melhores resultados para os pacientes; no entanto, treinar principiantes para dominar estas competências continua a ser um desafio. O Sistema Inteligente de Monitoramento de Especialização Contínua (ICEMS) é um aplicativo de aprendizado profundo que foi desenvolvido no Centro de Simulação Neurocirúrgica e Aprendizagem de Inteligência Artificial para melhorar a educação neurocirúrgica. O ICEMS avalia e treina o desempenho cirúrgico bimanual, fornecendo feedback contínuo por meio de instruções verbais, a fim de melhorar o desempenho do aluno e mitigar erros.

Justificativa: Um ensaio clínico randomizado anterior (RCT) realizado em nosso centro demonstrou que a tutoria inteligente é mais eficaz do que a tutoria especializada em um procedimento neurocirúrgico simulado (NCT05168150). Outro ECR revelou que o desempenho dos estudantes de medicina em resposta às instruções do ICEMS para diminuir a aplicação de força bipolar foi variável (NCT04700384). Um algoritmo de agrupamento aglomerativo classificou essas respostas variáveis ​​dos alunos em 3 grupos: 53% obedeceram com sucesso à instrução para corrigir o erro, 36% não obedeceram à instrução e 11% responderam exageradamente à instrução. Esta variabilidade de resposta pode limitar significativamente a utilidade do ICEMS e pode ser atribuída a diferentes estilos de aprendizagem, níveis de estresse ou má interpretação das instruções de IA. Durante este estudo, os treinadores especialistas não receberam dados de erros do ICEMS. A realização de um novo RCT no qual os treinadores especialistas recebam dados de erros do ICEMS esclarecerá a razão pela qual muitos treinandos não responderam às instruções de IA.

Este relatório segue os Padrões Consolidados de Relatórios de Ensaios-Inteligência Artificial (CONSORT-AI), bem como a lista de verificação de Aprendizado de Máquina para Avaliar Experiência Cirúrgica (MLASE).

Hipóteses:

1. O feedback verbal da IA ​​produzirá taxas de resposta de sucesso significativamente mais baixas entre os trainees do que o feedback de erro idêntico fornecido por instrutores humanos.
2. As pontuações da avaliação de desempenho dos formandos serão significativamente mais elevadas nos dois diferentes grupos de instrução humana avaliados.
3. A instrução ministrada pelo tutor de IA resultará em aumento dos níveis de estresse e carga cognitiva em comparação com o feedback de erro verbal fornecido por instrutores humanos.

Objetivos primários: Para determinar como o método de entrega das instruções sobre erros cirúrgicos influencia:

1. Resposta do formando à instrução, ou seja, se corrigiu, não corrigiu ou corrigiu excessivamente o erro (dados recolhidos pelo ICEMS).
2. Desempenho cirúrgico geral do estagiário (pontuação média de experiência em cenários de prática calculada pelo ICEMS, pontuação de avaliação objetiva estruturada de habilidades técnicas (OSATS) em cenário realista determinada por dois avaliadores especialistas cegos).

Objetivo secundário: determinar como o método de entrega da instrução sobre erros cirúrgicos influencia as respostas cognitivas afetivas do estagiário (autorrelatadas por meio de questionários em escalas Likert de 5 pontos).

Local: Centro de Simulação Neurocirúrgica e Aprendizagem de Inteligência Artificial da Universidade McGill.

Participantes: Alunos matriculados no primeiro ou segundo ano preparatório em uma das quatro escolas médicas de Quebec.

Desenho: Um ensaio clínico randomizado de três braços.

Intervenção: Os participantes passarão por uma sessão de treinamento de aproximadamente 90 minutos no NeuroVR (CAE Healthcare), um simulador cirúrgico de realidade virtual (VR) que simula uma ressecção de tumor cerebral subpial. O NeuroVR possui dois cenários possíveis: um cenário prático simples e um cenário realista complexo. Os participantes realizarão seis repetições do cenário de prática (5 minutos cada) seguidas do cenário realista (13 minutos). O ICEMS avaliará continuamente o desempenho durante o ensaio. Todos os participantes receberão feedback verbal quando o ICEMS detectar algum erro no seu desempenho; no entanto, o método de entrega deste feedback verbal será diferente entre os grupos.

• O Grupo 1 (controle) receberá feedback verbal diretamente do ICEMS quando um erro for detectado.
• O Grupo 2 (experimental) receberá feedback verbal de um instrutor especialista com as mesmas palavras do ICEMS.
• O Grupo 3 (experimental) receberá feedback verbal de um instrutor especialista com suas próprias palavras.

O feedback verbal será baseado em quatro métricas: (1) distância de separação da ponta do instrumento, ou seja, a distância entre as pontas da pinça bipolar e o aspirador ultrassônico; (2) baixa força bipolar; (3) alta força do aspirador; (4) alta força bipolar. Os trainees serão avaliados com base em uma métrica de cada vez e terão a opção de assistir a um vídeo de demonstração de nível especializado antes de passarem para cada nova métrica. Depois que uma métrica for dominada, o trainee passará para a métrica seguinte. Uma métrica é considerada “dominada” quando o treinando realiza uma repetição inteira sem receber feedback.

O primeiro cenário prático servirá como linha de base; portanto, nenhum feedback será dado. Na segunda, terceira, quarta e quinta repetições, o feedback será dado de acordo com a detecção de erros do ICEMS. Na sexta repetição, bem como no cenário realista, nenhum feedback será fornecido.

Importância: Com as abordagens de educação cirúrgica começando a mudar para estruturas baseadas em competências, a implementação de feedback educacional eficaz de IA no treinamento cirúrgico torna-se crucial para otimizar a aprendizagem cirúrgica. Os resultados deste RCT permitirão a avaliação e a reengenharia do ICEMS e de outros sistemas de tutoria de IA, o que pode promover o desenvolvimento não apenas de currículos padronizados de treinamento em educação cirúrgica baseados em competências, mas de qualquer tecnologia de tutor de IA dependente de instrução verbal.