Testando a Eficácia de um Sistema de Treinamento em Tempo Real com Inteligência ArtificialSistemaSimulaçãoTreinamento de Estudantes de Medicina

Antecedentes Avanços nos campos de simulação cirúrgica e inteligência artificial resultaram no desenvolvimento de sistemas inteligentes de avaliação e tutoria de habilidades técnicas para atender às necessidades da abordagem baseada em competências na educação médica. Essas novas ferramentas educacionais oferecem soluções para padronização e objetividade da avaliação e treinamento da competência técnica do aluno, em ambientes operacionais simulados sem riscos. Esses sistemas podem complementar o modelo de aprendizado padrão-ouro em treinamento em cirurgia e outras medicinas baseadas em procedimentos, fornecendo informações detalhadas sobre habilidades técnicas, orientação de procedimentos orientados para a ação e avaliação de riscos. Esses aplicativos podem ajudar os educadores no desenvolvimento de metodologias objetivas de avaliação formativa e somativa do aluno e de ensino.

Justificativa O Sistema de Monitoramento Contínuo Inteligente (ICEMS), um aplicativo de aprendizado profundo de inteligência artificial (IA) foi desenvolvido para avaliar o desempenho cirúrgico continuamente em intervalos de 0,2 segundos com a capacidade de treinar os estagiários até o nível de especialista e detecção de risco. Este sistema está envolvido em uma patente pendente intitulada 'Métodos e sistemas para monitoramento contínuo do desempenho de tarefas em simuladores virtuais' (2020; patente nº 05001770-883USPR). Anteriormente, era fornecida uma validade preditiva para o módulo de avaliação, no entanto, a eficácia desse sistema em treinando em treinamento em tempo real e detecção de riscos precisa ser explorada.

Objetivos de pesquisa Comparar a eficácia de um sistema inteligente de treinamento em tempo real com o feedback mediado por especialistas padrão-ouro. Testar a transferência da aprendizagem durante as tarefas práticas para o cenário realista mais complexo.

hipóteses

1. O grupo de feedback do ICEMS melhorará significativamente na pontuação composta entre a primeira tentativa e a última tentativa no cenário de prática.
2. O grupo de controle com feedback de benchmark post hoc mediado por nenhum especialista não melhorará estatisticamente na pontuação composta entre a primeira tentativa e a última tentativa no cenário de prática.
3. O grupo de feedback do ICEMS terá uma pontuação composta estatisticamente maior em comparação com o grupo de controle, na quinta tentativa no cenário de prática.
4. O grupo de feedback do ICEMS terá uma pontuação composta estatisticamente não inferior em comparação com o grupo de instrução mediada por especialistas na quinta tentativa no cenário de prática.
5. A pontuação OSATS global do grupo de feedback do ICEMS não será inferior à do grupo de instrução mediada por especialistas no cenário realista complexo.
6. Esse feedback do ICEMS não elegerá uma diferença na emoção ou na carga cognitiva em comparação com o grupo de instrução mediada por especialistas.

Objetivos Específicos: 1) Avaliar se a eficácia do feedback personalizado em tempo real mediado por IA é estatisticamente não inferior ao feedback pessoal mediado por especialistas na melhoria das habilidades cirúrgicas bimanuais de estudantes de medicina em duas tarefas de cirurgia virtualmente simuladas.

2) Descrever se diferentes emoções e carga cognitiva são provocadas pelo sistema de feedback do ICEMS em comparação com a instrução humana

Projeto: Um estudo randomizado controlado cego simples de três braços de treinamento de IA versus treinamento mediado por especialistas versus treinamento mediado por não especialistas.

Local: Simulação Neurocirúrgica e Centro de Aprendizagem de Inteligência Artificial, Montreal Neurological Institute.

Participantes: Alunos que estão matriculados em seu primeiro ano ou primeiro ao quarto ano em escolas de medicina em toda a província de Quebec.

Tarefa: Remoção completa de um tumor simulado de prática cinco vezes e de um tumor cerebral simulado complexo uma vez com sangramento mínimo e danos às estruturas cerebrais saudáveis ​​simuladas circundantes usando dois instrumentos cirúrgicos (aspirador ultrassônico e pinças bipolares) usando o simulador cirúrgico NeuroVR (CAE Healthcare).

Intervenção: Uma única sessão de treinamento de 90 minutos, incluindo seis tentativas virtuais de ressecção de tumor subpial (cinco cenários práticos simples e um cenário realístico complexo) com avaliação e feedback de:

1. o Sistema de Monitoramento Especializado Contínuo Inteligente (ICEMS) (Grupo 1)
2. um feedback de instrução de especialista em pessoa (Grupo 2)
3. feedback de benchmark post hoc mediado por nenhum especialista (Grupo 3)

Principais Resultados e Medidas:

O resultado primário é a melhoria do desempenho cirúrgico no escore composto avaliado pelo módulo de avaliação previamente validado do Intelligent Continuous Expertise Monitoring System (ICEMS). A melhoria do desempenho é medida como a diferença de pontuação composta entre as tentativas do participante durante as cinco tentativas de prática. A transferência de aprendizado será avaliada pela pontuação composta obtida no cenário realístico complexo.

O resultado secundário é a pontuação de desempenho dos participantes na tarefa realista, que será pontuada por especialistas cegos usando a escala de classificação global de Avaliação Estruturada Objetiva de Habilidades Técnicas (OSATS). As diferenças na força das emoções provocadas serão medidas pela Escala Emocional Médica de Duffy (MES), antes e depois da intervenção e a diferença na carga cognitiva será medida usando o Índice de Carga Cognitiva de Leppink (CLI) após a intervenção

Este estudo, para o conhecimento dos investigadores, é a primeira aplicação comparando a eficácia de um sistema de feedback inteligente em tempo real com a instrução humana padrão-ouro. Este estudo visa identificar metodologias de treinamento eficientes usando plataformas de treinamento de simuladores cirúrgicos com inteligência artificial, portanto, os trainees recebem avaliação e treinamento de habilidades técnicas objetivas e personalizadas usando tecnologias de ponta.

Os dados do Participante do Plano de Análise Estatística serão anonimizados e armazenados. O Sistema de Monitoramento Especializado Contínuo Inteligente (ICEMS) será usado para pontuar o desempenho cirúrgico usando dados brutos de desempenho e fornecer uma pontuação de desempenho em intervalos de 0,2 segundos. Uma pontuação composta média será calculada para cada tarefa. Comparações dentro e entre os grupos serão feitas para avaliar o aprendizado desde a primeira tentativa (desempenho inicial) até a quinta tentativa e comparar a melhoria entre os grupos. A pontuação composta no cenário realista será calculada pelo ICEMS para avaliar a transferência de aprendizado. A melhoria da pontuação do participante será examinada por ANOVA de medidas repetidas. Considerando um tamanho de efeito potencial de 25%, um poder estatístico de 0,95 e uma significância de 0,05, este estudo precisa recrutar 29 participantes em cada grupo. A pontuação do desempenho dos participantes na quinta tentativa de prática será comparada entre os grupos usando ANOVA para comparar o aprendizado. A mesma análise será feita para a tentativa realista de comparar a transferência de aprendizagem entre os grupos.

O desempenho na tentativa realista será avaliado por especialistas cegos usando a escala de classificação global OSATS, usando vídeo de desempenho do participante. A pontuação global OSATS será comparada entre os grupos para comparar a eficácia no aprendizado usando ANOVA.