- ICH GCP
- Registro de ensaios clínicos dos EUA
- Ensaio Clínico NCT04700384
Efetividade de um Sistema Tutor Inteligente Artificial no Treinamento por Simulação
Comparando o Assistente Operativo Virtual com a Instrução Baseada em Especialista em Educação Cirúrgica: Um Estudo Randomizado e Controlado
Sumário breve:
Fundo:
Embora a experiência cirúrgica e a habilidade técnica estejam associadas a melhores resultados para os pacientes, quantificar a habilidade cirúrgica na sala de cirurgia é um desafio. Na educação cirúrgica, grandes conjuntos de dados gerados por simuladores de realidade virtual de alta fidelidade podem ser empregados por algoritmos de aprendizado de máquina para medir objetivamente o desempenho e a competência do aluno em benchmarks especializados. Isso permite a prática repetitiva de habilidades cirúrgicas em ambientes seguros e livres de riscos com feedback imediato.
Nosso grupo desenvolveu e tem patente pendente para um sistema de tutoria inteligente chamado Virtual Operative Assistant (VOA). Utilizando um algoritmo de máquina vetorial de suporte de Inteligência Artificial (IA), o VOA avalia dados derivados da plataforma do simulador NeuroVR (CAE Healthcare) e fornece feedback audiovisual individualizado para melhorar o desempenho do aluno durante ressecções simuladas de tumores cerebrais. A eficácia de sistemas tutores inteligentes, como o VOA, para a pedagogia do aprendizado cirúrgico humano ainda precisa ser elucidada.
O objetivo deste estudo é comparar a eficácia e o impacto educacional do feedback VOA personalizado com a instrução especializada sobre o aprendizado de habilidades técnicas do estudante de medicina em um procedimento de ressecção de tumor em realidade virtual.
Objetivos Específicos: 1) Avaliar se estudantes de medicina que recebem feedback personalizado de VOA melhoram estatisticamente seu desempenho cirúrgico quando comparados àqueles que não recebem (a) nenhum feedback de instrutor especialista ou (b) feedback mediado por instrutor especialista. 2) Descrever se diferentes emoções são provocadas pelo sistema de tutoria inteligente VOA em estudantes de medicina durante a realização desta tarefa de realização em comparação com a instrução humana
Visão geral do estudo
Status
Condições
Descrição detalhada
Projeto: Um estudo controlado randomizado parcialmente cego de três braços de treinamento VOA versus instrução especializada baseada em controle remoto versus controle.
Local: Simulação Neurocirúrgica e Centro de Aprendizagem de Inteligência Artificial, Montreal Neurological Institute.
Participantes: Estudantes de medicina elegíveis do primeiro e segundo ano de toda a província de Quebec.
Tarefa: Remoção completa de um tumor simulado - distinguível por cor e propriedades hápticas - com sangramento mínimo e dano ao cérebro saudável circundante usando dois instrumentos cirúrgicos (Cavitron Ultrasonic Aspirator e pinças bipolares) do simulador cirúrgico NeuroVR (CAE Healthcare).
Intervenção: Uma única sessão de treinamento de 75 minutos, incluindo seis tentativas virtuais de ressecção de tumor subpial (cinco cenários práticos simples e um cenário realístico complexo) com avaliação e feedback de:
- o sistema de tutoria inteligente VOA (Grupo 2) ou
um instrutor especialista remoto (Grupo 3)
Ambos em comparação com:
- grupo de controle (Grupo 1) que não recebe avaliação ou feedback de desempenho.
Até onde sabemos, este será o primeiro estudo a comparar a eficácia de um sistema de tutoria inteligente alimentado por IA com instrução especializada no contexto de simulação de realidade virtual médica e cirúrgica e avaliar a resposta emocional a tal instrução. Este estudo tem como objetivo começar a identificar abordagens bem-sucedidas para usar essa tecnologia inovadora no currículo educacional médico e melhorar os resultados dos pacientes, aumentando a segurança, a eficiência e a competência dos cirurgiões e outros profissionais de saúde.
Tipo de estudo
Inscrição (Real)
Estágio
- Não aplicável
Contactos e Locais
Locais de estudo
-
-
Quebec
-
Montreal, Quebec, Canadá, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Critérios de participação
Critérios de elegibilidade
Idades elegíveis para estudo
- Filho
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Gêneros Elegíveis para o Estudo
Descrição
Critérios de inclusão: • Estudantes de medicina do primeiro e segundo anos de qualquer instituição canadense que não atendam aos critérios de exclusão.
-
Critérios de Exclusão: • Participação em qualquer um dos ensaios anteriores do nosso grupo envolvendo o simulador NeuroVR (CAE Healthcare).
-
Plano de estudo
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Pesquisa de serviços de saúde
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Dobro
Armas e Intervenções
Grupo de Participantes / Braço |
Intervenção / Tratamento |
|---|---|
|
Sem intervenção: Grupo de controle
Grupo de Controle - Treinamento de Linha de Base 25 Participantes alocados. Os indivíduos recebem informações introdutórias sobre o uso do simulador e do cenário. Eles realizam 5 ressecções simples de tumor subpial para prática e têm 5 minutos por tentativa. Após cada tentativa, o aluno faz uma pausa de 5 minutos sem avaliação ou feedback sobre seu desempenho. Na 6ª tentativa, eles têm 13 minutos para realizar um cenário realista diferente. |
|
|
Experimental: Grupo Experimental - Treinamento em Assistência Operatória Virtual
Grupo Experimental - Treinamento em Assistência Operatória Virtual 25 participantes alocados. Os indivíduos recebem as mesmas informações, têm o mesmo tempo e realizam os mesmos cenários que o grupo de controle. Nos 5 minutos entre as tentativas, o participante recebe a avaliação do Treinamento de Assistência Operativa Virtual sobre seu desempenho e feedback audiovisual. |
Os indivíduos recebem as mesmas informações básicas, têm o mesmo tempo e realizam os mesmos cenários que o grupo de controle.
Nos 5 minutos entre as tentativas, o participante recebe a avaliação do Assistente Operativo Virtual sobre seu desempenho e feedback audiovisual.
|
|
Experimental: Grupo Experimental - treinamento de instrutor especializado remoto
25 participantes alocados.
Os indivíduos recebem as mesmas informações, têm o mesmo tempo e realizam os mesmos cenários que o grupo de controle.
Enquanto isso, um instrutor treinado observa remotamente a performance do participante na tela, que é transmitida ao vivo.
Os instrutores são residentes seniores de neurocirurgia com ampla experiência na realização e avaliação desse cenário.
Durante a sessão de feedback de 5 minutos, eles conversam com o aluno, discutem o desempenho e ajudam a traçar metas para a próxima tentativa.
|
Os indivíduos recebem as mesmas informações, têm o mesmo tempo e realizam os mesmos cenários que o grupo de controle.
Enquanto isso, um instrutor treinado observa remotamente a performance do participante na tela, que é transmitida ao vivo.
Os instrutores são residentes seniores de neurocirurgia com ampla experiência na realização e avaliação desse cenário.
Durante a sessão de feedback de 5 minutos, eles conversam com o aluno, discutem o desempenho e ajudam a traçar metas para a próxima tentativa.
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Mudança de desempenho processual.
Prazo: Dia de estudo
|
O desempenho em cada tentativa de prática é medido utilizando dados brutos do simulador que são usados para avaliação por algoritmos de IA previamente estabelecidos em métricas validadas.
|
Dia de estudo
|
|
Mudança no aprendizado
Prazo: Dia de estudo
|
O desempenho no cenário realista complexo é avaliado por instrutores especializados usando a Escala de Classificação Visual de Avaliações Estruturadas Objetivas de Habilidades Técnicas (OSATS) (ponderada em 50%) e os algoritmos de avaliação de IA (ponderados em 50%), criando uma pontuação de desempenho composta.
|
Dia de estudo
|
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Diferença na força das emoções provocadas
Prazo: Dia de estudo
|
Medido usando a Escala de Emoções Médicas de Duffy (MES), antes, durante e após a intervenção.
|
Dia de estudo
|
|
Diferença na carga cognitiva
Prazo: Dia de estudo
|
Medido usando o Índice de Carga Cognitiva de Leppink (CLI) após a intervenção.
|
Dia de estudo
|
Colaboradores e Investigadores
Patrocinador
Publicações e links úteis
Publicações Gerais
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Datas de registro do estudo
Datas Principais do Estudo
Início do estudo (Real)
Conclusão Primária (Real)
Conclusão do estudo (Real)
Datas de inscrição no estudo
Enviado pela primeira vez
Enviado pela primeira vez que atendeu aos critérios de CQ
Primeira postagem (Real)
Atualizações de registro de estudo
Última Atualização Postada (Real)
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última verificação
Mais Informações
Termos relacionados a este estudo
Palavras-chave
Outros números de identificação do estudo
- 2010-270, NEU-09-042
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
Descrição do plano IPD
Prazo de Compartilhamento de IPD
Critérios de acesso de compartilhamento IPD
Tipo de informação de suporte de compartilhamento de IPD
- PROTOCOLO DE ESTUDO
- SEIVA
- CIF
- ANALYTIC_CODE
- CSR
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .
Ensaios clínicos em Treinamento de assistente operacional virtual
-
University of WashingtonNational Institute on Aging (NIA); Kaiser PermanenteConcluídoSintomas Comportamentais | Demência | Doença de Alzheimer | Sobrecarga do cuidadorEstados Unidos
-
Beirut Arab UniversityConcluído