인공지능 실시간 코칭 시스템의 효능 테스트시스템시뮬레이션의대생 훈련

배경 외과 시뮬레이션 및 인공 지능 분야의 발전으로 인해 의료 교육에서 역량 기반 접근 방식의 요구를 충족하기 위한 지능형 기술 평가 및 튜터링 시스템이 개발되었습니다. 이 새로운 교육 도구는 위험이 없는 모의 수술 환경에서 학습자의 기술 역량 평가 및 교육의 표준화 및 객관성을 위한 솔루션을 제공합니다. 이러한 시스템은 기술, 행동 지향적인 절차 안내 및 위험 평가에 대한 자세한 정보를 제공하여 수술 및 기타 절차 기반 의학 교육의 표준 견습 모델을 보완할 수 있습니다. 이러한 응용 프로그램은 교육자가 객관적이고 종합적인 학생 평가 및 교육 방법론을 개발하는 데 도움이 될 수 있습니다.

근거 인공지능(AI) 딥러닝 애플리케이션인 ICEMS(Intelligent Continuous Monitoring System)는 훈련생을 전문가 수준으로 코칭하는 능력과 위험도 감지 기능으로 0.2초 간격으로 수술 성과를 지속적으로 평가하기 위해 개발됐다. 이 시스템은 '가상 시뮬레이터에서 작업 성능을 지속적으로 모니터링하기 위한 방법 및 시스템'(2020; 특허 번호 05001770-883USPR)이라는 특허 출원 중입니다. 이전에는 평가 모듈에 대한 예측 유효성이 제공되었지만 실시간 코칭 훈련생 및 위험 감지에서 이 시스템의 유효성을 탐색해야 합니다.

연구 목표 지능형 실시간 코칭 시스템의 효율성을 황금 표준 전문가 중재 피드백과 비교합니다. 보다 복잡한 현실적인 시나리오로 연습 작업 중 학습의 전송을 테스트합니다.

가설

1. ICEMS 피드백 그룹은 연습 시나리오에서 첫 번째 시도에서 마지막 시도까지의 종합 점수에서 크게 향상될 것입니다.
2. 전문가가 중재하지 않은 사후 벤치마크 피드백이 있는 통제 그룹은 실제 시나리오에서 첫 번째 시도에서 마지막 시도까지의 종합 점수에서 통계적으로 개선되지 않습니다.
3. ICEMS 피드백 그룹은 연습 시나리오의 다섯 번째 시도에서 컨트롤 그룹에 비해 통계적으로 더 높은 종합 점수를 갖게 됩니다.
4. ICEMS 피드백 그룹은 연습 시나리오에 대한 다섯 번째 시도에서 전문가 중재 교육 그룹에 비해 통계적으로 열등하지 않은 종합 점수를 갖게 됩니다.
5. ICEMS 피드백 그룹의 글로벌 OSATS 점수는 복잡하고 현실적인 시나리오에서 전문가 중재 교육 그룹의 점수보다 열등하지 않을 것입니다.
6. ICEMS 피드백은 전문가 중재 교육 그룹과 비교하여 감정 또는 인지 부하의 차이를 선택하지 않습니다.

특정 목표: 1) 가상으로 시뮬레이션된 두 가지 수술 작업에서 의대생의 양손 수술 기술을 개선하는 데 있어 AI 중재 실시간 맞춤형 피드백의 효능이 전문가 중재 대면 피드백보다 통계적으로 열등하지 않은지 평가합니다.

2) 인간의 지시와 비교하여 ICEMS 피드백 시스템에 의해 다른 감정과 인지 부하가 ​​도출되는지를 설명하기 위해

디자인: AI 교육 대 전문가 중재 교육 대 비전문가 중재 교육의 3군 단일 맹검 무작위 통제 시험.

설정: 몬트리올 신경학 연구소의 신경외과 시뮬레이션 및 인공 지능 학습 센터.

대상자: 퀘벡 주 전역의 의과대학 예비과정 또는 1~4학년에 등록한 학생.

작업: NeuroVR(CAE Healthcare) 수술 시뮬레이터를 사용하여 2개의 수술 기구(Ultrasonic Aspirator 및 Bipolar 집게발)를 사용하여 모의 연습 종양을 5회 완전히 제거하고 복잡한 모의 뇌종양을 1회 완전히 제거합니다.

개입: 다음 중 하나의 평가 및 피드백과 함께 6개의 가상 뇌하수체 종양 절제 시도(5개의 간단한 실습 시나리오 및 1개의 복잡하고 실제적인 시나리오)를 포함하는 단일 90분 교육 세션:

1. 지능형 지속적 전문성 모니터링 시스템(ICEMS)(그룹 1)
2. 대면 전문가 교육 피드백(그룹 2)
3. 전문가가 중재하지 않은 사후 벤치마크 피드백(그룹 3)

주요 결과 및 조치:

1차 결과는 이전에 검증된 ICEMS(Intelligent Continuous Expertise Monitoring System)의 평가 모듈에 의해 평가된 복합 점수의 수술 성과 개선입니다. 성능 향상은 5번의 연습 시도 동안 참가자의 시도 간의 종합 점수 차이로 측정됩니다. 학습 전이는 복잡하고 현실적인 시나리오에서 얻은 종합 점수로 평가됩니다.

2차 결과는 기술 능력의 객관적 구조 평가(OSATS) 글로벌 등급 척도를 사용하여 블라인드 전문가가 채점할 현실적인 작업에 대한 참가자의 성과 점수입니다. 유도된 감정의 강도의 차이는 개입 전, 후 Duffy의 MES(Medical Emotional Scale)로 측정하고 개입 후 Leppink의 Cognitive Load Index(CLI)를 사용하여 인지 부하의 차이를 측정합니다.

조사관이 아는 한 이 연구는 실시간 지능형 피드백 시스템의 효과를 표준 인간 교육과 비교한 최초의 응용 프로그램입니다. 본 연구는 인공지능으로 구동되는 수술 시뮬레이터 훈련 플랫폼을 사용하여 효율적인 훈련 방법론을 파악하여 훈련생에게 최신 기술을 사용하여 객관적이고 맞춤형 기술 평가 및 코칭을 제공하는 것을 목표로 합니다.

통계 분석 계획 참가자 데이터는 익명으로 저장됩니다. ICEMS(Intelligent Continuous Expertise Monitoring System)는 원시 성능 데이터를 사용하여 수술 성능을 평가하고 0.2초 간격으로 성능 점수를 제공하는 데 사용됩니다. 평균 종합 점수는 각 작업에 대해 계산됩니다. 그룹 내 및 그룹 간 비교는 첫 번째 시도(기준 성능)에서 다섯 번째 시도까지의 학습을 평가하고 그룹 간 개선을 비교하기 위해 이루어집니다. 현실적인 시나리오의 종합 점수는 ICEMS에서 학습 전이를 평가하기 위해 계산됩니다. 참가자 점수 향상은 반복 측정 ANOVA로 검사됩니다. 25%의 잠재적 효과 크기, 0.95의 통계 검정력 및 0.05의 유의성을 고려할 때 이 연구는 각 그룹에서 29명의 참가자를 모집해야 합니다. 다섯 번째 연습 시도에서 참가자의 성과 점수는 ANOVA를 사용하여 학습을 비교하는 그룹 간에 비교됩니다. 그룹 간의 학습 전이를 비교하려는 현실적인 시도에 대해서도 동일한 분석이 수행됩니다.

현실적인 시도의 성능은 참가자 성능 비디오를 사용하여 OSATS 글로벌 등급 척도를 사용하여 맹인 전문가가 평가합니다. 글로벌 OSATS 점수는 ANOVA를 사용하여 학습의 효능을 비교하기 위해 그룹 간에 비교됩니다.