신경외과 시뮬레이션에서 언어지능형 교사 지도의 효율성

배경: 전문적인 수술 기술은 환자 결과 개선과 관련이 있습니다. 그러나 이러한 기술을 익히기 위해 초보자를 교육하는 것은 여전히 ​​어려운 일입니다. ICEMS(Intelligent Continuous Expertise Monitoring System)는 신경외과 시뮬레이션 및 인공지능 학습센터에서 신경외과 교육 개선을 위해 개발한 딥러닝 애플리케이션입니다. ICEMS는 훈련생의 성과를 개선하고 오류를 완화하기 위해 구두 지시를 통해 지속적인 피드백을 제공함으로써 양손 수술 성과를 평가하고 훈련합니다.

근거: 우리 센터에서 수행된 이전 무작위 대조 시험(RCT)에서는 시뮬레이션된 신경외과 수술 과정에서 지능형 지도가 전문가 지도보다 더 효과적이라는 것이 입증되었습니다(NCT05168150). 또 다른 RCT에서는 양극성 힘 적용을 줄이기 위한 ICEMS 지침에 대한 의과대학생의 성과가 다양하다는 사실이 밝혀졌습니다(NCT04700384). 응집 클러스터링 알고리즘은 이러한 다양한 학생 반응을 3개 그룹으로 분류했습니다. 53%는 오류를 수정하라는 지시를 성공적으로 따랐고, 36%는 지시를 따르지 않았으며, 11%는 지시에 과잉 반응했습니다. 이러한 반응 변동성은 ICEMS의 유용성을 크게 제한할 수 있으며 다양한 학습 스타일, 스트레스 수준 또는 AI 지침의 잘못된 해석으로 인해 발생할 수 있습니다. 이 연구 동안 전문 강사에게는 ICEMS 오류 데이터가 제공되지 않았습니다. 전문 트레이너에게 ICEMS 오류 데이터를 제공하는 새로운 RCT를 실시하면 많은 훈련생이 AI 지시에 응답하지 않은 이유가 명확해질 것입니다.

이 보고서는 CONSORT-AI(Consolidated Standards of Reporting Trials-Artificial Intelligence)와 MLASE(Machine Learning to Assess Surgical Expertise) 체크리스트를 따릅니다.

가설:

1. 언어적 AI 피드백은 인간 강사가 제공하는 동일한 오류 피드백보다 훈련생 간의 성공 응답률이 훨씬 낮습니다.
2. 훈련생 성과 평가 점수는 평가된 두 가지 다른 인간 교육 그룹에서 상당히 더 높을 것입니다.
3. AI 교사가 제공하는 교육은 인간 강사가 제공하는 언어적 오류 피드백에 비해 스트레스 수준과 인지 부하가 ​​증가합니다.

주요 목표: 수술 오류 지침 전달 방법이 다음 사항에 어떻게 영향을 미치는지 확인합니다.

1. 지시에 대한 훈련생의 반응, 즉 오류를 수정했는지, 수정하지 않았는지, 과도하게 수정했는지 여부(ICEMS에서 수집한 데이터).
2. 수련생의 전반적인 수술 성과(ICEMS에서 계산한 실습 시나리오의 평균 전문 지식 점수, 두 명의 맹검 전문 평가자가 결정한 현실적인 시나리오의 객관적인 구조적 기술 기술 평가(OSATS) 점수).

이차 목표: 수술 오류 지시 전달 방법이 훈련생의 정서적 인지 반응에 어떻게 영향을 미치는지 확인합니다(5점 리커트 척도의 설문지를 통해 자체 보고됨).

설정: McGill University의 신경외과 시뮬레이션 및 인공 지능 학습 센터.

참가자: 4개의 퀘벡 의과대학 중 한 곳에서 준비 과정, 1학년 또는 2학년에 등록한 학생입니다.

디자인: 3군 무작위 대조 시험.

중재: 참가자는 뇌종양 절제술을 시뮬레이션하는 가상 현실(VR) 수술 시뮬레이터인 NeuroVR(CAE Healthcare)에서 약 90분 동안 교육 세션을 받게 됩니다. NeuroVR에는 간단한 연습 시나리오와 복잡하고 현실적인 시나리오라는 두 가지 시나리오가 있습니다. 참가자들은 연습 시나리오(각 5분)를 6번 반복한 후 현실적인 시나리오(13분)를 수행하게 됩니다. ICEMS는 시험 기간 동안 지속적으로 성능을 평가합니다. ICEMS가 성과에서 오류를 감지하면 모든 참가자는 구두 피드백을 받게 됩니다. 그러나 이러한 구두 피드백을 전달하는 방법은 그룹마다 다릅니다.

• 그룹 1(대조군)은 오류가 감지되면 ICEMS로부터 직접 구두 피드백을 받습니다.
• 그룹 2(실험)는 전문 강사로부터 ICEMS와 동일한 단어로 구두 피드백을 받습니다.
• 그룹 3(실험)은 전문 강사로부터 자신의 말로 전달되는 구두 피드백을 받습니다.

구두 피드백은 다음과 같은 4가지 측정항목을 기반으로 합니다. (1) 기구 팁 분리 거리, 즉 양극 포셉 팁과 초음파 흡인기 사이의 거리; (2) 낮은 양극성 힘; (3) 높은 흡인력; (4) 높은 양극성 힘. 교육생은 한 번에 하나의 측정항목에 대해 평가를 받게 되며 각각의 새로운 측정항목으로 넘어가기 전에 전문가 수준의 데모 비디오를 시청할 수 있는 옵션이 제공됩니다. 측정항목이 마스터되면 교육생은 다음 측정항목으로 이동합니다. 훈련생이 피드백을 받지 않고 전체 반복을 수행하면 메트릭이 "마스터"된 것으로 간주됩니다.

첫 번째 연습 시나리오는 기준선 역할을 합니다. 따라서 피드백이 제공되지 않습니다. 두 번째, 세 번째, 네 번째, 다섯 번째 반복에서는 ICEMS 오류 감지에 따라 피드백이 제공됩니다. 6회 반복 및 현실적인 시나리오에서는 피드백이 제공되지 않습니다.

의의: 외과 교육 접근 방식이 역량 기반 프레임워크로 전환되기 시작하면서 효과적인 AI 교육 피드백을 외과 훈련에 구현하는 것이 외과 학습을 최적화하는 데 중요해졌습니다. 이 RCT의 결과는 ICEMS 및 기타 AI 지도 시스템의 평가 및 리엔지니어링을 가능하게 하여 표준화된 역량 기반 외과 교육 훈련 커리큘럼뿐만 아니라 언어 교육에 의존하는 모든 AI 지도 기술의 개발을 발전시킬 수 있습니다.