脳神経外科シミュレーションにおける口頭によるインテリジェント家庭教師の指導の効率性

背景: 熟練した外科技術スキルは患者の転帰の改善につながります。ただし、初心者をトレーニングしてこれらのスキルを習得するのは依然として困難です。 Intelligent Continuous Expertise Monitoring System (ICEMS) は、脳神経外科教育を改善するために脳神経外科シミュレーションおよび人工知能学習センターで開発されたディープ ラーニング アプリケーションです。 ICEMS は、研修生のパフォーマンスを向上させ、エラーを軽減するために、口頭による指示を介して継続的なフィードバックを提供することにより、両手での手術パフォーマンスを評価および訓練します。

理論的根拠: 当センターで実施された以前のランダム化比較試験 (RCT) では、模擬神経外科手術では、インテリジェントな個別指導が専門家の個別指導よりも効果的であることが実証されました (NCT05168150)。 別のRCTでは、双極性の力の適用を減らすというICEMSの指示に対する医学生の成績にはばらつきがあることが明らかになった(NCT04700384)。 集合的クラスタリング アルゴリズムは、これらの変動する生徒の反応を 3 つのグループに分類しました。53% が間違いを正すための指示にうまく従い、36% が指示に従わず、11% が指示に過剰反応しました。 この応答のばらつきは、ICEMS の有用性を大幅に制限する可能性があり、学習スタイル、ストレス レベル、または AI 指導の誤解が原因である可能性があります。 この調査中、専門トレーナーには ICEMS エラー データは提供されませんでした。 専門トレーナーにICEMSエラーデータが提供される新たなRCTを実施することで、多くの研修生がAIの指示に反応しなかった理由が明らかになるだろう。

このレポートは、臨床試験の報告に関する統合基準 - 人工知能 (CONSORT-AI) および外科的専門知識を評価するための機械学習 (MLASE) チェックリストに従っています。

仮説:

1. AI による言葉によるフィードバックでは、人間のインストラクターが提供する同一のエラー フィードバックよりも、受講生の成功反応率が大幅に低くなります。
2. 研修生のパフォーマンス評価スコアは、評価された 2 つの異なる人間指導グループで大幅に高くなります。
3. AI 講師による指導は、人間の講師による口頭での間違いのフィードバックと比較して、ストレス レベルと認知的負荷が増加します。

主な目的: 手術ミスの指示の伝達方法が以下にどのような影響を与えるかを判断すること。

1. 指導に対する訓練生の反応、つまり、間違いを訂正したか、訂正しなかったか、または過剰に訂正したかどうか (ICEMS によって収集されたデータ)。
2. 研修生の全体的な外科パフォーマンス（ICEMS によって計算された実践シナリオの専門知識スコアの平均、盲検の専門評価者 2 人によって決定された現実的なシナリオの技術スキルの客観的構造化評価 (OSATS) スコア）。

第 2 の目的: 手術ミスの指導方法が研修医の感情的認知反応 (5 点リッカート尺度でのアンケートによる自己申告) にどのような影響を与えるかを判断すること。

設定: マギル大学の脳神経外科シミュレーションおよび人工知能学習センター。

参加者: ケベック州の 4 つの医科大学のいずれかに予備学年、1 年生、または 2 年生に在籍している学生。

デザイン: 3 群のランダム化比較試験。

介入: 参加者は、軟膜下脳腫瘍切除をシミュレートする仮想現実 (VR) 手術シミュレーターである NeuroVR (CAE Healthcare) で約 90 分間のトレーニング セッションを受けます。 NeuroVR には、単純な練習シナリオと複雑で現実的なシナリオの 2 つのシナリオが考えられます。 参加者は、練習シナリオ (各 5 分) を 6 回繰り返した後、現実的なシナリオ (13 分) を実行します。 ICEMS は試験期間中継続的にパフォーマンスを評価します。 ICEMS がパフォーマンスのエラーを検出すると、すべての参加者は口頭でフィードバックを受け取ります。ただし、この口頭フィードバックの伝達方法はグループによって異なります。

• グループ 1 (コントロール) は、エラーが検出されたときに ICEMS から直接口頭でフィードバックを受け取ります。
• グループ 2 (実験) は、ICEMS と同じ言葉で専門インストラクターから口頭でフィードバックを受けます。
• グループ 3 (実験) は、専門のインストラクターから自分の言葉で口頭でフィードバックを受けます。

口頭によるフィードバックは、次の 4 つの指標に基づいて行われます。(1) 器具先端分離距離、つまり、双極鉗子の先端と超音波吸引器の間の距離。 (2) 双極性力が低い。 (3) 高い吸引力。 (4) 高い双極性力。 研修生は一度に 1 つの指標で評価され、新しい指標に進む前に専門家レベルのデモンストレーション ビデオを視聴するオプションが与えられます。 指標を習得したら、研修生は次の指標に進みます。 トレーニング生がフィードバックを受け取らずに繰り返し全体を完了すると、メトリクスは「習得」されたとみなされます。

最初の実践シナリオはベースラインとして機能します。したがって、フィードバックは与えられません。 2 回目、3 回目、4 回目、5 回目の繰り返しでは、ICEMS のエラー検出に応じてフィードバックが与えられます。 6 回目の繰り返しでは、現実的なシナリオと同様に、フィードバックは提供されません。

重要性: 外科教育アプローチがコンピテンシーベースのフレームワークに移行し始めているため、外科トレーニングへの効果的な AI 教育フィードバックの導入が外科学習を最適化するために重要になります。 この RCT の結果により、ICEMS やその他の AI 家庭教師システムの評価と再設計が可能になり、標準化されたコンピテンシーベースの外科教育トレーニング カリキュラムだけでなく、口頭指導に依存する AI 家庭教師テクノロジーの開発も前進する可能性があります。