人工知能リアルタイム コーチング システムの有効性のテストシステムシミュレーション医学生のトレーニング

背景 手術シミュレーションと人工知能の分野における進歩は、医学教育におけるコンピテンシーベースのアプローチのニーズを満たすために、インテリジェントな技術スキル評価と個別指導システムの開発をもたらしました。 これらの新しい教育ツールは、リスクのないシミュレートされた運用環境で、学習者の技術的能力評価とトレーニングの標準化と客観性のためのソリューションを提供します。 これらのシステムは、技術的スキル、行動指向の手続きガイダンス、およびリスク評価に関する詳細な情報を提供することにより、手術およびその他の手続きベースの医療のトレーニングにおけるゴールドスタンダードの見習いモデルを補完できます。 このようなアプリケーションは、教育者が客観的な形成的および総括的な生徒の評価と教育方法論を開発するのに役立ちます。

理論的根拠 人工知能 (AI) の深層学習アプリケーションである Intelligent Continuous Monitoring System (ICEMS) は、0.2 秒間隔で継続的に手術成績を評価するために開発され、研修生を専門家レベルに指導し、リスクを検出する能力を備えています。 このシステムは、「仮想シミュレーターでのタスクのパフォーマンスを継続的に監視するための方法とシステム」というタイトルの出願中の特許に関与しています (2020; 特許番号 05001770-883USPR)。 以前は、評価モジュールの予測的妥当性が提供されていましたが、リアルタイムのコーチング研修生とリスク検出におけるこのシステムの有効性を調査する必要があります。

研究の目的 インテリジェントなリアルタイム コーチング システムの有効性を、専門家が仲介するゴールド スタンダードのフィードバックと比較すること。 より複雑な現実的なシナリオへの練習タスク中の学習の移行をテストします。

仮説

1. ICEMS フィードバック グループは、実際のシナリオでの最初の試行から最後の試行までの複合スコアが大幅に向上します。
2. 専門家が介在しないポストホック ベンチマーク フィードバックを使用するコントロール グループは、実際のシナリオでの最初の試行から最後の試行までの複合スコアが統計的に改善されません。
3. ICEMS フィードバック グループは、実践シナリオの 5 回目の試行で、コントロール グループと比較して統計的に高い複合スコアを持ちます。
4. ICEMS フィードバック グループは、実践シナリオでの 5 回目の試行で、専門家が仲介する指導グループと比較して、統計的に劣っていない複合スコアを持ちます。
5. 複雑で現実的なシナリオでは、ICEMS フィードバック グループのグローバル OSATS スコアは、専門家が仲介する指導グループのスコアよりも劣っていません。
6. その ICEMS フィードバックは、専門家が仲介する指導グループと比較して、感情や認知負荷の違いを選択しません。

具体的な目的: 1) AI を介したリアルタイムのカスタマイズされたフィードバックの有効性が、2 つの仮想的にシミュレートされた手術タスクでの医学生の両手手術スキルの向上において、専門家を介した対面フィードバックよりも統計的に劣っていないかどうかを評価すること。

2)人間の指導と比較して、ICEMSフィードバックシステムによって異なる感情と認知負荷が誘発されるかどうかを概説する

設計: AI トレーニングと専門家が仲介するトレーニングと専門家が仲介しないトレーニングの 3 群の単盲検ランダム化比較試験。

設定: モントリオール神経学研究所の脳神経外科シミュレーションおよび人工知能学習センター。

参加者: ケベック州内の医学校の 1 年生から 4 年生までの学生。

タスク: NeuroVR (CAE Healthcare) 手術シミュレーターを使用して、2 つの手術器具 (超音波吸引器とバイポーラ ピンサー) を使用して、シミュレートされた実際の腫瘍を 5 回、複雑なシミュレートされた脳腫瘍を 1 回完全に除去し、出血と周囲のシミュレートされた健康な脳構造への損傷を最小限に抑えます。

介入: 単一の 90 分間のトレーニング セッション。以下のいずれかからの評価とフィードバックを含む、6 回の仮想軟膜下腫瘍切除の試み (5 つの単純な実践シナリオと 1 つの複雑な現実的なシナリオ) を含みます。

1. Intelligent Continuous Expertise Monitoring System (ICEMS) (グループ 1)
2. 直接の専門家による指導のフィードバック (グループ 2)
3. 専門家を介さないポストホック ベンチマーク フィードバック (グループ 3)

主な結果と対策:

主な結果は、Intelligent Continuous Expertise Monitoring System (ICEMS) の以前に検証された評価モジュールによって評価された複合スコアの外科的パフォーマンスの改善です。 パフォーマンスの向上は、5 回の練習試行中の参加者の試行間の複合スコアの差として測定されます。 学習移転は、複雑で現実的なシナリオで得られた複合スコアによって評価されます。

二次的な結果は、技術スキルの客観的構造化評価 (OSATS) グローバル評価スケールを使用して、盲目の専門家によって採点される現実的なタスクでの参加者のパフォーマンス スコアです。 誘発された感情の強さの違いは、介入の前後でダフィーの医療感情尺度（MES）によって測定され、認知負荷の違いは、介入後のレピンクの認知負荷指数（CLI）を使用して測定されます

研究者の知る限り、この研究は、リアルタイムのインテリジェント フィードバック システムの有効性をゴールド スタンダードの人間による指導と比較した最初のアプリケーションです。 この研究は、人工知能を利用した手術シミュレータ トレーニング プラットフォームを使用して効率的なトレーニング方法を特定することを目的としています。したがって、研修生には、最先端の技術を使用した客観的で調整された技術スキル評価とコーチングが提供されます。

統計分析計画の参加者データは匿名化されて保存されます。 Intelligent Continuous Expertise Monitoring System (ICEMS) は、生のパフォーマンス データを使用して外科的パフォーマンスをスコアリングし、0.2 秒間隔でパフォーマンス スコアを提供するために使用されます。 各タスクの平均複合スコアが計算されます。 グループ内およびグループ間の比較は、最初の試行 (ベースライン パフォーマンス) から 5 回目の試行までの学習を評価し、グループ間の改善を比較するために行われます。 現実的なシナリオの複合スコアは、学習の伝達を評価するために ICEMS によって計算されます。 参加者のスコアの改善は、反復測定ANOVAによって調べられます。 25% の潜在的効果サイズ、0.95 の統計的検出力、および 0.05 の有意性を考慮すると、この研究では各グループに 29 人の参加者を募集する必要があります。 5 回目の練習試行における参加者のパフォーマンス スコアは、学習を比較するために ANOVA を使用してグループ間で比較されます。 グループ間の学習伝達を比較する現実的な試みのために、同じ分析が行われます。

現実的な試みでのパフォーマンスは、参加者のパフォーマンス ビデオを使用して、OSATS グローバル評価スケールを使用して盲目の専門家によって評価されます。 グローバル OSATS スコアをグループ間で比較し、ANOVA を使用して学習の有効性を比較します。