神経学の意思決定ツールとしての人工知能

AIを用いた評価

医師が最終決定（最終決定は上級主治医と担当医師に基づいて行われる）を行う前に、モデルからのみリアルタイム推奨を受けるシナリオ

AIを使用しない評価

医師がモデルの推奨にさらされないシナリオ。

救急部門での滞在期間

救急部門の登録から救急部門の退院または病棟への入院までの時間。さらに、診察サイクル時間に焦点を当てています。

LLMを実行するコスト

大規模な言語モデルを操作するための平均1日コスト（USD）。

説明：

この結果は、LLMを臨床環境で実行することで発生する直接的な計算およびライセンスコストを測定します。

測定単位：米ドル（1日あたり）。 評価方法：LLMの毎日の支出の合計（クラウドコンピュート料金、ライセンス料など）は、その日の患者の出会いの総数で記録され、平均コストを導き出すために分割されます。

AIのスタッフコンプライアンス

この結果は、適格な臨床シナリオでLLMを使用している医師、住民、看護師がどれだけ頻繁に（コンプライアンス）（コンプライアンス）（受け入れ）（受け入れ）を評価します。

説明：適格な患者の出会いに医師、住民、看護師がLLMを使用する頻度を決定します。

測定単位：割合（0.0-1.0）またはパーセント（0-100％）の評価方法：LLMが実際に使用される出会いの数を追跡し、対象となる出会いの総数で割っています。 より高い割合は、コンプライアンスの向上を示します。

透明性/説明可能性

説明：LLMの推論が臨床スタッフにどれほど明確に伝えられているかを評価します。

測定単位：5ポイントのリッカートスケールでのスコア（1 =まったく明確ではなく、5 =非常に明確）評価方法：各LLMガイド下の決定の後、居住者または出席者はモデルの説明の明確さを評価します。 平均スコアが報告されています。 スコアが高いほど、明確さが向上します。

LLM生成臨床報告の品質

LLM生成臨床レポートの精度と完全性スコアこの結果は、LLMが患者の臨床的遭遇と推奨計画を構造化された報告（退院指示、進行状況のメモ）でどのように正確かつ包括的に要約するかを評価します。

測定単位：修正された石鹸（主観的、目的、評価、計画）に基づく品質スコアノート評価尺度は0から10の範囲で、スコアが高いほどドキュメントの品質が向上します。 スコアは、必要な要素の包含と臨床的詳細の正しさを反映しています。

評価方法：各LLMで生成された報告書は、参加者または訓練を受けた臨床スタッフのパネルによって独立して評価されます。 標準化されたチェックリストを使用して、レビュアーは完全性（例：症状、身体的所見、診断、計画の含める）と精度（例：正しい薬、識別子、診断）を評価し、事前定義されたルーブリックに基づいてスコアを割り当てます。

AIのスタッフの受け入れ

説明：LLMを臨床ワークフローに喜んで統合する方法を評価します。

測定単位：5ポイントのリッカートスケール（1 =強く同意しない、5 =強く同意する）評価方法：各LLM支援の出会いの後、スタッフはLLMを再利用するという認識された有用性と意欲に関する簡単な調査を完了します。 より高いスコアは、より大きな受け入れを示します。

本研究は、事前に設定された4つの目的を中心に構成されています。

目的1：LLM診断および治療推奨の適切性 上級臨床医によるLLM推奨の適切性評価（1=不適切、5=適切） タイムフレーム：救急外来受付から退院または入院まで、最大24時間 目的2：診断精度率 - LLM支援ケア vs 標準ケア 退院診断に一致する正しい診断の割合（％）、LLM支援ケアと標準ケアの比較 タイムフレーム：救急外来受付から最終診断まで、最大24時間 目的3：臨床医評価によるLLM出力の有用性と使用性 - SUSおよびリッカート尺度 SUS（0-100）および5段階リッカート評価による有用性測定、診察終了後に収集（定性的フィードバック含む） タイムフレーム：各臨床診察終了時、最大36か月 目的4：LLMレトロスペクティブベンチマーク - 一致率およびコーエンのカッパ vs 実際の臨床転帰 匿名化記録におけるLLM推奨と実際の転帰（診断、処置、在院日数）の一致 タイムフレーム：研究開始前最大36か月までの記録

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months