人工智能是神经病学的决策工具

AI评估

医生在做出最终决定前仅从模型获得实时建议的场景（最终决定将基于高级主治医师和治疗医师的协商）

无AI评估

医生未接触模型建议的情况。

急诊科停留时间

从急诊科登记到急诊科出院或收治入病房的时间，同时重点关注会诊周期时间。

运行LLM的成本

每日平均成本（以美元为单位），以操作大型语言模型。

描述：

该结果将衡量通过在临床环境中运行LLM所产生的直接计算和许可成本。

度量单位：美元（每天）。 评估方式：LLM的每日总支出（例如，云计算费用，许可费）将被记录并除以当天的患者遭遇总数，以得出平均成本。

员工遵守AI

该结果将评估（合规性）的频率以及在合格的临床场景中使用LLM（接受）医生，居民和护士如何使用LLM。

描述：确定医师，居民和护士使用LLM进行合格的患者遇到的频率。

度量单位：比例（0.0-1.0）或百分比（0-100％）评估方式：跟踪实际使用LLM的相遇数量，除以符合条件的遭遇的总数。 较高的百分比表示更大的合规性。

透明度/解释性

描述：评估LLM的推理如何传达给临床人员。

测量单位：在5分李克特量表上得分（1 =根本不清楚，5 =非常清楚）如何评估：在每个LLM引导决定后，居民或主治医生对模型解释的清晰度的率。 报告平均分数。 更高的分数表明更好的清晰度。

LLM生成的临床报告的质量

LLM生成的临床报告的准确性和完整性得分此结果评估了LLM在结构化报告中总结了患者的临床相遇和推荐计划的准确和全面性（例如，出院指令，进度注释）。

度量单位：基于修改的肥皂（主观，客观，评估，计划）的质量评分量表，范围从0到10，较高的分数表明文档质量更好。 该分数反映了所需要素的包含和临床细节的正确性。

评估方法：每份LLM生成的报告均由主体医师或训练有素的临床人员独立评估。 使用标准化的清单，审阅者评估完整性（例如，症状，身体发现，诊断和计划）和准确性（例如，正确的药物，识别剂和诊断），然后根据预定义的rubric分配得分。

员工接受人工智能

描述：评估员工如何将LLM集成到他们的临床工作流程中。

度量单位：5点李克特量表（1 =完全不同意，5 =完全同意）如何评估：在每次LLM辅助遭遇之后，员工完成了一项简短的调查，以了解感知到的帮助和重复使用LLM的意愿。 较高的分数表明更高的接受度。

该研究围绕四个预先设定的目标展开：

目标1：LLM诊断与治疗建议适当性——由资深临床医生对LLM建议的适当性进行评分（1=不适当，5=适当） 时间范围：从急诊登记到出院或住院入院，最长24小时 目标2：诊断准确率——LLM辅助与标准护理临床决策的对比 与出院诊断相匹配的LLM辅助与标准护理的正确诊断比例（%） 时间范围：从急诊登记到最终诊断，最长24小时 目标3：临床医生对LLM输出的效用与可用性评估——SUS和Likert量表 通过SUS（0-100分）和5点Likert评分测量效用，每次临床接触后收集并附定性反馈 时间范围：每次临床接触结束时，最长36个月 目标4：LLM回顾性基准——与实际临床结果的一致性百分比和Cohen's Kappa 在去识别化记录中，LLM建议与实际结果（诊断、处置、住院时间）之间的一致性 时间范围：研究开始前最长36个月的记录

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months