人工智能对需要转诊至医院接受紧急或非计划护理的患者进行分诊 (TRIAGE)

引言 - 科学依据 1.1. 背景 随着人口老龄化和慢性病患病率增加，全科医生数量正在减少。 医疗需求与供给之间日益增长的不平衡导致初级保健，特别是紧急和非预约护理的获取困难。

为解决这一问题，法国设立了医疗访问服务（SAS）。 在紧急或非预约护理需求情况下，SAS允许其初级保健医生无法接诊的个人访问医疗专业人员。 根据具体情况，该服务可提供医疗建议、提供远程会诊、将个人转诊至当地医生或急诊科，甚至派出移动急救复苏单元（SMUR）或救护车。 SAS作为一个分诊系统运行，提供针对每个人需求的定制响应。

本项目旨在研究人工智能（AI）分诊模型对寻求紧急或非预约护理患者有效性的某些方面，从而识别需要住院治疗的患者。

本项目是在先前研究基础上进行的，该研究开发了使用AI对SOS Médecins Grand Paris患者进行分诊的模型。 与SAS类似，致电SOS Médecins的人员向医疗调度助理（MDA）描述其问题，后者在大多数情况下安排上门就诊。

SOS Médecins数据库包含护理请求的音频记录以及医生上门就诊后做出的医疗决策，包括患者是否被转诊至医院（患者结局数据是详尽的）。 因此，使用AI开发了SOS医生上门就诊后患者使用医院服务的预测模型。 该模型“听取”患者与MDA之间的交流，并预测医生上门就诊后医院服务的使用情况。

该模型及其开发是当前提交至国际期刊发表文章的主题。 在测试阶段，其ROC（受试者工作特征）曲线下面积达到0.80。 最终，基于AI的模型需要实时运行，并向MDA提供信息以协助其工作。 目前，本项目的目标是完成系统验证。 随后需要在真实条件下实施和测试，以确定MDA使用模型预测进行患者分诊的益处。

需注意，虽然SOS Médecins与SAS不同，但两者相似。 首先，两个机构的运作方式相似：通过电话联系的MDA试图响应紧急或非预约护理请求。 两个机构的可能响应范围相同（SOS不仅提供上门就诊，还进行面对面或视频会诊，并将某些呼叫转至紧急医疗服务），且在必要时使用医生专业知识（医疗调节）也相同。 其次，SOS Médecins是SAS的下游效应器之一。 与SAS（目前仅覆盖全国领土的60%）相比，SOS更早建立且更广为人知，其招募过程可能与这项新服务非常相似。 据我们所知，目前尚无SAS的统计数据可用于比较两个机构的活动。 在此背景下，使用SOS数据开发的模型在SAS中进行验证将是必要的。 如果未来数据显示两个机构相似，SAS可能受益于在SOS开发的此项目。SOS数据相比SAS数据具有显著优势：它们包含患者结局信息，包括是否前往医院急诊科。 这种呼叫标记使得AI模型的监督学习成为可能。

据我们所知，这个独特的项目为可在SAS（可能在一定程度上在急诊科）使用的分诊辅助铺平了道路。

1.2. 对患者和医疗系统的益处 早期识别高住院风险患者，其中一些患有需要在专业环境中紧急护理的疾病，应有助于临床决策并最终改善患者健康。 这主要涉及预后与护理速度直接相关的疾病患者，如严重缺血性、呼吸性、创伤性或感染性疾病患者，他们将受益于无需等待医生上门就诊而直接住院。 因此，对患者的益处将是减少因分诊错误导致的机会损失。

此外，急诊科上游分诊（如前卫生部长提出并在一些人员不足的急诊科实施，且在丹麦是常规做法）将改善医院急诊科的运作，其过度活动会影响接受护理的老年患者死亡率。 在公共卫生方面，引入有效的分诊系统因此可能改善紧急和非预约护理的获取。

研究目标和评估标准 用于识别需要转诊至医院患者的基于AI的分诊模型已使用SOS Médecins Grand Paris的呼叫数据开发并测试。 一篇文章正在发表中。 因此，本项目不关注分诊模型的开发或内部验证，而是关注与其验证相关的其他方面：前瞻性和外部验证；其预测与医学专家预测的比较；调查可能与其使用相关的社会歧视；以及确定其在医疗环境中使用的实际条件。

2.1. 目标和主要终点 预测模型在真实世界操作数据上的前瞻性性能评估是将其整合到临床背景并评估其对患者护理影响的关键步骤。

- 主要目标（PO）：对用于识别医生上门就诊后将转诊至医院患者的分诊模型进行前瞻性验证。

ROC曲线下面积（AROC）提供了分类系统性能的总体度量。

需注意，本研究中使用的所有数据均为回顾性数据。 该模型使用2023年及更早（包括2017年）的数据设计，“前瞻性”数据是其设计后的数据，将是2024年的数据。

- 主要终点（PE）：比较从SOS Médecins Paris的回顾性和前瞻性数据代表性样本获得的AROC。

2.2. 次要目标和终点 对来自独立地理位点的患者数据进行外部验证对于理解在一个位点开发的模型如何安全有效地在其他位点实施是必要的。

- 次要目标#1（SO1）：分诊模型的外部验证

• 次要终点#1（SEP1）：比较从SOS Médecins Grand Paris和Ajaccio的回顾性数据代表性样本获得的AROC。
• SEP2：比较分诊模型的预测与专家医生的预测。
• 次要终点#2（SEP2）：在平衡非代表性样本（即包含50%医生上门就诊后转诊至医院的患者，而非现实中的3%）上比较分诊模型与专家医生的正确预测率。

已发现多个基于AI的分诊系统存在歧视性。 两个著名例子说明了这一点：

• 基于简历选择计算机工程师求职者：系统使用现有工程师（主要为男性）训练，对女性不利；
• 从皮肤镜图像检测黑色素瘤：系统使用浅肤色训练，对深肤色效果不佳。
• OS3：研究与模型相关的潜在歧视现象，与患者的社会特征相关。
• 次要终点#3（CJS3）：比较从SOS Médecins Grand Paris数据代表性样本获得的两种性别的AROC。

从已验证的预测模型过渡到真实条件下高效设备是AI中众所周知的挑战。

- SO4：确定MDA使用模型的真实条件。

- 次要终点#4（SEP4）：起草MDA实施分诊系统的规范

研究个体的选择与排除 3.1. 纳入标准 2024年或更早因呼叫接受SOS医生上门就诊的任何年龄个体。

3.2. 排除标准 不讲法语的个体。 无医疗保险的个体。

研究描述 4.1. 研究类型 这本质上是一项验证基于AI的患者分诊模型的研究。 将使用观察性数据进行。

4.2. 研究过程 4.2.1. 研究地点 研究将在SOS Médecins场所进行。 将招募SOS Médecins Grand Paris的医学专家执行SO2。

4.2.2. 招募方法 将使用SOS Médecins在其活动中收集的数据。

4.2.3. 患者护理程序 项目关注需要使用医院满足社区患者紧急或非预约护理需求。 然而，它不会干扰患者护理。

4.2.4. 研究退出程序 要求排除的患者将被排除。

4.2.5. 数据收集

• PO（前瞻性验证）、SO1（外部验证）和SO3（歧视）：

将使用SOS Médecins活动中已收集的数据。 两个位点（巴黎和科西嘉岛的Ajaccio）使用相同软件管理从接收和记录电话呼叫到SOS护理过程结束（即我们案例中上门就诊结束）的电话呼叫，包括行政和医疗数据输入（SOS Médecins档案）。 以下是将使用的数据列表及其处理方式：

- 患者与MDA对话音频记录的转录本。 AI预测将基于这些转录本（且仅这些转录本）进行。

• SOS Médecins档案数据：
• 电话呼叫的星期、月份、年份和时间；
• 就诊地点的人口普查区号将从患者提供的地址获取。 人口普查区是可用统计数据的最小空间单位，同时保护居民匿名性。 INSEE（国家统计与经济研究所）人口普查的几个社会经济变量在此级别可用，如失业率、高中毕业生、工人、中位收入、社会不利指数（也称为FDep，法国剥夺指数）和EDI（生态剥夺指数）。 这些不同变量提供居住个体社会地位的生态（相对于个体）度量；
• 呼叫原因，由MDA根据预定义列表定义，但不对应国际分类。 同一呼叫可能报告多个原因；
• 紧急程度（4级），由MDA定义；
• 上门就诊结束日期和时间，由医生在就诊结束时定义
• 会诊诊断，由医生在就诊结束时根据预定义列表定义，但不对应国际分类。 同一会诊可能报告多个原因。
• 就诊结束时患者状态（封闭列表：现场离开、转诊至医院急诊科、呼叫紧急医疗服务）。
• 转诊至医院急诊科的方式（封闭列表：自行前往、救护车、消防部门、SMUR）。
• SO2（医学专家）：

将收集参与实现此目标的医学专家的某些个体数据：年龄、性别、总体从业年限和在SOS Médecins的从业年限、专业。

此外，在阅读患者与ARM之间电话交流转录本后，这些医生将被要求估计患者转诊至医院的概率。

他们将回答两个问题：

• 该患者在SOS医生就诊后住院的概率是多少？ 通过在0（无住院）至100（住院）的尺度上标记十字回答。
• 您对此概率的确定性如何？ 通过在0（无确定性）至100（完全确定性）的尺度上标记十字回答。

研究干预描述 本研究中无干预，严格为观察性研究。

尽管如此，我们在此描述为完成SO2和SO4将开展的工作组织。

• SO2（医学专家）：

为比较分诊模型与医学专家对医院使用的预测，将自愿招募在SOS Médecins Grand Paris拥有超过五年经验的医生。 每位医生将被要求估计多个患者/呼叫的医院使用概率（见§4.2.5. 数据收集）。

- SO4（真实条件）：将组建一个由统计学家、计算机工程师、MDA、SOS医生和工效学研究人员组成的工作组，考虑向MDA提供医院使用概率的最佳方式。 需要解决几个问题：概率如何在屏幕上显示、概率阈值、是否应将呼叫转至调度医生（如果是，在何阈值）、概率对MDA定义的呼叫紧急程度的影响，以及优先处理某些紧急请求的可能性。 在初次工作会议后，将实施一个版本供志愿MDA使用。 在真实条件下初步使用后，将收集反馈并进行新实验。 最后，将起草真实条件下实施的规范（说明所做选择的原因），以便分诊模型可在不同IT平台上实施。

统计分析 6.1. 受试者数量计算 - PO（前瞻性验证）：为证明前瞻性数据的AROC与回顾性数据的ROC不同，如果分别观察到0.75和0.80的AROC，假设α风险为5%、功效为90%、双尾检验，每个样本需要13,560名患者/呼叫（即407名将转诊至医院的患者和13,153名不会转诊的患者，符合SOS Médecins Grand Paris观察到的3%转诊率）。 此结果使用Stata统计软件的power tworoc函数获得。

- SO1（外部验证）：根据与OP相同的计算，需要在科西嘉岛Ajaccio动员13,560名患者的样本。

- SO2（专家医生）：虽然所有其他分析将基于代表性样本，但此分析将基于平衡样本（即由50%将转诊至医院的患者和50%不会转诊的患者组成），原因有二。 由于低转诊率（3%）和每位专家医生评估的呼叫数量有限，医生确保良好性能的可能策略是永不转诊患者至医院。 此外，代表性样本不允许研究假阴性（估计住院概率低但实际将住院的患者），因为数量太少。

为突出分诊模型与专家医生之间正确预测率的差异，假设分诊模型和专家医生的正确预测率分别为58%（见附录§12.2确定此率）和68%（先验选择增加10个百分点），α风险为5%、功效为80%、双尾检验（Stat的power twoproportions函数），需要365名使用医院服务的患者呼叫（及相同数量的不使用医院服务的患者）。

基于每5分钟评估一个呼叫，总共需要61小时医学专家时间。 基于每位医生4小时工作，这对应于需要招募16名医学专家。

- SO3（歧视）：根据与PO相同的计算，如果想显示分诊模型在男性和女性之间AROC的差异，需要动员每种性别13,560名患者的样本。 致电SOS Médecins Grand Paris的人群性别比接近1。 将使用来自PO的SOS Médecins Grand Paris的回顾性和前瞻性样本。

6.2. 使用的统计分析描述 研究将按照TRIPOD-AI建议进行，这些是报告预后和诊断研究（特别是AI）的指南。

6.2.1. 纳入分析个体的选择 对于所有目标，纳入分析的个体选择将基于整年随机抽取。 这将覆盖一天中的所有小时、一周中的所有天和一年中的所有月。 对于SO3，非代表性样本将包含50%转诊至医院的患者。

6.2.2. 描述性统计 将对所有收集的变量进行描述性分析。 定量变量将使用均值、中位数、标准差、95%置信区间、四分位距、最小值、最大值、缺失值数量和不适用值数量描述。 定量变量将使用百分比和95%置信区间描述。 将呈现呼叫与就诊结束之间的时间间隔。 这些分析将在所有样本上进行，并按医院使用情况分层。

6.2.3. 主要终点分析 我们首先介绍将用于各种目的的通用分析策略。

为评估不同分诊系统（AI和医学专家）在不同患者样本（前瞻性或回顾性，在巴黎或科西嘉岛Ajaccio）上的性能，将绘制ROC和精确召回（PR）曲线，并估计这些曲线下面积（AROC和APR）。 AROC允许我们衡量分类系统的整体性能。 还将使用APR，因为它在评估不平衡数据集上的二元分类器时特别有用，其中阴性结果数量远超过阳性结果数量（符合我们的情况）。 为比较两个分诊系统（例如AI和医学专家）或同一分诊系统（例如AI）在两个不同人群（例如巴黎和科西嘉岛Ajaccio）上的表现，将比较它们的AROC。

此外，为从操作角度有意义地评估性能，将计算不同阈值下的灵敏度（Sen）、特异度（Spe）、阳性预测值（PPV）和阴性预测值（NPV）。

- PO（前瞻性有效性）：AI分诊模型的通用分析策略将在两个代表性样本上进行，一个来自SOS Médecin Grand Paris的回顾性样本（2023年及更早）和一个前瞻性样本（2024年）。

6.2.4. 次要终点分析

- SO1（外部有效性）：AI分诊模型的通用分析策略将在两个代表性回顾性样本上进行，来自SOS Médecin Grand Paris和科西嘉岛Ajaccio。

- SO2（专家医生）：将使用统计检验比较两个分诊系统（AI和专家医生）的正确预测率。

在更探索性的基础上：

- 将计算两个分诊系统的AROC（通用分析策略）。

- 将基于实际医院使用和患者特征建模两个分诊系统之间的预测差异。

- 将计算两个预测之间的加权kappa系数。

- 将基于医学专家报告的确定性水平（特别是高和低确定性水平）进行敏感性分析；

• 将进行实际医院使用的分层分析（研究真阳性和真阴性）。

在可能的情况下，分析将考虑同一医学专家可能检查了多个呼叫/患者的事实。

• SO3（歧视）：

将根据以下社会特征调查歧视：年龄、性别和社会地位（基于就诊地点人口普查区的社会经济特征估计）。 年龄和社会地位的生态变量将使用三分位数和五分位数形式。 将进行AI分诊模型在SOS Médecin Grand Paris代表性样本上根据上述社会特征分层的通用分析策略。 AROC的比较将确定分诊是否根据上述社会特征同等有效。

此外，还将使用单变量然后多变量逻辑模型比较根据上述特征的成功（真阳性和真阴性联合及单独）情况。 这些分析将针对不同风险阈值进行。

- SO4（真实条件） 在同事讨论和全面测试后，将起草真实条件下实施的规范，以便分诊模型可在不同IT平台上实施。 所做选择的基本原理将在这些规范中说明。