开发自然语言处理工具以支持急诊医学临床研究 (NLP-DeVal)

研究的背景和理由

开展急诊医学临床和护理质量评估研究既困难又重要。 这很困难，因为需要治疗的患者数量巨大，而工作人员长期短缺，使得临时数据收集变得不切实际。 这很重要，因为最终，研究使急诊医生和护士能够将他们的实践建立在他们自己独特的环境中获得的证据的基础上，而不是像今天常见的情况那样，在遥远的背景下获得的证据。

弥合研究需求与可靠数据可用性之间差距的唯一方法是直接从急诊科的电子健康记录 (EHR) 中提取数据，从而避免专门且耗时的数据收集。 然而，这是一项艰巨的任务，因为最有用的信息是自由文本格式的（例如，体征和症状的存在、疑似和确诊的诊断、病史）。 这种情况和需求需要可靠的自然语言处理 (NLP) 工具来从自由文本中获取高度一致的数据。

如今，大规模语言模型可以准确解释自然语言。 然而，这些模型是根据主要来自互联网的大量常识进行训练的，因此它们在更专业的领域（例如医学领域）的性能可能不是最佳的。

本研究是一个名为 eCREAM（促进急诊和急症护理医学临床研究）的大型项目的一部分，旨在开发和验证六种语言的语言模型（称为 eCREAM_LM），该模型可以解释急诊科 EHR 的内容和提取相关信息用于研究目的。

方法

该研究是一项为期 24 个月的观察性、多中心、回顾性研究。 30 个中心将参与这项研究：13 个来自意大利，4 个来自波兰，3 个来自希腊、斯洛伐克、斯洛文尼亚和英国，1 个来自瑞士。 这些中心不会获得任何补偿，但其费用将由项目资金支付。

eCREAM_LM 模型的开发和验证。

eCREAM_LM 将通过对开源模型中最佳整体模型的训练和微调来开发，并将以部分并行的阶段进行。 候选模型将接触到来自科学文献或其他公共来源的大量（数十亿）医学文本。 同时，模型还将接触到从参与医院使用的医疗记录中获得的大量（数百万）免费文本注释。 然后，我们将继续进行微调，将再次使用从参与中心的医疗记录中获得的大量（数千）临床记录。 这些注释将由经验丰富的医生进行注释，其中包括从注释中提取信息以填写虚拟数据收集表格 (vCRF) 中列出的数据项。 vCRF 是为相关研究创建的，包含一组可用于预测呼吸困难或短暂意识丧失患者住院治疗的变量，这是相关研究的目标。 在当前的研究中，vCRF 将作为验证语言模型的工具。

eCREAM_LM 的验证将使用一组 1,000 个临床记录进行，如上所述进行注释，但不在开发阶段使用。 这些注释将提交给 eCREAM_LM 模型，并执行编译 vCRF 的任务。 专家医师和 eCREAM_LM 填写 vCRF 的一致性将作为 eCREAM_LM 最终验证的衡量标准。

数据收集和匿名化

每家参与的医院将提供 2021 年至 2023 年间接受治疗的 150-300,000 名成年患者的病历中包含的免费文本注释。 涉及同一患者不同方面的注释（例如病史、客观检查、测试结果）将彼此分开，因此无法重建患者的完整档案。 此外，注释中将删除对患者的任何提及（例如名字、姓氏、出生日期）和背景信息（例如医院、到达中心的日期和时间）。 这一过程最大限度地减少了重新识别患者的可能性，并最大限度地保护了他们的权利。 在数据库中重新识别患者的可能性取决于他或她的特征与数据库中其他个体的独特程度。 拥有独特且可识别的患者的可能性随着数据库中可用信息量的增加而增加，并随着数据库大小的增加而减少。 通过从临床记录中删除所有个人和上下文信息并将每个记录与其他记录分开，每个记录将仅报告患者的一些特征。 此外，从同一国家的医院收集的数据将被合并，以便每种语言都有一个大型数据库。 这有效地消除了从笔记中可以唯一识别个人的可能性。

最后，为了排除笔记中包含第三方信息的可能性，例如患者亲属的姓名和电话号码，每家医院都将安装经过认证的匿名软件，专门用于从自由文本中删除个人数据。

一旦匿名化，数据将集中进行分析，同时也会上传到科学界主要的欧洲语言资源共享平台。

统计分析

在 eCREAM_LM 验证中，我们将评估专家急诊医师与 eCREAM_LM 本身在填写 vCRF 时的一致性。 该数据将涉及每种学习语言的 1,000 个笔记样本。 将使用 Cohen 的 κ 作为一致性度量来评估 vCRF 每个变量的一致性。 如果 Cohen 的 κ 大于 0.75，则 eCREAM_LM 将被视为有效。

样本量

假设 eCREAM_LM 和经验丰富的急诊医生在完成 vCRF 时达成了良好的协议 (κ=0.80)，则需要至少 735 个注释的样本才能达到足够的精度以保证良好的协议（95% 置信区间的置信下限） Cohen 的 κ 大于 0.75）。 这个数字是在不同场景下获得的最大样本量，涉及每个变量的不同类别数（2到5个）以及样本中类别的不同边际分布，包括平衡分布（例如，5个类别占样本的20%）每个类别中都有）并且结果非常不平衡（例如，5 个类别分别占样本的 1.8%、7.3%、16.4%、29.1% 和 45.5%）。 由于部分笔记中可能缺少感兴趣的信息，因此我们将对 1,000 个笔记进行数据验证评估。