四个LLM在临床实践中的开放性安全性和比较功效

OpenIfcente是一种由5月诊所平台加速[OpenIvence]构建的在线工具，该工具汇总并合成了同行评审的医学研究中的数据，然后使用生成AI对用户的问题产生回答。 虽然当今许多临床医生（包括居民）正在使用它，但几乎没有关于该工具的输出是否准确以及该信息是否适当地为临床决策做出的数据。 同样，许多临床医生正在转向其他大型语言模型（LLM），以帮助提供临床护理时决策。

OpenIvence是一种在线工具，旨在从同行评审的临床研究中汇总和合成数据，随后通过应用AI的应用对用户查询产生响应。 尽管经验丰富的临床医生和学员都越来越多地使用，但仍有明显缺乏有关该工具产出的准确性的数据，它们在适当地告知临床决策方面的安全性和功效。 同时，越来越多的临床医生正在利用其他公开提供的大型语言模型（LLMS）来支持临床护理中的决策。 尽管许多研究研究了LLM对医疗委员会问题或临床小插曲的反应的准确性，但对它们在现实世界中的临床环境的表现的研究有限，甚至更少的研究提供了对此表现的比较分析。

在对文献的综述中，一篇文章表明，LLM在检测焦虑方面可能比从业者更好，但这是基于临床小插曲。 [Levkovich等人]另一种研究了结构化问卷中使用患者报告的结果指标来研究LLM的诊断敏感性。 [Pagano等人] 比较肿瘤学LLM的另一项研究还使用了虚构的小插曲。 [Benary等人] 使用临床小插图的随机对照试验没有显示出可以使用LLM的提供商的任何临床改进。 [Goh等人] 一项案例研究探索了Chatgpt 3.5的整合到每日回合中，并定性地评估了其使用，但没有将其与其他LLM或Gold Standard参考工具进行比较。 [Skryd等人]另一个比较了Chatgpt对美国放射学院适当性乳腺疼痛和乳腺癌筛查标准的反应，但又没有将其与其他LLM进行比较。 [Rao等人] 在我们的评论中，只有一项研究在现实世界中评估了LLM的临床环境。 这是一系列论文，研究了它们在乳腺癌护理中的复杂决策，使用少数实际情况和标准化的及时模板。 [Griewing，Knitza等人； Grewing，Gremke等。] 该研究发现，准确性的一致性和恶化（尤其是GPT 3.5）的问题，导致作者得出结论，在出版时，llm的临床使用为此目的尚不可行。 尽管如此，卫生系统领导者仍然看到了这些工具在临床实践中迅速加速的使用。 因此，调查人员认为，必须研究他们的安全性和临床医生使用的决定的临床适当性。

剑桥卫生联盟（CHA）是波士顿地区的公共学术安全网卫生系统，为多样化的患者服务。 CHA具有强大的初级保健和门诊精神病学足迹，并通过哈佛医学院和塔夫茨大学医学院支持大型研究生医学教育计划。 研究人员选择居民为我们的主要研究参与者，因为许多学员已经在使用开放式，并发现如果可以访问CHA的工具，则更激励他们参与研究（否则该工具被网络服务列入了黑名单，并由政策禁止，直到可以确定这项研究的结果）。

研究结果如下：

确定在社区健康环境中，在临床实践过程中，居民的使用是否会导致居民在临床上做出适当的决定。

确定开放式传播的产出与其他三种常用的，公开可用的大语言模型（OpenAI的Chatppt，人类的Claude和Google的Gemini）的准确性，完整性和偏见在解决临床问题时在社区健康环境中的临床实践中有所了解。

方法：

计划在6个月内进行数据收集，以最大程度地减少研究期间供应商版本的升级。 居民由专业分组为“医学”（内科/家庭医学）和“精神病学”（成人/儿童精神病学）。 为了简化与适当的专业主题专家的匹配，要求医学居民仅用于成人初级保健案件（不包括与OB/GYN相关的问题）。 精神病学居民仅用于成人精神病学病例。

在被接受为参与者之前，都要求学员同意以下内容：

• 交叉检查针对研究方案中定义的黄金标准工具的任何开放式查询，包括PubMed，Uptodate，Dynamed，临床专业社会指南或其他类似的临床参考来源，必须记录在研究形式中。
• 不将任何个人健康信息（PHI）输入OpenIvence（如下定义）。
• 如果适合患者的临床护理，则尝试每周至少3次使用开放式传播。
• 将100％的开放性查询记录到研究表中，以避免选择偏见。

在数据收集开始之前，所有居民将在及时的医疗保健中进行简短的培训。 标准化的提示将不使用，因为该研究的子目标之一是了解居民在现实世界中提交的Queries类型。

所有居民将接受有关PHI的定义的教育，如下所示：

查询不应包括安全港标识符[HHS]所定义的任何PHI；查询可以包括年龄（儿科的天数/周/月）和法律性行为的患者年龄；对于89岁或以上的患者，用户必须使用“超过89岁”一词来遵守安全港标准。

查询不应包括涉嫌患有极少数罕见疾病的患者，因为这些疾病也很容易重新识别[NORD]。 如果最初没有怀疑罕见的条件，而是通过使用AI工具的研究过程被怀疑，则将要求用户停止其查询。

数据收集将涉及在CHA的企业Google Google Workspace中使用符合HIPAA的Google形式，用于健康云基础架构。 数据收集表将询问受训者以下操作：

1. 输入他们的最初临床问题。
2. 粘贴其开放式提示（按迭代提示依次编号）和生成的完整开放向导输出。
3. 根据开放式输出输入他们的临床结论。
4. 输入使用的金标准参考工具。
5. 根据OpenIvence和Gold Standard参考工具的信息，根据信息列出他们的最终临床结论。
6. 回答一个问题，以通过黄金标准参考来修改其最初的临床结论的程度。
7. 回答一个开放式问题，以了解他们是否注意到OpenICES的产出中的任何临床安全问题，不准确或偏见。

查询将通过专业（医学与精神病学）进行分类，每个查询都将收到一个顺序研究编号。

招募了内科医学，家庭医学或精神病学认证的医师主题专家（SMES）董事会，并至少拥有5年的培训后临床经验。 基于Malcolm Gladwell在他的书《 Outliers》中断言需要10,000个小时的专注实践来实现领域的专业知识，因此选择了五年的培训后临床经验。

仅根据开放态度，将要求中小企业评估居民的最初临床问题及其结论。 他们将被要求以10点李克特量表对这些结论的临床适当性进行评分。 SME还将为每个查询提供开放式进气输出，以及中小企业对居民结论的临床适当性的评价很差（<5/5/10），还会提出SME的临床适当性，以便将SME提出一个后续问题，以评估该工具的输出本身是否提供了临床上不适当的反应，以确定培训人员是否可以误解了该工具的输出。 中小型企业审查将包括审阅者之间的2.5-5％重叠，以计算Kappa分数的互置可靠性。

在研究的第二部分中，研究团队将对主题进行开放介绍查询，并从每个专业和主题中选择随机抽样，以进行LLM之间的比较。 研究小组确认，根据研究方案，提示不包括任何PHI。 然后，他们将复制居民输入的开放式提示以获取所选查询，并将其精确粘贴到Chatgpt，Gemini和Claude中。

Google WebForm中将浮出四个工具（开放式，Chatgpt，Gemini和Claude）的输出。 将要求中小企业以李克特量表的准确性，完整性和偏见来对每个输出进行评分，并回答一个定性问题，以识别输出中的任何患者安全问题。

结果：

主要结果结果将如下报告：

居民使用OpenIvence（平均SD，中位数）做出的决策的临床适当性，专业

• 如果在临床适当性较低的情况下，中小型企业确定这不是由于工具的输出而导致的，而是由于居民对工具的解释，则还将提供指标
• 间信性（Kappa值）

次要结果结果将如下报告：

对于每个专业和每个变量（准确，完整性和偏见），调查人员将报告：

• 每个LLM的“胜利”率和第二名得分的平均利润。
• 使用Cohen D测试的效果大小（使用每个LLM作为单独的参考）。
• 间信性（Kappa值）