多模态医学影像大模型的构建与验证研究
随着医学影像、电子健康档案（EHR）等多模态临床数据的积累，如何高效利用多源信息实现精准诊断与智能决策已成为医疗人工智能（AI）的核心方向。 传统单模态算法虽在特定任务中取得成果，但无法建模影像、文本与实验室数据间的语义关联，导致诊断结果稳定性不足、可解释性有限，难以满足复杂临床场景的综合决策需求。
近年来，多模态大模型在自然图像与通用视觉-语言任务中展现出优异的跨模态理解与知识迁移能力，为医疗AI提供了新范式。 然而，其直接应用于医疗场景仍面临挑战：其一，医疗语义体系与通用语言模型差异显著，制约疾病特征与影像细节的精准表征；其二，医学数据中病灶形态复杂、样本分布不均，增加了模型泛化难度；其三，临床数据涉及隐私，数据安全与伦理合规是研究的前提条件。
医疗多模态大模型研究旨在融合多源异构医疗数据，建立统一的语义表征与推理机制，实现从疾病识别到病灶定位的全流程智能分析。 该方法不仅能提升临床诊断效率与准确性，还可为医生提供可解释、可追溯的辅助决策支持，具有广阔应用前景。
本研究基于医院临床数据资源与研究团队算法基础，拟构建面向医学影像诊断的多模态大模型系统，实现从多模态信息融合到诊断报告生成的闭环智能分析。 研究将严格遵循医学伦理规范，保障患者知情权、隐私权与数据安全。 项目正式启动前须通过伦理审查，并遵守相关规定，确保科研与伦理的统一性，为后续临床验证与推广奠定合规基础。
研究概览
详细说明
随着医学影像、电子健康记录（EHR）以及多模态临床数据的持续积累，如何高效利用多源医疗信息实现精准诊断与智能决策，已成为医疗人工智能（AI）发展的核心方向。 尽管传统单模态算法（例如仅基于CT、MRI或超声图像的模型）在特定任务中取得了一定成果，但其无法建模影像、文本与实验室数据间的语义关联，常导致诊断结果的稳定性不足与可解释性受限，难以满足复杂临床场景的综合决策需求。
近年来，多模态大语言模型（MLLMs）在自然图像处理与通用视觉-语言任务中展现出卓越的跨模态理解与知识迁移能力，为医疗AI提供了新的技术范式。 然而，此类模型在医疗场景中的直接应用仍面临多重挑战：首先，医疗语义体系与通用语言模型存在显著差异，阻碍疾病特征与影像细节的准确表征；其次，医疗数据中病灶形态复杂与样本分布不均，增加了模型泛化的难度；第三，临床数据涉及隐私敏感信息，数据安全与伦理合规成为研究的前提条件。
医疗多模态大模型研究旨在综合利用多源异构数据——如医学影像（例如CT、MRI、X光）、电子健康记录与实验室报告——建立统一的语义表征与推理机制，实现涵盖疾病识别、病灶定位、报告生成与疾病进展预测的端到端智能分析。 该研究方向不仅有助于提升临床诊断的效率与准确性，还能为临床医生提供可解释、可追溯的辅助决策支持，具有广阔的临床应用前景。
基于医院丰富的临床数据资源与研究团队的算法开发基础，本研究拟构建面向医学影像诊断的多模态大模型系统，实现从多模态信息融合到诊断报告生成的闭环智能分析流程。
在研究实施过程中，将严格遵循医学伦理规范，充分保障患者的知情同意权、隐私权与数据安全。 为确保研究设计的科学性与合规性，本项目须在正式启动前通过伦理审查。 依据《赫尔辛基宣言》《涉及人的健康相关研究国际伦理准则》《涉及人的生命科学和医学研究伦理审查办法》等相关规定，我们将实现科学研究与伦理原则的有机融合，为后续临床验证与应用推广奠定合规基础。
研究类型
注册 (估计的)
联系人和位置
学习联系方式
- 姓名：ding yuan, doctor
- 电话号码：+86 18858101960
- 邮箱：dingyuan@zju.edu.cn
参与标准
资格标准
适合学习的年龄
- 成人
- 年长者
接受健康志愿者
取样方法
研究人群
研究人群由符合预设纳入标准且无任何排除标准的成年患者组成。
在纳入要求方面，符合条件的患者年龄为18岁或以上，并在研究期间于医院接受了包括计算机断层扫描（CT）、磁共振成像（MRI）或超声在内的影像学检查。 检查项目需针对肝胆胰系统，这是本研究的重点。 所有入组患者需至少具备完整的影像学数据和放射学诊断报告，相关病历信息作为补充手段。 此外，必须获得患者本人或其法定代表人的书面知情同意，同意将患者的去标识化数据用于科研模型的验证。 最后，所选患者的所有病例数据必须通过严格的质
描述
纳入标准：
- 年龄≥18岁的成年患者。
- 在研究期间于本院接受影像学检查（CT、MRI、超声等）的患者。
- 检查项目符合本研究关注的疾病类型或系统（肝胆胰系统）。
- 至少拥有完整的影像资料、放射诊断报告，并附有相关病历信息作为补充方式。
- 患者及其法定代表已签署知情同意书，同意将其去标识化数据用于科学研究模型验证。
排除标准：
- 拒绝签署知情同意书的患者。
- 因严重运动伪影、扫描不完整或设备异常导致图像无法评估的病例。
- 临床资料严重缺失或与影像数据无法匹配的病例。
- 存在特殊病理状况或术后状态（如广泛切除、放疗后结构显著改变）影响模型分析一致性的病例。
- 具有隐私保护或法律风险的数据样本。
学习计划
研究是如何设计的？
设计细节
队列和干预
团体/队列 |
|---|
|
第一组：本研究招募了年龄≥18岁并接受影像学检查（包括
|
研究衡量的是什么？
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
疾病诊断任务
大体时间：从入组到3天诊断结束
|
主要结局指标为多模态影像诊断模型在识别和分类目标疾病方面的准确性与可靠性，并与资深放射科医生临床诊断的金标准进行比较。
|
从入组到3天诊断结束
|
|
病变定位与分割任务
大体时间：从入组到诊断结束最长3天
|
它包括模型在病灶精确定位、轮廓分割和定量测量方面的性能，通过Dice相似系数、IoU和定位误差进行评估。
|
从入组到诊断结束最长3天
|
|
诊断报告生成任务
大体时间：从入组到诊断结束最多3天
|
它评估自动生成的放射学报告相对于人工报告在临床有效性、完整性、一致性和可读性方面的表现。
|
从入组到诊断结束最多3天
|
合作者和调查者
研究记录日期
研究主要日期
学习开始 (估计的)
初级完成 (估计的)
研究完成 (估计的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
与本研究相关的术语
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)？
IPD 计划说明
本研究决定不共享个体参与者数据（IPD），主要基于伦理、隐私保护、法律合规性考虑，以及所涉及研究数据的固有特性。
首先，本研究的核心数据包括去标识化的影像资料、放射诊断报告及相关患者病历，这些信息与个人健康信息紧密相关。尽管在数据收集和整理过程中实施了去标识化程序，但若数据在无严格限制的情况下共享，仍存在重新识别个体参与者的潜在风险。此类风险将违反相关隐私保护法律法规的规定，以及患者及其法定代表签署的知情同意书。需要强调的是，知情同意书明确规定了参与者的去标识化数据仅用于
药物和器械信息、研究文件
研究美国 FDA 监管的药品
研究美国 FDA 监管的设备产品
此信息直接从 clinicaltrials.gov 网站检索，没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求，请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改，我们的网站上也会自动更新.