Carebot AI MMG在乳腺X线摄影筛查中的诊断准确性:多中心MRMC研究 (CARE-MMG-MRMC)
Carebot AI MMG 对比放射科医师在乳腺癌筛查中使用二维全视野数字乳腺X线摄影的多中心、多读者、多病例回顾性诊断准确性研究
本研究评估Carebot AI MMG(一种用于评估乳腺X线摄影的人工智能(AI)医疗设备)的诊断性能。 该软件分析标准全视野数字乳腺X线摄影(FFDM)图像,并将每次检查分类为无可疑发现(“低风险”)、可能良性肿块(“中风险”)或可疑恶性肿块(“高风险”)。
该研究为回顾性观察性研究。 它使用来自四个筛查中心的匿名乳腺X线摄影检查数据,无需额外影像或与患者接触。 三位经验丰富的乳腺放射科医生独立读取同一组病例,其评估被用作人工基准。 基于组织病理学的参考标准,辅以放射科医生共识和阴性病例的随访信息,用于确定是否存在癌症。
主要目标是比较AI系统与人类放射科医生在检测乳腺癌方面的敏感性和特异性,并评估AI在两个预定义操作点上是否能达到非劣效性能:一个倾向于更高的敏感性和阴性预测值(排除),另一个倾向于更高的特异性和阳性预测值(纳入)。
研究概览
详细说明
设计与设置 这是一项关于Carebot AI MMG的回顾性、多中心、多阅片者、多病例(MRMC)诊断准确性研究,基于常规乳腺癌筛查中获取的匿名化二维全视野数字乳腺X线摄影(FFDM)检查数据。乳腺X线摄影图像在特定时间段内从四个筛查中心收集。本研究未进行额外成像检查,也未联系任何受试者。
数据来源与人群 源数据集包含4,729例32至88岁女性(平均年龄约57岁)的筛查乳腺X线摄影检查。仅纳入具有完整标准投照体位(LCC、RCC、LMLO、RMLO)的二维FFDM研究。排除了序列不完整、DICOM文件不可读或损坏、关键元数据缺失或不一致的检查,以及断层合成(DBT)研究、男性和18岁以下女性。为确保性能估计的足够精确度,数据集通过额外活检证实的癌症病例进行了富集。最终分析子集包含222例检查,包括48例恶性和174例非恶性研究,涵盖三种乳腺X线摄影设备(Hologic Selenia Dimensions、Hologic Lorad Selenia、Fujifilm FDR-3000AWS)。
研究设备与对照 研究设备为Carebot AI MMG(软件版本2.9,深度学习模型v2.3),这是一个独立的AI系统,可分析二维FFDM检查,并输出病例级别的三类分类结果及内部风险评分。评估两个预设操作点:高灵敏度(HSe)阈值(将良性和恶性肿块均视为“阳性”,即排除设置)和高特异性(HSp)阈值(仅将恶性肿块计为“阳性”,即纳入设置)。
作为人类对照,三位经验丰富的放射科医师(RAD 1-3)使用集成标注应用的专用DICOM查看器,独立阅读相同的匿名化研究。放射科医师对AI输出、临床信息和结果设盲,并记录病例级别的相同三类分类(阴性/良性/恶性)。在主要分析中,他们的二元决策采用相同的HSe和HSp规则推导。此外,通过自助法框架(20,000次迭代)重复抽样每位放射科医师的每例决策,构建“随机阅片者”基准以评估平衡准确度。
参考标准 参考标准在研究层面确立。若在与索引乳腺X线摄影时间相关的活检中经组织病理学证实为乳腺癌,则病例标记为“恶性”。若两位本地放射科医师一致认为发现为阴性或稳定良性(通常通过至少2年的影像随访证实),则病例标记为“非恶性”。本分析未使用肿瘤分期(如TNM)。参与中心的所有48例恶性病例均包含在分析子集中;未排除任何癌症阳性检查。
目标与终点 主要目标为:(1)证明Carebot AI MMG在HSe和HSp操作点的平衡准确度(BA)均不低于0.80;(2)证明AI的平衡准确度与MRMC“随机阅片者”基准相比具有非劣效性,非劣效界值为0.05;(3)证明AI在HSe和HSp操作点的灵敏度(Se)与三位放射科医师各自相比均具有非劣效性,非劣效界值为0.07。次要目标为描述特异性(Sp)、阳性预测值(PPV)、阴性预测值(NPV),并表征假阴性和假阳性决策的模式及其对临床风险管理的潜在影响。
统计分析 在HSe和HSp操作点,计算Carebot AI MMG和每位放射科医师在病例层面的诊断性能指标(Se、Sp、PPV、NPV、BA)。比例使用Wilson 95%置信区间。使用配对McNemar检验比较AI与个体阅片者在Se和Sp方面的差异。对于平衡准确度,采用MRMC自助法程序(20,000次迭代)构建随机阅片者分布,并估计BA_AI大于或等于BA_random减去预设界值的概率。使用Nam-Blackwelder型框架基于不一致配对评估灵敏度的非劣效性。对假阴性和假阳性病例进行定性审查,重点关注病变显著性、乳腺密度和典型错误模式(如致密实质、胸肌附近病变、良性血管结构、不对称性)。
风险、伦理与数据保护 本研究为非干预性、完全回顾性研究。所有乳腺X线摄影检查均作为研究前常规护理的一部分获取,所有DICOM数据在传输至申办方前已根据GDPR和适用国家法律在现场层面进行不可逆匿名化处理。无额外辐射暴露或患者接触,预计无不良事件。鉴于该设计,本研究不符合MDR第62条规定的临床研究定义,且无需根据第74(1)条进行事先通知;无需获得个体知情同意。结果旨在支持Carebot AI MMG作为决策支持工具在有组织乳腺X线摄影筛查中的临床评估。
研究类型
注册 (实际的)
联系人和位置
参与标准
资格标准
适合学习的年龄
- 成人
- 年长者
接受健康志愿者
取样方法
研究人群
描述
纳入标准:
- 女性
- 筛查乳腺X光检查时年龄≥18岁
- 具备所有四个标准视图(LCC、RCC、LMLO、RMLO)的筛查全视野数字乳腺X光摄影(FFDM)检查
- 图像质量足够且DICOM元数据完整,允许进行回顾性分析
排除标准:
- 男性
- 年龄<18岁
- 没有相应完整二维FFDM四视图系列的数字化乳腺断层合成(DBT/3D)检查
- 不完整的乳腺X光检查系列(缺少LCC、RCC、LMLO、RMLO中的一个或多个视图)
- 损坏或无法读取的DICOM文件
- 缺少或不一致的关键元数据(例如:侧别、视图、采集日期)
学习计划
研究是如何设计的?
设计细节
队列和干预
团体/队列 |
干预/治疗 |
|---|---|
|
恶性病例
分析亚组中包含经活检证实的乳腺癌女性患者(n = 48)。
每个病例对应一次筛查性全视野数字乳腺X线摄影(FFDM)检查,包含所有四个标准投照体位(左头尾位、右头尾位、左内外斜位、右内外斜位),这些病例是从参与筛查中心回顾性识别出来的。
|
对匿名化二维全场数字乳腺X线摄影(FFDM)检查的回顾性独立人工智能分析。
人工智能系统(Carebot AI MMG,版本2.9)处理现有图像并输出病例级别的风险分类;本研究不涉及额外成像、随机化或患者管理变更。
|
|
非恶性病例
无乳腺癌组织病理学证据的女性,经至少两年影像随访,由两名具有至少2年经验的独立本地放射科医生判定为阴性或稳定良性(n = 174)。
每个病例对应一次筛查性全视野数字乳腺X线摄影检查,包含所有四个标准视图(左头尾位、右头尾位、左内外侧斜位、右内外侧斜位),回顾性选自同一筛查人群。
|
对匿名化二维全场数字乳腺X线摄影(FFDM)检查的回顾性独立人工智能分析。
人工智能系统(Carebot AI MMG,版本2.9)处理现有图像并输出病例级别的风险分类;本研究不涉及额外成像、随机化或患者管理变更。
|
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
Carebot AI MMG 检测恶性与非恶性检查的平衡准确率 (BA)
大体时间:基线(索引乳腺X线检查;检查获取时间为2025年1月1日至2025年11月14日;回顾性评估
|
平衡准确率(BA)定义为将每次乳腺X光检查分类为恶性或非恶性时的敏感性和特异性的平均值。
BA将在AI系统的两个预设操作点进行计算:高敏感性(HSe)设置和高特异性(HSp)设置。
性能将通过95%置信区间进行估计,并与由三位经验丰富的放射科医生构建的多读者基准以及基于bootstrap的“随机读者”参考进行比较。
|
基线(索引乳腺X线检查;检查获取时间为2025年1月1日至2025年11月14日;回顾性评估
|
|
Carebot AI MMG 相对于基于组织病理学的参考标准的灵敏度(Se)
大体时间:基线(索引乳腺X线摄影检查;2025年1月1日至2025年11月14日期间获取的检查;回顾性评估)
|
敏感性定义为AI系统正确分类为阳性的恶性检查比例。
敏感性将在高灵敏度(HSe)和高特异性(HSp)两个操作点进行计算,并使用相同的病例级别金标准,与三位放射科医生各自的敏感性进行两两比较。
|
基线(索引乳腺X线摄影检查;2025年1月1日至2025年11月14日期间获取的检查;回顾性评估)
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
Carebot AI MMG与基于组织病理学的参考标准相比的特异性(Sp)
大体时间:基线(首次乳腺X线摄影检查;检查时间为2025年1月1日至2025年11月14日;回顾性评估)
|
特异性定义为AI系统将非恶性检查正确分类为阴性的比例。
特异性将在高灵敏度(HSe)和高特异性(HSp)两个操作点上进行计算,并与三位放射科医生各自的特异性进行成对比较。
|
基线(首次乳腺X线摄影检查;检查时间为2025年1月1日至2025年11月14日;回顾性评估)
|
|
Carebot AI MMG的阳性预测值(PPV)
大体时间:基线(索引乳腺X线摄影检查;检查获取时间为2025年01月01日至2025年11月14日;回顾性评估)
|
阳性预测值定义为根据参考标准,AI阳性检查中真正恶性的比例。
PPV将在高灵敏度(HSe)和高特异性(HSp)两个操作点报告,并与每位放射科医生的PPV值进行描述性比较。
|
基线(索引乳腺X线摄影检查;检查获取时间为2025年01月01日至2025年11月14日;回顾性评估)
|
|
Carebot AI MMG 的阴性预测值 (NPV)
大体时间:基线(索引乳腺X线摄影检查;检查获取时间介于2025年1月1日至2025年11月14日;回顾性评估)
|
阴性预测值定义为根据参考标准,AI阴性检查结果中真正非恶性的比例。
将报告高敏感性和高特异性操作点的NPV,并描述性地与每位放射科医生的NPV值进行比较。
|
基线(索引乳腺X线摄影检查;检查获取时间介于2025年1月1日至2025年11月14日;回顾性评估)
|
合作者和调查者
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (实际的)
研究完成 (实际的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (估计的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
与本研究相关的术语
其他研究编号
- CB-MMG-02-MC (其他标识符:Carebot s.r.o.)
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)?
IPD 计划说明
药物和器械信息、研究文件
研究美国 FDA 监管的药品
研究美国 FDA 监管的设备产品
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.