人工智能解读胎儿超声心动图 (LIFE)

介绍：

在世界范围内，先天性心脏病 (CHD) 是最常见的胎儿畸形。 先天性心脏病的发病率似乎约为每 100 个活产婴儿中就有 1 个，而在足月前死亡的婴儿中甚至更高 (1)。 胎儿超声心动图 (FE) 已经从仅仅描述心脏的解剖异常演变为对其功能、尺寸和形状的定量评估 (2)。 目前，FE 由超声医师在妊娠中期调查期间手动执行。 然而，只有一半在一岁内接受手术的婴儿进行了产前检测 (3)，这说明需要改进胎儿心脏评估。 许多研究表明，通过手动 FE 获得的 CHD 产前和产后诊断之间存在显着差异 (4, 5)。

智能决策支持系统 (IS) 是能够收集和分析数据、与其他系统通信、从经验中学习并根据新情况进行调整的框架。 从技术上讲，IS 是先进的机器，可以使用人工智能 (AI) (6) 观察和响应它们所接触的环境。 该项目旨在促进 FE 和 IS 的交叉融合，这将为开发新的基础理论和实践方法提供巨大的潜力，这些理论和实践方法超越所涉及学科的界限，并产生有助于医学实践和发现的新的有影响力的方法。

方法与分析：

要进行的研究是一项横断面研究，分为两个独立的部分：建议框架内机器学习方法的训练部分，以及对先前未见过的帧和最终实际视频扫描的测试阶段。 所有第一和第二个三个月的孕妇都被认为有资格参加这项研究。 孕妇将在怀孕 12-13+6 周（用于妊娠早期异常扫描）和/或妊娠 18-24 周（用于妊娠中期异常扫描）之间首次接受常规超声检查和监测. 每个胎儿心脏的二维评估将包括从四腔视图平面获得的电影循环扫描，方法是将换能器沿颅骨方向移向上纵隔，从而实现以下平面的可视化：四腔视图，左侧和右侧心室流出道、三支血管和气管观。 从美国设备保存的所有视频文件都将收集到云端。 OB-GYN/Cardio (OBC) 部门将每次超声扫描分成多个帧。 数据科学/IT 部门 (DSIT) 将处理框架以遵守匿名化规定。 对于关键特征识别，这些帧将由 OBC 分组到代表每个三个月的平面视图的类中。 DSIT 将在具有平面视图的数据集上尝试不同的最先进的 DL 预训练算法。 所有近期的DL词条都将在当前的关键视图识别和语义分割两个场景上进行裁剪和测试。 他们的表现结果（他们对 OBC 标记的真实情况的预测）将通过统计测试进行比较分析。 由于系统最终将在视频上执行，因此在对方法进行排名时将考虑准确度-速度平衡。 一旦新视频在实践中可用，为相应任务选择的模型将突出视频上的关键特征或分割区域，并为其识别提供一定程度的置信度。 OBC 医生将在帧级别验证所有中间发现，以及视频标记和分割的意义。 将比较模型在同一患者的第一和第二个三个月视频上的结果，以评估差异。

AI（人工智能）分析

数据库建设：

用于 AI 分析的数据集将根据从顶平面拍摄的超声扫描中提取的图像构建。 因此，考虑了与给定关键视图相对应的四个类别的分类问题。 指定了一个附加的 Other 类，并使用来自扫描的其他不重要帧的图像进行填充。

胎儿心脏扫描的图像预处理：

第一步是通过将图像转换为灰度并应用阈值来执行提取。 这样，背景噪声就被丢弃了。 为了消除图像中感兴趣区域和其他区域之间的小桥，使用 10x10 像素内核应用腐蚀。 侵蚀后，除了感兴趣的区域外，图像中可能会出现几个较小的“岛屿”。 感兴趣区有两个区别于其他岛屿的属性：它总是覆盖图像的中心区域，并且它具有最高的面积。 为了消除不相关的岛屿，首先识别覆盖图像中心区域的点，然后选择表面覆盖率最高的点。 检测到的点被填充，然后通过应用膨胀算法恢复尺寸，使用相同的 10x10 像素内核。 为了防止丢失膨胀点周围的精细细节，绘制并填充了其凸包。 最后，将生成的点用作掩模，从原始图像中提取感兴趣的区域。

实验结果：

考虑了数据收集的三种变体：原始双面（标准 + 多普勒）样本、多普勒单一裁剪以及结果标准和多普勒裁剪的合并图像对。

具有相似设置的 ResNet18 和 ResNet50 架构依次应用于每个数据集，以评估初步处理的适用性。

由于具有裁剪图像的数据集合包含来自所有初始图像的代表，因此所有集合每个类别的项目和结构数量相同，训练、验证和测试分离也是如此。 对于客观评估，从患者身上提取的所有图像都位于数据集的同一分离范围内，即训练、验证或测试。 即使在不同时刻为患者制作了多个视频文件（例如， 间隔数周）及时。

图像大小调整为 224 × 224 像素。 使用 1cycle 策略并使用 fastai 和 PyTorch 库实现。 初始模型权重是通过迁移学习获得的，在 ImageNet 数据集上进行了预训练。 使用数据扩充的默认选项。 训练过程涉及 2 个步骤，每个步骤仅包含 10 个 epoch。 在第一次训练中，除了批量归一化层和模型头部外，所有层都被冻结。 它的选择控制着网络的权重如何根据损失梯度进行调整，选择一个合适的值对于使模型收敛到局部最小值是必不可少的，从而在更小的时期内达到更高的精度。 批量大小等于 32。 将在验证数据上达到最高准确度的模型应用于测试集。 对于 2 种架构中的每一种和每个单独的数据集，重复应用 5 次，每个案例的报告结果计算为 5 次结果的平均值。 这些运行是在 Google Colab 中进行的，GPU 使用 Tesla T4。 B. 成功的梯度类激活图 (Grad-CAM) 方法用于概述模型对每个数据集的主动脉和其他标记的决策。 这些图源自为每个不同的（架构、数据集）设置计算的 5 次运行。