인공지능을 이용한 태아 심초음파 해석 (LIFE)

소개:

전 세계적으로 선천성 심장병(CHD)은 가장 많이 발생하는 태아 기형입니다. 선천성 심장병의 발병률은 출생아 100명당 약 1명으로 보이며 만삭 이전에 사망한 영아의 경우 더 높습니다(1). 태아 심초음파(FE)는 심장의 해부학적 이상에 대한 설명에서 그 기능, 크기 및 모양의 정량적 평가로 발전했습니다(2). 현재 FE는 두 번째 3분기 조사 중에 소노그래퍼가 수동으로 수행합니다. 그러나 생후 1년 이내에 수술을 받는 아기의 절반만이 산전 진단을 받고(3) 태아 심장 평가의 개선이 필요합니다. 많은 연구에서 수동으로 수행한 FE(4, 5)로 얻은 CHD의 출생 전후 진단 사이에 상당한 차이가 있음을 보여주었습니다.

지능형 의사 결정 지원 시스템(IS)은 데이터를 수집 및 분석하고, 다른 시스템과 통신하고, 경험을 통해 배우고, 새로운 사례에 따라 적응할 수 있는 기능을 갖춘 프레임워크입니다. 기술적으로 말하면 IS는 인공 지능(AI)을 사용하여 노출된 환경을 관찰하고 대응하는 고급 기계입니다(6). 이 프로젝트는 FE와 IS의 교차 수정을 촉진하는 것을 목표로 하며, 이는 관련 분야의 경계를 뛰어넘는 새로운 기본 이론과 실용적인 방법을 개발하는 데 막대한 잠재력을 제공하고 의료 행위와 발견을 지원하는 새롭고 영향력 있는 방법으로 이어질 것입니다.

방법 및 분석:

수행할 연구는 제안된 프레임워크 내에서 머신 러닝 접근 방식의 훈련 부분과 이전에 본 적이 없는 프레임과 최종적으로 실제 비디오 스캔에 대한 테스트 단계의 두 부분으로 나누어진 횡단면 연구입니다. 임신 1기 및 2기의 모든 임산부는 연구 대상으로 간주됩니다. 임신부는 임신 12~13+6주 사이(임신 1기 기형 스캔의 경우) 및/또는 임신 18~24주 사이(임신 2기 기형 스캔의 경우)에 처음으로 일상적인 초음파 검사 및 모니터링을 위해 입원합니다. . 각 태아 심장의 2차원 평가에는 트랜스듀서를 상부 종격동을 향해 두개골로 이동하여 4챔버 뷰 평면에서 얻은 시네 루프 스위프가 포함되어 다음 평면을 시각화할 수 있습니다. 4챔버 뷰, 왼쪽 및 오른쪽 심실 유출관, 3개의 혈관 및 기관 보기. 미국 기기에서 저장된 모든 동영상 파일은 클라우드에 수집됩니다. 각 초음파 스윕은 OB-GYN/Cardio(OBC) 부서에서 프레임으로 분할됩니다. 데이터 사이언스/IT 부서(DSIT)는 익명화 규정을 준수하기 위해 프레임을 처리합니다. 주요 기능 식별을 위해 프레임은 OBC에 의해 각 분기의 평면 보기를 나타내는 클래스로 그룹화됩니다. DSIT는 평면 보기가 있는 데이터 세트에 대해 다양한 최첨단 DL 사전 학습 알고리즘을 시도합니다. 최근의 모든 DL 항목은 키 뷰 식별 및 시맨틱 분할의 현재 두 가지 시나리오에서 조정되고 테스트됩니다. 그들의 성능 결과(OBC가 표시한 실측에 대한 예측)는 통계 테스트를 통해 비교 분석됩니다. 정확도-속도 균형은 시스템이 최종적으로 비디오에서 수행되기 때문에 접근 방식의 순위에서 고려됩니다. 새 비디오가 실제로 사용 가능해지면 각 작업에 대해 선택된 모델이 비디오의 핵심 기능 또는 세그먼트 영역을 강조 표시하고 인식에 대한 어느 정도의 신뢰도를 제공합니다. OBC 의사는 비디오 라벨링 및 분할의 의미뿐만 아니라 프레임 수준에서 모든 중간 결과를 검증합니다. 동일한 환자의 임신 1분기 및 2분기 비디오에 대한 모델의 결과를 비교하여 불일치를 평가합니다.

AI(인공지능) 분석

데이터베이스 구축:

AI 분석을 위한 데이터 세트는 정점 평면에서 촬영한 초음파 스캔에서 추출한 이미지로 구성됩니다. 결과적으로 주어진 키 뷰에 해당하는 4개의 범주로 분류 문제를 고려합니다. 추가 기타 클래스가 지정되고 스캔에서 중요하지 않은 다른 프레임의 이미지로 채워집니다.

태아 심장 스캔을 위한 이미지 전처리:

첫 번째 단계는 이미지를 그레이 스케일로 변환하고 임계값을 적용하여 수행되는 추출로 표현됩니다. 이런 식으로 배경 소음이 제거됩니다. 관심 영역과 이미지의 다른 영역 사이의 작은 브리지를 제거하기 위해 10x10 픽셀 커널을 사용하여 침식이 적용됩니다. 침식 후 관심 영역 외에 여러 개의 작은 "섬"이 이미지에 나타날 수 있습니다. 관심 영역에는 나머지 섬과 구별되는 두 가지 속성이 있습니다. 항상 이미지의 중앙 영역을 덮고 영역이 가장 높습니다. 관련 없는 섬을 제거하기 위해 먼저 이미지의 중앙 영역을 덮는 스폿을 식별한 다음 표면 커버리지가 가장 높은 스폿을 선택합니다. 감지된 스폿을 채운 다음 동일한 10x10 픽셀 커널을 사용하여 팽창 알고리즘을 적용하여 차원을 복원합니다. 확장된 부분 주변의 미세한 디테일이 손실되지 않도록 볼록 껍질을 그려서 채웁니다. 결국 생성된 스팟은 마스크로 사용되어 원본 이미지에서 관심 영역을 추출합니다.

실험 결과:

데이터 수집의 세 가지 변형이 고려됩니다: 원본 양면(표준 + 도플러) 샘플, 도플러 단일 크롭 및 결과 표준 및 도플러 크롭의 병합된 이미지 쌍.

유사한 설정을 가진 ResNet18 및 ResNet50 아키텍처는 예비 처리의 적합성을 평가하기 위해 각 데이터 세트에 차례로 적용됩니다.

잘린 이미지가 있는 데이터 컬렉션에는 모든 초기 이미지의 대표가 포함되므로 모든 세트는 훈련, 검증 및 테스트 분리뿐만 아니라 각 클래스당 동일한 수의 항목과 구조를 갖습니다. 객관적인 평가를 위해 환자에게서 추출된 모든 이미지는 데이터 세트의 동일한 분리, 즉 교육, 검증 또는 테스트 내에 있습니다. 이것은 다른 순간에 만들어진 환자에 대한 여러 비디오 파일이 있는 경우에도 발생합니다(예: 몇 주 간격) 시간에.

이미지는 224 × 224 픽셀로 크기가 조정됩니다. 1주기 정책이 사용되며 fastai 및 PyTorch 라이브러리를 사용하여 구현됩니다. 초기 모델 가중치는 ImageNet 데이터 세트에서 사전 훈련된 대로 전이 학습을 통해 가져옵니다. 데이터 증대에 대한 기본 옵션이 사용됩니다. 학습 프로세스에는 2단계가 포함되며 각 단계에는 10개의 에포크만 포함됩니다. 첫 번째 교육 세션 내에서 배치 정규화 계층과 모델 헤드를 제외한 모든 계층이 동결됩니다. 그것의 선택은 손실 기울기와 관련하여 네트워크의 가중치가 조정되는 방법을 제어하고 적절한 값을 선택하는 것은 모델을 로컬 최소값으로 수렴하고 따라서 더 적은 양의 에포크에서 향상된 정확도에 도달하는 데 필수적입니다. 배치 크기는 32로 간주됩니다. 검증 데이터에서 가장 높은 정확도를 달성한 모델이 테스트 세트에 적용됩니다. 2개의 아키텍처 각각과 별도의 데이터 세트 각각에 대해 5번의 반복 적용이 이루어지고 각 사례에 대해 보고된 결과는 5개의 결과에 대한 평균으로 계산됩니다. 실행은 GPU용 Tesla T4를 사용하여 Google Colab에서 이루어집니다. B. 성공적인 그래디언트 클래스 활성화 맵(Grad-CAM) 접근법은 각 데이터 세트에 대한 대동맥 및 기타 라벨링에 대한 모델의 결정을 요약하는 데 사용됩니다. 플롯은 각 개별(아키텍처, 데이터 세트) 설정에 대해 계산된 5개의 실행에서 파생됩니다.