Интерпретация эхокардиографии плода искусственным интеллектом (LIFE)

Введение:

Во всем мире врожденный порок сердца (ВПС) является наиболее часто встречающимся пороком развития плода. Частота врожденных пороков сердца составляет примерно 1 случай на 100 живорожденных детей и даже выше у детей, умерших до срока (1). Фетальная эхокардиография (ФЭ) эволюционировала от простого описания анатомических аномалий сердца к количественной оценке его функции, размеров и формы (2). В настоящее время ФЭ выполняется вручную сонографистом во время обследования во втором триместре. Тем не менее, только половина детей, перенесших операцию в течение первого года жизни, имеют пренатальное обнаружение (3), что объясняет необходимость улучшения оценки сердца плода. Многие исследования показали наличие значительного расхождения между пре- и постнатальным диагнозом ИБС, полученным при ручном КЭ (4, 5).

Интеллектуальные системы поддержки принятия решений (ИС) — это структуры, способные собирать и анализировать данные, взаимодействовать с другими системами, учиться на собственном опыте и адаптироваться к новым случаям. С технической точки зрения, ИС — это передовые машины, которые наблюдают за окружающей средой и реагируют на нее с помощью искусственного интеллекта (ИИ) (6). Этот проект направлен на содействие взаимному обогащению FE и IS, что обеспечит огромный потенциал в разработке новых фундаментальных теорий и практических методов, выходящих за рамки задействованных дисциплин и ведущих к новым эффективным методам, которые помогают медицинской практике и открытиям.

Методы и анализ:

Предстоящее исследование представляет собой перекрестное исследование, разделенное на две отдельные части: обучающая часть подходов машинного обучения в рамках предлагаемой структуры и фаза тестирования на ранее невиданных кадрах и, в конечном итоге, на реальных видеосканах. Все беременные женщины в первом и втором триместре считаются подходящими для участия в исследовании. Беременные женщины будут госпитализированы для планового ультразвукового исследования и мониторинга, первый раз между 12-13+6 неделями беременности (для сканирования аномалий в первом триместре) и/или между 18-24 неделями беременности (для сканирования аномалий во втором триместре) . Двумерная оценка каждого сердца плода будет включать в себя кинопетлю, полученную из четырехкамерной проекции путем перемещения датчика краниально по направлению к верхнему средостению, что позволит визуализировать следующие проекции: четырехкамерная проекция, левая и правая пути оттока желудочков, три сосуда и вид на трахею. Все видеофайлы, сохраненные с устройств в США, будут собраны в облаке. Каждая ультразвуковая развертка будет разделена на кадры отделением акушерства-гинекологии и кардиологии (OBC). Отдел Data Science / IT (DSIT) будет обрабатывать кадры для соблюдения правил анонимности. Для идентификации ключевых особенностей кадры будут сгруппированы OBC в классы, которые представляют виды в плоскости для каждого триместра. DSIT попробует различные современные предварительно обученные алгоритмы глубокого обучения на наборе данных с плоскостными представлениями. Все последние записи DL будут адаптированы и протестированы на текущих двух сценариях идентификации ключевого представления и семантической сегментации. Результаты их работы (их предсказания по сравнению с земной истиной, отмеченной OBC) будут проанализированы в сравнении с помощью статистического теста. Равновесие «точность-скорость» будет учитываться при ранжировании подходов, поскольку в итоге система будет работать на видео. Как только новое видео будет доступно на практике, модель, выбранная для соответствующей задачи, выделит ключевой признак или сегментированную область на видео, а также обеспечит степень уверенности в его распознавании. Врачи OBC проверят все промежуточные результаты на уровне кадра, а также значимость маркировки и сегментации видео. Результаты модели на видео первого и второго триместров одной и той же пациентки будут сравниваться для оценки несоответствия.

АНАЛИЗ ИИ (ИСКУССТВЕННОГО ИНТЕЛЛЕКТА)

Построение базы данных:

Набор данных для анализа ИИ будет создан на основе изображений, полученных при ультразвуковом сканировании в апикальной плоскости. Следовательно, рассматривается задача классификации с четырьмя категориями, соответствующими заданным ключевым представлениям. Назначается дополнительный класс Other, который заполняется изображениями других неважных кадров из скана.

Предварительная обработка изображений для сканирования сердца плода:

Первый шаг представлен извлечением, выполняемым путем преобразования изображения в шкалу серого и применения порога. Таким образом, фоновый шум отбрасывается. Чтобы устранить небольшие мосты между интересующей областью и другими областями изображения, применяется эрозия с использованием ядра 10x10 пикселей. После эрозии, помимо области интереса, на изображении могут появиться несколько более мелких «островков». Зона интереса имеет два свойства, которые отличают ее от остальных островов: она всегда покрывает центральную часть изображения и имеет наибольшую площадь. Чтобы исключить нерелевантные островки, сначала идентифицируются пятна, которые покрывают центральную область изображения, затем выбирается пятно с наибольшим покрытием поверхности. Обнаруженное пятно заполняется, затем размер восстанавливается путем применения алгоритма расширения с использованием того же ядра 10x10 пикселей. Чтобы не потерять мелкие детали вокруг расширенного пятна, его выпуклая оболочка прорисовывается и заполняется. В конце сгенерированное пятно используется в качестве маски для извлечения интересующей области из исходного изображения.

Результаты эксперимента:

Рассмотрены три варианта сбора данных: исходные двусторонние (стандартные + доплеровские) выборки, одиночные доплеровские кадры и объединенные пары изображений результирующих стандартных и доплеровских кадров.

Архитектуры ResNet18 и ResNet50 с аналогичными настройками применяются для каждого набора данных по очереди для оценки пригодности предварительной обработки.

Поскольку наборы данных с обрезанными изображениями содержат представителей всех исходных изображений, все наборы, таким образом, имеют одинаковое количество элементов и структуру для каждого класса, а также для обучения, проверки и тестовых разделений. Для объективной оценки все изображения, полученные от пациента, находятся в пределах одного и того же разделения набора данных, то есть обучения, проверки или теста. Это происходит даже в том случае, если для пациента было создано несколько видеофайлов в разные моменты времени (например, недель друг от друга) во времени.

Размер изображений изменен до 224 × 224 пикселей. Используется политика 1cycle и реализация производится с помощью библиотек fastai и PyTorch. Первоначальные веса модели берутся с помощью трансферного обучения, предварительно обученного на наборе данных ImageNet. Используются параметры по умолчанию для дополнений данных. В процессе обучения участвуют 2 этапа, каждый из которых содержит всего 10 эпох. В течение первого сеанса обучения все слои замораживаются, кроме слоев пакетной нормализации и головы модели. Его выбор определяет, как корректируются веса сети по отношению к градиенту потерь, и выбор правильного значения необходим для того, чтобы модель сходилась к локальному минимуму и, таким образом, достигала повышенной точности за меньшее количество эпох. Размер партии принят равным 32. К тестовому набору применяется модель, обеспечивающая наибольшую точность проверочных данных. Для каждой из 2 архитектур и для каждого отдельного набора данных выполняется 5 повторных применений, и сообщаемые результаты для каждого случая рассчитываются как среднее значение по 5 результатам. Прогоны сделаны в Google Colab, с использованием Tesla T4 для графического процессора. B. Успешный подход карты активации класса градиента (Grad-CAM) используется для определения решений модели для маркировки аорты и других для каждого набора данных. Графики получены из 5 прогонов, рассчитанных для каждой отдельной настройки (архитектура, набор данных).