Машинное обучение на основе искусственного интеллекта для диагностики и классификации аденомиоза по данным ультразвукового сканирования: многоцентровое исследование по разработке модели

Введение: Аденомиоз — доброкачественное гинекологическое заболевание, характеризующееся наличием эктопических клеток эндометрия (клеток слизистой оболочки матки) в миометрии (мышечном слое матки). В глобальном масштабе, хотя аденомиоз распространен у женщин и девочек на всех этапах жизни, начиная с подросткового возраста и до перименопаузы, он остается недостаточно диагностируемым. Женщины с аденомиозом испытывают изнурительные симптомы обильных менструальных кровотечений, болезненных менструальных циклов, хронической боли в области таза и неблагоприятных исходов беременности, что приводит к долгосрочному влиянию на качество их жизни.

Диагностика и классификация аденомиоза важны не только для корреляции с тяжестью симптомов, но и для консультирования женщин по поводу прогноза заболевания, типа ведения и долгосрочного воздействия исходов аденомиоза. Однако классификация степени серьезности является не только трудоемким и сложным процессом, но также зависит от опыта оператора и носит субъективный характер. Достижение тех же результатов за короткое время с уменьшением предвзятости оператора, независимо от его опыта, вероятно, будет полезным.

При решении задач классификации изображений машинное обучение (МО) имеет огромный потенциал, помогая медицинским работникам объективно классифицировать тяжесть аденомиоза за считанные секунды. Платформа глубокого обучения и автоматизированный инструмент машинного обучения — это современные инструменты для автоматического анализа изображений трансвагинального ультразвукового сканирования (ТВУЗИ). Он может напрямую обрабатывать и автоматически изучать абстрактные функции среднего и высокого уровня, полученные из ультразвуковых изображений с использованием модели глубокой архитектуры, не требуя предварительного определения функций вручную. Это позволяет обучать, тестировать и проверять модель машинного обучения с помощью примеров помеченных изображений для классификации.

Цель исследования — использовать аннотированные ультразвуковые изображения нормальной матки и аденомиоза различной степени тяжести для обучения нейронной сети с использованием контролируемого глубокого обучения, которая предсказывает, принадлежит ли входное изображение к одному из следующих классов: нет, легкая, умеренная или тяжелый аденомиоз. Это будет новый проект, который может помочь врачам и специалистам по УЗИ в скором будущем оценить тяжесть аденомиоза.

Цель: изучить использование модели распознавания изображений с использованием контролируемого глубокого обучения с помощью автоматизированного инструмента машинного обучения (Vertex AI) и системы глубокого обучения (Pytorch) для создания алгоритма ультразвуковой классификации степени тяжести аденомиоза.

Дизайн и настройки исследования:

Тип исследования: Это будет многоцентровое наблюдательное когортное исследование. Модель APPRAISE-AI и прогнозирования. Инструмент оценки риска предвзятости. Инструменты искусственного интеллекта (PROBAST-AI) были использованы для разработки протокола.

Настройки: Ультразвуковые изображения пациенток с нормальной маткой и аденомиозом будут получены из десяти центров репродуктивной медицины CARE в Соединенном Королевстве. Это будет включать объекты CARE Fertility в Бирмингеме, Тамворте, Ноттингеме, Нортгемптоне, Шеффилде, Лидсе, Манчестере, Болтоне, Чешире и Ливерпуле.

Население: Исследовательская когорта будет состоять из ультразвуковых изображений пациенток, которые посещали центры ультразвукового исследования CARE Fertility в период с февраля 2022 года по февраль 2024 года и у которых при скрининге изображений была диагностирована нормальная матка и аденомиоз с использованием критериев морфологической сонографической оценки матки (MUSA). Критерии MUSA описывают ультразвуковые особенности миометрия и поражений миометрия с использованием стандартизированных терминов, определений и измерений.

Ранее опубликованная система схематического картирования тяжести аденомиоза будет использоваться для определения тяжести аденомиоза матки при просмотре изображений. Это было выбрано из-за воспроизводимости, существенной или почти идеальной степени согласия между наблюдателями и клинической корреляции с тяжестью симптомов. Каждой степени присваивается балл от 1 до 4, а сумма баллов используется для расчета степени распространения заболевания: легкая (1–3), средняя (4–6) и тяжелая (>7). . Продолжительность: УЗИ проводится с февраля 2022 г. по февраль 2024 г. Размер выборки: Минимальное количество изображений, необходимое Vertex AI Vision для обучения, составляет 100 на категорию. Вероятность успешного распознавания категории возрастает с количеством высококачественных примеров для каждой. Целевой размер выборки для тестирования алгоритма классификации аденомиоза будет составлять от 1000 до 10 000 изображений для каждого типа аденомиоза: отсутствующего, легкого, умеренного и тяжелого. Полный набор изображений будет равномерно распределен по категориям классификации; однако может оказаться невозможным найти примерно равное количество изображений для каждой категории. Полный набор данных будет вручную разделен на два разных набора данных в соотношении 9:1; 90% выбранных изображений будут использоваться в качестве набора обучающих данных (обучение + проверка), а 10% — в качестве набора тестовых данных. Это обеспечит адекватное включение разнообразных и репрезентативных изображений для каждой категории. Набор тестовых данных будет независимым набором данных, который не будет использоваться на этапе обучения, но будет получен из того же объекта, что и данные, используемые на этапе обучения.

Минимизация потенциального влияния систематических ошибок: все сохраненные ультразвуковые изображения нормальной и аденомиотической матки будут проверены рецензентом, имеющим опыт гинекологического сканирования и сканирования фертильности, который не будет знать исходных характеристик женщин, чтобы избежать систематической ошибки идентификации и набора. Два рецензента независимо классифицируют степень тяжести аденомиоза на легкую, среднюю и тяжелую для 1000 наборов изображений, чтобы установить соответствие.

Детали программного обеспечения AI:

Тип машинного обучения Контролируемое глубокое обучение. При контролируемом обучении машине для обучения необходимы помеченные примеры. Цель исследования – научить аппарат распознавать различную степень тяжести ультразвукового диагноза аденомиоза. Изображения ультразвукового сканирования с пометками «Нет», «Легкая», «Средняя» и «Тяжелая» будут загружены в качестве входных данных. Изучая примеры, алгоритм научится распознавать, чем отличается нормальная матка от легкой степени аденомиоза и легкой степени аденомиоза от тяжелой, и назначать правильную классификацию каждому новому изображению, которое ему предлагается проанализировать.

Тип платформы и версия: Google Cloud Vertex AI Vision API V1 в качестве инструмента автоматизированного машинного обучения и самая последняя версия Pytorch в качестве платформы глубокого машинного обучения.

Сбор входных данных и выбор: Входные данные для модели будут получены из ультразвуковых изображений пациентов, которые посещали вышеупомянутые центры репродуктивной медицины для УЗИ в период с февраля 2022 года по февраль 2024 года и у которых при скрининге изображений была диагностирована нормальная матка и аденомиоз. Подходящие ультразвуковые изображения участников с аденомиозной маткой будут извлечены в виде двумерных (2D) и/или трехмерных (3D) изображений после удаления идентификаторов пациента. Если у пациентки есть более одного изображения аденомиотической или нормальной матки, все эти изображения будут включены. Эти изображения будут проверены рецензентом, чтобы снизить риск предвзятости, и отформатированы так, чтобы гарантировать, что они содержат интересующие ультразвуковые характеристики аденомиоза на изображении. Эти проверенные и отформатированные изображения будут помечены двумя рецензентами, имеющими опыт ультразвуковой диагностики и классификации аденомиоза, как «нет», «легкая», «средняя» и «тяжелая». В систему машинного обучения будут загружены три набора входных изображений:

1. Обучающий набор: 80% данных изображения будет находиться в обучающем наборе. Модель «видит» и изначально учится на этих данных.
2. Набор проверки: набор проверки также является частью процесса обучения, но он хранится отдельно для настройки гиперпараметров модели. 10% от общего числа изображений, отличных от набора обучающих данных, будут использоваться для точной настройки структуры модели, чтобы она может лучше обобщать.
3. Тестовый набор: тестовый набор выходит на сцену только после процесса обучения. Он будет использоваться для проверки производительности модели на данных, которые она еще не видела. 10% от общего числа изображений будут использоваться в качестве тестового набора. Немаркированные тестовые изображения будут загружены в систему, и производительность модели искусственного интеллекта (ИИ) будет сравниваться со стандартом, то есть с исходной классификацией, выполненной исследователями. Разделение общих данных изображения на обучающий набор, набор проверки и тестовый набор будет выполняться вручную. Обработка входных данных низкого качества или недоступных: эти изображения будут исключены.

Критерии отбора:

Включение:

А. Участники: Женщины, посещавшие вышеупомянутый центр репродуктивной медицины на УЗИ в период с февраля 2022 года по февраль 2024 года по любым показаниям, у которых на УЗИ при скрининге изображений диагностировали нормальную матку и аденомиоз.

B. Исходные данные: качественные и убедительные 2D и/или 3D изображения нормальной матки и аденомиотической матки, на которых четко видны ультразвуковые характеристики аденомиоза.

Исключение:

А. Участники: женщины с сосуществующими одиночными или множественными интрамуральными миомами и аномалиями полости эндометрия.

B. Входные данные: неубедительные результаты УЗИ по оценке рецензента, изображения низкого качества, на которых ультразвуковые характеристики аденомиоза неясны, и изображения, которые нельзя отнести к одной из четырех категорий, будут исключены.

Согласие:

Исследование носит чисто наблюдательный характер, без какого-либо вмешательства или дополнительных шагов в рамках исследования. Ультразвуковые изображения нормальной и аденомиотической матки могли быть получены во время ТВУЗИ женщины, что является частью рутинной клинической практики. Поскольку ультразвуковой аппарат позволяет экспортировать изображения без информации, позволяющей установить личность пациента, из данных (которые включают только ультразвуковые изображения) будет удалена информация, позволяющая установить личность пациента (имя и дата рождения), прежде чем данные будут извлечены. Контрольный список перед подачей заявки Консультативной группы по конфиденциальности Управления медицинских исследований Национальной службы здравоохранения (CAG) был использован для определения права этого проекта на обработку информации о пациентах без согласия. Следовательно, от участников исследования не будет запрашиваться информированное согласие, поскольку будут использоваться только уже доступные анонимные данные.

Результаты и статистический анализ

Основные результаты: средняя точность (положительная прогностическая ценность), точность, полнота, площадь под кривой рабочей характеристики приемника (AUC), чувствительность, специфичность и точность модели будут основными результатами, представляющими интерес для модели автоматизированного и глубокого машинного обучения. Весь анализ будет проводиться с использованием статистического программного обеспечения Stata (выпуск 18, Техас, США) для модели структуры глубокого машинного обучения (ML) и с использованием программного обеспечения для автоматизированного машинного обучения для автоматизированной модели ML. После обучения автоматизированной модели проводится подробный анализ, состоящий из сводных данных о производительности модели, о которых будет сообщено (выходные данные модели). Они будут включать в себя следующее:

• Порог оценки. Порог оценки относится к уровню уверенности, который должна иметь модель для присвоения категории элементу теста. Ползунок порогового значения оценки в консоли Google Cloud – это визуальный инструмент для проверки влияния различных пороговых значений на все категории и отдельные категории в наборе данных. Во время оценки будет принят порог оценки, обеспечивающий хороший баланс между ложноположительными и ложноотрицательными результатами.
• Истинно положительные, истинно отрицательные, ложноположительные и ложноотрицательные.
• Точность и полнота. Из всего тестового набора изображений, которым была присвоена категория, точность показывает, сколько на самом деле должно было быть отнесено к этой метке, а полнота указывает, скольким из них действительно была присвоена эта метка. Маркировка эталонного стандарта относится к категоризации, произведенной исследователями.
• Кривые точности/отзыва

Вторичный результат: оценка согласия между двумя экспертами при ультразвуковой оценке аденомиоза с использованием каппа Фляйсса. Коэффициенты К, используемые для интерпретации силы согласия, будут следующими: ≤0 = плохое, от 0,01 до 0,20 = незначительное, от 0,21 до 0,40 = удовлетворительное, от 0,41 до 0,60 = умеренное, от 0,61 до 0,80 = существенное и от 0,81 до 1 = почти идеальное. .

Обработка данных и ведение учета: данные (обезличенные ультразвуковые изображения) будут храниться в облаке Google в соответствии с Законом о защите данных 2018 года.

Подходящие ультразвуковые изображения участников с нормальной и аденомиотической маткой будут извлечены в виде 2D- и/или 3D-изображений после удаления идентификаторов пациента. После завершения исследования изображения, хранящиеся в Google Cloud, будут удалены.

Контроль и обеспечение качества: Принципы надлежащей клинической практики будут соблюдаться на протяжении всего исследования.

Сообщение о нежелательных явлениях: Учитывая наблюдательный характер исследования и отсутствие каких-либо дополнительных шагов в дизайне исследования, кроме исходного ТВУЗИ, соображения безопасности не учитываются.

Этические соображения:

Одобрение этики было получено от местного Институционального наблюдательного совета (IRB) и от группы исследований и разработок CARE Fertility.

Конфиденциальность и защита данных: для идентификации участников исследования будет использоваться уникальный идентификационный номер изображения. Все персональные данные, использованные в исследовании, будут обработаны в соответствии с Законом о защите данных 2018 года и будут считаться строго конфиденциальными.

Финансирование: Средства для этого проекта были получены из Национального центра исследований выкидышей Томми, Бирмингем, Великобритания.

Конфликты интересов: Конфликтов интересов, связанных с данным исследованием, нет.

Поправки: Любые поправки к протоколу исследования или документации инициируются главным исследователем. Все существенные поправки будут представлены на утверждение IRB с последующим внедрением изменений на всех объектах, участвующих в исследовании. Поправки будут задокументированы в разделе «Поправка к протоколу» протокола исследования.

Окончание определения проекта: сбор и подготовка данных, обучение и оценка модели, а также написание рукописи будут осуществляться в течение 12 месяцев.

Аспекты будущего исследования: Долгосрочная цель состоит в том, чтобы проанализировать эту внутреннюю проверенную модель искусственного интеллекта для внешней проверки во внешних центрах Национальной службы здравоохранения (NHS) с использованием системы архивных изображений PACS и сопоставить ее с гистопатологией образцов гистерэктомии. Это также будет включать анализ клинической полезности путем оценки влияния модели на принятие решений и результаты. Если производительность модели достаточна с точки зрения положительной прогностической ценности, точности и клинической полезности, она будет реализована для использования в режиме реального времени с использованием онлайн-прогнозирования. Модель может быть развернута для запросов на классификацию в виде онлайн-приложения или приложения, интегрированного в ультразвуковые аппараты.

Политика публикации: Результаты исследования будут распространены через научные и социальные сети. Результаты исследования будут представлены в рецензируемый журнал в области гинекологического ультразвука (Ультразвук в акушерстве и гинекологии (UOG)) и цифрового здравоохранения (The Ланцет «Цифровое здоровье»). Рукопись будет подготовлена ​​доктором Ишитой Мишрой, а авторство будет определяться в зависимости от степени вклада человека в изучение и написание рукописи.