Изучение потенциала искусственного интеллекта для более раннего выявления рака молочной железы: ретроспективное многочитательское исследование на основе интерпретации маммограмм с помощью ИИ (EARLIEST-AI) (EARLIEST-AI)

ПОДРОБНАЯ СВОДКА И ОБОСНОВАНИЕ ПРЕДЛАГАЕМОГО ИССЛЕДОВАНИЯ Профилактическая маммография обычно проводится бессимптомным женщинам каждые два года. Во время профилактического маммографического исследования у каждой женщины делается четыре снимка: два в кранио-каудальной (CC) проекции и два в медиолатеральной косой (MLO) проекции. Каждый раз маммографическое исследование оценивается по системе BI-RADS.

В ежедневной клинической практике клиники Mammograaf Radioloogiakliinik (AS Mammograaf) используется система BI-RADS для оценки маммографических исследований.

Оценка BI-RADS 1 присваивается маммограммам без патологических изменений. Оценка BI-RADS 2 указывает на доброкачественные изменения на маммограммах.

При наличии подозрительных или злокачественных изменений присваивается оценка BI-RADS 3, BI-RADS 4 и/или BI-RADS 5.

BI-RADS 6 — это гистопатологически подтвержденный рак молочной железы. Протокол просмотра маммограмм, используемый в ежедневной клинической практике в Mammograaf Radioloogiakliinik, представлен ниже.

Скрининговые маммограммы всегда независимо оцениваются двумя радиологами. Другими словами, рутинная оценка скрининговых маммограмм проводится с использованием протокола независимого двойного чтения. Если два радиолога независимо оценивают маммограмму и присваивают ей рейтинг BI-RADS 1 и/или BI-RADS 2, это считается слепым консенсусом, что означает, что пациентка не нуждается в дальнейших обследованиях - то есть на маммограмме нет неоднозначных изменений или изменений, указывающих на злокачественность. В случаях BI-RADS 3, 4 и 5 используется открытое консенсусное чтение, когда радиологи совместно просматривают маммограммы на основе существующего диагноза и обсуждения случая с коллегами для достижения консенсуса. Ежедневная работа как главного исследователя, так и опытных чтецов, участвующих в исследовании, включает оценку предыдущих маммограмм, анализ сложных случаев и выявление интервальных раков. Используются специальные стратегии просмотра, чтобы помочь снизить субъективность процесса оценки.

Одним из таких методов является так называемый слепой пересмотр, при котором предыдущие маммограммы просматриваются без знания расположения патологической области, чтобы избежать эффекта ретроспективного смещения.

Для получения статистически значимых различий когорта должна быть достаточно большой, не создавая при этом чрезмерной нагрузки на чтецов.

Обычный рабочий процесс радиологов молочной железы в Mammograaf Radioloogiakliinik выглядит следующим образом.

Обычный темп работы опытных радиологов позволяет им оценивать до 500 маммограмм в день без снижения качества работы. Для менее опытных радиологов оптимальная нагрузка составляет до 200 маммограмм в день.

Использование искусственного интеллекта в повседневной работе требует от радиолога привыкания, навыков и понимания процесса.

За 1,5 года опыта работы с искусственным интеллектом было выявлено три заметных аспекта.

1. Когнитивные ошибки человека В радиологии при работе с системой искусственного интеллекта могут возникать две основные когнитивные ошибки: ошибка подтверждения и якорение. Проявление этих ошибок зависит от того, смотрит ли радиолог сначала на маммограммы, а затем на разметку искусственного интеллекта, или начинает наоборот - с разметки искусственного интеллекта.

   Процесс просмотра собранного набора данных структурирован таким образом, чтобы можно было оценить, в какой степени такие ошибки проявляются в рутинной практике, и какой сценарий чтения может быть наиболее подходящим для повседневной работы.

2. Условные ложноположительные разметки на маммограммах, сделанные искусственным интеллектом При работе с системой искусственного интеллекта наблюдались ложноположительные разметки, когда система присваивала высоко- или среднерисковые разметки маммограммам, которые опытные радиологи классифицировали как BI-RADS 1 или BI-RADS 2.

   Учитывая, что окончательное решение в настоящее время всегда остается за радиологом, разметка искусственного интеллекта часто игнорируется, если она не соответствует профессиональной оценке маммограмм.

   В 2024 году чувствительность искусственного интеллекта Hera в клинике Mammograaf Radioloogiakliinik составила 94,5%: всего во время скрининга было диагностировано 138 раков, из которых 131 также был отмечен искусственным интеллектом Hera.

   Специфичность искусственного интеллекта Hera можно было оценить двумя способами:

   • Вариант 1: примерно через два года, ретроспективно анализируя результаты 2024 года.
   • Вариант 2: анализируя набор данных, созданный в рамках этого исследования, который включает как маммограммы BI-RADS 3, BI-RADS 4 и BI-RADS 5, так и маммограммы без видимой патологии, чья оценка BI-RADS 1 и/или BI-RADS 2 была подтверждена при повторных скринингах.

   Последний вариант предпочтительнее, так как он может дать лучшее понимание того, как решать проблему так называемых ложноположительных меток в ближайшем будущем. В настоящее время отношение к ним субъективно и во многом зависит от личности радиолога и стиля интерпретации.

3. Техническое качество маммограмм. В повседневной практике такие параметры, как положение молочной железы и давление, прикладываемое во время выполнения маммограммы, влияют как на качество изображения, так и на производительность радиолога и ИИ. Это исследование предоставит возможность объективно оценить взаимосвязи между техническими параметрами и чувствительностью и специфичностью ИИ.

   При планировании этого исследования были сформулированы три гипотезы.

   • Гипотеза 1: Использование поддержки ИИ позволяет диагностировать рак молочной железы на более ранней стадии по сравнению с текущей практикой, основанной на мнении радиологов.
   • Гипотеза 2: Отношение радиологов к рекомендациям ИИ зависит от их опыта.
   • Гипотеза 3: Технические параметры маммограмм существенно влияют на специфичность и чувствительность ИИ.

   ВРЕМЯ ИССЛЕДОВАНИЯ Это исследование имеет двухфазный дизайн, включающий несколько читателей и несколько сеансов чтения. Между двумя фазами запланирован перерыв.

   График исследования выглядит следующим образом:

   • Первоначальный сбор данных: 2 месяца
   • Сеансы чтения: 3 × 2 месяца
   • Период отдыха для чтецов: 1 месяц
   • Статистический анализ и оформление выводов: 3 месяца. Таким образом, общая ожидаемая продолжительность исследования составляет 12 месяцев. Исследовательские мероприятия планируется начать в октябре 2025 года, и они продлятся 12 месяцев.

   Персональные данные будут удалены примерно 01.01.2026, после чего для дальнейшего научного анализа будут сохранены только полностью анонимизированные данные.

   ПОДРОБНОЕ ОПИСАНИЕ СУБЪЕКТОВ И МЕТОДА ИХ РЕКРУТИНГА

   1. Ретроспективное исследование, в рамках которого будет составлен анонимный набор данных, содержащий маммограммы.

      Все маммограммы были выполнены в клинике Mammograaf Radioloogiakliinik. Набор данных состоит из 1000 маммографических комплектов, каждый из которых содержит четыре изображения одной женщины: кранио-каудальные (CC) и медиолатеральные косые (MLO) изображения правой и левой молочных желез.

      • составить список маммограмм, относящихся к случаям BI-RADS 6, куда до анонимизации вносятся следующие данные: идентификационный код пациента и возраст, даты маммограмм, относящихся к диагнозу, тип рака (инвазивный протоковый рак, инвазивный дольковый рак, протоковый рак in situ, результаты рецепторного статуса эстрогена (ER), прогестерона (PR), рецепторного статуса человеческого эпидермального фактора роста 2 (HER 2) и индекса пролиферации Ki-67 по данным биопсии, оценка маммограммы по BI-RADS.
      • составить список маммограмм, не относящихся к случаям BI-RADS 6, куда до анонимизации вносятся следующие данные: идентификационный код пациента и возраст, даты маммограмм, включенных в набор данных, оценка маммограммы по BI-RADS.
      • составить радиологический золотой стандарт, состоящий из случаев BI-RADS 6. В этом исследовании, помимо оценки BI-RADS, также запрашивается область интереса (ROI) для возможных находок. Для выполнения такой задачи предполагается, что на просмотр набора из 100 маммограмм у опытного радиолога уйдет примерно 30 минут, а у менее опытного радиолога — 60-90 минут.

      Эта нагрузка не создает существенных препятствий или нарушений в ежедневном рабочем процессе.

      Для негативных маммограмм (BI-RADS 1 или 2) в набор данных включались только те случаи, негативная оценка которых была подтверждена при последующих скринингах.

      Для каждого маммографического исследования, включенного в набор данных, в протоколе фиксируется соответствующая оценка BI-RADS, определенная в ходе клинической работы, чтобы обеспечить прозрачность и надежность исследования.

      Статистическая значимость рассчитана на основе ожидаемой разницы в чувствительности референс-теста (чтение без поддержки ИИ) и оцениваемого теста (чтение с поддержкой ИИ). Предполагаемая чувствительность референс-теста составляет 0,85, а чувствительность оцениваемого теста - 0,90. Для оценки размера выборки используется Z-тест для двух пропорций. Желаемая статистическая мощность p = 0,90, а уровень значимости α = 0,05. На основе этих параметров размер выборки был рассчитан как 914, который в ходе исследования будет округлен до 1000 случаев.

      Расчет на основе критерия МакНемара (чувствительность 90% против 87%, α = 0,05, мощность 0,90, распространенность ~30%) показал минимальный размер выборки 876, который был консервативно округлен до 1000, чтобы избежать риска низкой статистической мощности.

      По этой причине был создан набор данных, содержащий 1000 маммограмм. В этом исследовании рассматривается возможность получить мнение независимого биостатистика.

   2. Профессиональный опыт чтецов

   В рамках этого исследования термин 'эксперт' определяется следующим образом: радиолог, который ежедневно работает в области радиологии молочной железы, включая оценку маммограмм, выполнение ультразвуковых исследований молочной железы и взятие биопсий под контролем ультразвука и/или магнитно-резонансной томографии, а также описание МРТ молочной железы. Специалист считается экспертом, если он имеет:

   • не менее 10 лет клинического опыта в радиологии молочной железы,
   • ежегодный объем чтения не менее 12 000 маммографических исследований,
   • ежедневный опыт работы с использованием искусственного интеллекта не менее 12 месяцев.

   Ведущий исследователь является радиологом молочной железы с приблизительно 20-летним опытом оценки маммографических исследований, оценившим более 77 000 маммографических исследований за последние пять лет, что означает в среднем более 15 000 исследований в год. Кроме того, ведущий исследователь выполняет ультразвуковые исследования молочной железы, берет биопсии под контролем как УЗИ, так и МРТ, и описывает магнитно-резонансные томограммы молочной железы. Ведущий исследователь также имеет 18-месячный ежедневный опыт использования искусственного интеллекта в интерпретации маммограмм. Кроме того, ведущий исследователь в течение как минимум семи лет регулярно оценивал качество позиционирования маммографических исследований.

   Ведущий исследователь будет выступать в качестве эксперта при составлении набора данных и валидации золотого стандарта.

   • Чтец 1: имеет около 30 лет опыта в оценке маммографических исследований, оценив более 76 000 маммографических исследований за последние пять лет, в среднем более 15 000 исследований в год.
   • Чтец 2: имеет около 10 лет опыта в оценке маммографических исследований, оценив более 31 000 маммографических исследований за последние пять лет, в среднем более 6 000 исследований в год.
   • Чтец 3: имеет около 1 года опыта в оценке маммографических исследований, оценив 4 324 маммографических исследования за последний год.
   • Чтец 4: имеет менее 1 года опыта в оценке маммографических исследований, оценив 2 963 маммографических исследования за последний год.
   • Чтец 5: имеет менее 1 года опыта в оценке маммографических исследований, оценив 2 242 маммографических исследования за последний год.

   Различный уровень опыта чтецов важен для проведения этого исследования. Это позволяет оценить влияние интерпретации результатов, предложенной искусственным интеллектом, на радиологов с разным уровнем опыта и выяснить, подтверждает это или опровергает вторую гипотезу.

   ПОДРОБНОЕ ОПИСАНИЕ МЕТОДОЛОГИИ ИССЛЕДОВАНИЯ Стратегия, процесс и анализ данных набора данных намеренно скрыты от чтецов, чтобы сохранить независимость оценок и избежать когнитивных искажений. Вся методология исследования задокументирована в протоколе (раздел 6, раздел 7, раздел 12), и соответствующая информация будет предоставлена участникам после завершения фаз просмотра.

   Такой набор данных позволяет в сценарии, когда доступно только одно маммографическое исследование (без клинической информации и предыдущих исследований), оценить способность чтецов и ИИ выявлять рак молочной железы в условиях ограниченной информации.

   На основе информации, представленной в разделе 6.2.1 протокола, конфигурация этого набора данных позволяет получить ответ на первую гипотезу.

   Такой набор данных позволяет дать количественные ответы на следующие вопросы, тем самым обеспечивая возможность ответа на вторую и третью гипотезы.

   1. Какова специфичность и чувствительность CAD-системы на основе ИИ?
   2. Какова специфичность и чувствительность человеческих читателей?
   3. Влияют ли подсказки CAD на производительность человеческих читателей?
   4. Зависит ли производительность человеческого читателя от того, когда подаются подсказки CAD - в начале просмотра или после первоначальной оценки читателя?
   5. Какие факторы влияют на диагностическую производительность человека и CAD-системы на основе ИИ?

   В частности:

   • Факторы, связанные с читателем: уровень опыта
   • Факторы, связанные с пациентом: возраст, плотность молочной железы
   • Характеристика злокачественного процесса: тип опухоли, степень, размер, видимость только в одной или обеих проекциях (CC и/или MLO)
   • Технические параметры маммограмм: сила сжатия, давление сжатия, правильность позиционирования

   ОПИСАНИЕ КООРДИНАТОРА ИССЛЕДОВАНИЯ ИЛИ ОТВЕТСТВЕННОГО ИССЛЕДОВАТЕЛЯ ПО АСПЕКТАМ ЭТИКИ И ЗАЩИТЫ ДАННЫХ В ИССЛЕДОВАНИИ

   1. Этические аспекты Исследование проводится клиникой Mammograaf Radioloogiakliinik (рег. н. 10233840) и компанией HERA-MI (Siret: 828871699).

      HERA-MI является производителем и разработчиком искусственного интеллекта; Mammograaf Radioloogiakliinik является поставщиком медицинских услуг и ежедневным пользователем искусственного интеллекта HERA-MI в своей практике. Mammograaf Radioloogiakliinik является референс-центром HERA-MI с 2024 года. Между сторонами, участвующими в этом исследовании, нет финансовых операций.

      Mammograaf Radioloogiakliinik и HERA-MI подготовят и подпишут декларацию об избежании конфликта интересов, чтобы обеспечить прозрачность и надежность исследования.

      После завершения исследования будет расширено знание о собственной производительности и улучшено понимание границ надежности инструмента искусственного интеллекта.

      В исследовании используются только данные, собранные в ходе рутинной практики, и с субъектами не будут связываться с целью проведения исследования. Участие в исследовании не повлияет на жизнь, лечение или наблюдение пациента. Исследование не накладывает никаких дополнительных обязательств на субъектов или их близких.

      Участие в исследовании не принесет прямой выгоды субъектам или их близким.

      Косвенная выгода для субъектов может возникнуть за счет оптимизации ухода за пациентами, подкрепленной раскрытием и обсуждением результатов исследования.

      Запланированное исследование планирует обрабатывать персональные данные без согласия субъекта.

      Информирование субъекта данных нецелесообразно, потому что:

      - Обработка данных не наносит вреда интересам субъекта данных. Результатом обработки данных является описательное обобщение данных.

      - Запрос разрешения потребовал бы неоправданно высоких затрат ресурсов. Получение информированного согласия было бы логистически сложно.

      Существует преобладающий общественный интерес. Рак молочной железы является наиболее распространенной злокачественной опухолью у женщин и одной из основных причин заболеваемости и смертности. Раннее выявление с помощью маммографии значительно улучшает результаты лечения. Mammograaf Radioloogiakliinik является хорошо известным центром диагностики молочной железы в Эстонии, где проводятся как скрининговые, так и диагностические исследования с использованием современных методов и технологий. Проведение этого исследования важно для оценки качества текущих методов работы и анализа влияния добавленной стоимости искусственного интеллекта на принятие радиологических решений. Ознакомление широкой медицинской общественности с результатами исследования поможет повысить осведомленность о современных возможностях диагностики молочной железы. Исследование и последующие анализы способны внести значительный вклад в развитие рабочих процессов и технологий радиологии молочной железы.

      Поскольку данные на этапе оценки маммограмм являются анонимными, если в ходе исследования искусственный интеллект добавляет высоко- или среднерисковые метки на маммограммы, не связанные с раком, и/или читатели дают оценки BI-RADS ≥3, это не может повлиять на оценки, данные маммограммам в реальной клинической работе, или на лечение пациентов.

   2. Аспекты защиты данных В запланированном исследовании важно работать с персонифицированными данными на этапе создания базы данных. Для создания базы данных необходимо объединить данные, сгенерированные в разное время из разных источников данных: бумажный архив Mammograaf Radioloogiakliinik (личные идентификационные коды пациентов с BI-RADS 6, результаты биопсий), система архивации и передачи изображений Visage Imaging (PACS) клиники Mammograaf Radioloogiakliinik для маммограмм, информация из радиологической информационной системы (RIS) Lisa (личные идентификационные коды пациентов с BI-RADS 6, результаты биопсий), RIS Optomed (личные идентификационные коды пациентов с BI-RADS 1 и/или BI-RADS 2), для чего требуется использование личного идентификационного кода. База данных создается и хранится на защищенном сервере клиники Mammograaf Radioloogiakliinik ответственным исследователем, имеющим доступ к вышеупомянутым источникам данных на основании своих служебных обязанностей с использованием своей ID-карты.

   Комплекты отдельного случая рака помечаются способом, точно описанным в Разделе 11 протокола исследования.

   1. Для обеспечения необходимой конфиденциальности участвующих в исследовании чтецов некоторые данные, которые могли бы раскрыть излишнюю информацию, не включены в заявку, а представлены отдельно в Разделе 12 протокола исследования.
   2. Для обеспечения необходимой конфиденциальности чтецов, участвующих в исследовании, некоторые данные, которые могли бы раскрыть излишнюю информацию, не включены в заявку, а представлены отдельно в Разделе 12 протокола исследования.
   3. Для обеспечения необходимой конфиденциальности чтецов, участвующих в исследовании, некоторые данные, которые могли бы раскрыть излишнюю информацию, не включены в заявку, а представлены отдельно в Разделе 12 протокола исследования.
   4. Метка не позволяет идентифицировать субъекта. Для создания метки необходимо знать количество случаев рака, количество комплектов и даты их выполнения. Маркировка выполняется компанией HERA-MI.
   5. Ответственный исследователь связывает метку с созданной базой данных и удаляет из базы данных личные идентификационные коды, использованные при ее создании (не позднее двух месяцев после получения разрешения на проведение исследования, если предварительная работа начнется в октябре 2025 года, предполагаемая дата удаления данных — 1 января 2026 года). Таким образом, помеченная база данных становится анонимной; дальнейшие исследовательские действия будут проводиться с анонимными данными.
   6. Маммограммы, не связанные с раком, будут помечены в случайном порядке комбинациями букв и цифр.
   7. Разграничение находок на маммограммах читателями будет четко обозначено в соответствии с принципами классификации BI-RADS.

   Помеченная база данных будет храниться на защищенном сервере клиники Mammograaf Radioloogiakliinik. Из исследуемых маммограмм в PACS будут созданы выборки, доступные читателям по личным паролям и с отдельным доступом к искусственному интеллекту. Доступ и взаимодействие между читателем и ИИ не отличаются от используемых в обычной работе. Маммограммы сопровождаются информацией (возраст в годах), которая обычно используется в процессе оценки. В конце каждой фазы просмотра на сервере Mammograaf Radioloogiakliinik создается таблица Excel, содержащая оценки.

   Основные метки, связанные метки, даты и клиническая информация с раком хранятся в таблице Excel, доступной только ответственному исследователю.

   Анализ данных выполняется компанией HERA-MI. Анализ данных происходит на сервере Mammograaf Radioloogiakliinik. Результаты исследования представлены в обобщенном виде.

   Анонимные данные, использованные в исследовании, хранятся на сервере Mammograaf Radioloogiakliinik в исследовательских целях бессрочно.

   Сбор данных и управление ими

   1. Источники данных

      - PACS — цифровые изображения (маммограммы)

      • Институциональный бумажный архив — личные идентификационные коды, результаты биопсий и описания радиологов.
      • RIS — личные идентификационные коды пациентов, результаты биопсий и описания радиологов в тех случаях, когда бумажные данные недоступны.

   2. Собранные данные - Демографические данные: возраст. - Данные изображения: оценка по BI-RADS, местоположение находок; форма масс, края, плотность, наличие кальцинатов; асимметрия, искажение архитектоники.

      • Патология: год выявления рака, тип опухоли (инвазивная протоковая карцинома, инвазивная дольковая карцинома, протоковая карцинома in situ и т.д.), статус рецепторов (ER, PR, HER2), степень, размер опухоли.
      • Качество изображения (маммографический аппарат, сила сжатия и давление сжатия, качество позиционирования)
   3. Обработка данных Все данные, собранные в ходе исследования, будут обрабатываться в соответствии с применимыми требованиями по защите данных и принципами, изложенными в протоколе исследования.

   Данные будут обрабатываться следующим образом:

   (1) Персональные данные будут удалены посредством анонимизации перед анализом. (2) Для каждого случая и каждого читателя будет создан уникальный идентификатор, обеспечивающий отслеживаемость данных без идентификации отдельных лиц.

   (3) Исходные данные — включая маммограммы, разметку читателей и результаты ИИ — будут надежно храниться на сервере Mammograaf Radioloogiakliinik. Только ответственный исследователь будет иметь доступ к данным.

   (4) Данные для анализа будут экспортированы в структурированном формате (например, Excel, CSV, метаданные DICOM), которые позволяют проводить статистическую обработку и контроль качества.

   (5) Все изменения в сборе или обработке данных будут задокументированы для обеспечения аудита.

   Настройка программного обеспечения

   1. Программное обеспечение для просмотра маммограмм В исследовании используется программное обеспечение Visage Imaging PACS для просмотра маммограмм, а также для создания и сохранения разметок ROI.
   2. Программы рандомизации и анонимизации Программы рандомизации и анонимизации для исследования были предоставлены компанией Hera-MI.
   3. CAD-программное обеспечение Программное обеспечение, используемое в этом протоколе, — Breast-SlimView CAD от Hera-MI.

   Программное обеспечение генерирует метки CAD в виде масок: сохраненные ИИ области интереса накладываются на маску, аналогичную структуре маммограммы.

   Результаты CAD интегрируются в протокол выпадающих списков системы просмотра.