Диагностическая точность Carebot AI MMG при маммографическом скрининге: многоцентровое исследование MRMC (CARE-MMG-MRMC)

Дизайн и условия проведения Это ретроспективное, многоцентровое, многочитательское, многокейсовое (MRMC) исследование диагностической точности Carebot AI MMG, проведенное на анонимизированных 2D цифровых маммографиях полного поля (FFDM), полученных в рамках рутинного скрининга рака молочной железы. Маммограммы были собраны из четырех скрининговых центров за определенный период времени. Для целей данного исследования не проводилось дополнительной визуализации, и с испытуемыми не связывались.

Источник данных и популяция Исходный набор данных состоит из 4 729 скрининговых маммографических исследований женщин в возрасте от 32 до 88 лет (средний возраст около 57 лет). Были включены только 2D FFDM исследования с полным набором стандартных проекций (LCC, RCC, LMLO, RMLO). Исследования с неполными сериями, нечитаемыми или поврежденными файлами DICOM, отсутствующими/противоречивыми ключевыми метаданными были исключены, как и исследования томосинтеза (DBT), мужчины и женщины младше 18 лет. Для обеспечения достаточной точности оценок производительности набор данных был дополнен дополнительными случаями рака, подтвержденными биопсией. Окончательное аналитическое подмножество включает 222 исследования, в том числе 48 злокачественных и 174 незлокачественных исследования, с представленностью по трем маммографическим устройствам (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Исследуемое устройство и компаратор Исследуемым устройством является Carebot AI MMG (версия ПО 2.9, модели глубокого обучения v2.3) — автономная система ИИ, которая анализирует 2D FFDM исследования и выдает классификацию на уровне случая по трем категориям вместе с внутренней оценкой риска. Оцениваются две предопределенные рабочие точки: порог высокой чувствительности (HSe), при котором и доброкачественные, и злокачественные образования рассматриваются как "положительные" (настройка "исключения"), и порог высокой специфичности (HSp), при котором только злокачественные образования считаются "положительными" (настройка "включения").

В качестве человеческого компаратора три опытных рентгенолога (RAD 1-3) независимо прочитали те же анонимизированные исследования с использованием специализированного просмотрщика DICOM, интегрированного с приложением для разметки. Рентгенологи были ослеплены относительно выходных данных ИИ, клинической информации и исходов и записали классификацию на уровне случая по тем же трем категориям (Отрицательный/Доброкачественный/Злокачественный). Для первичных анализов их бинарные решения выводятся с использованием тех же правил HSe и HSp. Кроме того, для сбалансированной точности строится эталон "случайного читателя" путем повторной выборки решения одного рентгенолога на случай в рамках бутстрап-метода (20 000 итераций).

Эталонный стандарт Эталонный стандарт установлен на уровне исследования. Случай помечается как "Злокачественный", если имеется гистопатологическое подтверждение рака молочной железы по биопсии, выполненной во временной связи с индексной маммограммой. Случай помечается как "Незлокачественный", если два местных рентгенолога пришли к консенсусу, что находка отрицательна или стабильно доброкачественна, что обычно подтверждается как минимум 2-летним визуализационным наблюдением. Стадирование опухоли (например, TNM) в данном анализе не используется. Все 48 злокачественных случаев из участвующих центров включены в аналитическое подмножество; ни одно исследование с положительным результатом на рак не было исключено.

Цели и конечные точки Первичные цели: (1) продемонстрировать, что сбалансированная точность (BA) Carebot AI MMG составляет не менее 0,80 в обеих рабочих точках HSe и HSp; (2) продемонстрировать не меньшую эффективность сбалансированной точности ИИ по сравнению с эталоном MRMC "случайного читателя" с допустимым пределом не меньшей эффективности 0,05; и (3) продемонстрировать не меньшую эффективность чувствительности (Se) ИИ по сравнению с каждым из трех рентгенологов в обеих HSe и HSp с допустимым пределом не меньшей эффективности 0,07. Вторичные цели — описать специфичность (Sp), положительную прогностическую ценность (PPV), отрицательную прогностическую ценность (NPV) и охарактеризовать паттерны ложноотрицательных и ложноположительных решений и их потенциальные последствия для клинического управления рисками.

Статистический анализ Показатели диагностической эффективности (Se, Sp, PPV, NPV, BA) рассчитываются на уровне случая для Carebot AI MMG и каждого рентгенолога в обеих HSe и HSp. Для пропорций используются 95% доверительные интервалы Вильсона. Парные тесты Макнемара используются для сравнения ИИ и отдельных читателей по Se и Sp. Для сбалансированной точности используется процедура MRMC бутстрапа с 20 000 итераций для построения распределения случайного читателя и оценки вероятности того, что BA_AI больше или равен BA_random минус предварительно заданный предел. Не меньшая эффективность по чувствительности оценивается с использованием подхода типа Нама-Блэквелдера на несовпадающих парах. Ложноотрицательные и ложноположительные случаи рассматриваются качественно с акцентом на заметность поражения, плотность молочной железы и типичные паттерны ошибок (например, плотная паренхима, поражения около грудной мышцы, доброкачественные сосудистые структуры, асимметрии).

Риски, этика и защита данных Исследование неинтервенционное и полностью ретроспективное. Все маммографические исследования были получены в рамках рутинного ухода до исследования, и все данные DICOM были необратимо анонимизированы на уровне учреждения в соответствии с GDPR и применимым национальным законодательством перед передачей спонсору. Дополнительного облучения или контакта с пациентами не происходит, и не ожидается нежелательных явлений. Учитывая такой дизайн, исследование не соответствует определению клинического исследования по Статье 62 MDR и не подлежит предварительному уведомлению по Статье 74(1); индивидуальное информированное согласие не требуется. Результаты предназначены для поддержки клинической оценки Carebot AI MMG в качестве инструмента поддержки принятия решений в организованном маммографическом скрининге.