Оценка однократного визуального дифференциального диагноза (OSVDE) и многошагового диалогового не уступающего (MSCNE) в медицинском интервьюировании с использованием искусственного интеллекта. (OSVDE-MSCNE)

Системы искусственного интеллекта (ИИ) продемонстрировали перспективные возможности в медицинской диагностике; однако строгая эталонная оценка необходима до клинического внедрения. AIMD.1 — это мультимодальная диагностическая система ИИ, предназначенная для помощи в клиническом рассуждении посредством анализа медицинских изображений и диалоговых диагностических взаимодействий.

В данном исследовании оценивается диагностическая производительность AIMD.1 с использованием комбинации ретроспективных наборов данных изображений и проспективных задач оценки клиницистами. Цель состоит в том, чтобы определить, достигает ли система ИИ диагностической точности, сопоставимой с сертифицированными клиницистами, в контролируемых эталонных условиях.

Оценка включает два взаимодополняющих этапа.

Однократная визуальная дифференциальная оценка (OSVDE):

На этом этапе система ИИ и участники-клиницисты независимо рассматривают отдельные обезличенные медицинские изображения и составляют ранжированные списки возможных диагнозов исключительно на основе визуальных признаков. Для оценки будет использовано приблизительно 11 500–15 000 обезличенных медицинских изображений из различных медицинских специальностей и категорий заболеваний с верифицированными референсными диагнозами.

Многошаговая диалоговая оценка не меньшей эффективности (MSCNE):

На этом этапе система ИИ и клиницисты выполняют диагностические задачи с использованием полусинтетических симуляций пациентов, созданных на основе обезличенных медицинских изображений. Эти симуляции предоставляют структурированную клиническую информацию через диалоговые взаимодействия, позволяя оценивать диагностическое рассуждение на нескольких шагах. Будет оценено приблизительно 380–500 смоделированных случаев.

В исследовании примут участие приблизительно 10–30 сертифицированных клиницистов. Клиницисты будут выполнять сессии диагностической оценки удалённо и предоставлять дифференциальные диагнозы для подмножеств случаев с изображениями и симуляциями. Участники-люди состоят исключительно из клиницистов, предоставляющих диагностические ответы. Наборы данных изображений и синтетические случаи служат материалами исследования и не считаются участниками.

Все изображения, используемые в исследовании, обезличены и происходят из общедоступных источников или наборов данных, соответствующих стандартам обезличивания. Дополнительные этапы предварительной обработки обеспечивают удаление любой потенциально идентифицирующей информации перед включением в исследовательский набор данных.

Система ИИ оценивается в автономной исследовательской среде и не используется для руководства реальной клинической помощью или ведением пациентов. Исследование разработано как эталонная оценка производительности до любой проспективной валидации с участием реальных пациентов.

Первичные показатели результатов включают метрики диагностической точности, такие как точность диагностики Top-1, определяемую как доля случаев, в которых первичный диагноз системы ИИ совпадает с референсным диагнозом. Вторичные результаты включают точность диагностики Top-5, метрики калибровки, чувствительность и специфичность по категориям заболеваний, а также показатели времени до постановки диагноза в диалоговых диагностических сценариях.

Анализ данных позволит оценить диагностическую точность с доверительными интервалами и сравнить производительность системы ИИ с производительностью клиницистов с использованием парных статистических тестов и анализов не меньшей эффективности.

Ответы клиницистов записываются с использованием анонимных идентификаторов исследования, и будут сообщаться только агрегированные результаты производительности. Никакая идентифицирующая информация о клиницистах или пациентах не будет собираться или публиковаться.

Ожидаемая продолжительность исследования составляет приблизительно шесть месяцев, включая подготовку набора данных, сессии оценки клиницистами и статистический анализ.

Идентификатор протокола 1026 был верифицирован как Освобождённый согласно 45CFR46.104(d) Ex 03/10/2026 комитетом Solutions IRB (855) 226-4472 (www.solutionsirb.com)