Прямое сравнение системы искусственного интеллекта COSMO (Cancer Ontology Supervised Multimodal Orchestration) с оценкой только патологоанатомом (COSMO)

Обоснование и предпосылки исследования Диагностическая точность в классификации подтипов рака значительно варьируется среди патологов из-за различий в экспертизе, опыте и доступе к диагностическим ресурсам. Появление систем искусственного интеллекта (ИИ) в патологии предлагает потенциал для повышения эффективности и согласованности диагностики в классификации рака. Однако прямые эмпирические сравнения прогнозов на основе ИИ и диагностической эффективности патологов на идентичных случаях остаются ограниченными в литературе.

Цели исследования Это прямое сравнительное исследование направлено на: (1) оценку диагностической эффективности системы ИИ COSMO в классификации подтипов рака на множестве анатомических локализаций; (2) характеристику диагностической точности опытных патологов на тех же случаях; (3) прямое сравнение метрик диагностической эффективности между COSMO и патологами; и (4) изучение паттернов согласованности и вариаций эффективности в зависимости от анатомической локализации, категории заболеваемости раком, опыта патолога и сложности случая.

Место проведения исследования и участники В исследовании примут участие до 25 сертифицированных патологов с опытом диагностики от 3 до 10+ лет, набранных из учреждений Северной Америки, Европы и Азиатско-Тихоокеанского региона. Участвующие патологи будут обладать экспертизой в области нейропатологии, легочной патологии, урологической патологии или общей анатомической патологии.

Случаи и стратификация В исследовании будут использоваться обезличенные архивные изображения целых срезов, представляющие до 300 пациентов с подтвержденными референсными диагнозами, включая 100 случаев рака мозга, 100 случаев рака легких и 100 случаев рака почки. Случаи будут стратифицированы по типу рака и категории заболеваемости (распространенные против редких или необычных), в соответствии с руководствами Всемирной организации здравоохранения (ВОЗ).

Сбор данных Патологи будут независимо рассматривать каждый случай и предоставлять диагностические классификации вместе с оценками уверенности по 5-балльной шкале. Цифровой интерфейс патологии будет автоматически записывать метрики времени до постановки диагноза. COSMO будет обрабатывать те же случаи оффлайн для генерации независимых диагностических прогнозов и оценок уверенности. Прогнозы как патологов, так и ИИ будут оцениваться по установленным референсным стандартным диагнозам.

Аналитическая основа Первичный анализ будет характеризовать метрики диагностической эффективности (включая точность, чувствительность, специфичность, положительную прогностическую ценность (ППЦ), отрицательную прогностическую ценность (ОПЦ) и площадь под кривой рабочих характеристик приемника (AUROC)) как для патологов (на индивидуальном и агрегированном уровнях), так и для системы COSMO. Вторичные анализы будут оценивать эффективность, стратифицированную по анатомической локализации, категории заболеваемости раком и уровню опыта патолога.