Валидация клинической адаптируемости фундаментальной модели для нейровизуализационной диагностики

Неврологические расстройства представляют серьёзную угрозу здоровью человека и создают существенное социально-экономическое бремя. Визуализационные исследования, включая КТ и МРТ, играют незаменимую роль в скрининге заболеваний, неинвазивной диагностике и принятии решений о лечении. Инструменты искусственного интеллекта (ИИ) показали многообещающие перспективы клинического применения в повышении продуктивности радиологов и сокращении времени ожидания пациентов, особенно в условиях интенсивной терапии и медицински недостаточно обеспеченных регионах. Хотя инструменты ИИ, обученные на базовых моделях, должны обладать надёжной обобщающей способностью и адаптироваться к сложным клиническим сценариям, современные системы ИИ часто не имеют достаточной валидации в реальной клинической практике.

В условиях растущих требований к прецизионной медицине и потока данных медицинской визуализации клинические испытания необходимы для валидации диагностической эффективности систем с поддержкой ИИ и их применимости в более широких клинических условиях. На основе многопрофильной команды (объединяющей экспертизу в области ИИ, радиологии, неотложной помощи, неврологии и патологии) и предыдущего исследовательского опыта, в данном исследовании разработан комплексный и надёжный протокол исследования для обеспечения достоверности испытания, в конечном итоге способствуя клиническому внедрению.

В этом исследовании выдвигается гипотеза, что рабочая эффективность радиологов, сотрудничающих с базовой моделью нейровизуализации для КТ и МРТ головного мозга, не уступает эффективности радиологов, работающих самостоятельно. Что касается вторичных конечных точек, мы исследуем эффективность сотрудничества ИИ и радиолога в реальной клинической среде. Клиническое испытание включает три подисследования:

1. Идентификация аномальных случаев Сканирование мозга, включая нормальные случаи и все неврологические заболевания, охватываемые как КТ, так и МРТ, случайным образом предоставлялось двум группам радиологов для классификации на нормальные или аномальные случаи с предсказательной меткой от системы с поддержкой ИИ или без неё. Сравнение чувствительности, специфичности и эффективности радиологов, сотрудничающих с ИИ или работающих самостоятельно.
2. Исследование для идентификации критических значений Исследование включало проспективный, рандомизированный отбор данных экстренной КТ из окна от 1 до 3 дней. Эффективность трёх парадигм — только человек, только ИИ и человек+ИИ — оценивалась отдельно на основе диагностической точности, временной эффективности и критического показателя упреждающего времени в выявлении неотложных находок при интеграции ИИ по сравнению с парадигмой только человек.
3. Эксперимент по классификации заболеваний Использовался проспективно отобранный набор данных за определённый период времени, включающий как КТ, так и МРТ исследования. Эксперимент сравнивает эффективность трёх диагностических подходов, включая интерпретацию только человеком, анализ только ИИ и совместную интерпретацию человек-ИИ. Часть I, время выполнения задачи, диагностическая точность и показатель диагностического воспроизведения (для случаев с несколькими метками) были рассчитаны и сравнены между тремя методами следующим образом: (1) Радиологи независимо выбирают и используют предоставленные шаблоны заболеваний для генерации отчётов, затем извлекают диагностические метки из отчётов; (2) Радиологи генерируют отчёты при просмотре изображений с помощью категориальных меток, сгенерированных ИИ, и шаблонов отчётов, назначенных ИИ на основе системы основной классификации «midnights»; (3) ИИ автоматически генерирует полный отчёт и классификационные метки. Часть II, первоначальные отчитывающиеся радиологи были привлечены для повторной интерпретации исследований, и эта повторная оценка проводилась с помощью меток, сгенерированных ИИ, и сопоставленных шаблонов. Часть III, используя классификационные возможности большой языковой модели/базовой модели, система оценивалась на нескольких внешних тестовых наборах с большим количеством образцов для измерения точности и времени обработки. Кроме того, случайное подмножество случаев из различных категорий было отобрано для оценки нейрорадиологами для расчёта частоты пропущенных диагнозов и ошибочных диагнозов.