Интерпретируемые заболевания глазного дна, создавая систему, основанную на слабых маркировках

1. Модели ИИ для мультимодальной визуализации глазного дна при диагностике заболеваний сетчатки. Модели ИИ продемонстрировали значительный потенциал в содействии диагностике различных заболеваний сетчатки на основе мультимодальной визуализации глазного дна. В последние годы ИИ быстро продвинулся в области диагностики визуализации глазного излучения. Модели диагностики с высокой точностью могут быть разработаны с использованием больших наборов данных точно аннотированных одномодальных изображений. Фотография глазного дна, которая обеспечивает клиницистам первоначальное диагностическое впечатление, широко доступна и может быть получена с использованием простых устройств визуализации или даже мобильных устройств. Например, Cen et al. Обучил систему глубокого обучения с использованием 249 620 точно аннотированных фотографий глазного дна для диагностики 39 распространенных заболеваний сетчатки, достигая диагностической точности, превышающей 90% для каждого состояния.

   Тем не менее, фотография глазного дна предлагает ограниченную информацию о заболеваниях, что делает трудности различать заболевания с аналогичными проявлениями. Кроме того, его точность диагностики в значительной степени основана на качестве качества изображения и опытом врача, что может привести к пропущенным или неправильно диагностированным случаям.

   Оптическая когерентная томография (ОКТ) обеспечивает трехмерный анализ слоев сетчатки, четко выявляя тяжесть и местоположение патологий, таких как внутриретинальное и субретинальное жидкость. ОКТ стал стандартным диагностическим и дифференциальным диагностическим инструментом для заболеваний сетчатки и имеет важное значение для определения точного лечения и последующего наблюдения, таких как возрастная дегенерация желтого пятна и диабетический отек желтого пятна. Анализ OCT с помощью A-A-A-A-ASIST может дополнительно улучшить последующее и персонализированное лечение заболеваний сетчатки. Например, Fauw et al. Использовали 14 884 изображения ОКТ для диагностики более 10 заболеваний сетчатки и отобразить местоположение поражений.

   Точный диагноз заболеваний сетчатки также зависит от динамических и функциональных доказательств. Ангиография флуоресцеина (FFA) и индоцианиновая зеленая ангиография (ICGA) являются незаменимыми для местоположения, характеристики и оценки сосудистой функции поражения. Однако из -за сложности интерпретации ангиографических изображений применение ИИ в анализе FFA и ICGA лишь недавно получило тягу.

   Кроме того, в большинстве случаев требуется мультимодальная визуализация, включая ОКТ, Фотография глазного дна и ангиографию, для всестороннего определения и анализа патологии заболевания. Кроме того, интеграция клинических данных и анамнеза заботы о пациентах имеет решающее значение для точного диагноза. Таким образом, существует неотложная необходимость в разработке новых моделей искусственного интеллекта, способных интегрировать мультимодальные данные, чтобы помочь врачам в точной диагностике сложных заболеваний сетчатки.

2. A-A-Assisted Generation сложных медицинских отчетов. Сложность и специализированный характер визуализации глазного дна делают сложную интерпретацию, а нехватка клиницистов, способных генерировать точные отчеты, еще больше увеличивает рабочую нагрузку офтальмологов и препятствует ранней диагностике и лечению заболеваний сетчатки. Поколение отчета A-A-A-A-ASIST может решить эти проблемы. По сравнению с простым распознаванием и классификацией изображений, разработка моделей ИИ, которые генерируют текстовые интерпретации из изображений, является более сложной, поскольку она требует от машины имитировать человеческое понимание содержания изображения. Модели «Изображение-текст» включают в себя различные алгоритмы глубокого обучения, включая компьютерное зрение и обработку естественного языка. Ранние модели требовали миллионов естественных изображений для достижения удовлетворительного генерации текста, что нецелесообразно для медицинской визуализации из -за ограниченных наборов данных и обширной текстовой информации. Тем не менее, клинические отчеты, полученные клиницистами, на основе комплексных клинических данных, подробного анализа изображений и опыта, могут служить высококачественными учебными наборами для таких моделей.

   В настоящее время значительные исследовательские усилия сосредоточены на областях с большими наборами данных и стандартизированными форматами отчетов, такими как рентген грудной клетки, КТ грудной клетки и МРТ мозга. Широко используемые базы данных генерации отчетов включают Open-IU, MIMIC-CXR и PADCHEST, с MIMIC-CXR, содержащим более 270 000 сообщений о рентгенограмме грудной клетки. В офтальмологии, из -за сложности интерпретации визуализации глазного дна и относительно меньшего размера набора данных, исследования в этой области ограничены, особенно для высокоспециализированных методов визуализации, таких как ангиография глазного дна. Наша команда успешно разработала набор данных генерации ангиографии Fluorescein Angiography (FFA-IR) на основе ангиографических изображений и соответствующих отчетов. Наша модель генерации отчетов может создавать точные двуязычные отчеты (китайский и английский) для общих и редких заболеваний сетчатки, с точностью, сравнимой с точностью от специалистов по сетчатке человека, при этом значительно сокращая время генерации отчетов.

3. Слабая аннотация: многообещающий подход к обучению нового диагностики заболеваний и классификации модели традиционных диагностических моделей, связанных с AI-ассистентами для медицинской визуализации, обычно полагаются на крупномасштабные, точно аннотированные, высококачественные изображения, поскольку точность набора набора обучения имеет решающее значение для производительности модели. Когда высокая точность аннотации не может быть гарантирована, увеличение размера набора данных часто является единственным способом повышения производительности модели. Однако для сложных наборов данных, таких как ангиографические изображения глазного дна, большое количество болезней и переменных проявлений экспоненциально увеличивает сложность аннотации. Кроме того, клинические отчеты часто содержат неопределенности из -за неполных клинических данных или различных уровней опыта врача, что приводит к неточностям в диагностических отчетах.

Слабая аннотация предлагает многообещающее решение для снижения затрат на аннотацию, повышения эффективности аннотации и улучшения модели. При естественной обработке изображений слабая аннотация широко изучалась, с крупномасштабными наборами данных естественных изображений, позволяющих обучать таких моделей. В Medical AI Research, Guo et al. Пионером использовал слабо аннотированные наборы данных, полученные из отчетов CT мозга, автоматически извлечение информации о низких ключевых словах для точного идентификации и определения четырех общих патологий мозга. Этот подход продемонстрировал превосходную обобщаемость в разных центрах и устройствах визуализации. Тем не менее, эти системы были ограничены широкими категориями заболеваний и одномодальных изображений, не имея возможности диагностировать конкретные заболевания или генерировать подробные отчеты.

Основываясь на предварительных выводах и литературе, мы предлагаем гипотезу: можно ли легко аннотировать отчеты о визуализации, в сочетании с алгоритмами глубокого обучения искусственным технологиям, таким как графики знаний и трансформатор, для создания интерпретируемой многомодальной системы генерации отчетов отчетов из многоотдачи? Этот проект направлен на уточнение существующих моделей ИИ и разработку системы, которая помогает генерировать диагнозы визуализации и отчеты о множественных заболеваниях сетчатки. Результаты не только уменьшат рабочую нагрузку офтальмологов, но и способствуют широко распространенному принятию передовых методов визуализации глазного дна, в конечном итоге улучшая раннюю диагностику и лечение ослепительных заболеваний сетчатки.