Un sistema de generación de enfermedades de Fundus Informe basado en etiquetados débilmente

1. Modelos de IA para imágenes de fondo multimodal en el diagnóstico de enfermedades retinianas. Los modelos de IA han demostrado un potencial significativo para ayudar al diagnóstico de varias enfermedades retinianas basadas en imágenes de fondo multimodal. En los últimos años, la IA ha avanzado rápidamente en el campo de los diagnósticos de imágenes de enfermedades de fondo de fondo. Los modelos de diagnóstico de alta precisión se pueden desarrollar utilizando grandes conjuntos de datos de imágenes de modas simples anotadas con precisión. Fundus Photography, que proporciona a los médicos una impresión de diagnóstico inicial, es ampliamente accesible y se puede obtener utilizando dispositivos de imágenes simples o incluso dispositivos móviles. Por ejemplo, Cen et al. capacitó un sistema de aprendizaje profundo que utiliza 249,620 fotografías de fondo anotadas con precisión para diagnosticar 39 enfermedades retinianas comunes, logrando precisiones de diagnóstico superiores al 90% para cada afección.

   Sin embargo, Fundus Photography solo ofrece información limitada de la enfermedad, lo que hace que sea difícil diferenciar entre enfermedades con manifestaciones similares. Además, su precisión diagnóstica se basa en gran medida en la calidad de la imagen y la experiencia en el clínico, lo que puede conducir a casos perdidos o mal diagnosticados.

   La tomografía de coherencia óptica (OCT) proporciona un análisis tridimensional de las capas retinianas, revelando claramente la gravedad y la ubicación de las patologías como el líquido intrarretinal y subretiniano. OCT se ha convertido en una herramienta de diagnóstico de diagnóstico y diferencial estándar para enfermedades retinianas y es esencial para guiar el tratamiento preciso y el seguimiento de afecciones como la degeneración macular relacionada con la edad y el edema macular diabético. El análisis de OCT asistido por AI-AI puede mejorar aún más el seguimiento y el tratamiento personalizado de las enfermedades de la retina. Por ejemplo, Fauw et al. Utilizó 14,884 imágenes de OCT para diagnosticar más de 10 enfermedades retinianas y mapear la ubicación de las lesiones.

   El diagnóstico preciso de las enfermedades retinianas también se basa en evidencia dinámica y funcional. La angiografía de fluoresceína de fondo (FFA) y la angiografía verde de indocianina (ICGA) son indispensables para la ubicación, caracterización y evaluación de la función vascular de la lesión. Sin embargo, debido a la complejidad de la interpretación de imágenes angiográficas, la aplicación de IA en el análisis FFA e ICGA solo recientemente ha ganado tracción.

   Además, la mayoría de los casos requieren imágenes multimodales, que incluyen OCT, fotografía de fondo y angiografía, para localizar y analizar de manera integral la patología de la enfermedad. Además, la integración de datos clínicos y el historial médico del paciente es crucial para un diagnóstico preciso. Por lo tanto, existe una necesidad urgente de desarrollar nuevos modelos de IA capaces de integrar datos multimodales para ayudar a los médicos a diagnosticar con precisión enfermedades retinianas complejas.

2. Generación asistida por informes médicos complejos. La complejidad y la naturaleza especializada de las imágenes del fondo hacen que la interpretación de la imagen sea un desafío, y la escasez de médicos capaces de generar informes precisos aumenta aún más la carga de trabajo de oftalmólogos e dificulta el diagnóstico temprano y el tratamiento de las enfermedades retinianas. La generación de informes asistidos por AI-AI tiene el potencial de abordar estos desafíos. En comparación con el reconocimiento y la clasificación de imágenes simples, desarrollar modelos de IA que generen interpretaciones textuales a partir de imágenes es más complejo, ya que requiere que la máquina imite una comprensión humana del contenido de la imagen. Los modelos de "imagen a texto" incorporan varios algoritmos de aprendizaje profundo, incluida la visión por computadora y el procesamiento del lenguaje natural. Los primeros modelos requirieron millones de imágenes naturales para lograr una generación de texto satisfactoria, lo cual no es práctico para las imágenes médicas debido a conjuntos de datos limitados e información textual extensa. Sin embargo, los informes clínicos generados por los médicos, basados ​​en datos clínicos integrales, análisis de imágenes detallados y experiencia, pueden servir como conjuntos de datos de capacitación de alta calidad para dichos modelos.

   Actualmente, los esfuerzos de investigación significativos se centran en áreas con grandes conjuntos de datos y formatos de informes estandarizados, como radiografías en el tórax, tomografías computarizadas de tórax y resonancia magnética cerebral. Las bases de datos de generación de informes ampliamente utilizadas incluyen Open-IU, MIMIC-CXR y Padchest, con MIMIC-CXR que contiene más de 270,000 informes de radiografía de tórax. En la oftalmología, debido a la complejidad de la interpretación de imágenes del fondo y el tamaño relativamente más pequeño del conjunto de datos, la investigación en esta área es limitada, particularmente para modalidades de imagen altamente especializadas, como la angiografía del fondo. Nuestro equipo ha desarrollado con éxito un conjunto de datos de generación de informes de angiografía de fluoresceína de fondo (FFA-IR) basado en imágenes de angiografía y los informes correspondientes. Nuestro modelo de generación de informes puede producir informes bilingües precisos (chino e inglés) para enfermedades retinianas comunes y raras, con una precisión comparable a la de los especialistas en retina humana, al tiempo que reduce significativamente el tiempo de generación de informes.

3. Anotación débil: un enfoque prometedor para capacitar a los nuevos modelos de diagnóstico y clasificación de enfermedades tradicionales modelos de diagnóstico asistidos por AI-AI para imágenes médicas generalmente dependen de imágenes a gran escala, anotadas con precisión y de alta calidad, ya que la precisión del conjunto de datos de entrenamiento es crítica para el rendimiento del modelo. Cuando no se puede garantizar una alta precisión de anotación, aumentar el tamaño del conjunto de datos es a menudo la única forma de mejorar el rendimiento del modelo. Sin embargo, para conjuntos de datos complejos como las imágenes de angiografía de fondo, la gran cantidad de enfermedades y manifestaciones variables aumentan exponencialmente la dificultad de anotación. Además, los informes clínicos a menudo contienen incertidumbres debido a datos clínicos incompletos o niveles variables de experiencia clínica, lo que lleva a inexactitudes en los informes de diagnóstico.

La anotación débil ofrece una solución prometedora para reducir los costos de anotación, mejorar la eficiencia de la anotación y mejorar la generalización del modelo. En el procesamiento de imágenes naturales, la anotación débil ha sido ampliamente estudiada, con conjuntos de datos de imágenes naturales a gran escala que permiten la capacitación de dichos modelos. En la investigación de AI Medical, Guo et al. Pionero fue el uso de conjuntos de datos débilmente anotados derivados de los informes de CT cerebral, extrayendo automáticamente la información de palabras clave de baja calidad para identificar y localizar con precisión cuatro patologías cerebrales comunes. Este enfoque demostró una excelente generalización en diferentes centros y dispositivos de imágenes. Sin embargo, estos sistemas se limitaron a amplias categorías de enfermedades e imágenes de un solo modal, sin la capacidad de diagnosticar enfermedades específicas o generar informes detallados.

Basado en los hallazgos y la literatura preliminares, proponemos una hipótesis: ¿pueden usarse los informes de imágenes débilmente anotados, combinados con algoritmos de aprendizaje profundo de IA como gráficos de conocimiento y transformadores, para construir un sistema de generación de informes de fondo de fondo multimodal? Este proyecto tiene como objetivo refinar los modelos de IA existentes y desarrollar un sistema que ayude a generar diagnósticos e informes de imágenes para múltiples enfermedades retinianas. Los resultados no solo reducirán la carga de trabajo de oftalmólogos, sino que también promoverán la adopción generalizada de técnicas avanzadas de imágenes de fondo de fondo, mejorando en última instancia el diagnóstico temprano y el tratamiento de las enfermedades retinianas cegadoras.