Um sistema de geração de doenças de fundos interpretável com base em rotulações fracamente

1. Modelos de IA para imagem multimodal do fundo no diagnóstico de doenças da retina. Os modelos de IA demonstraram potencial significativo para ajudar o diagnóstico de várias doenças da retina com base na imagem multimodal do fundo. Nos últimos anos, a IA avançou rapidamente no campo dos diagnósticos de imagens de doenças do fundo. Modelos de diagnóstico de alta precisão podem ser desenvolvidos usando grandes conjuntos de dados de imagens únicas com precisão anotadas. A fotografia do fundo, que fornece aos médicos uma impressão diagnóstica inicial, é amplamente acessível e pode ser obtida usando dispositivos de imagem simples ou até dispositivos móveis. Por exemplo, Cen et al. treinou um sistema de aprendizado profundo usando 249.620 fotografias de fundo anotadas com precisão para diagnosticar 39 doenças da retina comuns, alcançando precisão de diagnóstico superior a 90% para cada condição.

   No entanto, a fotografia do fundo apenas oferece informações limitadas sobre doenças, tornando -o desafiador para diferenciar doenças com manifestações semelhantes. Além disso, sua precisão diagnóstica é fortemente baseada na qualidade da imagem e na experiência do clínico, o que pode levar a casos perdidos ou diagnosticados.

   A tomografia de coerência óptica (OCT) fornece uma análise tridimensional das camadas da retina, revelando claramente a gravidade e a localização de patologias, como líquido intraretiniano e sub-retiniano. A OCT se tornou uma ferramenta de diagnóstico e diagnóstico diferencial padrão para doenças da retina e é essencial para orientar o tratamento preciso e o acompanhamento de condições como degeneração macular relacionada à idade e edema macular diabético. A análise da OCT assistida por AI pode melhorar ainda mais o acompanhamento e o tratamento personalizado de doenças da retina. Por exemplo, Fauw et al. Utilizou 14.884 imagens da OCT para diagnosticar mais de 10 doenças da retina e mapear a localização das lesões.

   O diagnóstico preciso de doenças da retina também se baseia em evidências dinâmicas e funcionais. A angiografia por fluoresceína do fundo (AGL) e a angiografia verde da indocianina (ICGA) são indispensáveis ​​para a localização, caracterização e avaliação da função vascular da lesão. No entanto, devido à complexidade da interpretação de imagens angiográficas, a aplicação de IA na análise AFF e ICGA só recentemente ganhou tração.

   Além disso, a maioria dos casos requer imagens multimodais, incluindo OCT, fotografia de fundos e angiografia, para localizar e analisar de maneira abrangente a patologia da doença. Além disso, a integração de dados clínicos e o histórico médico do paciente é crucial para um diagnóstico preciso. Portanto, há uma necessidade urgente de desenvolver novos modelos de IA capazes de integrar dados multimodais para ajudar os médicos a diagnosticar com precisão doenças complexas da retina.

2. Geração assistida de AI de relatórios médicos complexos. A complexidade e a natureza especializada da imagem do fundo tornam a interpretação da imagem desafiadora, e a escassez de médicos capazes de gerar relatórios precisos aumenta ainda mais a carga de trabalho de oftalmologistas e dificulta o diagnóstico precoce e o tratamento de doenças da retina. A geração de relatórios assistida pela AI tem o potencial de enfrentar esses desafios. Comparado ao reconhecimento e classificação de imagens simples, o desenvolvimento de modelos de IA que geram interpretações textuais a partir de imagens é mais complexo, pois exige que a máquina imite um entendimento humano do conteúdo da imagem. Os modelos de "imagem para texto" incorporam vários algoritmos de aprendizado profundo, incluindo visão computacional e processamento de linguagem natural. Os primeiros modelos exigiam milhões de imagens naturais para obter geração de texto satisfatória, o que é impraticável para imagens médicas devido a conjuntos de dados limitados e informações textuais extensas. No entanto, os relatórios clínicos gerados por médicos, com base em dados clínicos abrangentes, análise detalhada da imagem e experiência, podem servir como conjuntos de dados de treinamento de alta qualidade para esses modelos.

   Atualmente, esforços significativos de pesquisa estão focados em áreas com grandes conjuntos de dados e formatos de relatórios padronizados, como raios X de tórax, tomografia computadorizada do tórax e ressonância magnética cerebral. Os bancos de dados de geração de relatórios amplamente utilizados incluem Open-IU, MIMIC-CXR e PADCHEST, com MIMIC-CXR contendo mais de 270.000 relatórios de radiografia de tórax. Na oftalmologia, devido à complexidade da interpretação de imagens de fundos e ao tamanho relativamente menor do conjunto de dados, a pesquisa nessa área é limitada, particularmente para modalidades de imagem altamente especializadas, como a angiografia do fundo. Nossa equipe desenvolveu com sucesso um conjunto de dados de geração de relatório de angiografia por Fundus Fluorescein (FFA-IR) com base em imagens de angiografia e nos relatórios correspondentes. Nosso modelo de geração de relatórios pode produzir relatórios bilíngues precisos (chinês e inglês) para doenças comuns e raras da retina, com precisão comparável à dos especialistas em retina humanos, além de reduzir significativamente o tempo de geração de relatórios.

3. Anotação fraca: Uma abordagem promissora para o treinamento de novos modelos de diagnóstico e classificação de doenças para modelos de diagnóstico tradicionais assistidos por imagens médicas normalmente dependem de imagens em larga escala e anotada com precisão, pois a precisão do conjunto de dados de treinamento é fundamental para o desempenho do modelo. Quando a alta precisão da anotação não pode ser garantida, aumentar o tamanho do conjunto de dados geralmente é a única maneira de melhorar o desempenho do modelo. No entanto, para conjuntos de dados complexos como imagens de angiografia do Fundus, o grande número de doenças e manifestações variáveis ​​aumenta exponencialmente a dificuldade de anotação. Além disso, os relatórios clínicos geralmente contêm incertezas devido a dados clínicos incompletos ou níveis variados de experiência clínica, levando a imprecisões em relatórios de diagnóstico.

A anotação fraca oferece uma solução promissora para reduzir os custos de anotação, melhorar a eficiência da anotação e melhorar a generalização do modelo. No processamento natural da imagem, a anotação fraca tem sido amplamente estudada, com conjuntos de dados de imagens naturais em larga escala que permitem o treinamento de tais modelos. Na pesquisa médica da IA, Guo et al. Pioneiro o uso de conjuntos de dados fracamente anotados derivados de relatórios de TC cerebral, extraindo automaticamente informações de palavras-chave de baixa qualidade para identificar e localizar com precisão e localizar quatro patologias cerebrais comuns. Essa abordagem demonstrou excelente generalização em diferentes centros e dispositivos de imagem. No entanto, esses sistemas foram limitados a amplas categorias de doenças e imagens modais, sem a capacidade de diagnosticar doenças específicas ou gerar relatórios detalhados.

Com base em achados preliminares e literatura, propomos uma hipótese: os relatórios de imagem fracamente anotados, combinados com algoritmos de aprendizado profundo da IA, como gráficos de conhecimento e transformadores, usados ​​para construir um sistema de geração interpretável de relatórios de relatórios de fundos de múltiplos doenças múltiplas? Este projeto tem como objetivo refinar os modelos de IA existentes e desenvolver um sistema que ajuda a gerar diagnósticos e relatórios de imagens para múltiplas doenças da retina. Os resultados não apenas reduzirão a carga de trabalho dos oftalmologistas, mas também promoverão a ampla adoção de técnicas avançadas de imagem do fundo do fundo, melhorando, finalmente, o diagnóstico precoce e o tratamento de doenças cegas da retina.