Un système de génération de maladies du fond d'interprétation basé sur des étiquettes faibles

1. Modèles d'IA pour l'imagerie du fond multimodal dans le diagnostic des maladies rétiniennes. Les modèles d'IA ont démontré un potentiel significatif pour aider le diagnostic de diverses maladies rétiniennes basées sur l'imagerie du fond multimodal. Ces dernières années, l'IA a rapidement progressé dans le domaine du diagnostic d'imagerie des maladies du fond. Les modèles de diagnostic à haute précision peuvent être développés à l'aide de grands ensembles de données d'images uniques annotées avec précision. La photographie du fond, qui fournit aux cliniciens une impression de diagnostic initiale, est largement accessible et peut être obtenue à l'aide d'appareils d'imagerie simples ou même d'appareils mobiles. Par exemple, Cen et al. formé un système d'apprentissage en profondeur en utilisant 249 620 photographies du fond annotées avec précision pour diagnostiquer 39 maladies rétiniennes courantes, atteignant des précisions de diagnostic supérieures à 90% pour chaque condition.

   Cependant, la photographie du fond d'œil propose à elle seule des informations sur les maladies limitées, ce qui rend difficile de différencier les maladies avec des manifestations similaires. De plus, sa précision diagnostique est fortement basée sur la qualité de l'image et l'expertise des cliniciens, ce qui peut conduire à des cas manqués ou mal diagnostiqués.

   La tomographie par cohérence optique (OCT) fournit une analyse tridimensionnelle des couches rétiniennes, révélant clairement la gravité et la localisation des pathologies telles que le liquide intrarétinal et sous-rétinien. L'OCT est devenu un outil de diagnostic diagnostique et différentiel standard pour les maladies rétiniennes et est essentiel pour guider le traitement précis et le suivi de conditions telles que la dégénérescence maculaire liée à l'âge et l'œdème maculaire diabétique. L'analyse OCT assistée par l'IA peut encore améliorer le suivi et le traitement personnalisé des maladies rétiniennes. Par exemple, Fauw et al. utilisé 14 884 images OCT pour diagnostiquer plus de 10 maladies rétiniennes et cartographier l'emplacement des lésions.

   Le diagnostic précis des maladies rétiniennes repose également sur des preuves dynamiques et fonctionnelles. L'angiographie par la fluorescéine du fond (FFA) et l'angiographie verte indocyanine (ICGA) sont indispensables pour l'emplacement, la caractérisation et l'évaluation de la fonction vasculaire de la lésion. Cependant, en raison de la complexité de l'interprétation des images angiographiques, l'application de l'IA dans l'analyse FFA et ICGA n'a gagné que récemment.

   De plus, la plupart des cas nécessitent une imagerie multimodale, y compris l'OCT, la photographie du fond et l'angiographie, pour localiser et analyser de manière approfondie la pathologie de la maladie. De plus, l'intégration des données cliniques et des antécédents médicaux des patients est cruciale pour un diagnostic précis. Par conséquent, il est urgent de développer de nouveaux modèles d'IA capables d'intégrer des données multimodales pour aider les cliniciens à diagnostiquer avec précision les maladies rétiniennes complexes.

2. Génération assistée par AI de rapports médicaux complexes. La complexité et la nature spécialisée de l'imagerie du fond d'œil rendent l'interprétation de l'image difficile, et la pénurie de cliniciens capables de générer des rapports précis augmente encore la charge de travail des ophtalmologistes et entrave le diagnostic précoce et le traitement des maladies rétiniennes. La génération de rapports assistée par AI a le potentiel de relever ces défis. Par rapport à la reconnaissance et à la classification simples d'images, le développement de modèles d'IA qui génèrent des interprétations textuels à partir d'images est plus complexe, car il oblige la machine à imiter une compréhension humaine du contenu de l'image. Les modèles "Image-the-Text" intègrent divers algorithmes d'apprentissage en profondeur, y compris la vision par ordinateur et le traitement du langage naturel. Les premiers modèles nécessitaient des millions d'images naturelles pour obtenir une génération de texte satisfaisante, ce qui n'est pas pratique pour l'imagerie médicale en raison de ensembles de données limités et d'informations textuelles étendues. Cependant, les rapports cliniques générés par les cliniciens, basés sur des données cliniques complètes, une analyse détaillée des images et une expérience, peuvent servir de jeux de données de formation de haute qualité pour de tels modèles.

   Actuellement, des efforts de recherche importants sont axés sur les zones avec de grands ensembles de données et des formats de rapport standardisés, tels que les rayons X thoraciques, les tomodensitogrammes thoraciques et l'IRM cérébrale. Les bases de données de génération de rapports largement utilisées incluent Open-IU, Mimic-CXR et Padchest, avec Mimic-CXR contenant plus de 270 000 rapports de radiographie thoracique. En ophtalmologie, en raison de la complexité de l'interprétation de l'imagerie du fond et de la taille relativement plus petite de l'ensemble de données, la recherche dans ce domaine est limitée, en particulier pour les modalités d'imagerie hautement spécialisées telles que l'angiographie du fond. Notre équipe a développé avec succès un ensemble de données sur la génération de rapports d'angiographie de fluorescéine du fond (FFA-IR) basé sur des images d'angiographie et les rapports correspondants. Notre modèle de génération de rapports peut produire des rapports bilingues précis (chinois et anglais) pour les maladies rétiniennes courantes et rares, avec une précision comparable à celle des spécialistes de la rétinction humaine, tout en réduisant considérablement le temps de génération de rapports.

3. Annotation faible: une approche prometteuse pour la formation de nouveaux modèles de diagnostic et de classification de nouvelles maladies, les modèles de diagnostic traditionnels assistés par l'IA pour l'imagerie médicale reposent généralement sur des images à grande échelle, avec précision annotée et de haute qualité, car la précision de l'ensemble de données de formation est essentielle pour les performances du modèle. Lorsque une précision annotation élevée ne peut pas être garantie, l'augmentation de la taille de l'ensemble de données est souvent le seul moyen d'améliorer les performances du modèle. Cependant, pour les ensembles de données complexes comme les images d'angiographie du fond, le grand nombre de maladies et les manifestations variables augmentent de façon exponentielle la difficulté d'annotation. De plus, les rapports cliniques contiennent souvent des incertitudes en raison de données cliniques incomplètes ou de différents niveaux d'expertise des cliniciens, ce qui entraîne des inexactitudes dans les rapports de diagnostic.

L'annotation faible offre une solution prometteuse pour réduire les coûts d'annotation, améliorer l'efficacité de l'annotation et améliorer la généralisation du modèle. Dans le traitement naturel de l'image, l'annotation faible a été largement étudiée, avec des ensembles de données d'image naturels à grande échelle permettant la formation de ces modèles. Dans la recherche sur l'IA médicale, Guo et al. Pionnier de l'utilisation des ensembles de données faiblement annotés dérivés des rapports CT cérébraux, extrait automatiquement des informations de mot-clé de faible qualité pour identifier avec précision et localiser quatre pathologies cérébrales communes. Cette approche a démontré une excellente généralisation dans différents centres et dispositifs d'imagerie. Cependant, ces systèmes étaient limités à de grandes catégories de maladies et d'images monomodales, dépourvues de diagnostiquer des maladies spécifiques ou de générer des rapports détaillés.

Sur la base des résultats préliminaires et de la littérature, nous proposons une hypothèse: les rapports d'imagerie faiblement annotés, combinés avec des algorithmes d'apprentissage en profondeur IA tels que les graphiques de connaissances et le transformateur, sont utilisés pour créer un système de génération de rapports multi-modales interprétable, multi-modal et multi-maladies? Ce projet vise à affiner les modèles d'IA existants et à développer un système qui aide à générer des diagnostics d'imagerie et des rapports pour plusieurs maladies rétiniennes. Les résultats réduiront non seulement la charge de travail des ophtalmologistes, mais feront également la promotion de l'adoption généralisée des techniques d'imagerie avancées du fond d'œil, améliorant finalement le diagnostic précoce et le traitement des maladies rétiniennes aveuglantes.