Investigação sobre Construção e Verificação de Modelo de Grande Dimensão de Imagiologia Médica Multimodal

Com a acumulação contínua de imagens médicas, registos de saúde eletrónicos (RSE) e dados clínicos multimodais, como utilizar eficientemente informações médicas multi-fonte para alcançar um diagnóstico preciso e uma tomada de decisão inteligente tornou-se uma direção central no desenvolvimento da inteligência artificial (IA) médica. Embora os algoritmos unimodais tradicionais (por exemplo, modelos baseados apenas em imagens de TC, RM ou ecografia) tenham produzido certos resultados em tarefas específicas, a sua incapacidade de modelar correlações semânticas entre imagens, dados textuais e laboratoriais muitas vezes leva a uma estabilidade insuficiente e a uma interpretabilidade limitada dos resultados diagnósticos, dificultando a satisfação das necessidades abrangentes de tomada de decisão em cenários clínicos complexos.

Nos últimos anos, os modelos de linguagem grandes multimodais (MLLMs) demonstraram capacidades notáveis de compreensão entre modalidades e transferência de conhecimento no processamento de imagens naturais e em tarefas gerais de visão-linguagem, fornecendo um novo paradigma técnico para a IA médica. No entanto, a aplicação direta de tais modelos em cenários médicos ainda enfrenta múltiplos desafios: primeiro, existem discrepâncias significativas entre o sistema semântico médico e os modelos de linguagem geral, dificultando a representação precisa das características da doença e dos detalhes de imagem; segundo, a morfologia complexa das lesões e a distribuição desequilibrada de amostras nos dados médicos aumentam a dificuldade de generalização do modelo; terceiro, os dados clínicos envolvem informações sensíveis à privacidade, tornando a segurança dos dados e a conformidade ética um pré-requisito para a investigação.

A investigação sobre modelos grandes multimodais médicos visa utilizar de forma abrangente dados heterogéneos multi-fonte, tais como imagens médicas (por exemplo, TC, RM, raio-X), RSE e relatórios laboratoriais, para estabelecer um mecanismo unificado de representação semântica e raciocínio, permitindo uma análise inteligente de ponta a ponta que inclui identificação de doenças, localização de lesões, geração de relatórios e previsão da progressão da doença. Esta direção de investigação não só ajuda a melhorar a eficiência e a precisão do diagnóstico clínico, como também fornece aos clínicos um apoio à decisão auxiliar interpretável e rastreável, possuindo amplas perspetivas de aplicação clínica.

Com base nos abundantes recursos de dados clínicos do hospital e na base de desenvolvimento de algoritmos da equipa de investigação, este estudo pretende construir um sistema de modelo grande multimodal para o diagnóstico por imagem médica, realizando um fluxo de análise inteligente em ciclo fechado desde a fusão de informações multimodais até à geração de relatórios diagnósticos.

Durante a implementação da investigação, será seguida uma adesão estrita aos padrões éticos médicos para proteger plenamente o direito dos pacientes ao consentimento informado, à privacidade e à segurança dos dados. Para garantir a cientificidade e a conformidade do desenho da investigação, este projeto deve passar por uma revisão ética antes do seu lançamento oficial. De acordo com regulamentos relevantes, incluindo a Declaração de Helsínquia, as Diretrizes Éticas Internacionais para Investigação Relacionada com a Saúde Envolvendo Seres Humanos e as Medidas de Revisão Ética para Investigação em Ciências da Vida e Médica Envolvendo Seres Humanos, alcançaremos a integração orgânica entre investigação científica e princípios éticos, estabelecendo uma base conforme para a subsequente validação clínica e promoção da aplicação.