Validação sobre a Adaptabilidade Clínica do Modelo de Base Específico para o Diagnóstico de Neuroimagem

As perturbações neurológicas constituem uma grave ameaça para a saúde humana e criam um substancial fardo socioeconómico. Os exames de imagem, incluindo TC e RM, desempenham um papel indispensável no rastreio de doenças, no diagnóstico não invasivo e na orientação da decisão terapêutica. As ferramentas de inteligência artificial (IA) têm demonstrado promissoras perspetivas de aplicação clínica na libertação da produtividade dos radiologistas e no encurtamento do tempo de espera dos doentes, particularmente em contextos de cuidados críticos e em regiões com escassez de recursos médicos. Embora se espere que as ferramentas de IA treinadas em modelos de base tenham uma generalização fiável e possam adaptar-se a cenários clínicos complexos, os sistemas de IA atuais frequentemente carecem de uma validação robusta na prática clínica do mundo real.

Perante as crescentes exigências da medicina de precisão e o dilúvio de dados de imagiologia médica, os ensaios clínicos são essenciais para validar a eficácia diagnóstica dos sistemas assistidos por IA e a sua aplicabilidade em contextos clínicos mais amplos. Com base numa equipa multidisciplinar (integrando conhecimentos em IA, radiologia, emergência, neurologia e patologia) e em experiência prévia de investigação, este estudo delineou um protocolo de investigação abrangente e robusto para garantir a fiabilidade do ensaio, facilitando, em última análise, a translação clínica.

Este estudo coloca a hipótese de que o desempenho dos radiologistas que colaboram com o modelo de base de neuroimagiologia para TC e RM cerebral não é inferior ao daqueles que trabalham de forma independente. Para os pontos finais secundários, investigamos o desempenho da colaboração IA-radiologista das ferramentas de IA em ambiente clínico real. O ensaio clínico contém três subestudos:

1. Identificação de casos anormais Exames cerebrais, incluindo cobertura de doenças neurológicas normais e todas, tanto em TC como em RM, foram aleatoriamente atribuídos a dois grupos de radiologistas para classificar como casos normais ou anormais com ou sem a etiqueta prevista do sistema assistido por IA. Comparação da sensibilidade, especificidade e eficiência dos radiologistas que colaboram com a IA ou que trabalham de forma independente.
2. Estudo para identificação de valor crítico O estudo envolveu uma seleção prospetiva e aleatória de dados de TC de emergência de uma janela de 1 a 3 dias. O desempenho de três paradigmas – apenas humano, apenas IA e humano+IA – foi avaliado separadamente com base na precisão diagnóstica, na eficiência temporal e na métrica crítica do tempo de antecedência na identificação de achados urgentes quando a IA foi integrada, em comparação com o de apenas humano.
3. Experiência de classificação de doenças Foi utilizado um conjunto de dados selecionado prospetivamente de um período de tempo específico, compreendendo exames de TC e RM. A experiência compara o desempenho de três abordagens diagnósticas, incluindo a interpretação apenas humana, a análise apenas por IA e a interpretação colaborativa humano-IA. Na Parte I, o tempo de conclusão da tarefa, a precisão diagnóstica e a taxa de recordação diagnóstica (para casos com múltiplas etiquetas) foram calculados e comparados entre os três métodos da seguinte forma: (1) Os radiologistas selecionam e utilizam independentemente os modelos de doença fornecidos para a geração de relatórios, depois extraem as etiquetas de diagnóstico dos relatórios; (2) Os radiologistas geram relatórios enquanto navegam nas imagens com o auxílio de etiquetas de categoria geradas por IA e modelos de relatório atribuídos por IA com base no sistema de classificação principal "midnights"; (3) A IA gera automaticamente o relatório completo e as etiquetas de classificação. Na Parte II, os radiologistas que redigiram os relatórios originais foram chamados a reinterpretar os estudos, e esta reavaliação foi realizada com o auxílio de etiquetas geradas por IA e modelos correspondentes. Na Parte III, aproveitando as capacidades de classificação de um modelo de linguagem grande/modelo de base, o sistema foi avaliado em múltiplos conjuntos de teste externos de grande amostra para medir a precisão e o tempo de processamento. Além disso, foi selecionado um subconjunto aleatório de casos de várias categorias para avaliação por neuroradiologistas, a fim de calcular a taxa de diagnósticos perdidos e diagnósticos errados.