Enriquecimento do Raciocínio com Feedback de IA em Estudo de Nefrologia (REFINe)

Este estudo avalia se fornecer aos clínicos sugestões de diagnóstico em tempo real de um modelo de linguagem de grande capacidade de raciocínio (GPT-5) melhora a precisão, a confiança e a eficiência diagnóstica ao resolver vinhetas clínicas de nefrologia. Antes de selecionar o modelo para o ensaio, a equipa de investigação comparou vários modelos de última geração num conjunto piloto de casos de nefrologia, incluindo: GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5 e Magistral-Medium-2509. O GPT-5 (alta capacidade de raciocínio) demonstrou o melhor desempenho, estabilidade e interpretabilidade diagnóstica, e foi selecionado como o sistema de IA utilizado no braço de intervenção.

Os participantes incluem estudantes de medicina, internos, especializandos e médicos em exercício. Após criar uma conta, os participantes preenchem um questionário demográfico (especialidade, anos de experiência, tipo de prática, faixa etária, familiaridade com IA) e devem concordar explicitamente com a utilização destes dados para fins de investigação antes de acederem às vinhetas. Não são recolhidas informações diretamente identificativas.

Os participantes são randomizados (com estratificação por estatuto profissional) para o braço apoiado por IA ou para o braço de controlo. Cada participante recebe 10 vinhetas de nefrologia em francês ou inglês e pode completá-las em várias sessões. Uma vez submetida uma vinheta, esta não pode ser revisitada ("sem retrocesso"). O tempo de conclusão por vinheta é automaticamente registado.

Braço de Controlo

Os participantes visualizam cada vinheta e fornecem até três diagnósticos ("Top-3"), seguidos de uma classificação de confiança (0-10).

Braço Apoiado por IA

Os participantes introduzem primeiro um diagnóstico inicial Top-3 e uma classificação de confiança sem assistência da IA. O sistema exibe então as sugestões de diagnóstico do GPT-5, após o que os participantes podem rever os seus diagnósticos uma vez. A vinheta é bloqueada após a submissão.

O estudo recolhe:

• diagnósticos iniciais e finais,
• classificações de confiança antes e (se aplicável) após as sugestões de IA,
• tempos de conclusão,
• variáveis demográficas dos participantes,
• e os resultados diagnósticos próprios do modelo de IA.

É permitida a conclusão parcial; todas as vinhetas concluídas contribuem para a análise.

Os desfechos primários e secundários incluem precisão diagnóstica (Top-3 e Top-1), melhoria da precisão antes vs. após a IA, alterações na confiança diagnóstica, erros de diagnóstico induzidos por IA, benchmarking humano vs. IA, métricas de eficiência do tempo de conclusão e proporção de vinhetas atribuídas concluídas.

A análise primária comparará a precisão diagnóstica entre o braço de controlo (médicos sozinhos) e o braço experimental (médicos assistidos pelo modelo de IA). A precisão é analisada como um resultado binário (diagnóstico correto vs. incorreto). Como cada participante avalia múltiplas vinhetas clínicas, a precisão será modelada usando uma regressão logística de efeitos mistos com um efeito fixo para o braço do estudo e interceptos aleatórios tanto para o participante como para a vinheta. Esta abordagem contabiliza o agrupamento e a dificuldade variável entre casos. O teste de hipótese primário utiliza um α bilateral = 0,05. Os tamanhos do efeito serão reportados como razões de probabilidades com intervalos de confiança de 95%. Análises secundárias explorarão se a precisão varia por fatores demográficos (por exemplo, nível de experiência, especialidade) usando termos de interação.

Como cada participante avalia múltiplas vinhetas, a equipa também realizou análises de poder baseadas em simulação usando modelos de regressão logística de efeitos mistos com interceptos aleatórios tanto para o participante como para a vinheta, assumindo um ICC intra-participante de 0,10. Sob estas premissas, uma amostra total de 100 participantes (50 por braço) com 10 vinhetas por participante fornece um poder >99% para detetar uma melhoria clinicamente significativa na precisão diagnóstica. Os investigadores planeiam, portanto, recrutar aproximadamente 100 participantes no total.

Este estudo visa quantificar se o raciocínio aumentado por IA melhora significativamente o desempenho e a tomada de decisão diagnóstica quando os clínicos avaliam casos complexos de nefrologia.