Mitigar o Viés de Automação no Raciocínio Diagnóstico Médico-LLM Usando Estímulos Comportamentais

O viés de automação representa um desafio crítico na prática clínica moderna, especialmente à medida que as ferramentas de inteligência artificial (IA) se tornam cada vez mais integradas nos fluxos de trabalho de saúde. Este fenómeno cognitivo descreve a tendência dos clínicos para favorecer sugestões de sistemas automatizados de tomada de decisão, mesmo quando essas sugestões estão incorretas. À medida que os Modelos de Linguagem de Grande Escala (LLM), como o ChatGPT-5.1, ganham tração em contextos médicos, o seu potencial para reduzir erros e melhorar a eficiência deve ser ponderado face a uma preocupação significativa: estes modelos carecem de validação médica rigorosa e podem amplificar os vieses cognitivos existentes através de recomendações incorretas ou enganadoras.

O surgimento do viés de automação em contextos médicos reflete uma interação complexa de fatores ambientais e psicológicos. As restrições de tempo em ambientes clínicos de elevado volume criam pressão para aceitar recomendações geradas por IA sem um escrutínio adequado. Os incentivos financeiros que priorizam a eficiência em detrimento do rigor podem desencorajar ainda mais a avaliação crítica necessária para um julgamento clínico sólido. A fadiga cognitiva durante turnos prolongados diminui a capacidade dos médicos para um pensamento analítico sustentado. Estas pressões interagem com mecanismos psicológicos, incluindo a difusão de responsabilidade, excesso de confiança em soluções tecnológicas e a descarga cognitiva, criando coletivamente condições em que a aceitação acrítica de recomendações geradas por IA se torna mais provável.

Este ensaio controlado randomizado avalia a eficácia de uma intervenção de estímulo comportamental concebida para mitigar o viés de automação entre médicos que utilizam recomendações de diagnóstico geradas por LLM. O objetivo principal é determinar se esta intervenção melhora as pontuações de desempenho do raciocínio diagnóstico ao avaliar vinhetas clínicas que incluem recomendações de LLM deliberadamente falhas. Os objetivos secundários incluem avaliar se o nível de experiência do médico, o género e a experiência prévia com LLM moderam a eficácia da intervenção, e determinar a eficácia diferencial para vinhetas com diferentes sinais de confiança.

Este estudo emprega um ensaio controlado randomizado de simples-cego com dois braços paralelos. Os participantes serão aleatoriamente atribuídos 1:1 ao braço de intervenção ou ao braço de controlo. Para eliminar a variabilidade decorrente de diferenças nas competências de formulação de prompts, os participantes não interagirão diretamente com uma interface de LLM em tempo real. Em vez disso, todos os participantes utilizarão uma plataforma web personalizada que exibe vinhetas clínicas com recomendações de LLM pré-geradas, garantindo conteúdo gerado por LLM idêntico para cada vinheta.

Todos os participantes avaliarão seis vinhetas clínicas durante uma única sessão supervisionada com duração aproximada de 75 minutos. Três vinhetas conterão falhas de raciocínio clínico deliberadamente introduzidas nas recomendações do LLM, enquanto três conterão recomendações corretas. As vinhetas serão apresentadas numa ordem aleatória para evitar a deteção de padrões.

Os participantes do braço de controlo avaliarão vinhetas clínicas com recomendações de diagnóstico de LLM geradas pelo ChatGPT, apresentadas num formato de texto padrão e neutro, sem informações contextuais adicionais. Os participantes do braço de intervenção avaliarão as mesmas vinhetas juntamente com um estímulo comportamental. Esta intervenção consiste em duas pistas cognitivas sincronizadas: (1) uma pista de ancoragem que exibe a precisão diagnóstica de base do ChatGPT em conjuntos de dados médicos padrão no topo do painel da interface, ancorando explicitamente as expectativas à falibilidade do modelo, e (2) uma pista de atenção seletiva que exibe a recomendação do LLM juntamente com um sinal de confiança codificado por cores, gerado através de uma avaliação por conjunto: três LLM independentes de última geração (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking e GPT-5.1) fornecem cada um classificações de confiança para a recomendação, e a confiança média determina a cor do sinal para mitigar a má calibração de um único modelo.

Os sinais de confiança codificados por cores são categorizados em três níveis distintos com base na confiança média do conjunto em relação à precisão diagnóstica de base. Os sinais vermelhos são acionados quando a confiança média fica abaixo da precisão de base estabelecida do ChatGPT, sinalizando explicitamente casos de elevada incerteza que exigem um escrutínio crítico intensificado. Os sinais laranja indicam que, embora a confiança média exceda a média de base, permanece abaixo de 100%, sinalizando a necessidade de vigilância clínica contínua e evitando a complacência. Finalmente, os sinais verdes são reservados para instâncias de consenso do conjunto a 100%; no entanto, mesmo a este nível de confiança, os avisos padrão de segurança de IA permanecem presentes para proteger contra a dependência excessiva do resultado do sistema.

Aos participantes serão apresentadas seis vinhetas clínicas especificamente concebidas para medir o viés de automação, obtidas e modificadas a partir de casos reais que representam uma variedade de dificuldade diagnóstica e especialidades médicas comuns. Cada vinheta segue um formato padronizado que inclui queixa principal, história da doença atual, história médica/social/familiar relevante, achados do exame físico e resultados laboratoriais iniciais.

O desfecho principal é a Pontuação de Desempenho do Raciocínio Diagnóstico, uma pontuação percentual composta baseada numa grelha estruturada que avalia: qualidade dos diagnósticos diferenciais, achados de suporte, achados opostos, precisão do diagnóstico final e adequação dos próximos passos. Os desfechos secundários incluem a precisão do diagnóstico de primeira escolha (incorreto, parcialmente correto ou correto). Todas as respostas serão avaliadas por revisores cegos utilizando a grelha de avaliação.