Atténuation des biais d'automatisation dans le raisonnement diagnostique médecin-LLM grâce à des incitations comportementales

Le biais d'automatisation représente un défi critique dans la pratique clinique moderne, en particulier à mesure que les outils d'intelligence artificielle (IA) s'intègrent de plus en plus dans les flux de travail des soins de santé. Ce phénomène cognitif décrit la tendance des cliniciens à favoriser les suggestions des systèmes de prise de décision automatisés, même lorsque ces suggestions sont incorrectes. Alors que les grands modèles de langage (LLM) tels que ChatGPT-5.1 gagnent du terrain dans les milieux médicaux, leur potentiel à réduire les erreurs et à améliorer l'efficacité doit être mis en balance avec une préoccupation majeure : ces modèles ne bénéficient pas d'une validation médicale rigoureuse et peuvent amplifier les biais cognitifs existants par des recommandations incorrectes ou trompeuses.

L'émergence du biais d'automatisation dans les contextes médicaux reflète une interaction complexe de facteurs environnementaux et psychologiques. Les contraintes de temps dans les environnements cliniques à haut volume créent une pression pour accepter les recommandations générées par l'IA sans examen adéquat. Les incitations financières qui privilégient l'efficacité au détriment de la minutie peuvent décourager davantage l'évaluation critique nécessaire à un jugement clinique solide. La fatigue cognitive pendant les longues gardes diminue la capacité des médecins à maintenir une pensée analytique soutenue. Ces pressions interagissent avec des mécanismes psychologiques, notamment la diffusion de la responsabilité, la confiance excessive dans les solutions technologiques et le déchargement cognitif, créant collectivement des conditions où l'acceptation non critique des recommandations générées par l'IA devient plus probable.

Cet essai contrôlé randomisé évalue l'efficacité d'une intervention comportementale de « nudge » conçue pour atténuer le biais d'automatisation chez les médecins utilisant des recommandations diagnostiques générées par des LLM. L'objectif principal est de déterminer si cette intervention améliore les scores de performance du raisonnement diagnostique lors de l'évaluation de vignettes cliniques incluant des recommandations de LLM délibérément erronées. Les objectifs secondaires incluent l'évaluation de l'influence du niveau d'expérience des médecins, du genre et de l'expérience préalable avec les LLM sur l'efficacité de l'intervention, ainsi que la détermination de l'efficacité différentielle pour les vignettes présentant différents signaux de confiance.

Cette étude utilise un essai contrôlé randomisé en simple aveugle avec deux bras parallèles. Les participants seront assignés aléatoirement 1:1 soit au bras d'intervention, soit au bras témoin. Pour éliminer la variabilité liée aux différences de compétences en formulation de requêtes, les participants n'interagiront pas directement avec une interface de LLM en temps réel. Au lieu de cela, tous les participants utiliseront une plateforme web personnalisée affichant des vignettes cliniques avec des recommandations de LLM pré-générées, garantissant un contenu généré par LLM identique pour chaque vignette.

Tous les participants évalueront six vignettes cliniques lors d'une session unique et supervisée d'environ 75 minutes. Trois vignettes contiendront des défauts de raisonnement clinique délibérément introduits dans les recommandations du LLM, tandis que trois contiendront des recommandations correctes. Les vignettes seront présentées dans un ordre aléatoire pour éviter la détection de motifs.

Les participants du bras témoin évalueront des vignettes cliniques avec des recommandations diagnostiques de LLM générées par ChatGPT, présentées dans un format texte standard et neutre, sans informations contextuelles supplémentaires. Les participants du bras d'intervention évalueront les mêmes vignettes accompagnées d'un « nudge » comportemental. Cette intervention consiste en deux indices cognitifs synchronisés : (1) un indice d'ancrage affichant la précision diagnostique de base de ChatGPT sur des ensembles de données médicales standards en haut du panneau de l'interface, ancrant explicitement les attentes sur la faillibilité du modèle, et (2) un indice d'attention sélective affichant la recommandation du LLM accompagnée d'un signal de confiance codé par couleur généré par une évaluation d'ensemble : trois LLM indépendants de pointe (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking et GPT-5.1) fournissent chacun des évaluations de confiance pour la recommandation, et la confiance moyenne détermine la couleur du signal pour atténuer les erreurs de calibration d'un modèle unique.

Les signaux de confiance codés par couleur sont catégorisés en trois niveaux distincts basés sur la confiance moyenne de l'ensemble par rapport à la précision diagnostique de base. Les signaux rouges sont déclenchés lorsque la confiance moyenne est inférieure à la précision de base établie de ChatGPT, signalant explicitement les cas de forte incertitude qui exigent un examen critique accru. Les signaux orange indiquent que, bien que la confiance moyenne dépasse la moyenne de base, elle reste inférieure à 100 %, signalant la nécessité d'une vigilance clinique continue et d'éviter la complaisance. Enfin, les signaux verts sont réservés aux instances de consensus d'ensemble à 100 % ; cependant, même à ce niveau de confiance, les avertissements standards de sécurité de l'IA restent présents pour se prémunir contre une surdépendance à la sortie du système.

Les participants seront présentés avec six vignettes cliniques spécialement conçues pour mesurer le biais d'automatisation, issues et modifiées à partir de cas réels représentant une gamme de difficultés diagnostiques et de spécialités médicales courantes. Chaque vignette suit un format standardisé incluant la plainte principale, l'histoire de la maladie actuelle, les antécédents médicaux/sociaux/familiaux pertinents, les résultats de l'examen physique et les résultats de laboratoire initiaux.

Le critère de jugement principal est le Score de Performance du Raisonnement Diagnostique, un score composite en pourcentage basé sur une grille structurée évaluant : la qualité des diagnostics différentiels, les constatations à l'appui, les constatations opposées, l'exactitude du diagnostic final et la pertinence des prochaines étapes. Les critères de jugement secondaires incluent l'exactitude du diagnostic de premier choix (incorrect, partiellement correct ou correct). Toutes les réponses seront évaluées par des examinateurs en aveugle à l'aide de la grille d'évaluation.