Enrichissement du Raisonnement par Rétroaction de l'IA dans l'Essai de Néphrologie (REFINe)

Cette étude évalue si la fourniture aux cliniciens de suggestions diagnostiques en temps réel provenant d'un grand modèle de langage à raisonnement élevé (GPT-5) améliore la précision diagnostique, la confiance et l'efficacité lors de la résolution de vignettes cliniques en néphrologie. Avant de sélectionner le modèle pour l'essai, l'équipe de recherche a évalué plusieurs modèles de pointe sur un ensemble pilote de cas de néphrologie, notamment : GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5 et Magistral-Medium-2509. GPT-5 (raisonnement élevé) a démontré les performances diagnostiques, la stabilité et l'interprétabilité les plus élevées, et a été sélectionné comme système d'IA utilisé dans le bras d'intervention.

Les participants comprennent des étudiants en médecine, des résidents, des fellows et des médecins en exercice. Après avoir créé un compte, les participants remplissent un questionnaire démographique (spécialité, années d'expérience, type de pratique, catégorie d'âge, familiarité avec l'IA) et doivent explicitement accepter l'utilisation de ces données à des fins de recherche avant d'accéder aux vignettes. Aucune information directement identifiable n'est collectée.

Les participants sont randomisés (avec stratification par statut professionnel) soit dans le bras assisté par l'IA, soit dans le bras témoin. Chaque participant se voit attribuer 10 vignettes de néphrologie en français ou en anglais et peut les compléter sur plusieurs sessions. Une fois qu'une vignette est soumise, elle ne peut plus être revisitée (« pas de retour en arrière »). Le temps de complétion par vignette est automatiquement enregistré.

Bras témoin

Les participants visualisent chaque vignette et fournissent jusqu'à trois diagnostics (« Top-3 »), suivis d'une évaluation de confiance (0-10).

Bras assisté par l'IA

Les participants entrent d'abord un diagnostic Top-3 initial et une évaluation de confiance sans assistance de l'IA. Le système affiche ensuite les suggestions diagnostiques de GPT-5, après quoi les participants peuvent réviser leurs diagnostics une fois. La vignette est verrouillée après soumission.

L'étude collecte :

• les diagnostics initiaux et finaux,
• les évaluations de confiance avant et (le cas échéant) après les suggestions de l'IA,
• les temps de complétion,
• les variables démographiques des participants,
• et les sorties diagnostiques propres au modèle d'IA.

Une complétion partielle est autorisée ; toutes les vignettes complétées contribuent à l'analyse.

Les critères de jugement principaux et secondaires incluent la précision diagnostique (Top-3 et Top-1), l'amélioration de la précision avant vs après l'IA, les changements de confiance diagnostique, les erreurs diagnostiques induites par l'IA, le benchmarking humain contre IA, les métriques d'efficacité du temps de complétion et la proportion de vignettes attribuées complétées.

L'analyse principale comparera la précision diagnostique entre le bras témoin (médecins seuls) et le bras expérimental (médecins assistés par le modèle d'IA). La précision est analysée comme un critère de jugement binaire (diagnostic correct vs incorrect). Étant donné que chaque participant évalue plusieurs vignettes cliniques, la précision sera modélisée à l'aide d'une régression logistique à effets mixtes avec un effet fixe pour le bras d'étude et des intercepts aléatoires à la fois pour le participant et la vignette. Cette approche tient compte du regroupement et de la difficulté variable entre les cas. Le test d'hypothèse principal utilise un α bilatéral = 0,05. Les tailles d'effet seront rapportées sous forme de rapports de cotes avec des intervalles de confiance à 95 %. Les analyses secondaires exploreront si la précision varie selon des facteurs démographiques (par exemple, niveau d'expérience, spécialité) à l'aide de termes d'interaction.

Étant donné que chaque participant évalue plusieurs vignettes, l'équipe a également effectué des analyses de puissance basées sur la simulation en utilisant des modèles de régression logistique à effets mixtes avec des intercepts aléatoires à la fois pour le participant et la vignette, en supposant un ICC intra-participant de 0,10. Sous ces hypothèses, un échantillon total de 100 participants (50 par bras) avec 10 vignettes par participant fournit une puissance >99 % pour détecter une amélioration cliniquement significative de la précision diagnostique. Les investigateurs prévoient donc d'inclure environ 100 participants au total.

Cette étude vise à quantifier si le raisonnement augmenté par l'IA améliore de manière significative les performances diagnostiques et la prise de décision lorsque les cliniciens évaluent des cas complexes de néphrologie.