Ræsonneringsberigelse Med Feedback Fra KI i NEfrologi-forsøg (REFINe)

Denne undersøgelse evaluerer, om det at give klinikere realtids-diagnoseforslag fra en høj-ræsonnement stor sprogmodel (GPT-5) forbedrer diagnostisk nøjagtighed, tillid og effektivitet ved løsning af nefrologiske kliniske vignetter. Før valg af modellen til forsøget benchmarkede forskningsteamet flere state-of-the-art-modeller på et pilotsæt af nefrologiske tilfælde, herunder: GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5 og Magistral-Medium-2509. GPT-5 (høj-ræsonnement) demonstrerede den højeste diagnostiske præstation, stabilitet og fortolkelighed og blev valgt som det AI-system, der anvendes i interventionsarmen.

Deltagerne omfatter medicinstuderende, residerende læger, fellows og praktiserende læger. Efter at have oprettet en konto udfylder deltagerne et demografisk spørgeskema (specialitet, års erfaring, praksistype, alderskategori, AI-kendskab) og skal eksplicit acceptere brugen af disse data til forskningsformål før adgang til vignetterne. Der indsamles ingen direkte identificerende oplysninger.

Deltagerne randomiseres (med stratificering efter professionel status) til enten den AI-understøttede arm eller kontrolarmen. Hver deltager tildeles 10 nefrologiske vignetter på fransk eller engelsk og kan gennemføre dem over flere sessioner. Når en vignet er indsendt, kan den ikke genbesøges ("ingen backtracking"). Gennemførelsestid pr. vignet registreres automatisk.

Kontrolarm

Deltagerne ser hver vignet og angiver op til tre diagnoser ("Top-3"), efterfulgt af en tillidsvurdering (0-10).

AI-understøttet arm

Deltagerne indtaster først en indledende Top-3-diagnose og tillidsvurdering uden AI-assistance. Systemet viser derefter GPT-5's diagnostiske forslag, hvorefter deltagerne kan revidere deres diagnoser én gang. Vignetten låses efter indsendelse.

Undersøgelsen indsamler:

• indledende og endelige diagnoser,
• tillidsvurderinger før og (hvis relevant) efter AI-forslag,
• gennemførelsestider,
• deltagernes demografiske variabler,
• og AI-modellens egne diagnostiske output.

Delvis gennemførelse er tilladt; alle gennemførte vignetter bidrager til analysen.

Primære og sekundære resultater omfatter diagnostisk nøjagtighed (Top-3 og Top-1), nøjagtighedsforbedring før vs. efter AI, ændringer i diagnostisk tillid, AI-inducerede diagnosefejl, human-versus-AI-benchmarking, effektivitetsmålinger for gennemførelsestid og andelen af tildelte vignetter gennemført.

Den primære analyse vil sammenligne diagnostisk nøjagtighed mellem kontrolarmen (læger alene) og forsøgsarmen (læger assisteret af AI-modellen). Nøjagtighed analyseres som et binært udfald (korrekt vs. forkert diagnose). Da hver deltager evaluerer flere kliniske vignetter, vil nøjagtighed modelleres ved hjælp af en mixed-effects logistisk regression med en fast effekt for studiearm og tilfældige intercepts for både deltager og vignet. Denne tilgang tager højde for klyngedannelse og varierende sværhedsgrad på tværs af tilfælde. Den primære hypotesetest bruger en tosidet α = 0,05. Effektstørrelser rapporteres som oddsforhold med 95 % konfidensintervaller. Sekundære analyser vil undersøge, om nøjagtighed varierer med demografiske faktorer (f.eks. erfaring, specialitet) ved hjælp af interaktionsled.

Da hver deltager evaluerer flere vignetter, udførte teamet også simulationsbaserede effektanalyser ved hjælp af mixed-effects logistiske regressionsmodeller med tilfældige intercepts for både deltager og vignet, under antagelse af en intra-deltager ICC på 0,10. Under disse antagelser giver et samlet udvalg på 100 deltagere (50 pr. arm) med 10 vignetter pr. deltager >99 % power til at påvise en klinisk meningsfuld forbedring i diagnostisk nøjagtighed. Undersøgerne planlægger derfor at rekruttere omkring 100 deltagere i alt.

Denne undersøgelse sigter mod at kvantificere, om AI-forstærket ræsonnement meningsfuldt forbedrer diagnostisk præstation og beslutningstagning, når klinikere evaluerer komplekse nefrologiske tilfælde.