Mitigeren van Automatisering Bias in Arts-LLM Diagnostisch Redeneren met Gedragsinterventies

Automatiseringsbias vormt een kritieke uitdaging in de moderne klinische praktijk, vooral omdat kunstmatige intelligentie (AI)-hulpmiddelen steeds meer ingebed raken in zorgwerkstromen. Dit cognitieve fenomeen beschrijft de neiging van clinici om suggesties van geautomatiseerde besluitvormingssystemen te verkiezen, zelfs wanneer die suggesties onjuist zijn. Naarmate grote taalmodellen (LLM's) zoals ChatGPT-5.1 voet aan de grond krijgen in medische omgevingen, moet hun potentieel om fouten te verminderen en efficiëntie te verbeteren worden afgewogen tegen een belangrijke zorg: deze modellen ontberen rigoureuze medische validatie en kunnen bestaande cognitieve vooroordelen versterken door onjuiste of misleidende aanbevelingen.

De opkomst van automatiseringbias in medische contexten weerspiegelt een complexe wisselwerking van omgevings- en psychologische factoren. Tijdsdruk in klinische settings met hoge volumes creëert druk om AI-gegenereerde aanbevelingen zonder voldoende toetsing te accepteren. Financiële prikkels die efficiëntie boven grondigheid stellen, kunnen de kritische evaluatie die nodig is voor een degelijk klinisch oordeel verder ontmoedigen. Cognitieve vermoeidheid tijdens lange diensten vermindert het vermogen van artsen voor aanhoudend analytisch denken. Deze druk interageert met psychologische mechanismen, waaronder verantwoordelijkheidsdiffusie, overmoed in technologische oplossingen en cognitieve ontlasting, die gezamenlijk omstandigheden creëren waarin onkritische acceptatie van AI-gegenereerde aanbevelingen waarschijnlijker wordt.

Deze gerandomiseerde gecontroleerde studie evalueert de effectiviteit van een gedragsinterventie ('nudge') die is ontworpen om automatiseringbias te verminderen onder artsen die gebruikmaken van LLM-gegenereerde diagnostische aanbevelingen. Het primaire doel is om te bepalen of deze interventie de prestatiescores voor diagnostisch redeneren verbetert bij het evalueren van klinische vignetten die opzettelijk gebrekkige LLM-aanbevelingen bevatten. Secundaire doelstellingen omvatten het beoordelen of het ervaringsniveau, geslacht en eerdere LLM-ervaring van de arts de effectiviteit van de interventie modereren, en het bepalen van het differentiële effect voor vignetten met verschillende betrouwbaarheidssignalen.

Deze studie gebruikt een enkelblinde, gerandomiseerde gecontroleerde trial met twee parallelle armen. Deelnemers worden willekeurig 1:1 toegewezen aan de interventie- of controlearm. Om variabiliteit door verschillen in promptvaardigheden te elimineren, zullen deelnemers niet direct interacteren met een live LLM-interface. In plaats daarvan zullen alle deelnemers een speciaal gebouwd webplatform gebruiken dat klinische vignetten toont met vooraf gegenereerde LLM-aanbevelingen, waardoor identieke LLM-gegenereerde inhoud voor elk vignet wordt gegarandeerd.

Alle deelnemers zullen zes klinische vignetten evalueren tijdens één begeleide sessie van ongeveer 75 minuten. Drie vignetten bevatten opzettelijk geïntroduceerde klinische redeneerfouten in de LLM-aanbevelingen, terwijl drie correcte aanbevelingen bevatten. De vignetten worden in willekeurige volgorde gepresenteerd om patroonherkenning te voorkomen.

Deelnemers in de controlearm evalueren klinische vignetten met LLM-diagnostische aanbevelingen gegenereerd door ChatGPT, gepresenteerd in standaard, neutraal tekstformaat zonder aanvullende contextuele informatie. Deelnemers in de interventiearm evalueren dezelfde vignetten samen met een gedragsinterventie ('nudge'). Deze interventie bestaat uit twee gesynchroniseerde cognitieve signalen: (1) een ankersignaal dat de basislijn diagnostische nauwkeurigheid van ChatGPT op standaard medische datasets bovenaan het interfacepaneel toont, wat expliciet de verwachtingen verankert aan de feilbaarheid van het model, en (2) een selectieve aandachtssignaal dat de LLM-aanbeveling toont naast een kleurgecodeerd betrouwbaarheidssignaal gegenereerd via een ensemblebeoordeling: drie onafhankelijke state-of-the-art LLM's (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking en GPT-5.1) geven elk betrouwbaarheidsbeoordelingen voor de aanbeveling, en het gemiddelde betrouwbaarheidsniveau bepaalt de signaalkleur om miscalibratie van een enkel model te beperken.

De kleurgecodeerde betrouwbaarheidssignalen zijn gecategoriseerd in drie verschillende niveaus op basis van het gemiddelde betrouwbaarheidsniveau van het ensemble ten opzichte van de basislijn diagnostische nauwkeurigheid. Rode signalen worden geactiveerd wanneer het gemiddelde betrouwbaarheidsniveau onder de vastgestelde basislijnnauwkeurigheid van ChatGPT valt, wat expliciet gevallen met hoge onzekerheid markeert die verhoogde kritische toetsing vereisen. Oranje signalen geven aan dat hoewel het gemiddelde betrouwbaarheidsniveau de basislijn gemiddelde overschrijdt, het onder de 100% blijft, wat de noodzaak voor voortdurende klinische waakzaamheid en het vermijden van zelfvoldaanheid signaleert. Ten slotte zijn groene signalen gereserveerd voor gevallen met 100% ensembleconsensus; echter, zelfs bij dit vertrouwensniveau blijven standaard AI-veiligheidswaarschuwingen aanwezig om overmatige afhankelijkheid van de output van het systeem te voorkomen.

Deelnemers krijgen zes klinische vignetten gepresenteerd die specifiek zijn ontworpen om automatiseringbias te meten, afkomstig en aangepast van echte casussen die een reeks diagnostische moeilijkheidsgraden en veelvoorkomende medische specialismen vertegenwoordigen. Elk vignet volgt een gestandaardiseerd formaat inclusief hoofdklacht, anamnese, relevante voorgeschiedenis (medisch/sociaal/familie), lichamelijk onderzoek bevindingen en initiële laboratoriumresultaten.

De primaire uitkomstmaat is de Diagnostisch Redeneren Prestatiescore, een samengesteld percentagescore gebaseerd op een gestructureerde rubric die evalueert: kwaliteit van differentiële diagnoses, ondersteunende bevindingen, tegenstrijdige bevindingen, nauwkeurigheid van de uiteindelijke diagnose en geschiktheid van vervolgstappen. Secundaire uitkomstmaten omvatten nauwkeurigheid van de topkeuze diagnose (onjuist, gedeeltelijk juist of juist). Alle antwoorden worden geëvalueerd door geblindeerde beoordelaars met behulp van de beoordelingsrubric.