Minderung von Automatisierungsverzerrung in der ärztlichen LLM-Diagnosereasoning durch Verhaltensnudges

Automatisierungsbias stellt eine kritische Herausforderung in der modernen klinischen Praxis dar, insbesondere da künstliche Intelligenz (KI)-Werkzeuge zunehmend in Gesundheitsarbeitsabläufe eingebettet werden. Dieses kognitive Phänomen beschreibt die Tendenz von Klinikern, Vorschläge von automatisierten Entscheidungssystemen zu bevorzugen, selbst wenn diese Vorschläge falsch sind. Da große Sprachmodelle (LLM) wie ChatGPT-5.1 in medizinischen Umgebungen an Bedeutung gewinnen, muss ihr Potenzial zur Reduzierung von Fehlern und Verbesserung der Effizienz gegen ein wesentliches Problem abgewogen werden: Diese Modelle fehlt eine rigorose medizinische Validierung und könnten bestehende kognitive Verzerrungen durch falsche oder irreführende Empfehlungen verstärken.

Das Auftreten von Automatisierungsbias in medizinischen Kontexten spiegelt ein komplexes Zusammenspiel von Umwelt- und psychologischen Faktoren wider. Zeitdruck in klinischen Umgebungen mit hohem Aufkommen erzeugt Druck, KI-generierte Empfehlungen ohne angemessene Prüfung zu akzeptieren. Finanzielle Anreize, die Effizienz über Gründlichkeit priorisieren, könnten die für eine fundierte klinische Urteilsbildung notwendige kritische Bewertung weiter entmutigen. Kognitive Ermüdung während langer Schichten verringert die Fähigkeit der Ärzte zu anhaltendem analytischem Denken. Diese Druckfaktoren interagieren mit psychologischen Mechanismen einschließlich Verantwortungsdiffusion, Überbewertung technologischer Lösungen und kognitiver Entlastung, und schaffen gemeinsam Bedingungen, unter denen eine unkritische Akzeptanz KI-generierter Empfehlungen wahrscheinlicher wird.

Diese randomisierte kontrollierte Studie bewertet die Wirksamkeit einer Verhaltensnudge-Intervention, die darauf ausgelegt ist, Automatisierungsbias bei Medizinern, die LLM-generierte Diagnoseempfehlungen nutzen, zu mildern. Das primäre Ziel ist festzustellen, ob diese Intervention die Leistungswerte im diagnostischen Denken bei der Auswertung klinischer Vignetten verbessert, die absichtlich fehlerhafte LLM-Empfehlungen enthalten. Sekundäre Ziele umfassen die Bewertung, ob das Erfahrungsniveau, das Geschlecht und die bisherige LLM-Erfahrung der Ärzte die Wirksamkeit der Intervention moderieren, sowie die Bestimmung differenzieller Wirksamkeit für Vignetten über verschiedene Konfidenzsignale hinweg.

Diese Studie verwendet ein einfach verblindetes, randomisiertes kontrolliertes Design mit zwei parallelen Armen. Die Teilnehmer werden im Verhältnis 1:1 entweder dem Interventions- oder dem Kontrollarm zufällig zugewiesen. Um Variabilität durch Unterschiede in Prompting-Fähigkeiten zu eliminieren, interagieren die Teilnehmer nicht direkt mit einer Live-LLM-Schnittstelle. Stattdessen nutzen alle Teilnehmer eine maßgeschneiderte Webplattform, die klinische Vignetten mit vorab generierten LLM-Empfehlungen anzeigt, wodurch identischer LLM-generierter Inhalt für jede Vignette sichergestellt wird.

Alle Teilnehmer bewerten sechs klinische Vignetten während einer einzigen, beaufsichtigten Sitzung von etwa 75 Minuten. Drei Vignetten enthalten absichtlich eingeführte klinische Denkfehler in den LLM-Empfehlungen, während drei korrekte Empfehlungen enthalten. Die Vignetten werden in randomisierter Reihenfolge präsentiert, um Mustererkennung zu verhindern.

Teilnehmer im Kontrollarm bewerten klinische Vignetten mit von ChatGPT generierten LLM-Diagnoseempfehlungen, die in einem standardmäßigen, neutralen Textformat ohne zusätzliche Kontextinformationen dargestellt werden. Teilnehmer im Interventionsarm bewerten dieselben Vignetten zusammen mit einem Verhaltensnudge. Diese Intervention besteht aus zwei synchronisierten kognitiven Hinweisen: (1) einem Ankerhinweis, der die Basis-Diagnosegenauigkeit von ChatGPT auf Standardmedizindatensätzen oben im Interface-Panel anzeigt und damit explizit die Erwartungen an die Fehlbarkeit des Modells anpasst, und (2) einem selektiven Aufmerksamkeitshinweis, der die LLM-Empfehlung zusammen mit einem farbcodierten Konfidenzsignal anzeigt, das durch eine Ensemble-Bewertung generiert wird: drei unabhängige, hochmoderne LLMs (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking und GPT-5.1) geben jeweils Konfidenzbewertungen für die Empfehlung ab, und die mittlere Konfidenz bestimmt die Signalfarbe, um Fehlkalibrierung einzelner Modelle abzumildern.

Die farbcodierten Konfidenzsignale werden basierend auf der mittleren Konfidenz des Ensembles relativ zur Basis-Diagnosegenauigkeit in drei verschiedene Stufen kategorisiert. Rote Signale werden ausgelöst, wenn die mittlere Konfidenz unter die etablierte Basisgenauigkeit von ChatGPT fällt, wodurch explizit Fälle mit hoher Unsicherheit gekennzeichnet werden, die verstärkte kritische Prüfung erfordern. Orange Signale zeigen an, dass, obwohl die mittlere Konfidenz den Basis-Durchschnitt übersteigt, sie unter 100% bleibt, und signalisieren die Notwendigkeit fortgesetzter klinischer Wachsamkeit und Vermeidung von Selbstgefälligkeit. Schließlich sind grüne Signale für Instanzen mit 100% Ensemble-Konsens reserviert; jedoch bleiben selbst bei diesem Konfidenzniveau standardmäßige KI-Sicherheitswarnungen vorhanden, um einer Überabhängigkeit von der Systemausgabe vorzubeugen.

Den Teilnehmern werden sechs klinische Vignetten präsentiert, die speziell zur Messung von Automatisierungsbias entwickelt wurden und aus realen Fällen stammen und modifiziert wurden, die eine Bandbreite an diagnostischer Schwierigkeit und häufigen medizinischen Fachgebieten repräsentieren. Jede Vignette folgt einem standardisierten Format, einschließlich Hauptbeschwerde, Krankheitsgeschichte, relevanter medizinischer/sozialer/Familiengeschichte, körperlicher Untersuchungsbefunde und anfänglicher Laborergebnisse.

Das primäre Ergebnis ist der Leistungswert im diagnostischen Denken, ein zusammengesetzter Prozentwert basierend auf einem strukturierten Bewertungsraster, das bewertet: Qualität der Differentialdiagnosen, unterstützende Befunde, gegenteilige Befunde, Genauigkeit der endgültigen Diagnose und Angemessenheit der nächsten Schritte. Sekundäre Ergebnisse umfassen die Genauigkeit der Top-Wahl-Diagnose (falsch, teilweise korrekt oder korrekt). Alle Antworten werden von verblindeten Gutachtern unter Verwendung des Bewertungsrasters ausgewertet.