Łagodzenie Błędu Automatyzacji w Diagnostycznym Rozumowaniu Lekarza-LLM przy Użyciu Bodźców Behawioralnych

Błąd automatyzacji stanowi kluczowe wyzwanie we współczesnej praktyce klinicznej, szczególnie w miarę jak narzędzia sztucznej inteligencji (AI) są coraz bardziej wbudowywane w procesy opieki zdrowotnej. To zjawisko poznawcze opisuje tendencję klinicystów do faworyzowania sugestii pochodzących z zautomatyzowanych systemów wspomagania decyzji, nawet gdy te sugestie są nieprawidłowe. W miarę jak duże modele językowe (LLM), takie jak ChatGPT-5.1, zyskują popularność w środowiskach medycznych, ich potencjał do redukcji błędów i poprawy efektywności musi być rozważany na tle istotnego problemu: modele te nie przeszły rygorystycznej walidacji medycznej i mogą nasilać istniejące uprzedzenia poznawcze poprzez nieprawidłowe lub wprowadzające w błąd rekomendacje.

Pojawienie się błędu automatyzacji w kontekstach medycznych odzwierciedla złożoną interakcję czynników środowiskowych i psychologicznych. Ograniczenia czasowe w klinikach o dużym obciążeniu pacjentami wywierają presję na akceptację rekomendacji generowanych przez AI bez odpowiedniej weryfikacji. Zachęty finansowe, które priorytetyzują efektywność nad dokładność, mogą dodatkowo zniechęcać do krytycznej oceny niezbędnej dla trafnej decyzji klinicznej. Zmęczenie poznawcze podczas długich dyżurów zmniejsza zdolność lekarzy do utrzymanego myślenia analitycznego. Te presje współdziałają z mechanizmami psychologicznymi, w tym z rozproszeniem odpowiedzialności, nadmierną pewnością w rozwiązania technologiczne oraz odciążeniem poznawczym, wspólnie tworząc warunki, w których bezkrytyczna akceptacja rekomendacji generowanych przez AI staje się bardziej prawdopodobna.

To randomizowane badanie kontrolowane ocenia skuteczność interwencji behawioralnej typu 'nudge' (delikatne popchnięcie) zaprojektowanej w celu ograniczenia błędu automatyzacji wśród lekarzy wykorzystujących rekomendacje diagnostyczne generowane przez LLM. Głównym celem jest ustalenie, czy ta interwencja poprawia wyniki oceny rozumowania diagnostycznego podczas analizy przypadków klinicznych (vignettes), które zawierają celowo wprowadzone błędy w rekomendacjach LLM. Cele drugorzędne obejmują ocenę, czy poziom doświadczenia lekarza, płeć oraz wcześniejsze doświadczenie z LLM moderują skuteczność interwencji, oraz określenie różnic w skuteczności dla przypadków z różnymi sygnałami pewności.

Badanie to wykorzystuje pojedynczo ślepą próbę, randomizowane badanie kontrolowane z dwoma równoległymi ramionami. Uczestnicy zostaną losowo przydzieleni w stosunku 1:1 do ramienia interwencyjnego lub kontrolnego. Aby wyeliminować zmienność wynikającą z różnic w umiejętnościach formułowania zapytań (prompting), uczestnicy nie będą bezpośrednio wchodzić w interakcję z interfejsem działającego LLM. Zamiast tego wszyscy uczestnicy będą korzystać z dedykowanej platformy internetowej wyświetlającej przypadki kliniczne z wcześniej wygenerowanymi rekomendacjami LLM, zapewniając identyczną treść generowaną przez LLM dla każdego przypadku.

Wszyscy uczestnicy ocenią sześć przypadków klinicznych podczas jednej, nadzorowanej sesji trwającej około 75 minut. Trzy przypadki będą zawierać celowo wprowadzone błędy w rozumowaniu klinicznym w rekomendacjach LLM, podczas gdy trzy będą zawierać poprawne rekomendacje. Kolejność prezentacji przypadków będzie losowa, aby zapobiec wykrywaniu wzorców.

Uczestnicy z ramienia kontrolnego będą oceniać przypadki kliniczne z rekomendacjami diagnostycznymi LLM wygenerowanymi przez ChatGPT, przedstawionymi w standardowym, neutralnym formacie tekstowym bez dodatkowych informacji kontekstowych. Uczestnicy z ramienia interwencyjnego będą oceniać te same przypadki wraz z interwencją behawioralną 'nudge'. Interwencja ta składa się z dwóch zsynchronizowanych wskazówek poznawczych: (1) wskazówki kotwiczącej wyświetlającej na górze panelu interfejsu bazową dokładność diagnostyczną ChatGPT na standardowych zbiorach danych medycznych, wyraźnie kotwicząc oczekiwania w kierunku omylności modelu, oraz (2) wskazówki selektywnej uwagi wyświetlającej rekomendację LLM obok kolorowego sygnału pewności wygenerowanego poprzez ocenę zespołową: trzy niezależne, najnowocześniejsze LLM (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking i GPT-5.1) dostarczają każdy ocenę pewności dla rekomendacji, a średnia pewności decyduje o kolorze sygnału, aby złagodzić błędną kalibrację pojedynczego modelu.

Kolorowe sygnały pewności są kategoryzowane na trzy odrębne poziomy w oparciu o średnią pewność zespołu w stosunku do bazowej dokładności diagnostycznej. Czerwone sygnały są uruchamiane, gdy średnia pewność spada poniżej ustalonej bazowej dokładności ChatGPT, wyraźnie oznaczając przypadki o wysokiej niepewności, które wymagają wzmożonej krytycznej analizy. Pomarańczowe sygnały wskazują, że chociaż średnia pewność przekracza średnią bazową, to pozostaje poniżej 100%, sygnalizując potrzebę utrzymania czujności klinicznej i unikania samozadowolenia. Wreszcie, zielone sygnały są zarezerwowane dla przypadków osiągnięcia 100% konsensusu zespołu; jednak nawet na tym poziomie pewności standardowe ostrzeżenia o bezpieczeństwie AI pozostają obecne, aby chronić przed nadmiernym poleganiem na wynikach systemu.

Uczestnikom zostaną przedstawione sześć przypadków klinicznych zaprojektowanych specjalnie do pomiaru błędu automatyzacji, pochodzących i zmodyfikowanych z prawdziwych przypadków reprezentujących zakres trudności diagnostycznej i powszechne specjalności medyczne. Każdy przypadek ma ustandaryzowany format, obejmujący główną dolegliwość, historię obecnej choroby, istotny wywiad medyczny/społeczny/rodzinny, wyniki badania fizykalnego oraz wstępne wyniki badań laboratoryjnych.

Głównym rezultatem jest Wynik Wydajności Rozumowania Diagnostycznego, złożony wynik procentowy oparty na ustrukturyzowanej rubryce oceniającej: jakość diagnoz różnicowych, potwierdzające wyniki, przeciwstawne wyniki, trafność ostatecznej diagnozy oraz adekwatność następnych kroków. Rezultaty drugorzędne obejmują trafność wybranej jako pierwszej diagnozy (nieprawidłowa, częściowo prawidłowa lub prawidłowa). Wszystkie odpowiedzi będą oceniane przez zaślepionych recenzentów przy użyciu rubryki oceny.