행동적 넛지를 사용한 의사-LLM 진단 추론에서 자동화 편향 완화

자동화 편향은 현대 임상 실무에서 중요한 과제를 나타내며, 특히 인공 지능(AI) 도구가 의료 업무 흐름에 점점 더 깊숙이 통합됨에 따라 더욱 그러합니다. 이 인지적 현상은 임상의들이 자동화된 의사 결정 시스템의 제안이 틀렸을 때조차도 그 제안을 선호하는 경향을 설명합니다. ChatGPT-5.1과 같은 대형 언어 모델(LLM)이 의료 환경에서 영향력을 얻으면서, 오류를 줄이고 효율성을 향상시킬 수 있는 잠재력은 중요한 우려 사항과 함께 저울질되어야 합니다: 이러한 모델들은 엄격한 의학적 검증이 부족하며, 잘못되거나 오해의 소지가 있는 권고를 통해 기존의 인지적 편향을 증폭시킬 수 있습니다.

의료 맥락에서 자동화 편향의 출현은 환경적 및 심리적 요인의 복잡한 상호작용을 반영합니다. 대량의 임상 환경에서의 시간 제약은 충분한 검토 없이 AI 생성 권고를 수용하도록 압력을 가합니다. 철저함보다 효율성을 우선시하는 재정적 인센티브는 건전한 임상 판단에 필요한 비판적 평가를 더욱 억제할 수 있습니다. 연장 근무 중의 인지적 피로는 의사들의 지속적인 분석적 사고 능력을 감소시킵니다. 이러한 압력들은 책임 분산, 기술적 해결책에 대한 과신, 인지적 부하 감소를 포함한 심리적 메커니즘과 상호작용하여, AI 생성 권고에 대한 비판 없는 수용이 더욱 가능해지는 조건을 집단적으로 만들어냅니다.

이 무작위 대조 시험은 LLM 생성 진단 권고를 활용하는 의사들 사이에서 자동화 편향을 완화하도록 설계된 행동 넛지 중재의 효과를 평가합니다. 주요 목표는 의도적으로 결함이 있는 LLM 권고를 포함하는 임상 비네트를 평가할 때 이 중재가 진단 추론 수행 점수를 향상시키는지 여부를 결정하는 것입니다. 부차적 목표에는 의사 경험 수준, 성별, 이전 LLM 경험이 중재의 효과를 조절하는지 평가하는 것, 다양한 신뢰 신호에 걸친 비네트에 대한 차등적 효과를 결정하는 것이 포함됩니다.

이 연구는 두 개의 평행한 그룹을 가진 단일 맹검, 무작위 대조 시험을 사용합니다. 참가자들은 1:1로 중재 그룹 또는 대조 그룹에 무작위로 배정될 것입니다. 프롬프팅 기술 차이에서 오는 변동성을 제거하기 위해, 참가자들은 실시간 LLM 인터페이스와 직접 상호작용하지 않을 것입니다. 대신, 모든 참가자는 사전 생성된 LLM 권고가 있는 임상 비네트를 표시하는 맞춤형 웹 플랫폼을 사용하여, 각 비네트에 대해 동일한 LLM 생성 콘텐츠를 보장할 것입니다.

모든 참가자는 약 75분 동안 진행되는 단일, 감독된 세션 동안 6개의 임상 비네트를 평가할 것입니다. 세 개의 비네트는 LLM 권고에 의도적으로 도입된 임상 추론 결함을 포함할 것이며, 세 개는 정확한 권고를 포함할 것입니다. 패턴 감지를 방지하기 위해 비네트는 무작위 순서로 제시될 것입니다.

대조 그룹 참가자들은 추가적인 맥락 정보 없이 표준적이고 중립적인 텍스트 형식으로 제시된 ChatGPT에 의해 생성된 LLM 진단 권고가 있는 임상 비네트를 평가할 것입니다. 중재 그룹 참가자들은 행동 넛지와 함께 동일한 비네트를 평가할 것입니다. 이 중재는 두 가지 동기화된 인지적 신호로 구성됩니다: (1) 인터페이스 패널 상단에 ChatGPT의 기준 진단 정확도를 표시하는 앵커링 신호로, 기대치를 모델의 오류 가능성에 명시적으로 고정시키고, (2) 앙상블 평가를 통해 생성된 색상 코딩된 신뢰 신호와 함께 LLM 권고를 표시하는 선택적 주의 신호: 세 개의 독립적인 최첨단 LLM(Claude Sonnet 4.5, Gemini 2.5 Pro Thinking, GPT-5.1)이 각각 권고에 대한 신뢰도 등급을 제공하며, 평균 신뢰도가 단일 모델의 잘못된 보정을 완화하기 위해 신호 색상을 결정합니다.

색상 코딩된 신뢰 신호는 기준 진단 정확도에 대한 앙상블의 평균 신뢰도를 기준으로 세 가지 뚜렷한 수준으로 분류됩니다. 빨간색 신호는 평균 신뢰도가 ChatGPT의 확립된 기준 정확도 아래로 떨어질 때 트리거되어, 높은 불확실성 사례를 명시적으로 표시하며 이는 강화된 비판적 검토를 요구합니다. 주황색 신호는 평균 신뢰도가 기준 평균을 초과하지만 100% 미만으로 유지됨을 나타내며, 지속적인 임상 경계와 안일함 회피의 필요성을 신호합니다. 마지막으로, 녹색 신호는 100% 앙상블 합의의 경우에만 사용됩니다; 그러나 이 수준의 신뢰도에서도 시스템 출력에 대한 지나친 의존을 방지하기 위해 표준 AI 안전 경고가 여전히 존재합니다.

참가자들은 자동화 편향을 측정하도록 특별히 설계된 6개의 임상 비네트를 제시받을 것이며, 이는 다양한 진단 난이도와 일반적인 의학 전문 분야를 대표하는 실제 사례에서 추출 및 수정되었습니다. 각 비네트는 주 호소, 현재 병력, 관련 과거 의료/사회/가족력, 신체 검사 소견, 초기 검사실 결과를 포함하는 표준화된 형식을 따릅니다.

주요 결과는 진단 추론 수행 점수로, 차등 진단의 질, 지지 소견, 반대 소견, 최종 진단 정확도, 다음 단계의 적절성을 평가하는 구조화된 루브릭을 기반으로 한 복합 백분율 점수입니다. 부차적 결과에는 최상위 선택 진단 정확도(부정확, 부분적으로 정확, 또는 정확)가 포함됩니다. 모든 응답은 평가 루브릭을 사용하여 맹검된 검토자들에 의해 평가될 것입니다.