ASA 분류에서의 인지적 차이: 마취과 의사 vs 대형 언어 모델의 취약성 평가 결과 (ASA-AI)

이 연구는 마취과 의사와 대형 언어 모델(LLM) 간의 ASA 신체 상태 분류 차이를 평가하는 전향적, 관찰적, 비교적, 다중 평가자 조사로 설계되었습니다.

ASA 신체 상태 분류 시스템은 수술 전후 위험 평가의 초석이지만, 생리적 여유 능력 감소와 취약성을 반영하는 다차원적 개념인 쇠약을 명시적으로 포함하지 않습니다. 임상 실무에서 마취과 의사는 종종 쇠약 관련 정보를 암묵적으로 ASA 평가에 통합하여 평가자 간 변동성에 기여할 수 있습니다.

대형 언어 모델은 명시적이고 구조화된 입력을 사용하여 임상 정보를 처리하며 경험이나 직관적 추론에 의존하지 않습니다. 이 특성은 임상 분류 작업에서 인간 전문가와 인공 지능 간의 인지적 차이를 탐구할 독특한 기회를 제공합니다.

선택적 수술을 예정한 성인 환자(≥18세)가 포함됩니다. 응급 사례, 소아 환자 및 ASA 분류를 허용하기에 충분하지 않은 임상 데이터를 가진 개인은 제외됩니다. 각 환자에 대해 인구통계학적 특성, 체질량 지수, 동반 질환, 정기 복용 약물 및 계획된 수술 절차 유형을 포함한 표준화된 수술 전 임상 데이터가 수집됩니다.

ASA 신체 상태 분류는 최소 5년의 임상 경력을 가진 4명의 보드 인증 마취과 의사와 서로 다른 조직에서 개발한 2개의 대형 언어 모델에 의해 독립적으로 할당됩니다. 모든 평가는 동일한 표준화된 데이터 세트를 사용하여 수행되며 평가자는 서로의 평가를 알지 못합니다.

연구는 두 단계의 연속적 단계로 진행됩니다. 첫 번째 단계에서는 표준 임상 데이터만 사용하여 ASA 분류가 수행됩니다. 두 번째 단계에서는 검증된 쇠약 지수가 동일한 환자 데이터 세트에 추가되고 평가 과정이 반복됩니다. 이 설계는 쇠약 정보가 인간 및 인공 지능 평가자의 ASA 분류 결정에 어떻게 영향을 미치는지 평가할 수 있게 합니다.

대형 언어 모델은 연구 전반에 걸쳐 변경되지 않는 미리 정의된 표준화된 프롬프트를 사용하여 프롬프트됩니다. 모델은 설명이나 추가 논평을 제공하지 않고 단일 ASA 신체 상태 범주(I-V)를 생성하도록 지시되며 반복적인 프롬프트 또는 피드백은 허용되지 않습니다.

마취과 의사 간, 인공 지능 모델 간 및 인간과 인공 지능 평가자 간의 평가자 간 일치도는 적절한 경우 Cohen의 Kappa 및 Fleiss의 Kappa 통계를 사용하여 분석됩니다. 쇠약 정보 추가 후 ASA 분류의 변화는 짝지어진 통계적 방법을 사용하여 평가됩니다. 통계적 유의성은 p < 0.05로 정의됩니다.

마취과 의사와 대형 언어 모델 간의 ASA 분류 패턴을 쇠약 데이터 유무에 따라 비교함으로써 이 연구는 수술 전후 위험 평가에서 암묵적 및 명시적 추론의 역할을 명확히 하고 미래의 인공 지능 지원 임상 의사 결정 지원 시스템 개발에 기여하는 것을 목표로 합니다.