실제 사례를 활용한 신경과 전문의와의 비교 분석: 복잡한 다발신경병증의 진단 및 관리에서의 ChatGPT (REASON)

배경 및 근거 다발신경병증은 말초신경계에 영향을 미치는 이질적인 질환군을 나타내며, 임상 진료에서 가장 흔히 접하게 되는 신경학적 상태 중 하나입니다. 일반 인구에서의 유병률은 약 1%로 추정되며, 연령이 증가함에 따라 상당히 증가하여 중년층에서는 거의 4%, 노인층에서는 최대 13%에 이릅니다. 따라서 말초신경병증은 전 세계적으로 신경학적 이환율과 의료 이용에 주요 기여 요인입니다.

다발신경병증의 원인 진단을 확립하는 것은 임상적으로 여전히 어려운 과제입니다. 검사실 검사와 신경생리학적 기술의 발전에도 불구하고, 진단 과정은 여전히 상세한 환자 병력 및 신경학적 검사를 포함한 신중한 임상 평가와 이에 따른 전기생리학적 및 검사실 검사의 표적적 사용에 크게 의존합니다. 많은 경우, 정확한 진단에는 신경근육 질환에 대한 전문적 지식이 필요합니다.

이러한 전문 지식에 대한 접근성은 의료 시스템 간에 고르게 분포되어 있지 않습니다. 말초신경병증 환자의 상당 부분은 비전문의, 즉 일반 신경과 의사 또는 1차 및 2차 의료 기관의 임상의에 의해 초기 평가를 받습니다. 따라서, 특히 드물거나 비전형적인 원인에 대해서는 진단 지연 및 신경병증 하위 유형의 오분류가 상대적으로 흔합니다. 이러한 어려움은 진단 과정에서 임상의를 지원할 수 있는 도구의 필요성을 강조합니다.

인공지능(AI), 특히 대규모 언어 모델(LLM)의 발전에 따른 최근의 진전은 임상 의학에서의 잠재적 응용 가능성에 대한 관심을 증가시켰습니다. OpenAI에서 개발하고 생성형 사전 훈련 변환기 아키텍처를 기반으로 하는 ChatGPT는 상황 인식 의학적 추론 및 진단 제안을 생성할 수 있는 대화형 AI 시스템입니다. 새롭게 나타나는 연구들은 LLM이 특정 임상 추론 과제에서 의과대학생 또는 의사와 비슷한 수준의 진단 성능을 달성할 수 있음을 시사합니다.

그러나 복잡한 신경학적 상태에서 LLM 성능에 대한 엄격한 평가는 여전히 제한적입니다. 특히, 3차 의뢰 센터에서 일반적으로 접하게 되는 진단적으로 어려운 다발신경병증 사례에서의 성능에 대한 증거는 거의 없습니다. 이러한 도구가 임상 의사결정 지원 시스템으로서의 잠재적 역할을 고려하기 전에, 이러한 환경에서 도구의 능력과 한계를 평가하는 것이 필수적입니다.

본 연구는 실제 다발신경병증 사례에 적용될 때 ChatGPT-4o의 진단 성능을 체계적으로 평가하고, 그 성능을 전문 신경과 의사 및 비전문 신경과 의사의 성능과 비교하는 것을 목표로 합니다.

연구 목표 본 연구의 주요 목표는 복잡한 다발신경병증 사례에서 주요 원인 진단을 식별하는 데 있어 ChatGPT-4o의 진단 정확도를 평가하는 것입니다.

구체적으로, 본 연구는 ChatGPT-4o의 진단 성능을 말초신경 질환 전문의와 비전문 신경과 의사의 진단 성능과 비교하는 것을 목표로 합니다.

2차 목표에는 ChatGPT-4o가 적절한 감별 진단을 생성하고 적합한 확진 진단 검사를 권장하는 능력을 평가하는 것이 포함됩니다. 본 연구는 또한 AI 생성 진단 제안에 노출되는 것이 신경과 의사의 진단 결정에 영향을 미치는지 평가할 것입니다. 추가적으로, 본 연구는 반복적 독립 평가에서 ChatGPT-4o 응답의 일관성을 평가하고, 잘못된 진단이 생성될 때 모델이 생성하는 오류의 유형을 특성화할 것입니다.

연구 설계 이는 인간 신경과 의사에 상대적인 인공지능 기반 대규모 언어 모델의 성능을 평가하기 위해 설계된 비교 진단 정확도 연구입니다.

본 연구는 이탈리아 밀라노에 위치한 두 개의 말초신경병증 3차 의뢰 센터, 즉 Humanitas Research Hospital(IRCCS)과 Fondazione IRCCS Istituto Neurologico Carlo Besta에서 수행될 것입니다. 이 기관들은 염증성, 유전성, 대사성, 독성 및 파라네오플라스틱 원인을 포함한 다양한 다발신경병증 환자들에게 전문적 치료를 제공합니다.

연구 프로토콜은 Humanitas Research Hospital의 윤리위원회의 승인을 받았으며, 헬싱키 선언의 원칙에 따라 수행될 것입니다.

연구 대상 및 사례 선정 임상 사례는 참여 기관의 다발신경병증 외래 환자에서 평가된 환자들로부터 후향적으로 확인될 것입니다. 적격 사례에는 최소 12개월의 임상 추적 관찰 후 안정적인 원인 진단이 확립된 다발신경병증 확진 환자가 포함됩니다.

임상 정보는 의무기록에서 추출되어 표준화된 사례 요약을 준비하는 데 사용될 것입니다. 요약에 포함된 데이터는 초기 진단 평가 중에 일반적으로 이용 가능한 정보, 즉 인구통계학적 특성, 임상 병력, 신경학적 검사 소견, 신경전도 검사 결과 및 표준 검사실 선별 검사 결과를 반영할 것입니다.

적격 사례 풀에서 100개의 사례가 컴퓨터 생성 샘플링 방법을 사용하여 무작위로 선정될 것입니다. 모든 사례는 분석 전 익명화될 것입니다.

최종 데이터 세트는 염증성 신경병증, 유전성 신경병증, 대사성 신경병증, 독성 신경병증 및 기타 덜 흔한 상태를 포함하여 3차 신경근육 센터의 의뢰 패턴을 반영하는 광범위한 다발신경병증 원인을 포함할 것으로 예상됩니다.

ChatGPT-4o에 의한 사례 평가 본 연구에서 평가된 인공지능 시스템은 OpenAI에서 개발한 ChatGPT-4o Enterprise입니다.

각 임상 사례 요약은 모델에게 임상 시나리오를 분석하고 진단 추론을 제공하도록 지시하는 표준화된 프롬프트를 사용하여 모델에 제시될 것입니다. 각 사례에 대해 모델은 다음을 생성하도록 요청받을 것입니다:

• 하나의 주요 원인 진단,
• 두 개의 덜 가능성이 높은 대체 진단,
• 그리고 주요 진단을 확인할 수 있는 하나의 진단 검사. 맥락적 편향을 최소화하기 위해, 각 사례는 이전 대화 기록 없이 독립 세션에서 평가될 것입니다. 모델 응답의 재현성과 일관성을 평가하기 위해 전체 데이터 세트는 두 번의 독립 실행에서 두 번 평가될 것입니다.

신경과 의사에 의한 사례 평가 여러 국제 센터의 신경과 의사 패널이 연구에서 인간 평가자로 참여할 것입니다. 참가자에는 말초신경 질환 전문의와 신경근육 질환에 대한 특정 하위 전문 분야가 없는 신경과 의사가 모두 포함됩니다.

신경과 의사들은 웹 기반 인터페이스를 사용하여 동일한 표준화된 사례 요약을 검토하고, 각 사례에 대해 주요 진단, 두 개의 대체 감별 진단 및 권장 확진 진단 검사를 제공하도록 요청받을 것입니다.

평가는 두 단계로 수행될 것입니다. 첫 번째 단계에서, 신경과 의사들은 독립적으로 사례를 검토하고 진단 평가를 제공할 것입니다. 두 번째 단계에서, 사례는 ChatGPT-4o에 의해 생성된 진단 출력과 함께 다시 제시되어, 신경과 의사들이 이전 응답을 확인하거나 수정할 수 있도록 할 것입니다. 이 설계는 AI 생성 제안이 의사의 진단 결정에 미치는 잠재적 영향을 평가할 수 있게 해줄 것입니다.

결과 평가 연구의 주요 결과는 주요 진단에 대한 진단 정확도로, 제안된 주요 진단이 최종 확인된 원인 진단과 일치하는 사례의 비율로 정의됩니다.

2차 결과에는 감별 진단의 정확도, 권장 확진 진단 검사의 적절성, 그리고 AI 생성 출력을 검토한 후 신경과 의사의 진단 성능 변화가 포함됩니다.

모든 응답은 각 사례의 최종 확인된 진단에 대해 평가될 것입니다. 감별 진단 및 진단 검사 권장의 적절성은 다발신경병증 진단에 광범위한 경험을 가진 전문 신경과 의사들에 의해 독립적으로 평가될 것입니다.

임상적 의의 본 연구는 복잡한 신경학적 영역에서 대규모 언어 모델의 진단 성능에 대한 경험적 증거를 제공할 것입니다. AI 생성 진단 추론을 전문 신경과 의사 및 비전문 신경과 의사의 추론과 직접 비교함으로써, 본 연구는 신경학에서 의사결정 지원 도구로서 대규모 언어 모델의 잠재적 역할을 명확히 하는 것을 목표로 합니다.