1차 진료에서 인공지능 트리아지의 정확도 향상

배경: 일반의(GP) 진료소 직원들은 환자들이 연락할 때 자원을 최적으로 활용하고 환자 안전을 유지하기 위해 환자를 분류합니다. 대부분의 GP 진료소에서 사용되는 온라인 상담 시스템은 환자들이 온라인 양식을 통해 GP 진료소에 연락할 수 있도록 합니다. 이러한 시스템은 직원과의 대화 없이도 제출될 수 있어, 일반적인 분류 과정을 우회할 수 있습니다. 온라인 상담 시스템은 '인공 지능(AI)'을 사용하여 환자를 분류할 수 있지만, 그 성능에 대한 연구가 부족합니다. 우리(맨체스터 대학교; UoM)는 선택적 AI 분류 기능을 갖춘 온라인 상담 시스템 제공업체(Patchs)와 협력하여 이 격차를 메우고자 제안합니다.

연구 질문 전체 연구 질문: 임상의의 분류 결정을 재현할 수 있는 AI 모델을 개발하는 것이 가능한가?

1. 일차 진료에서 환자를 분류할 때 환자와 GP 진료소가 직면하는 과제는 무엇이며, 그 동인은 무엇인가?
2. 일차 진료에서 환자를 분류하기 위해 가장 성능이 우수한 AI 모델은 무엇인가?
3. AI 분류 성능은 다양한 지리적 지역에서 유지되는가?
4. AI 분류 성능은 시간이 지나도 유지되는가?
5. AI 분류 성능은 현재의 임상 실습과 비교하여 어떠한가?
6. 임상 실습에 배포될 때 AI 분류 성능은 변화하는가?
7. AI 분류는 모든 환자에게 공정하게 작동하는가? 방법 작업 흐름 1: 분류 문제 정량화. 우리는 AI 분류가 비활성화된 상태로 Patchs를 사용하는 GP 진료소의 익명화된 과거 데이터를 분석할 것입니다. 공개적으로 이용 가능한 경우, 우리는 이를 Patchs를 사용하지 않는 GP 진료소(대조군 진료소)의 진료소 수준 데이터와 비교할 것입니다. 우리는 기술 및 추론 분석을 수행하여 잠재적인 분류 문제와 환자 치료 지연과 같은 이에 영향을 미치는 요인들을 이해할 것입니다.

작업 흐름 2: AI 개발. 우리는 Patchs를 사용하는 GP 진료소의 익명화된 과거 데이터를 사용하여 현재 사용 중인 AI 분류 모델의 새 버전을 로지스틱 회귀, XGBoost, 장단기 메모리(LSTM), 대형 언어 모델(LLM)이라는 네 가지 다른 접근법으로 구축할 것입니다. 우리는 지리적 지역별 내부-외부 교차 검증을 사용하고, 무작위 효과 메타분석 및 하위 그룹 분석을 통해 그 성능을 비교하여 공정성(예: 인종별)을 평가할 것입니다. 우리는 그 성능을 현재 사용 중인 AI 분류 모델과 비교할 것입니다. 가장 성능이 우수한 AI 모델의 최종 버전은 전체 데이터 세트를 사용하여 개발될 것입니다.

작업 흐름 3: 전향적 배경 평가. 우리는 AI 분류 없이 Patchs를 사용하는 GP 진료소에서 전향적으로 수집된 데이터에 대해 가장 성능이 우수한 AI 모델의 예측을 '배경'에서 모델을 실행하여 얻을 것입니다. 우리는 위에서 설명한 대로 하위 그룹 분석을 수행하여 공정성을 평가할 것입니다.

작업 흐름 4: 전향적 구현 평가. 일반적인 Patchs 소프트웨어 업데이트에 따라, 우리는 이미 AI 분류를 사용 중인 GP 진료소의 AI 모델을 가장 성능이 우수한 버전으로 업데이트할 것입니다. 우리는 GP 진료소 직원과 환자들이 새 버전의 분류 예측에 동의하는 빈도를 전향적으로 측정하여 그 성능이 실제 환자 치료로 이어지는지 테스트할 것입니다. 우리는 위에서 설명한 대로 하위 그룹 분석을 수행하여 공정성을 평가할 것입니다.

기대 효과 우리는 GP 진료소가 온라인 상담 분류 중에 현재 직면하는 문제를 이해하는 데 도움을 줄 것입니다. 만약 우리가 개선된 AI 모델을 개발한다면, 환자 안전이 향상되고(예: 환자가 더 빨리 도움을 받도록 함) GP 진료소 업무 부담이 줄어들 수 있습니다(예: 분류 과정 자동화). 작업 흐름 4에 참여하는 GP 진료소와 그 환자들은 즉시 혜택을 볼 것입니다. 우리는 현재 AI 분류를 사용하지 않는 GP 진료소에게 이를 채택할지 여부에 대한 증거를 제공할 것입니다.