응급 또는 비정기 진료가 필요한 환자의 병원 이송을 위한 인공지능 트라이아지 (TRIAGE)

서론 - 과학적 근거 1.1. 배경 인구 고령화와 만성 질환의 유병률 증가로 인해 일반의 수가 감소하고 있습니다. 의료 수요와 공급 사이의 이러한 불균형은 특히 긴급 및 비예약 진료에 대한 접근성에 어려움을 초래하고 있습니다.

이 문제를 해결하기 위해 프랑스는 의료 접근 서비스(SAS)를 설립했습니다. 긴급 또는 비예약 진료가 필요한 경우, SAS를 통해 주치의를 이용할 수 없는 개인이 의료 전문가에게 접근할 수 있도록 합니다. 상황에 따라 이 서비스는 의학적 조언을 제공하고, 원격 진료를 제공하며, 해당 개인을 지역 의사나 응급실로 연결하거나, 심지어 이동식 응급 및 소생 장치(SMUR)나 구급차를 파견할 수 있습니다. SAS는 각 개인의 요구에 맞춤형 대응을 제공하는 분류 시스템으로 기능합니다.

이 프로젝트의 목표는 긴급 또는 비예약 진료를 요청하는 환자들을 대상으로 인공지능(AI) 분류 모델의 타당성 측면을 연구하여 병원 치료가 필요한 환자를 식별하는 것입니다.

이 프로젝트는 SOS Médecins Grand Paris를 사용하여 환자를 분류하는 AI 모델을 개발한 이전 연구를 이어받습니다. SAS와 마찬가지로, SOS Médecins에 전화를 거는 사람들은 의료 배치 조교(MDA)에게 문제를 제시하며, 대부분의 경우 가정 방문을 예약합니다.

SOS Médecins 데이터베이스에는 진료 요청의 오디오 녹음과 의사의 가정 방문 후 내린 의학적 결정(환자가 병원으로 이송되었는지 여부 포함)이 포함되어 있습니다(환자 결과 데이터는 완전합니다). 따라서 SOS 의사의 가정 방문 후 환자의 병원 서비스 이용을 예측하는 모델이 AI를 사용하여 개발되었습니다. 이 모델은 환자와 MDA 간의 대화를 "듣고" 의사의 가정 방문 후 병원 서비스 이용을 예측합니다.

이 모델과 그 개발은 현재 국제 저널에 제출된 논문의 주제입니다. 테스트 단계에서 ROC(수신자 조작 특성) 곡선 아래 면적이 0.80을 달성했습니다. 궁극적으로, AI 기반 모델은 실시간으로 작동하고 MDA에게 작업을 지원하기 위한 정보를 제공해야 합니다. 현재로서는 이 프로젝트의 목표가 시스템의 검증을 완료하는 것입니다. 그런 다음 실제 조건에서 구현되고 테스트되어 모델의 예측을 사용한 MDA의 환자 분류의 이점을 결정해야 합니다.

SOS Médecins는 SAS와 동일하지는 않지만 유사합니다. 첫째, 두 구조는 유사한 방식으로 운영됩니다: 전화로 연락된 MDA가 긴급 또는 비예약 진료 요청에 대응하려고 합니다. 가능한 응답의 범위는 두 구조 모두 동일합니다(SOS는 가정 방문만 제공하는 것이 아니며 대면 또는 비디오 상담을 실시하고 특정 통화를 응급 의료 서비스로 전환함). 필요한 경우 의사의 전문성(의료 규제) 사용도 동일합니다. 둘째, SOS Médecins는 SAS의 하류 실행자 중 하나입니다. SAS(현재 국토의 60%만 커버)보다 일반 대중과 의료 전문가들에게 더 오래되고 잘 알려진 SOS는 이 새로운 서비스와 매우 유사한 모집 과정을 가질 수 있습니다. 우리가 아는 한, 두 구조의 활동을 비교할 수 있는 SAS에 대한 통계는 아직 없습니다. 이러한 맥락에서, SOS 데이터로 개발된 모델의 SAS 내 검증이 필요할 것입니다. 미래에 데이터가 두 구조가 유사하다는 것을 보여주면, SAS는 SOS에서 개발된 이 프로젝트의 혜택을 받을 수 있습니다. SOS 데이터는 SAS 데이터에 비해 중요한 이점이 있습니다: 환자 결과 정보, 병원 응급실로 갔는지 여부를 포함합니다. 이 통화 라벨링은 AI 모델의 지도 학습을 가능하게 했습니다.

이 프로젝트는 우리가 아는 한 독특하며, SAS(그리고 어느 정도는 응급실에서도)에서 사용할 수 있는 분류 지원의 길을 열어줍니다.

1.2. 환자와 의료 시스템에 대한 이점 입원 위험이 높은 환자의 조기 식별, 특히 전문 환경에서 응급 치료가 필요한 상태를 가진 일부 환자는 임상적 결정을 용이하게 하고 궁극적으로 환자 건강을 개선해야 합니다. 이는 주로 치료 제공 속도와 직접적으로 연결된 예후를 가진 상태, 예를 들어 심각한 허혈성, 호흡기, 외상성 또는 감염성 상태의 환자와 관련되며, 의사가 집에 방문하기를 기다리지 않고 입원하는 이점을 얻을 것입니다. 따라서 환자에게는 분류 오류로 인한 기회 손실 감소가 이점이 될 것입니다.

또한, 응급실 상류에서의 분류(전 보건부 장관이 제안하고 인력이 부족한 일부 응급실에서 구현되었으며 덴마크에서는 일상적인 관행임)는 병원 응급실의 기능을 개선할 것입니다. 여기서 과도한 활동은 치료를 받는 노인 환자의 사망률에 영향을 미칩니다. 공중보건 측면에서, 효과적인 분류 시스템의 도입은 긴급 및 비예약 진료에 대한 접근성을 개선할 수 있습니다.

연구 목표 및 평가 기준 병원으로 이송될 환자를 식별하는 데 사용된 AI 기반 분류 모델은 이미 SOS Médecins Grand Paris에 대한 통화를 사용하여 개발되고 테스트되었습니다. 논문이 현재 출판 중입니다. 따라서 이 프로젝트는 분류 모델의 개발이나 내부 검증에 초점을 맞추지 않고, 그 검증과 관련된 다른 측면에 초점을 맞춥니다: 전향적 및 외부 검증; 의학 전문가의 예측과 비교; 그 사용과 관련될 수 있는 사회적 차별 조사; 그리고 의료 환경에서의 실제 사용 조건 결정.

2.1. 목표 및 주요 종점 실제 운영 데이터에 대한 예측 모델의 성능에 대한 전향적 평가는 이러한 모델을 임상 맥락에 통합하고 환자 치료에 미치는 영향을 평가하는 데 중요한 단계입니다.

- 주요 목표(PO): 의사의 가정 방문 후 병원으로 이송될 환자를 식별하는 데 사용된 분류 모델의 전향적 검증.

ROC 곡선 아래 면적(AROC)은 분류 시스템의 전반적인 성능을 측정합니다.

이 연구에서 사용된 모든 데이터는 회고적입니다. 모델은 2023년 및 이전(2017년까지 포함) 데이터를 사용하여 설계되었으며, "전향적" 데이터는 그 설계 이후의 데이터이며 2024년 데이터가 될 것입니다.

- 주요 종점(PE): SOS Médecins Paris의 회고적 및 전향적 데이터의 대표 샘플에서 얻은 AROC 비교.

2.2. 2차 목표 및 종점 별도의 지리적 사이트의 환자 데이터에 대한 외부 검증은 한 사이트에서 개발된 모델이 다른 사이트에서 안전하고 효과적으로 구현될 수 있는 방법을 이해하는 데 필요합니다.

- 2차 목표 #1(SO1): 분류 모델의 외부 검증

• 2차 종점 #1(SEP1): SOS Médecins Grand Paris 및 Ajaccio의 회고적 데이터 대표 샘플에서 얻은 AROC 비교.
• SEP2: 분류 모델의 예측과 전문 의사의 예측 비교.
• 2차 종점 #2(SEP2): SOS Médecins Grand Paris 데이터의 균형 잡힌 비대표 샘플(즉, 실제로는 3%인 것과 달리 의사의 가정 방문 후 병원으로 이송된 환자의 50%로 구성)에서 분류 모델과 전문 의사 간의 올바른 예측률 비교.

여러 AI 기반 분류 시스템이 차별적이라는 것이 발견되었습니다. 두 가지 잘 알려진 예가 이 점을 설명합니다:

• 이력서를 기반으로 컴퓨터 공학자 채용: 시스템은 기존 엔지니어(대부분 남성)를 사용하여 훈련되었으며 여성에게 불리했습니다;
• 피부경 사진에서 흑색종 감지: 시스템은 밝은 피부 톤을 사용하여 훈련되었으며 어두운 피부 톤에서는 효과적이지 않았습니다.
• OS3: 환자의 사회적 특성과 관련된 모델과 연관된 잠재적 차별 현상 연구.
• 2차 종점 #3(CJS3): 양성별 SOS Médecins Grand Paris 데이터 대표 샘플에서 얻은 AROC 비교.

검증된 예측 모델에서 실제 조건에서 효율적인 장치로의 전환은 AI에서 잘 알려진 과제입니다.

- SO4: MDA에 의한 모델의 실제 사용 조건 결정.

- 2차 종점 #4(SEP4): MDA에 의한 분류 시스템 구현을 위한 사양서 초안 작성

연구 대상자 선정 및 제외 3.1. 포함 기준 2024년 또는 이전에 통화 후 SOS 의사의 가정 방문을 받은 모든 연령의 개인.

3.2. 제외 기준 프랑스어를 사용하지 않는 개인. 건강 보험이 없는 개인.

연구 설명 4.1. 연구 유형 이는 본질적으로 AI 기반 환자 분류 모델을 검증하는 연구입니다. 관찰 데이터를 사용하여 수행됩니다.

4.2. 연구 과정 4.2.1. 연구 장소 연구는 SOS Médecins 시설에서 수행됩니다. SOS Médecins Grand Paris의 의학 전문가가 SO2를 수행하기 위해 모집될 것입니다.

4.2.2. 모집 방법 SOS Médecins가 활동 과정에서 수집한 데이터가 사용됩니다.

4.2.3. 환자 치료 절차 이 프로젝트는 지역사회 환자의 긴급 또는 비예약 진료 수요를 충족하기 위해 병원을 사용할 필요성에 초점을 맞춥니다. 그러나 환자 치료를 방해하지 않을 것입니다.

4.2.4. 연구 탈퇴 절차 제외를 요청하는 환자는 제외됩니다.

4.2.5. 데이터 수집

• PO(전향적 검증), SO1(외부 검증) 및 SO3(차별):

사용된 데이터는 SOS Médecins 활동 과정에서 이미 수집된 데이터입니다. 두 사이트(파리와 코르시카 아작시오)는 전화 통화가 수신되고 녹음되는 순간부터 SOS 치료 과정(즉, 우리의 경우 가정 방문 종료)까지 관리하기 위해 동일한 소프트웨어를 사용하며, 행정 및 의료 데이터(SOS Médecins 파일) 입력을 포함합니다. 분석을 위해 사용될 데이터 목록과 처리 방법은 다음과 같습니다:

- 환자와 MDA 간 대화의 오디오 녹음 텍스트. AI 예측은 이러한 텍스트(그리고 이러한 텍스트만)를 기반으로 이루어집니다.

• SOS Médecins 파일 데이터:
• 전화 통화의 요일, 월, 연도 및 시간;
• 방문 장소의 인구 조사 구역 번호는 환자가 제공한 주소에서 얻어집니다. 인구 조사 구역은 거주자의 익명성을 보존하면서 통계 데이터를 사용할 수 있는 가장 작은 공간 단위입니다. INSEE(국가 통계 및 경제 연구소) 인구 조사의 여러 사회경제적 변수(예: 실업률, 고등학교 졸업자, 노동자, 중위 소득, 사회적 불리 지수(FDep로도 알려짐) 및 EDI(생태적 불리 지수))가 이 수준에서 사용 가능합니다. 이러한 다양한 변수는 거주하는 개인의 사회적 위치에 대한 생태학적(개인적이 아닌) 측정을 제공합니다;
• 통화 사유, MDA에 의해 정의되며, 미리 정의된 목록을 기반으로 하지만 국제 분류에 해당하지 않습니다. 동일한 통화에 대해 여러 사유가 보고될 수 있습니다;
• 긴급도 수준(4단계), MDA에 의해 정의됨;
• 가정 방문 종료 날짜 및 시간, 방문 종료 시 의사에 의해 정의됨
• 상담 진단, 방문 종료 시 의사에 의해 정의되며, 미리 정의된 목록을 기반으로 하지만 국제 분류에 해당하지 않습니다. 동일한 상담에 대해 여러 사유가 보고될 수 있습니다.
• 방문 종료 시 환자 상태(폐쇄 목록: 현장 남김, 병원 응급실 이송, 응급 의료 서비스 호출).
• 병원 응급실 이송 방법(폐쇄 목록: 자가 수단, 구급차, 소방서, SMUR).
• SO2(의학 전문가):

이 목표 달성에 참여하는 의학 전문가로부터 일부 개인 데이터가 수집됩니다: 연령, 성별, 전체 및 SOS Médecins 내 경력 기간, 전문 분야.

또한, 환자와 ARM 간 전화 교환 텍스트를 읽은 후, 이러한 의사들은 환자의 병원 이송 확률을 추정하도록 요청받을 것입니다.

그들은 두 가지 질문을 받을 것입니다:

• 이 환자가 SOS 의사 방문 후 입원할 확률은 얼마입니까? 0(입원 없음)에서 100(입원)까지의 척도에 십자 표시로 답하십시오.
• 이 확률에 대해 얼마나 확신하십니까? 0(확신 없음)에서 100(완전한 확신)까지의 척도에 십자 표시로 답하십시오

연구 중재 설명 이 연구에는 중재가 없으며, 엄격하게 관찰적입니다.

그럼에도 불구하고, SO2와 SO4를 완료하기 위해 수행될 작업의 조직을 여기서 설명합니다.

• SO2(의학 전문가):

분류 모델의 병원 이용 예측과 의학 전문가의 예측을 비교하기 위해, 조직에서 5년 이상의 경험을 가진 SOS Médecins Grand Paris 의사들이 자원하여 모집될 것입니다. 이러한 각 의사는 여러 환자/통화에 대한 병원 이용 확률을 추정하도록 요청받을 것입니다(§4.2.5 참조. 데이터 수집).

- SO4(실제 조건): 통계학자, 컴퓨터 공학자, MDA, SOS 의사 및 인간공학 연구자로 구성된 작업 그룹이 MDA에게 병원 이용 확률을 제공하는 최선의 방법을 고려하기 위해 구성될 것입니다. 여러 문제가 해결되어야 합니다: 확률이 화면에 어떻게 표시되는지, 확률 임계값, 통화를 배치 의사에게 전환해야 하는지(그렇다면 어떤 임계값에서), MDA에 의해 정의된 통화의 긴급도 수준에 대한 확률의 영향, 그리고 특정 긴급 요청에 우선순위를 부여할 가능성. 초기 작업 회의 후, 자원 MDA와 함께 버전이 구현될 것입니다. 실제 조건에서 초기 사용 후, 피드백이 수집되고 새로운 실험이 수행될 것입니다. 마지막으로, 실제 조건에서 구현을 위한 사양서가 작성될 것입니다(선택된 이유를 설명하여) 분류 모델이 다양한 IT 플랫폼에서 구현될 수 있도록.

통계 분석 6.1. 대상자 수 계산 - PO(전향적 검증): 전향적 데이터의 AROC이 회고적 데이터의 ROC와 다르다는 것을 입증하기 위해, 각각 0.75와 0.80의 AROC이 관찰된다면, 알파 위험 5%, 검정력 90%, 양측 검정을 가정하여 샘플당 13,560명의 환자/통화(즉, SOS Médecins Grand Paris에서 관찰된 병원 이송 환자의 3%와 일치하는 407명의 병원 이송 환자와 13,153명의 비이송 환자)가 필요합니다. 이 결과는 Stata 통계 소프트웨어의 power tworoc 함수를 사용하여 얻어졌습니다.

- SO1(외부 검증): OP와 동일한 계산에 따라, 코르시카 아작시오에서 13,560명의 환자 샘플이 동원되어야 합니다.

- SO2(전문 의사): 다른 모든 분석이 대표 샘플을 기반으로 하는 반면, 이 분석은 두 가지 이유로 균형 샘플(즉, 병원으로 이송될 환자의 50%와 이송되지 않을 환자의 50%로 구성)을 기반으로 합니다. 낮은 병원 이송률(3%)과 각 전문 의사가 평가해야 할 통화 수가 적기 때문에, 의사가 좋은 성과를 보장하기 위해 취할 수 있는 가능한 전략은 환자를 병원으로 이송하지 않는 것입니다. 또한, 대표 샘플은 거짓 음성(실제로는 이송될 환자이지만 낮은 예측 확률을 가진 환자) 연구를 허용하지 않을 것입니다. 너무 적기 때문입니다.

분류 모델과 전문 의사 간의 올바른 예측률 차이를 강조하기 위해, 분류 모델과 전문 의사에 대해 각각 58%(이 비율 결정에 대한 부록 §12.2 참조)와 68%(사전 선택된 10% 포인트 추가)의 올바른 예측률을 가정하고, 알파 위험 5%, 검정력 80%, 양측 검정(Stat의 power twoproportions 함수)으로 병원을 이용하는 환자로부터 365통화(및 동일한 수의 비이용 환자)가 필요할 것입니다.

5분마다 한 통화 평가를 기준으로, 총 61시간의 의학 전문가 시간이 필요합니다. 의사당 4시간 작업을 기준으로, 이는 모집될 16명의 의학 전문가에 해당합니다.

- SO3(차별): PO와 동일한 계산에 따라, 분류 모델의 AROC이 남성과 여성 간에 차이가 있다는 것을 보여주려면 각 성별의 13,560명 환자 샘플이 동원되어야 합니다. SOS Médecins Grand Paris에 전화하는 사람들의 성비는 1에 가깝습니다. PO의 SOS Médecins Grand Paris의 회고적 및 전향적 샘플이 사용될 것입니다.

6.2. 사용된 통계 분석 설명 연구는 TRIPOD-AI 권장사항에 따라 수행될 것입니다. 이는 예후 및 진단 연구(특히 AI용) 보고 지침입니다.

6.2.1. 분석에 포함될 개인 선택 모든 목표에 대해, 분석에 포함될 개인 선택은 연도의 반올림 숫자를 기반으로 무작위 추첨으로 이루어집니다. 이것은 하루의 모든 시간, 요일, 연중 월을 포함할 것입니다. SO3의 경우, 비대표 샘플은 병원으로 이송된 환자의 50%를 포함할 것입니다.

6.2.2. 기술 통계 수집된 모든 변수에 대해 기술 분석이 수행될 것입니다. 양적 변수는 평균, 중앙값, 표준 편차, 95% 신뢰 구간, 사분위 범위, 최소값, 최대값, 결측값 수 및 사용 불가 값 수를 사용하여 설명됩니다. 질적 변수는 백분율과 95% 신뢰 구간으로 설명됩니다. 통화와 방문 종료 사이의 경과 시간이 제시될 것입니다. 이러한 분석은 모든 샘플에서 수행되며 병원 이용에 따라 계층화될 것입니다.

6.2.3. 주요 종점 분석 다양한 목적에 사용될 일반적인 분석 전략을 먼저 제시합니다.

다른 샘플(전향적 또는 회고적, 파리 또는 코르시카 아작시오)의 환자에 대해 다양한 분류 시스템(AI 및 의학 전문가)의 성능을 평가하기 위해, ROC 및 정밀도-재현율(PR) 곡선이 그려지고 이 곡선 아래 면적(AROC 및 APR)이 추정될 것입니다. AROC을 통해 분류 시스템의 전반적인 성능을 측정할 수 있습니다. APR도 사용될 것입니다. 왜냐하면 불균형 데이터 세트(음성 결과 수가 양성 결과 수를 훨씬 초과하는 경우, 우리의 상황에 해당)에서 이진 분류기를 평가할 때 특히 유익하기 때문입니다. 두 분류 시스템(AI 및 의학 전문가, 예를 들어) 또는 동일한 분류 시스템(AI, 예를 들어)을 두 개의 다른 인구(파리와 코르시카 아작시오, 예를 들어)에서 비교하기 위해 그들의 AROC이 비교될 것입니다.

또한, 운영 관점에서 의미 있는 방식으로 성능을 평가하기 위해, 다른 임계값에 대한 민감도(Sen), 특이도(Spe), 양성 예측 값(PPV) 및 음성 예측 값(NPV)이 계산될 것입니다.

- PO(전향적 타당성): AI 분류 모델에 대한 일반적인 분석 전략이 SOS Médecin Grand Paris의 두 대표 샘플(하나는 회고적(2023년 및 이전), 하나는 전향적(2024년))에서 수행될 것입니다.

6.2.4. 2차 종점 분석

- SO1(외부 타당성): AI 분류 모델에 대한 일반적인 분석 전략이 SOS Médecin Grand Paris 및 코르시카 아작시오의 두 회고적 대표 샘플에서 수행될 것입니다.

- SO2(전문 의사): 두 분류 시스템(AI 및 전문 의사)의 올바른 예측률이 통계 검정을 사용하여 비교될 것입니다.

보다 탐색적으로:

- 두 분류 시스템의 AROC이 계산될 것입니다(일반적인 분석 전략).

- 두 분류 시스템 간의 예측 차이가 실제 병원 이용 및 환자 특성을 기반으로 모델링될 것입니다.

- 두 예측 간에 가중 카파 계수가 계산될 것입니다.

- 의학 전문가가 보고한 확신 수준(특히 높고 낮은 수준)을 기반으로 민감도 분석이 수행될 것입니다;

• 실제 병원 이용에 대한 계층화된 분석이 수행될 것입니다(진양성 및 진음성 연구).

가능한 경우, 동일한 의학 전문가가 여러 통화/환자를 검사했을 수 있다는 사실을 분석에서 고려할 것입니다.

• SO3(차별):

차별은 다음 사회적 특성에 따라 조사될 것입니다: 연령, 성별 및 사회적 위치(방문 장소의 인구 조사 구역의 사회경제적 특성을 기반으로 추정). 연령 및 사회적 위치의 생태학적 변수는 3분위 및 5분위 형태로 사용될 것입니다. 위의 사회적 특성에 따라 계층화된 SOS Médecin Grand Paris의 대표 샘플에 대한 AI 분류 모델에 대한 일반적인 분석 전략이 수행될 것입니다. AROC 비교는 분류가 위의 사회적 특성에 따라 동등하게 효과적인지 결정할 것입니다.

또한, 위의 특성에 따른 성공(진양성 및 진음성 공동 및 개별) 비교도 단변량 및 다변량 로지스틱 모델을 사용하여 수행될 것입니다. 이러한 분석은 다른 위험 임계값에 대해 수행될 것입니다.

- SO4(실제 조건) 동료 간 논의 및 실제 규모 테스트 후, 분류 모델이 다양한 IT 플랫폼에서 구현될 수 있도록 실제 조건에서 구현을 위한 사양서가 작성될 것입니다. 선택된 이유는 이러한 사양서에 명시될 것입니다.