DYNAMIC AI: 인공 지능 기반 통찰력과 COPD 치료를 통합하기 위한 원격 관리 및 예측 모델링을 통한 디지털 혁신: 수용 가능성, 타당성 및 안전성 연구 (DYNAMIC AI)

배경: COPD 필요, 도전 및 기회.

만성폐쇄성폐질환(COPD)은 세계적인 의료 문제입니다. COPD가 있는 환자의 연속체에 치료 품질 격차가 존재하지만 COPD 악화는 질병 부담, 불리한 결과 및 의료 비용의 상당 부분을 담당합니다. COPD 환자는 악화 및 그에 따른 입원을 피하는 것을 우선시합니다. COPD 환자 헌장(2021년 3월)은 악화 및 조기 사망1의 위험을 줄이기 위한 사전 예방적 관리를 요구했습니다. 공동 설계된 디지털 도구와 웨어러블 센서 및 AI 기반 예측 모델링과 같은 새로운 혁신을 통한 디지털 혁신은 이러한 COPD 치료 품질 격차를 해결하고 이러한 치료 재정향을 달성할 수 있는 기회를 제공합니다.

역동성: NHS GG&C COPD 디지털 서비스 변환, 구현 및 증거.

2018년부터 'DYNAMIC'(Digital Innovation with Remote Management and Predictive Modeling to Integrate COPD Care) 프로그램이 시작되었습니다. 이는 NHS GG&C 호흡기 의학 및 스코틀랜드 서부 혁신 팀과 LenusHealth(당시 StormID) 간의 혁신 파트너십을 기반으로 합니다. 초기 자금은 InnovateUK의 디지털 건강 기술 촉매상에서 나왔습니다. 후속 스코틀랜드 정부 TEC(Technology Enabled Care) 프로그램 자금은 서비스를 계속하고 확장 제공을 허용했습니다.

우리의 비전은 공동 설계된 디지털 도구의 개발, 구현 및 평가를 통해 COPD 서비스의 디지털 변환을 시작하는 것이었습니다. 우리는 사용자 경험 테스트 주기를 기반으로 "LenusCOPD' 환자 및 임상의 웹 애플리케이션 및 지원 웹사이트를 공동 설계했습니다. 우리는 고위험 COPD 코호트에서 호흡기 관련 입원 및 점유 침대 일수의 감소를 달성할 것으로 예상하여 후속 조치 중에 환자가 지속적으로 사용할 수 있는 도구를 설정하고 COPD 공동 관리를 지원하는 것을 목표로 했습니다. 증거는 'RECEIVER' 관측 코호트 연구와 이후 스케일업 'DYNAMIC-SCOT' 서비스 평가에서 수집되었습니다.

RECEIVER / DYNAMIC-SCOT2의 주요 결과:

• 참가자는 LenusCOPD 환자 앱을 계속 사용하며 온보딩 후 1년 이상 지속된 주당 1인당 평균 3.5회의 상호 작용이 있습니다.
• COPD 관련 병원 입원 및 점유 병상 일수는 전년도에 심각한 악화 이력이 있는 참가자의 LenusCOPD 온보딩 후 감소했으며, 재입원까지의 중앙값 시간은 380일로 현대 일치 대조군 환자 코호트의 50일과 비교됩니다.
• 입원 또는 사망까지의 평균 시간은 대조군에서 43일, RECEIVER에서 338일, 전년도에 심각한 악화가 있었던 DYNAMIC-SCOT 참가자에서 400일이었습니다.
• 12개월 입원 또는 사망 위험은 대조 환자에서 74%, RECEIVER에서 53%, DYNAMIC-SCOT 하위 코호트 참가자에서 47%였습니다.

이러한 타당성 및 유틸리티 결과는 이러한 디지털 도구의 확장 채택을 지원합니다. 핵심 LenusCOPD 서비스의 확장 제공은 갱신된 스코틀랜드 정부 TEC 자금의 지원을 받아 NHS GG&C 2022-2024에서 계속될 것입니다. 현재 약 400명의 환자가 COPD 디지털 서비스(2022년 3월)에 온보딩되었으며 LenusCOPD가 COPD 진단, 정기 검토 및 폐 재활 서비스의 회복 및 재정향을 지원하는 데 사용됨에 따라 사용자 수가 증가할 것으로 예상됩니다. 이 지속적인 채택과 우리의 혁신 파트너십은 이 임상 조사에서 제안된 MDT 의사 결정 지원을 위한 인공 지능 통찰력을 포함하여 추가 혁신을 구현하고 평가하기 위한 테스트 베드 인프라를 제공합니다.

근거: 훈련되고 검증된 COPD 위험 예측 모델

위에서 설명한 과제는 AI를 사용하여 환자 위험 예측 모델을 개발할 수 있는 기회를 제공했습니다. 서비스의 일부로 수집된 데이터는 과거 전자 건강 기록 데이터와 함께 위험 예측 모델 모음을 만드는 데 사용되었습니다. 각 모델을 개발하기 위해 다음 단계를 수행했습니다.

• 데이터 탐색 - 데이터 집합의 기능, 편향 및 기타 문제를 식별하기 위한 데이터 탐색 및 시각화입니다.
• 문제 공식화 - 관심 대상 변수를 정의하는 방법 및 사용할 모델링 접근 방식.
• 데이터 분할 - 교육, 검증 및 테스트에 사용할 데이터 세트를 분할하는 전략을 정의합니다.
• 데이터 정리 및 누락된 데이터 처리 - 잘못된 데이터, 데이터 세트의 이상값 식별 및 누락된 데이터 처리 전략 정의(대체, 제외, 누락된 값 허용).
• 기능 엔지니어링 - 원시 데이터를 모델 교육에 사용할 기능으로 변환하고 집계하는 프로세스입니다. 기능 엔지니어링을 통해 데이터에서 더 큰 통찰력을 얻을 수 있습니다.
• 모델 교육 - 다양한 기계 학습 알고리즘을 탐색하고 당면한 문제에 가장 적합한 후보를 선택합니다. 그런 다음 처리된 기능은 모델 교육에 사용됩니다.
• 모델 유효성 검사 - 홀드아웃 테스트 데이터 세트를 사용하여 모델 성능에 대한 유효성 검사 및 보고.
• 모델 설명 가능성 - 타사 방법을 사용하여 모델 예측을 가능한 한 해석 가능하고 설명 가능하게 만듭니다.
• 모델 공정성 - 관심 있는 하위 그룹에 대한 모델 성능 검사 및 불평등을 설명하기 위한 잠재적 모델 재훈련.

모델 개발에 대한 자세한 내용은 조사자 브로셔 및 모델 승인 보고서를 참조하십시오. 각 모델의 출력은 각 환자에게 발생하는 관심 이벤트의 확률을 나타내는 숫자입니다.

간섭

우리는 COPD-MDT 내 임상의에게 12개월 사망률 및 3개월 재입원에 대한 라이브 AI 모델 기반 위험 점수를 제공하는 데 필요한 모든 구성 요소를 공동 설계했습니다. 프로덕션 COPD 디지털 서비스가 AI Insights 연구의 영향을 받지 않도록 하기 위해 이러한 모델 예측을 표시하기 위해 별도의 임상의 대시보드가 ​​개발됩니다. 악화 모델의 출력은 환자에게 전송되는 '체크인' 메시지가 될 것이며, 데이터에 일부 변경 가능성이 있음을 강조하고, 자가 관리 계획을 검토하고/하거나 필요한 경우 임상 팀에 연락하여 조언을 구하도록 유도합니다. 이는 그림 1의 예시 체크인 메시지와 함께 표 1에 요약되어 있습니다.

이러한 모델을 실행하는 데 필요한 모든 원본 데이터 피드는 Azure 데이터 과학 VM(가상 머신)을 사용하여 NHS GG&C Azure 테넌시에서 설정되었습니다. 개입은 다음으로 구성됩니다.

동의 절차

자세한 내용은 CIP 섹션 10.4 및 "DYNAMIC-AI 동의를 위한 표준 운영 절차" 문서에 있습니다. LenusCOPD 디지털 서비스 지원 웹사이트 https://support.nhscopd.scot 자세한 환자 정보와 동의 절차를 지원하는 설명 비디오 링크를 제공합니다. 연구 정보는 모든 연구 승인을 받을 때까지 이 오픈 액세스 웹사이트에 게시되지 않습니다. 웹 콘텐츠는 https://support.test.nhscopd.scot/dynamic-ai에서 승인 전에 검토할 수 있습니다.

LenusCOPD 환자 앱에는 초대된 환자가 연구에 대한 정보를 보고 동의를 수락, 거부 또는 연기하고 지원 웹 사이트를 통해 추가 정보에 액세스하거나 연구 팀과의 토론을 요청할 수 있는 동의 화면이 포함되어 있습니다. LenusCOPD 임상의 대시보드 AI 통찰력 동의 페이지에는 환자 앱에서 동의 활성화, 환자 요청 시 동의 취소 및 동의 상태 감사를 위한 사용자 인터페이스가 포함되어 있습니다.

AI 통찰력 데이터 파이프라인 이러한 클라우드 기반 디지털 연결은 동의한 참여자로부터 관련 건강 기록 데이터(인구 통계, 진단, 입원, 처방, 실험실 결과)를 수집하고 집계합니다. 데이터는 집계되고 가명 처리되며 AI 인사이트 서비스에서 사용하기에 적합한 형식으로 변환됩니다. 이 데이터를 제공하는 프로세스는 표준 운영 절차에 따라 NHS GG&C SafeHaven 팀에서 승인하고 지원합니다.

AI 통찰력 모델 제공 파이프라인 클라우드 기반 디지털 파이프라인은 기계 학습 모델에서 사용하기 위해 데이터 파이프라인에서 사전 처리된 데이터를 수집하여 AI Insights Clinician App에서 사용할 수 있도록 동의한 참가자를 위한 모델 예측 및 설명 가능성을 생성합니다.

AI 인사이트 서비스 이것은 클라우드 기반 전자 건강 시스템 백엔드 기능과 개입의 원활한 실행을 보장하기 위해 지시를 받고 조치를 수행하는 프로세스로 구성됩니다.

AI Insights 데이터베이스 AI Insights 디지털 서비스용 데이터 저장소입니다. 원시 및 요약 데이터는 데이터 과학 및 임상 책임자의 검토를 위한 모델 성능 보고서로 내보낼 수 있으며, 독립적인 분석을 위해 임상 시험 단위로 내보내고 장기 보존(IRAS 문서에 따름)할 수 있습니다.

AI 인사이트 임상의 앱 임상의에게 임상 대시보드(그림 1 및 2)를 제공하여 환자 목록을 보고 내보내고 기계 학습 모델 결과, 동의한 참가자의 설명 가능성 및 공정성 데이터를 검토하는 웹 애플리케이션입니다.

연구 목적

가설

COPD 환자는 진행 중인 모델 교육 및 검증에 사용되는 데이터와 함께 임상 팀에 AI 인사이트 위험 예측 점수를 제공하기 위해 일상적인 의료 데이터를 사용하는 것이 허용 가능하고 이에 동의할 것입니다.

'AI 인사이트' 애플리케이션 내에서 COPD AI-MDT에서 검토할 수 있도록 AI 모델에서 파생된 12개월 사망률 COPD 위험 예측 점수를 제공하는 것이 기술적으로 실현 가능하고 안전할 것입니다.

주요 목표

결정 :

1. COPD 환자에 대한 수용성 및
2. 기술적 타당성 및
3. 안전

NHS GG&C에서 COPD 임상의의 다학제 팀 회의에 LenusCOPD AI 인사이트 애플리케이션의 실시간 인공 지능 기반 12개월 사망 위험 예측 점수를 제공합니다.

주요 타당성, 수용 가능성 및 안전성 측정

전력 계산 또는 선험적 성공 메트릭을 알려주는 파일럿 데이터가 없기 때문에 설명적으로 보고됩니다.

1. 수용 가능성의 평가는 DYNAMIC-AI 연구에 참여하는 데 동의한 초대 환자의 비율을 기반으로 합니다.
2. 기술적 타당성 평가는 AI 인사이트 모델 앱에서 MDT 검토를 위해 12개월 사망률 모델 위험 점수를 계산하고 제시한 LenusCOPD의 적절한 소스 데이터가 있는 참가자의 비율이 됩니다.
3. 안전성 평가는 기기 관련 유해 사례의 발생과 모델 위험 점수의 전향적 평가 - 모델 위험 점수에 기반한 임상의의 조치 및 예측된 사건의 보정: 발생한 사건을 기반으로 합니다.

보조 목표

12개월 사망 위험 예측 모델을 통해 상세한 수용 가능성 및 기술적 타당성 경험을 확보하십시오.

3개월 호흡기 관련 입원 및 COPD 악화 위험 예측 모델의 교육 및 검증을 위한 데이터 세트를 확장합니다.

검증 성능 데이터를 검토한 결과 임상 채택 준비가 되었음을 나타내는 경우 3개월 호흡기 관련 입원 및 COPD 악화 모델에 대한 기술 타당성(모델 앱의 실시간 점수가 있는 동의한 참가자의 비율) 및 설명적 채택 경험을 평가합니다.

COPD 다학제 팀이 실시간 AI 인사이트를 사용하여 예비 경험 및 유틸리티 데이터 세트를 설정합니다.

2차 탐색적 평가

자세한 수용 가능성 데이터

추가 지원 정보(비디오 및 서면 자료)를 검토한 초대 환자의 비율.

동의 결정을 알리기 위해 개별 임상의 입력이 필요한 초대된 환자의 비율, 연구에 대한 수용 가능성/동의 및 모델 훈련을 위한 데이터 사용에 대한 동의에 대한 차이를 포함하여 이러한 논의의 주제가 언급되었습니다.

상세한 기술 타당성 및 모델 성능 데이터

모델 성능 보고서에 캡처됩니다. 다음을 포함한 임상 조사 전반에 걸친 일련의 데이터:

• 모델 점수 및 이유가 누락된 참가자 수(기능 그룹당 데이터 누락, 데이터 새로 고침 대기 시간, 참가자 탈퇴 등).
• AUC-ROC, 정밀 재현율 AUC, 분류 보고서 및 혼동 매트릭스를 포함하여 각 모델 실행에 대한 홀드아웃 테스트 데이터 세트를 사용하여 계산된 모델 성능 지표.
• 관심 그룹에 대해 계산된 모델 공정성 측정항목입니다.
• 모델 의사 결정 및 생물학적 타당성을 설명하기 위한 모델의 글로벌 및 로컬 설명 가능성
• LenusCOPD에서 캡처된 이벤트 대비 모델 위험 예측의 성능(12개월 사망, 호흡기 관련 병원 입원, 악화).
• 이유에 대한 탐색적 평가를 통한 모델 성능의 드리프트 가변성(예: 누락된 데이터 해결, 기본 소스 데이터의 변경, 환자 상태 변동) 모델 성능 또는 개별 위험 점수에서 식별된 예기치 않은 변경 사항.

3개월 호흡기 관련 입원 및 COPD 악화 위험 예측 모델의 훈련 및 검증을 위한 데이터 세트 확장

데이터는 동의한 참가자로부터 누적됩니다. 업데이트된 모델 성능 보고서는 연구 운영 위원회에서 검토합니다. 일차 종점에 대한 이러한 분석과 중간 분석이 만족스러운 경우 이러한 모델이 라이브 서비스에 추가됩니다.

라이브 COPD AI 통찰력의 MDT 사용에서 얻은 예비 경험 및 유틸리티 데이터 COPD AI-MDT에서 논의된 환자 수.

LenusCOPD 이벤트 및 메모에 캡처된 MDT의 모델 위험 점수 검토에서 취한 임상 조치.

라이브 임상 사용을 위해 악화 모델을 채택한 경우:

• 악화 모델의 고위험 점수에 의해 트리거된 체크인 메시지 수 - 환자당 및 LenusCOPD 메시징에서 캡처된 코호트에 대한 총계.
• 악화 모델 체크인 메시지가 일시적 또는 영구적으로 해제된 참가자의 비율이 LenusCOPD 메모에 캡처되었습니다.
• 체크인 메시지의 결과 - 환자가 접촉, 기타 이벤트를 시작하고 LenusCOPD 메시지 및 메모에 캡처됩니다.

환자 이벤트(사망, 병원 입원, COPD 악화; LenusCOPD에서 포착됨)는 모델 위험 점수에 따라 전향적으로 발생합니다. 중재 MDT 검토, 메시징, 임상의 조치, 위험 예측 트리거 조치의 영향에 대한 예비 경험 데이터를 설정하기 위해 모델에 의해 트리거된 환자 조치 및 이러한 예측의 후속 정확도에 대한 잠재적 영향에 주목합니다. 평가는 모델 트리거 검토/조치가 있는 환자와 그렇지 않은 환자를 고려하여 모델 성능과 예상되는 이벤트를 비교할 것입니다. 이 평가는 다른 보건 위원회에서 LenusCOPD 관리 서비스를 채택하여 얻은 외부 소급 검증 데이터로 보완됩니다. 개입 여부에 관계없이 그룹의 모델 성능은 데이터 과학 팀과 공유되어 추가 모델 개선 및 재교육이 가능합니다.

관련 평가 DYNAMIC 프로젝트 및 RECEIVER 시험 평가 내에서 이 조사가 시작되는 시점까지 AI 통찰력 모델의 지속적인 개발이 진행되고 있습니다. AI 통찰력의 모델 성능에 대한 외부 유효성 검사는 NHS GG&C 이외의 조직에서 비식별화된 전자 건강 기록 및 LenusCOPD 서비스 데이터를 사용하여 수행됩니다. AI 통찰력의 공동 설계, 임상 사용자 경험 및 수용 가능성 테스트는 병렬로 계속됩니다. 이러한 별도의 평가는 모든 적절한 승인, 거버넌스 및 문서화에 의해 지원됩니다.

조사 계획

연구 설계

이 임상 조사는 UK Policy Framework for Health and Social Care Research(2017)에 따라 수행됩니다.

이것은 관찰 코호트 실행-효과 연구입니다. 중간 유효성 평가는 연구 운영 위원회에서 검토한 1차 종점에 대한 보고와 함께 시험 전반에 걸쳐 3개월 간격으로 수행됩니다. 이러한 중간 평가의 결과는 구현 또는 개입을 조정하기 위한 권장 사항을 트리거할 수 있습니다. 동의 정보의 변경, 기술 업데이트. 구현 전략 또는 개입에 대한 제안된 적응은 본 CIP에 대한 모든 필수 수정 사항 및 스폰서 및 REC 고려를 위해 제출된 관련 연구 문서와 함께 연구 관리 위원회에서 고려됩니다. 구현 변경은 모든 검토가 완료되고 승인을 얻은 후에만 이루어집니다. 연구의 최종 보고서는 중간 평가를 기반으로 한 모든 변경 사항을 자세히 설명합니다.