- ICH GCP
- 미국 임상 시험 레지스트리
- 임상시험 NCT07438743
에픽 AI 외래 환자 차트 요약의 무작위 대조 시험
외래 진료 의료진의 인지 작업 부하 감소를 위한 획기적인 생성형 인공지능 차트 요약 도구: 무작위 대조 시험
연구 개요
상세 설명
이 연구의 주요 목적은 EHR에서 개발된 생성형 AI 외래환자 차트 요약 도구가 자가 보고 의사 업무 부하 점수(PTL)에 미치는 영향을 평가하고, 이 도구를 대조군과 비교하는 것입니다. 탐색적 결과에는 EHR에서 도출된 시간 지표(Caboodle 및 Signal), 전문적 만족도 지수(PFI), 사용성(SUS), 제공자 만족도 및 생산성, 그리고 CG-CAHPS의 환자 경험 항목 결과가 포함됩니다. 또한 단축형 메타 AI 리터러시 척도(MAILS)를 사용하여 AI 리터러시가 도구의 채택과 효과를 조절하는지 평가할 것입니다. 탐색적 기준으로, 제공자 전문 분야, 앰비언트 리스닝 AI 스크라이브 접근성, 패널 복잡성, 제공자 연령대, 제공자 성별, 그리고 연구 기간 동안 월별 시변 효과를 기반으로 조정도 수행할 것입니다.
등록된 참가자는 두 그룹 중 하나에 무작위 배정됩니다. 무작위 배정은 참가자가 활성 AI 스크라이브 라이선스를 보유하고 있는지 여부에 따라 계층화되며, 계층 내에서 공변량 제약 무작위 배정이 수행되어 기준선 PTL(NASA-TLX 적응 점수)과 수정된 기준선 차트 검토 시간(Caboodle 도출)의 균형을 개선할 것입니다. 중재의 특성상, 참가자는 그룹 배정에 대해 눈가림이 불가능합니다.
이 계획의 주요 목적은 캘리포니아 대학교 로스앤젤레스(UCLA) 헬스의 품질, 효율성 및 비즈니스 운영을 개선하고, UCLA 헬스 시스템 내 모든 제공자에게 도구의 운영적 구현을 안내하는 것입니다. 그럼에도 불구하고, UCLA 연구팀은 이 중재가 건강 시스템 전반에 미치는 영향을 엄격히 검토하고 출판할 계획이며, 이것이 연구팀이 이 계획을 사전 등록한 이유입니다.
연구 유형
등록 (추정된)
단계
- 해당 없음
연락처 및 위치
연구 장소
-
-
California
-
Los Angeles, California, 미국, 90095
- University of California, Los Angeles
-
-
참여기준
자격 기준
공부할 수 있는 나이
- 어린이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
설명
포함 기준:
- UCLA 헬스 시스템 내 외래 진료 제공자로, 의사와 간호사 실무자, 의사 보조원과 같은 고급 실무 제공자(APP)를 포함하며, 주당 최소 반일 외래 진료 세션이 있는 경우.
- 제공자가 기준 사전 설문조사를 완료한 경우
제외 기준:
• 수련 제공자(예: 레지던트, 의과대학생) 및 심리학자
공부 계획
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 건강 서비스 연구
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
실험적: 중재군
이 그룹의 참가자들은 Epic의 외래환자 차트 요약 도구에 접근할 수 있으며, EHR에 통합된 생성형 AI 도구의 지원을 받아 기존의 임상 관행을 계속합니다.
이 도구는 의료진을 위한 요약을 제공하며 임상 의사 결정 지원은 제공하지 않습니다.
참가자들은 교육 모듈과 팁 시트에 접근할 수 있으며, 시험의 첫 3주 동안 발생하는 모든 질문을 돕기 위한 주간 타운 홀에 참석할 수 있습니다.
|
Epic의 생성형 AI 차트 요약 도구는 환자의 일부 기록을 요약합니다.
도구 사용은 선택 사항이며, 제공자에게 요약을 제공하기 위한 목적으로만 사용되며, 임상적 의사 결정을 지원하지 않습니다.
시스템은 최근 기록을 자동으로 선택하거나, 제공자가 관심 있는 특정 기록을 수동으로 선택할 수 있습니다.
요약되는 기록의 수는 EHR의 문자 제한(영어 24,000자 또는 30개 기록)에 따라 제한됩니다.
시스템은 AI를 사용하여 관련 정보에 대한 간단한 요약을 생성합니다.
요약은 제공자를 돕기 위한 도구로 사용되며, 임상 기록에 포함되도록 의도되지 않았습니다.
생성된 요약은 현재 환자의 차트에 저장되지 않습니다.
|
|
간섭 없음: 일상적인 치료
이 그룹의 참가자는 차트 요약 도구에 접근할 수 없으며 기존의 임상 관행을 계속할 것입니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
기준선 대비 의사 업무 부담 변화
기간: 중재에 처음 노출된 시점과 90일 후
|
NASA 업무 부하 지수(TLX)에서 적응한 의사 업무 부하 측정법으로, EHR 관련 인지 업무 부하를 4개 하위 척도(정신적 요구, 시간적 요구, 신체적 요구, 노력)로 평가하는 검증된 도구입니다.
이 결과 측정법은 선차팅 업무를 포착하기 위해 적응되었으며, 본 연구에서 선차팅은 환자 방문 전에 진료를 준비하기 위해 EHR에서 환자 정보를 검토하는 관행으로 정의됩니다.
각 하위 척도는 0(낮음)에서 100(높음)까지 평가되며, 0-400점 척도로 집계됩니다.
이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다.
|
중재에 처음 노출된 시점과 90일 후
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
변경된 총 차트 시간(Encounter당)
기간: 기준선, 중재에 노출된 지 60일 후, 그리고 중재에 노출된 지 90일 후.
|
Epic의 엔터프라이즈 데이터 웨어하우스인 Caboodle를 사용하여 맞춤형 지표를 활용해 환자의 차트를 검토하는 데 소요된 임상의 시간을 측정합니다.
임상의가 차트 요약 도구에 접근할 수 있었던 내부 검증을 바탕으로, 이 지표에는 임상 검토(모든 활동)에 해당하는 Caboodle Tier 1 활동, 사전 차트 작성 활동으로 제한된 문서화, Navigator 관련 활동으로 제한된 기타 활동, 그리고 차트 요약 도구에 전념하는 활동이 포함됩니다.
모든 기록 작성, 주문 입력, 진료 완료 활동은 제외됩니다.
체크아웃 이후의 시간도 제외됩니다.
변화는 6개월의 회고적 기준선에 대해 평가됩니다.
이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다.
|
기준선, 중재에 노출된 지 60일 후, 그리고 중재에 노출된 지 90일 후.
|
|
기준선 대비 전문직 만족도 지수 점수 변화
기간: 기준선 및 중재에 대한 초기 노출 후 90일
|
전문적 충족감 지수(PFI)는 5점 리커트 척도(0-4)를 사용하여 전문적 충족감, 업무 소진 및 대인관계 소외를 측정하는 검증된 16항목 도구입니다.
소진은 업무 소진 및 대인관계 소외 하위척도의 결합된 결과를 바탕으로 보고됩니다.
높은 점수는 더 높은 수준의 소진을 나타냅니다.
이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다.
|
기준선 및 중재에 대한 초기 노출 후 90일
|
|
기준선 대비 자가 보고 차트 작성 전 효과성 변화
기간: 기준선 및 중재에 처음 노출된 후 90일
|
제공자들은 사전 차트 작성에 관한 자가 보고 효율성과 효과성에 대한 질문에 답변할 것입니다.
이 질문들은 이러한 지표를 측정하기 위해 5점 리커트 척도를 사용하며, 높은 점수는 더 큰 자가 보고 효율성과 효과성을 나타냅니다.
|
기준선 및 중재에 처음 노출된 후 90일
|
|
제공자 만족도 점수
기간: 개입에 처음 노출된 후 90일
|
의사가 보고한 차트 요약 도구의 차트 사전 작성 효율성 및 효과성에 대한 영향과 기타 잠재적 부작용을 포함하는 자가 보고 만족도 조사입니다.
이 결과에 대해서는 환자 수준 정보가 수집되지 않습니다.
|
개입에 처음 노출된 후 90일
|
|
시스템 사용성 척도
기간: 개입에 대한 최초 노출로부터 90일
|
시스템 사용성 척도(SUS)는 시스템 사용성의 다양한 측면을 측정하기 위해 5점 리커트 척도를 사용하는 10개 항목의 설문지입니다.
총 점수 범위는 0~100입니다.
SUS 점수가 높을수록 사용성이 높음을 나타냅니다.
|
개입에 대한 최초 노출로부터 90일
|
|
안전성 사건
기간: 개입에 처음 노출된 후 90일 동안
|
AI 생성 차트 요약의 임상 의사 보고 안전성으로, 중재 기간 동안 임상적으로 중요한 오류의 인지된 빈도와 주요 안전 사건 발생을 포함합니다.
이 결과에 대해 환자 수준 정보는 수집되지 않습니다.
|
개입에 처음 노출된 후 90일 동안
|
|
정성적 도구별 EHR 피드백
기간: 개입에 처음 노출된 후 90일 동안
|
개입 기간 동안 EHR 기본 요약 인터페이스를 통해 임상의가 제출한 정확도, 완전성 및 환각에 대한 평가를 포함한 실시간 피드백이 집계됩니다.
이 결과에는 환자 수준 정보가 수집되지 않습니다.
|
개입에 처음 노출된 후 90일 동안
|
|
기준선 대비 변화 소비자 의료 서비스 제공자 및 시스템 평가 임상의 및 그룹 설문(CG-CAHPS) 지표
기간: 중재에 대한 초기 노출 전 및 90일 후
|
소비자 의료 서비스 제공자 및 시스템 평가 의료진 및 그룹 설문조사(CG-CAHPS)는 환자의 의료 서비스 제공자 경험을 측정하는 표준화된 피드백 설문조사입니다.
우리는 "지난 6개월 동안, 이 의사가 귀하의 병력에 대한 중요한 정보를 알고 있는 것처럼 보였습니까?"라는 질문에 대해 중재 전 6개월과 비교한 CG-CAHPS 평균 점수의 변화를 조사할 것입니다.
|
중재에 대한 초기 노출 전 및 90일 후
|
|
기준선 대비 Epic 신호(활동) 지표 변화: 예정 시간 외 시간
기간: 중재에 대한 초기 노출 전과 90일 후
|
등록 6개월 전의 회고적 기준선부터 신호 지표(일정 일당 예정 시간 외 시간 포함)의 변화를 검토할 것입니다.
이 데이터를 사용하여 공급자의 시간이 EHR에서 어떻게 활용되는지 결정할 것입니다.
이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다.
|
중재에 대한 초기 노출 전과 90일 후
|
|
주간 의사 상대가치단위(RVUs)
기간: 중재 노출 후 60일, 그리고 중재 노출 후 90일
|
기준선(6개월간의 중재 전 기간)을 조정한 중재 개월 2 및 3 동안의 주간 평균 상대 가치 단위(RVUs)
|
중재 노출 후 60일, 그리고 중재 노출 후 90일
|
공동 작업자 및 조사자
수사관
- 수석 연구원: John N Mafi, MD, MPH, Division of General Internal Medicine & Health Services Research, David Geffen School of Medicine at the University of California, Los Angeles
- 수석 연구원: Paul J Lukac, MD, MBA, MS, UCLA Health Information Technology, UCLA Health
간행물 및 유용한 링크
일반 간행물
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Carolus, A., Koch, M. J., Straka, S., Latoschik, M. E., & Wienrich, C. (2023). MAILS-Meta AI literacy scale: Development and testing of an AI literacy questionnaire based on well-founded competency models and psychological change-and meta-competencies. Computers in Human Behavior: Artificial Humans, 1(2), 100014.
- Koch MJ, Carolus A, Wienrich C, Latoschik ME. Meta AI literacy scale: Further validation and development of a short version. Heliyon. 2024 Oct 22;10(21):e39686. doi: 10.1016/j.heliyon.2024.e39686. eCollection 2024 Nov 15.
- Quigley DD, Elliott MN, Qureshi N, Predmore Z, Hays RD. Associations of the Consumer Assessment of Healthcare Providers and Systems (CAHPS) Clinician and Group Survey Scores with Interventions and Site, Provider, and Patient Factors: A Systematic Review of the Evidence. J Patient Exp. 2024 Oct 13;11:23743735241283204. doi: 10.1177/23743735241283204. eCollection 2024.
- Melnick ER, Harry E, Sinsky CA, Dyrbye LN, Wang H, Trockel MT, West CP, Shanafelt T. Perceived Electronic Health Record Usability as a Predictor of Task Load and Burnout Among US Physicians: Mediation Analysis. J Med Internet Res. 2020 Dec 22;22(12):e23382. doi: 10.2196/23382.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
연구 기록 날짜
연구 주요 날짜
연구 시작 (실제)
기본 완료 (추정된)
연구 완료 (추정된)
연구 등록 날짜
최초 제출
QC 기준을 충족하는 최초 제출
처음 게시됨 (실제)
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
QC 기준을 충족하는 마지막 업데이트 제출
마지막으로 확인됨
추가 정보
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .