주변 인공 지능 서기 기술의 무작위 통제 시험 (AIScribe RCT)
2026년 4월 22일 업데이트: John N. Mafi, MD, MPH, University of California, Los Angeles
문서화 효율성을 향상시키고 의사 소진을 줄이기위한 두 가지 주변 인공 지능 서기 기술의 무작위 통제 시험
이것은 대규모 학업 건강 시스템에서 238 개의 외래 환자 의사의 3ARAR 실용적 RCT로, 2 개의 AI Scribe 도구 또는 일반적인 관리 통제 그룹 중 하나에 무작위 1 : 1 : 1을 무작위로 만들었습니다. 2 개월간의 연구는 시스템 전체에서 선택된 도구를 롤아웃하기 전에 각 도구의 영향을 관찰하고 비교할 것입니다 (예상 2025 년 예상). 우리는 공변량 제한 무작위 배정을 사용하여 노트의 의사 기준선 시간, 측량 측정 수준의 소진 수준 및 주당 클리닉 일의 관점에서 무기의 균형을 맞 춥니 다.
이니셔티브의 주요 목적은 로스 앤젤레스 캘리포니아 대학교 (UCLA) 건강의 품질, 효율성 및 비즈니스 운영을 개선하는 것입니다.이 이니셔티브는 연구 목적으로 수행되지 않습니다. 이 운영 이니셔티브의 결과는 UCLA Health System 내의 모든 공급 업체에서 AI Scribe 도구의 광범위한 롤아웃을 알려줍니다. 그럼에도 불구하고 UCLA 연구 팀은 건강 시스템 전반에 걸쳐이 중재의 영향을 엄격하게 조사하고 게시 할 계획이므로 연구 팀이 이니셔티브를 미리 등록한 이유입니다.
연구 개요
상태
완전한
상세 설명
이 연구는 모든 그룹에서 운영 지향 결과를 평가할 것입니다. 특히, 모든 그룹은 QI 이니셔티브에서 무작위 롤아웃에 대한이 관찰 연구에서 시간이 지남에 따라 모든 중재를받을 것입니다. 또한이 이니셔티브의 주요 목적은 운영됩니다. 다시 말해,이 이니셔티브의 결과를 바탕으로 이러한 도구 중 하나가 결국 건강 시스템 전체에서 널리 선택되고 운영 될 것입니다.
등록 된 참가자는 세 그룹 중 하나로 무작위 배정됩니다. 12 월에 세속적 인 트렌드, 계절 및 휴일 효과 및 AI 도구 노출과 결과 사이의 관계를 혼란스럽게하는 다른 요인들을 극복하기 위해 무작위 배정이 필요했습니다.
이 연구의 주요 목표는 각 서기관을 대조군과 비교하여 EHR 문서에 소요 된 기준 시간에서 임상의 변화에 대한 두 가지 주변 AI Scribe 기술이 임상의 변화에 미치는 영향을 평가하는 것입니다. 보조 목표에는 번 아웃, 의사 만족도 및 생산성과 같은 임상의 지표에 대한 AI 서기관의 영향을 평가하는 것이 포함됩니다. 또한, 연구팀은 비즈니스 의사 결정을 안내하기위한 도구에 대한 경제적 평가 분석을 수행하려고합니다. 연구팀은 또한 의사가 AI 도구가 환자 안전, 형평성 및 의도하지 않은 이니셔티브의 의도하지 않은 결과에 대한보고를보고 할 것입니다.
연구 유형
중재적
등록 (실제)
238
단계
- 해당 없음
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 장소
-
-
California
-
Los Angeles, California, 미국, 90024
- UCLA Health System
-
-
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 어린이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
아니
설명
포함 기준 :
- UCLA Health System 내의 외래 진료 의사는 주당 1 회 이상의 클리닉을 개최했습니다.
제외 기준 :
- 연수생 제공 업체 (예 : 거주자, 의대생) 및 연합 의료 전문가 (예 : RNS, PAS)
- 연수생과 독점적으로 일하는 참석
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 건강 서비스 연구
- 할당: 무작위
- 중재 모델: 단일 그룹 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
다른: Nabla, 가상 AI Scribe 기술의 공급 업체
이 ARM의 참가자는 NABLA의 AI Scribe 도구를 사용하고 Scribe 소프트웨어가 지원하는 일반적인 임상 문서 프로세스를 계속하여 EHR과 통합하고 생성 된 텍스트를 메모에 자동으로 추가합니다.
Nabla AI Scribe 도구는 전사적이며 임상 결정 지원을 제공하지 않습니다.
|
AI Scribe Technologies는 의사-환자 대화를 포착하여 전 사체를 만들고 임상 음표 형태로 전 사체를 요약합니다. 이러한 도구는 EHR에 통합되어 있으며 생성 된 텍스트를 제공자 메모에 자동으로 추가합니다. 모든 의사는 환자에게 기록에 대해 알리고 구두 동의를 얻어야하며 동의를 거부하는 환자의 사례가 추적됩니다. Nabla는 독점적 인 Speech-to-Text를 활용하여 Azure Openai의 GPT-4와 같은 HIPAA 준수 대형 언어 모델 (LLM)과 결합 된 대화를 서면 컨텍스트로 변환합니다. Nabla는 오디오를 저장하지 않습니다. |
|
다른: 가상 AI Scribe 기술의 공급 업체 B
이 ARM의 참가자는 공급 업체 B의 AI Scribe 도구를 활용하고 Scribe 소프트웨어가 지원하는 일반적인 임상 문서 프로세스를 계속하여 EHR과 통합하고 생성 된 텍스트를 메모에 자동으로 추가합니다.
AI Scribe 도구는 전사적이며 임상 결정 지원을 제공하지 않습니다.
|
AI Scribe Technologies는 의사-환자 대화를 포착하여 전 사체를 만들고 임상 음표 형태로 전 사체를 요약합니다.
이러한 도구는 EHR에 통합되어 있으며 생성 된 텍스트를 제공자 메모에 자동으로 추가합니다.
모든 의사는 환자에게 기록에 대해 알리고 구두 동의를 얻어야하며 동의를 거부하는 환자의 사례가 추적됩니다.
|
|
간섭 없음: 서기관이 없습니다
이 팔의 참가자는 AI Scribe 도구에 액세스 할 수 없으며 일반적인 임상 문서 프로세스를 계속합니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
각 음표 내 시간 변화(음표 단위)
기간: 연구 2개월차
|
일차 결과 측정치는 시험 등록 전 6개월 동안 제공자의 기준 평균 노트 당 시간 대비 시험 2개월째 제공자의 노트 당 시간 평균 변화입니다. 이 변화는 자연 로그 스케일로 계산됩니다. 이 결과 측정에 대해 환자 수준 정보는 수집되지 않습니다.
|
연구 2개월차
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
제공자 번 아웃 점수
기간: 연구의 달 2
|
Mini Z 2.0 설문 조사는 의료 전문가들 사이의 직장 만족도와 소진에 영향을 미치는 주요 요인을 측정하도록 설계된 검증 된 10 개 항목 기기입니다.
각 항목은 리 커트 척도 (1-5)로 점수가 매겨지며, 점수가 높을수록 점수는 일반적으로 더 긍정적 인 결과, 즉 직무 만족도, 전자 의료 기록 문서의 충분한 시간, 스트레스 수준이 낮습니다.
부정적인 프레임 품목 (예 : 직무 또는 전자 의료 기록에 대한 좌절로 인한 스트레스)의 경우, 점수가 높을수록 불만이 더 낮습니다.
총 점수는 10에서 50이며, 점수 ≥40은 즐거운 직장을 나타냅니다.
이 결과 측정에 대한 환자 수준 정보는 수집되지 않습니다.
|
연구의 달 2
|
|
EHR 신호 (활동) 데이터 변경 - 파자마 시간
기간: 연구의 달 2
|
우리는 예정된 날당 파자마 시간을 포함한 신호 메트릭 등록 6 개월 전에 후 향적 기준선의 변화를 조사 할 것입니다.
이 데이터를 사용하면 공급자 시간이 EHR에서 어떻게 활용되는지 결정합니다.
이 결과 측정에 대한 환자 수준 정보는 수집되지 않습니다.
|
연구의 달 2
|
|
제공자 업무 부하 점수
기간: 연구 2개월차
|
제공자 업무 부담은 NASA 업무 부담 지수(TLX)에서 수정된 것으로, 정신적 요구, 신체적 요구, 시간적 요구, 수행도, 노력, 좌절감의 6개 하위 척도에 걸쳐 지각된 업무 부담을 평가하는 검증된 도구입니다.
이 연구를 위해 우리는 TLX를 이전에 수행된 것처럼 메모 작성 업무 부담에 초점을 맞추어 4개의 하위 척도(정신적 요구, 시간적 요구, 신체적 요구, 노력)를 포함하도록 수정했습니다.
각 하위 척도는 0(낮은 업무 부담)에서 100(높은 업무 부담)까지 평가되며, 총점은 0(낮은 업무 부담)에서 400(높은 업무 부담)까지의 척도로 합산되며, 낮을수록 좋습니다.
이 결과 측정을 위해 환자 수준의 정보는 수집되지 않습니다.
|
연구 2개월차
|
|
공급자 전문 직업 충족
기간: 연구 2개월 차
|
전문적 성취 지수(PFI)는 16개 항목으로 구성된 검증된 도구로, 5점 리커트 척도(0-4)를 사용하여 전문적 성취, 직무 소진, 대인 관계 이탈을 측정합니다.
이 연구에서는 해당 하위 척도 내 4개 항목의 평균값인 4개 항목의 작업 소진 하위 척도를 사용합니다. 저점수(0)는 낮은 소진 수준을, 고점수(4)는 높은 소진 수준을 나타냅니다. 이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다. |
연구 2개월 차
|
|
비방자, 수동적, 또는 추천자로 간주되는 의사의 수
기간: 연구 2개월
|
자가 보고 만족도 조사로서, 의사가 메모 정확성, 환자 안전, 형평성 및 기타 잠재적인 의도하지 않은 결과를 고려하고 전반적으로 도구 사용을 추천할 의향을 1-10점 척도로 평가합니다.
높은 점수(10)는 더 큰 만족도와 추천 의향을 나타내고, 낮은 점수(1)는 불만족과 추천하지 않을 의향을 나타냅니다.
제공자는 응답이 9-10인 경우 "추천자", 7-8인 경우 "수동적", 6 이하인 경우 "비추천자"로 그룹화됩니다.
이 그룹화는 일반적으로 인정된 "순 추천 점수" 그룹화와 일치합니다.
이 결과 측정을 위해 환자 수준의 정보는 수집되지 않습니다.
|
연구 2개월
|
|
의사 RVU 변화
기간: 연구 2개월차
|
연구팀은 RVU를 통한 의사 수준 청구 정보를 사용하여 등록 전 6개월 후향적 기준선 대비 생산성 변화를 결정할 것입니다.
이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다.
|
연구 2개월차
|
|
EHR 신호(활동) 데이터 변화 - 예정된 시간 외 시간
기간: 연구 2개월차
|
등록 전 6개월의 후향적 기준선에서 예정된 일당 예정 시간 외 시간을 포함한 Signal 지표의 변화를 조사할 것입니다.
이 데이터를 사용하여 제공자가 EHR에서 시간을 어떻게 활용하는지 결정할 것입니다.
이 결과 측정을 위해 환자 수준의 정보는 수집되지 않습니다.
|
연구 2개월차
|
|
의료기록 신호(활동) 데이터 변화 - 계획되지 않은 일일의 시간
기간: 연구 2개월차
|
6개월 전 후향적 기준선에서 Signal 메트릭(예: 시스템 내에서 예정되지 않은 날에 소요된 시간)의 변화를 검토할 것입니다.
이 데이터를 사용하여 의료 제공자의 EHR 사용 시간이 어떻게 활용되는지 확인할 것입니다.
이 결과 측정을 위해 환자 수준 정보는 수집되지 않습니다.
|
연구 2개월차
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
간행물 및 유용한 링크
연구에 대한 정보 입력을 담당하는 사람이 자발적으로 이러한 간행물을 제공합니다. 이것은 연구와 관련된 모든 것에 관한 것일 수 있습니다.
일반 간행물
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (실제)
2024년 11월 4일
기본 완료 (실제)
2025년 1월 3일
연구 완료 (실제)
2025년 1월 15일
연구 등록 날짜
최초 제출
2024년 12월 9일
QC 기준을 충족하는 최초 제출
2025년 1월 24일
처음 게시됨 (실제)
2025년 1월 27일
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
2026년 4월 24일
QC 기준을 충족하는 마지막 업데이트 제출
2026년 4월 22일
마지막으로 확인됨
2026년 4월 1일
추가 정보
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .