周囲の人工知能のスクライブ技術のランダム化比較試験 (AIScribe RCT)
ドキュメント効率を改善し、医師の燃え尽きを減らすための2つの周囲の人工知能技術のランダム化比較試験
これは、大規模な学術医療システムの238人の外来医師の3腕の実用的なRCTであり、2つのAI Scribeツールの1つまたは通常のケアコントロールグループの1つにランダム化されました。 2か月の研究では、選択したツール(予想される2025年春)のシステム全体の展開の前に、各ツールの効果を観察し、比較します。 共変量が制約されたランダム化を使用して、メモの医師のベースライン時間、調査測定レベルの燃え尽き、および週あたりのクリニック日のバランスを取ります。
イニシアチブの主な目的は、カリフォルニア大学ロサンゼルス(UCLA)の健康での品質、効率、および事業運営を改善することであり、このイニシアチブは研究目的で行われていません。 この運用イニシアチブの結果は、UCLAヘルスシステム内のすべてのプロバイダーにわたってAI Scribeツールの広範な展開を通知します。 それにもかかわらず、UCLAの研究チームは、この介入の影響を健康システム全体で厳密に調査および公開することを計画しているため、研究チームはイニシアチブを事前登録しました。
調査の概要
詳細な説明
この研究では、すべてのグループにわたって運用指向の結果を評価します。 特に、すべてのグループは、QIイニシアチブのランダム化されたロールアウトのこの観察研究で、最終的にすべての介入を経時的に受け取ります。 さらに、このイニシアチブの主な目的は運用可能です。 言い換えれば、このイニシアチブの結果に基づいて、これらのツールの1つが最終的に選択され、医療システム全体で広く運用されます。
登録された参加者は、3つのグループのいずれかにランダム化されます。 12月の世俗的な傾向、季節的および休日の影響、およびAIツールへの曝露と結果との関係を混乱させる他の要因を克服するには、ランダム化が必要でした。
この研究の主な目的は、EHR文書に費やされたベースライン時間からの臨床医の変化に対する2つの周囲AI Scribe Technologiesの影響を評価し、各筆記者を対照群と比較することです。 二次目標には、AI Scribesの燃え尽き症候群、医師の満足度、生産性などの臨床医の指標に対する影響の評価が含まれます。 さらに、調査チームは、ビジネスの意思決定を導くツールの経済的評価分析を実行する予定です。 調査チームはまた、AIツールが患者の安全性、公平性、およびイニシアチブの意図しない結果に及ぼす影響を報告した医師を分析します。
研究の種類
入学 (実際)
段階
- 適用できない
連絡先と場所
研究場所
-
-
California
-
Los Angeles、California、アメリカ、90024
- UCLA Health System
-
-
参加基準
適格基準
就学可能な年齢
- 子
- 大人
- 高齢者
健康ボランティアの受け入れ
説明
包含基準:
- 週に少なくとも半日の診療所を保有していたUCLAヘルスシステム内の外来介護医師
除外基準:
- 研修生プロバイダー(居住者、医学生など)および同盟の医療専門家(RNS、PAなど)
- 研修生のみで働く出席者
研究計画
研究はどのように設計されていますか?
デザインの詳細
- 主な目的:ヘルスサービス研究
- 割り当て:ランダム化
- 介入モデル:単一グループの割り当て
- マスキング:独身
武器と介入
参加者グループ / アーム |
介入・治療 |
|---|---|
|
他の:Nabla、仮想AI Scribe Technologyのベンダー
このアームの参加者は、NABLAのAI Scribeツールを利用し、EHRと統合し、生成されたテキストをメモに自動的に追加するScribeソフトウェアによってサポートされている通常の臨床文書化プロセスを継続します。
NABLA AI Scribe Toolは転写であり、臨床的意思決定サポートを提供していません。
|
AI Scribe Technologiesは、医師と患者の会話をキャプチャして転写産物を作成し、臨床ノートの形で転写産物を要約します。 これらのツールはEHRに統合されており、生成されたテキストをプロバイダーノートに自動的に追加します。 すべての医師は患者に記録について通知し、口頭での同意を得る必要があり、同意を減らす患者の事例が追跡されます。 NABLAは、独自のスピーチとテキストを活用して、会話を書面によるコンテキストに変換し、Azure OpenaiのGPT-4のようなHIPAA準拠の大手言語モデル(LLM)と組み合わせています。 Nablaはオーディオを保存しません。 |
|
他の:仮想AI ScribeテクノロジーのベンダーB
このアームの参加者は、ベンダーBのAI Scribeツールを利用し、EHRと統合し、生成されたテキストをメモに自動的に追加するScribeソフトウェアでサポートされる通常の臨床文書化プロセスを継続します。
AI Scribeツールは転写であり、臨床的意思決定サポートを提供していません。
|
AI Scribe Technologiesは、医師と患者の会話をキャプチャして転写産物を作成し、臨床ノートの形で転写産物を要約します。
これらのツールはEHRに統合されており、生成されたテキストをプロバイダーノートに自動的に追加します。
すべての医師は患者に記録について通知し、口頭での同意を得る必要があり、同意を減らす患者の事例が追跡されます。
|
|
介入なし:筆記者はありません
このアームの参加者はAI Scribeツールにアクセスできず、通常の臨床文書化プロセスを継続します
|
この研究は何を測定していますか?
主要な結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
音符ノートあたりの時間の変化
時間枠:治験2ヶ月目
|
主要アウトカム指標は、試験開始前の6ヶ月間における医療提供者の1ノートあたりの平均時間のベースライン値から、試験の2ヶ月目における1ノートあたりの平均時間の変化である。
この変化は自然対数スケールで計算される。
このアウトカム指標については、患者レベルの情報は収集されない。
|
治験2ヶ月目
|
二次結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
プロバイダーバーンアウトスコア
時間枠:研究月2勉強
|
MINI Z 2.0調査は、職場の満足度と燃え尽き症候群に影響を与える重要な要因を測定するように設計された検証済みの10項目の機器です。
各アイテムはリッカートスケール(1-5)で採点され、より高いスコアは一般により良い結果を示します - 仕事の満足度の向上、電子医療記録の文書化の時間の十分性、およびより低いレベルのストレス。
否定的なフレーム化されたアイテム(たとえば、電子医療記録に対する仕事や欲求不満によるストレスなど)の場合、スコアが高いほど不満のレベルが低いことを示します。
合計スコアの範囲は10〜50で、スコア≥40は楽しい職場を表しています。
この結果の尺度については、患者レベルの情報は収集されません。
|
研究月2勉強
|
|
EHR信号の変更(アクティビティ)データ-Pajama時間
時間枠:研究月2勉強
|
予定日あたりのPajama時間を含む信号メトリックに登録する6か月前に、遡及的なベースラインからの変化を調べます。
このデータを使用すると、プロバイダーの時間がEHRでどのように利用されるかが決まります。
この結果の尺度については、患者レベルの情報は収集されません。
|
研究月2勉強
|
|
プロバイダータスク負荷スコア
時間枠:2か月目
|
プロバイダーのタスク負荷は、NASA-TLX(NASA Task Load Index)を基にしたもので、これは精神的負担、身体的負担、時間的負担、パフォーマンス、努力、フラストレーションの6つの下位尺度にわたって知覚される作業負荷を評価するための検証済みツールです。
本研究では、TLXをノート作成の作業負荷に焦点を当てて適応させ、先行研究と同様に4つの下位尺度(精神的負担、時間的負担、身体的負担、努力)を含めました。 各下位尺度は0(低タスク負荷)から100(高タスク負荷)で評価され、合計スコアは0(低タスク負荷)から400(高タスク負荷)となり、低いほど良好です。 患者レベルの情報はこのアウトカム指標には収集されません。 |
2か月目
|
|
医療提供者の専門的な充実感
時間枠:研究2ヶ月目
|
プロフェッショナル・フルフィルメント・インデックス(PFI)は、検証済みの16項目からなるツールで、5段階リッカート尺度(0~4)を使用して、職業的な充実感、仕事の疲労感、対人関係の無関心を測定します。
この研究では、4項目の仕事の疲労感サブスケールを利用します。これはそのサブスケール内の4項目の平均であり、低いスコア(0)は疲労感の低いレベルを示し、高いスコア(4)は疲労感の高いレベルを示します。
このアウトカム指標では、患者レベルの情報は収集されません。
|
研究2ヶ月目
|
|
Number of Physicians Who Are Considered Detractors, Passive, or Promoters
時間枠:試験月2か月目
|
医師を対象とした自己報告満足度調査であり、メモの正確性、患者の安全性、公平性、およびその他の潜在的な意図しない結果を考慮し、ツールの使用を推奨する全体的な可能性を1~10のスケールで評価します。
高いスコア(10)は、高い満足度と推奨の可能性を示し、一方、低いスコア(1)は不満と推奨しない可能性を示します。
提供者は、9~10と回答した場合は「推奨者」、7~8と回答した場合は「受動的」、6以下の値を回答した場合は「批判者」としてグループ化されます。
このグループ化は、一般的に受け入れられている「ネットプロモータースコア」のグループ化と一致します。
このアウトカム尺度については、患者レベルの情報は収集されません。
|
試験月2か月目
|
|
Provider RVU の変化
時間枠:試験2ヶ月目
|
研究チームは、医師レベルの請求情報をRVUを介して使用し、登録前6か月の遡及的ベースラインから生産性の変化を判断します。
この結果測定のために患者レベルの情報は収集されません。
|
試験2ヶ月目
|
|
EHRシグナル(活動)データの変化 - スケジュール外の時間
時間枠:研究2ヶ月目
|
登録前6ヶ月間の遡及的ベースラインからのシグナル指標の変化を検討します。これには予定日あたりの予定時間外の時間が含まれます。
このデータを使用して、プロバイダーの時間がEHRでどのように活用されているかを判断します。
このアウトカム指標のために患者レベルの情報は収集されません。
|
研究2ヶ月目
|
|
<string>EHRシグナル(活動)データの変化 - 予定外日の時間</string>
時間枠:試験月2か月目
|
通知メトリクスのうち、登録前の6ヶ月間の遡及的ベースラインからの変化を調査します。これには予定外の日のシステム滞在時間が含まれます。
このデータを使用して、プロバイダーのEHR内での時間の使われ方を判断します。 この結果指標については、患者レベルの情報は収集されません。 |
試験月2か月目
|
協力者と研究者
出版物と役立つリンク
一般刊行物
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
研究記録日
主要日程の研究
研究開始 (実際)
一次修了 (実際)
研究の完了 (実際)
試験登録日
最初に提出
QC基準を満たした最初の提出物
最初の投稿 (実際)
学習記録の更新
投稿された最後の更新 (実際)
QC基準を満たした最後の更新が送信されました
最終確認日
詳しくは
本研究に関する用語
キーワード
その他の研究ID番号
- NPR 40703
個々の参加者データ (IPD) の計画
個々の参加者データ (IPD) を共有する予定はありますか?
医薬品およびデバイス情報、研究文書
米国FDA規制医薬品の研究
米国FDA規制機器製品の研究
この情報は、Web サイト clinicaltrials.gov から変更なしで直接取得したものです。研究の詳細を変更、削除、または更新するリクエストがある場合は、register@clinicaltrials.gov。 までご連絡ください。 clinicaltrials.gov に変更が加えられるとすぐに、ウェブサイトでも自動的に更新されます。