- ICH GCP
- Registr klinických studií v USA
- Klinická studie NCT06792890
Randomizovaná kontrolovaná studie technologií Ambient Artificial Intelligence Scribe (AIScribe RCT)
Randomizovaná kontrolovaná studie dvou technologií Ambient Artificial Intelligence Scribe pro zlepšení účinnosti dokumentace a snížení vyhoření lékaře
Jedná se o tříbodové pragmatické RCT 238 ambulantních lékařů ve velkém akademickém zdravotnickém systému, randomizované 1: 1: 1 na jeden ze dvou nástrojů AI písařů nebo kontrolní skupiny pro obvyklou péči. Dvouměsíční studie bude pozorovat a porovnávat účinky každého nástroje před rozšiřováním vybraného nástroje (očekávané jaro 2025). K vyvážení zbraní použijeme randomizaci s omezenou kovariát, pokud jde o výchozí čas lékaře v poznámkách, úroveň vyhoření měřenou průzkumem a klinické dny v týdnu.
Hlavním účelem iniciativy je zlepšit kvalitu, efektivitu a obchodní operace na University of California, Los Angeles (UCLA) Health a tato iniciativa se neprovádí pro výzkumné účely. Výsledky této operační iniciativy budou informovat o rozšířeném rozšiřování nástrojů AI Scribe napříč všemi poskytovateli v rámci zdravotnického systému UCLA. Studijní tým UCLA však plánuje přísně prozkoumat a zveřejnit dopad této intervence napříč zdravotnickým systémem, a proto iniciativu studie předem zaregistroval.
Přehled studie
Postavení
Detailní popis
Tato studie posoudí výsledky orientované na provoz ve všech skupinách. Zejména všechny skupiny nakonec obdrží všechny zásahy v průběhu času v této observační studii randomizované zavedení iniciativy QI. Primárním účelem této iniciativy je navíc funkční. Jinými slovy, na základě výsledků této iniciativy bude jeden z těchto nástrojů nakonec vybrán a široce provozován napříč zdravotnickým systémem.
Zapsaní účastníci jsou randomizováni do jedné ze tří skupin. V prosinci byla nutná randomizace k překonání sekulárních trendů, sezónních a rekreačních efektů a další faktory, které zmást vztah mezi vystavením nástrojům AI a výsledky.
Hlavním cílem této studie je zhodnotit dopad dvou technologií AI AI AI na změnu klinického lékaře z výchozího času stráveného na dokumentaci EHR a porovnání každého písaře s kontrolní skupinou. Mezi sekundární cíle patří posouzení dopadu AI písařů na metriky klinického lékaře, jako je vyhoření, spokojenost lékaře a produktivita. Studijní tým navíc má v úmyslu provést analýzu ekonomického hodnocení nástrojů pro vedení obchodního rozhodování. Studijní tým také analyzuje lékaře hlášené účinky nástrojů AI na bezpečnost pacientů, spravedlnost a jakékoli nezamýšlené důsledky iniciativy.
Typ studie
Zápis (Aktuální)
Fáze
- Nelze použít
Kontakty a umístění
Studijní místa
-
-
California
-
Los Angeles, California, Spojené státy, 90024
- UCLA Health System
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dítě
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Popis
Kritéria pro zařazení:
- Lékaři ambulantní péče v rámci zdravotnického systému UCLA, kteří drželi nejméně jeden den kliniky týdně
Kritéria pro vyloučení:
- Poskytovatelé účastníků (např. Obyvatelé, studenti medicíny) a zdravotničtí pracovníci spojeneckých (např. RNS, PAS)
- Účasti, které pracují výhradně se stážisty
Studijní plán
Jak je studie koncipována?
Detaily designu
- Primární účel: Výzkum zdravotnických služeb
- Přidělení: Randomizované
- Intervenční model: Přiřazení jedné skupiny
- Maskování: Singl
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Jiný: Nabla, prodejce virtuální technologie AI Scribe
Účastníci této ARM budou využívat nástroje AI Scribe z NABLA a budou pokračovat ve svých obvyklých procesech klinické dokumentace podporované softwarem Scribe, který se integruje s EHR a automaticky přidá generovaný text k poznámce.
Nástroj NABLA AI Scribe je transkripční a neposkytuje podporu klinického rozhodování.
|
Technologie AI Scribe zachycují konverzace lékaře-pacient, aby vytvořily přepis a poté shrnuly přepis ve formě klinických poznámek. Tyto nástroje jsou integrovány do EHR a automaticky přidá generovaný text do poznámky poskytovatele. Všichni lékaři musí informovat pacienty o záznamu a získat jejich verbální souhlas a jsou sledovány případy, kdy pacienti odmítli souhlas. Nabla využívá svůj proprietární řeč k textu, aby přeměnila konverzaci do psaného kontextu, kombinované s HIPAA kompatibilními s modely velkých jazyků (LLM), jako je GPT-4 Azure OpenAI. NABLA neukládá žádný zvuk. |
|
Jiný: Prodejce b virtuální technologie AI Scribe
Účastníci této ARM budou využívat nástroje AI Scribe od dodavatele B a budou pokračovat ve svých obvyklých procesech klinické dokumentace podporované softwarem Scribe, který se integruje s EHR a automaticky přidá generovaný text do poznámky.
Nástroj AI Scribe je transkripční a neposkytuje podporu klinického rozhodování.
|
Technologie AI Scribe zachycují konverzace lékaře-pacient, aby vytvořily přepis a poté shrnuly přepis ve formě klinických poznámek.
Tyto nástroje jsou integrovány do EHR a automaticky přidá generovaný text do poznámky poskytovatele.
Všichni lékaři musí informovat pacienty o záznamu a získat jejich verbální souhlas a jsou sledovány případy, kdy pacienti odmítli souhlas.
|
|
Žádný zásah: Žádný písař
Účastníci této paže nebudou mít přístup k nástrojům AI Scribe a budou pokračovat ve svých obvyklých procesech klinické dokumentace
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Změna v čase v poznámkách na jednu poznámku
Časové okno: 2. měsíc studie
|
Primárním výstupním měřítkem je změna průměrného času poskytovatele stráveného na poznámky v poznámce ve druhém měsíci studie od výchozího průměrného času poskytovatele stráveného na poznámky v poznámce za šest měsíců před zařazením.
Tato změna bude vypočítána na přirozené logaritmické škále. Pro toto výstupní měřítko nebudou shromažďovány žádné informace na úrovni pacientů. |
2. měsíc studie
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Skóre vyhoření poskytovatele
Časové okno: Studijní měsíc 2
|
Průzkum Mini Z 2.0 je validovaným 10-bodovým nástrojem, který má měřit klíčové faktory ovlivňující spokojenost na pracovišti a vyhoření mezi zdravotnickými pracovníky.
Každá položka je hodnocena v Likertově stupnici (1-5), přičemž vyšší skóre obecně ukazuje pozitivnější výsledky - větší spokojenost s prací, dostatečnost času pro elektronickou dokumentaci o lékařském záznamu a nižší úroveň stresu.
U negativně orámovaných položek (např. Stres v důsledku práce nebo frustrace z elektronického lékařského záznamu), vyšší skóre naznačují nižší úrovně nespokojenosti.
Celkové skóre se pohybuje od 10 do 50, přičemž skóre ≥ 40 představuje radostné pracoviště.
Pro toto opatření výsledku nebudou shromažďovány žádné informace o úrovni pacienta.
|
Studijní měsíc 2
|
|
Změna dat EHR Signal (Activity) - čas pyžamu
Časové okno: Studijní měsíc 2
|
Zkoumáme změnu z retrospektivní základní linie 6 měsíců před zápisem do metrik signálu včetně pyžamového času za plánovaný den.
Použití těchto dat určí, jak je čas poskytovatelů využíván v EHR.
Pro toto opatření výsledku nebudou shromažďovány žádné informace o úrovni pacienta.
|
Studijní měsíc 2
|
|
Skóre zátěže poskytovatele
Časové okno: 2. měsíc studie
|
Zátěž poskytovatele upravená z indexu NASA Task Load Index (TLX), což je ověřený nástroj pro hodnocení vnímané pracovní zátěže napříč šesti sub-škálami: mentální požadavky, fyzické požadavky, časové požadavky, výkon, úsilí a frustrace.
Pro tuto studii jsme přizpůsobili TLX pro zaměření na zátěž při psaní poznámek, včetně čtyř sub-škál (mentální požadavky, časové požadavky, fyzické požadavky a úsilí) jak bylo dříve provedeno. Každá sub-škála je hodnocena od 0 (nízká zátěž) do 100 (vysoká zátěž) a sečtou se pro celkové skóre v rozmezí od 0 (nízká zátěž) do 400 (vysoká zátěž), nižší je lepší. Pro tento výsledný ukazatel nebudou shromažďovány žádné informace na úrovni pacienta. |
2. měsíc studie
|
|
Profesionální naplnění poskytovatele
Časové okno: 2. měsíc studie
|
Profesionální index naplnění (PFI) je validovaný nástroj o 16 položkách, který používá Likertovu škálu o 5 bodech (0-4) k měření profesionálního naplnění, pracovního vyčerpání a mezilidského odcizení.
Pro tuto studii využíváme subškálu pracovního vyčerpání o 4 položkách, což je průměr těchto 4 položek, kde nízké skóre (0) znamená nižší úroveň vyčerpání a vysoké (4) skóre znamená vyšší úroveň vyčerpání. Pro tento výsledek nebudou shromažďovány žádné informace na úrovni pacienta. |
2. měsíc studie
|
|
Počet lékařů, kteří jsou považováni za odpůrce, pasivní nebo propagátory
Časové okno: Měsíc 2 studie
|
Průzkum spokojenosti s vlastním hlášením, kde lékaři posuzují přesnost poznámek, bezpečnost pacientů, spravedlnost a další potenciální nezamýšlené důsledky a hodnotí svou celkovou pravděpodobnost doporučení použití nástroje na stupnici 1-10.
Vyšší skóre (10) znamená větší spokojenost a pravděpodobnost doporučení, zatímco nižší skóre (1) znamená nespokojenost a nepravděpodobnost doporučení.
Poskytovatelé jsou seskupeni jako „Propagátoři“, pokud odpoví 9-10, „Pasivní“, pokud odpoví 7-8, a „Odpůrci“, pokud odpoví hodnotou menší nebo rovnou 6.
Toto seskupení odpovídá běžně uznávaným seskupením „Net Promoter Score“.
Pro tento výsledný ukazatel nebudou shromažďovány žádné informace na úrovni pacienta.
|
Měsíc 2 studie
|
|
Změna v RVU poskytovatele
Časové okno: 2. měsíc studie
|
Studijní tým použije informace o fakturaci na úrovni lékařů prostřednictvím RVU k určení změny jejich produktivity oproti retrospektivnímu výchozímu stavu 6 měsíců před zařazením do studie.
Pro tento výsledek měření nebudou shromažďovány žádné informace na úrovni pacientů.
|
2. měsíc studie
|
|
Změna dat EHR signálů (činnosti) - Čas mimo naplánované hodiny
Časové okno: 2. měsíc studie
|
Budeme zkoumat změnu od retrospektivní výchozí hodnoty 6 měsíců před zařazením do studie v metrikách Signálu, včetně času mimo plánované hodiny na plánovaný den.
Pomocí těchto dat určíme, jak je čas poskytovatelů využíván v EHR.
Pro tento ukazatel výsledku nebudou shromažďovány žádné informace na úrovni pacienta.
|
2. měsíc studie
|
|
Změna v datech EHR signálu (aktivity) - Čas v neplánovaných dnech
Časové okno: 2. měsíc studie
|
Prozkoumáme změnu od retrospektivní základní úrovně 6 měsíců před zařazením do studie v metrikách Signal, včetně času stráveného v systému v neplánovaných dnech, kdy.
Pomocí těchto dat zjistíme, jak je čas poskytovatelů využíván v EHR.
Pro tento výsledný ukazatel nebudou shromažďovány žádné informace na úrovni pacientů.
|
2. měsíc studie
|
Spolupracovníci a vyšetřovatelé
Publikace a užitečné odkazy
Obecné publikace
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Aktuální)
Dokončení studie (Aktuální)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Klíčová slova
Další identifikační čísla studie
- NPR 40703
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .