- ICH GCP
- US Clinical Trials Registry
- Klinisk forsøg NCT06792890
Et randomiseret kontrolleret forsøg med omgivende kunstig intelligensskribentteknologi (AIScribe RCT)
Et randomiseret kontrolleret forsøg med to omgivende kunstige intelligensskrivningsteknologier for at forbedre dokumentationseffektiviteten og reducere lægeudbrændthed
Dette er en tre-arms pragmatisk RCT af 238 ambulante læger i et stort akademisk sundhedssystem, randomiseret 1: 1: 1 til et af to AI-skriftværktøjer eller en sædvanlig care-kontrolgruppe. Den to-måneders undersøgelse vil observere og sammenligne virkningerne af hvert værktøj inden systemdækkende rulle ud af det valgte værktøj (forventet forår 2025). Vi vil bruge covariat-begrænset randomisering til at afbalancere armene med hensyn til lægebaseline-tid i noter, undersøgelsesmålet niveau af udbrændthed og klinikdage om ugen.
Det primære formål med initiativet er at forbedre kvalitet, effektivitet og forretningsdrift ved University of California, Los Angeles (UCLA) Health, og dette initiativ udføres ikke til forskningsformål. Resultaterne af dette operationelle initiativ vil informere den udbredte rulle ud af AI -skriftlige værktøjer på tværs af alle udbydere inden for UCLA -sundhedssystemet. Ikke desto mindre planlægger UCLA-studieteamet at nøje undersøge og offentliggøre virkningen af denne intervention på tværs af sundhedssystemet, og det er grunden til, at studieteamet registrerede initiativet.
Studieoversigt
Status
Betingelser
Intervention / Behandling
Detaljeret beskrivelse
Denne undersøgelse vil vurdere operationelle orienterede resultater på tværs af alle grupper. Navnlig vil alle grupper til sidst modtage alle interventioner over tid i denne observationsundersøgelse af en randomiseret rulle ud af et QI -initiativ. Desuden er det primære formål med dette initiativ operationelt. Med andre ord, baseret på resultaterne af dette initiativ, vil et af disse værktøjer til sidst blive valgt og operationaliseret vidt på tværs af sundhedssystemet.
Tilmeldte deltagere randomiseres til en af tre grupper. Randomisering var nødvendig for at overvinde sekulære tendenser, sæsonbestemte og ferieeffekter i december, og andre faktorer, der forvirrer forholdet mellem eksponering for AI -værktøjerne og resultaterne.
Det primære mål med denne undersøgelse er at evaluere virkningen af to omgivende AI -skriftteknologier på klinikeren ændrer sig fra baseline -tid brugt på EHR -dokumentation, hvilket sammenligner hver skriftlærer med en kontrolgruppe. Sekundære mål inkluderer vurdering af AI -skrifternes indflydelse på klinikermålinger såsom udbrændthed, læge tilfredshed og produktivitet. Derudover har studieholdet til hensigt at udføre en økonomisk evalueringsanalyse af værktøjerne til at vejlede forretningsbeslutning. Undersøgelsesteamet vil også analysere læge rapporterede effekter af AI -værktøjerne på patientsikkerhed, retfærdighed og eventuelle utilsigtede konsekvenser af initiativet.
Undersøgelsestype
Tilmelding (Faktiske)
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiesteder
-
-
California
-
Los Angeles, California, Forenede Stater, 90024
- UCLA Health System
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Barn
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Beskrivelse
Inkluderingskriterier:
- Ambulatoriske plejelæger inden for UCLA-sundhedssystemet, der holdt mindst en halv dag klinik om ugen
Ekskluderingskriterier:
- Trainee -udbydere (f.eks. Beboere, medicinstuderende) og allierede sundhedspersonale (f.eks. RNS, PAS)
- Deltagelse, der udelukkende arbejder med praktikanter
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Sundhedstjenesteforskning
- Tildeling: Randomiseret
- Interventionel model: Enkelt gruppeopgave
- Maskning: Enkelt
Våben og indgreb
Deltagergruppe / Arm |
Intervention / Behandling |
|---|---|
|
Andet: Nabla, sælger af virtuel AI -skriftteknologi
Deltagere i denne arm vil bruge AI Scribe -værktøjer fra NABLA og vil fortsætte deres sædvanlige kliniske dokumentationsprocesser, understøttet af Scribe -softwaren, der integreres med EHR og tilføjer automatisk den genererede tekst til noten.
NABLA AI Scribe -værktøjet er transkriptionelt og leverer ikke klinisk beslutningsstøtte.
|
AI Scribe Technologies fanger hjælp af læge-patient for at skabe en transkription og opsummere derefter transkriptionen i form af en kliniske noter. Disse værktøjer er integreret i EHR og tilføjer automatisk den genererede tekst til udbyderens note. Alle læger skal informere patienter om optagelsen og få deres verbale samtykke, og forekomster af patienter, der falder til samtykke, spores. Nabla udnytter sine proprietære tale-til-tekst for at omdanne samtalen til en skriftlig kontekst kombineret med HIPAA-kompatible store sprogmodeller (LLM) som Azure Openais GPT-4. NABLA gemmer ikke nogen lyd. |
|
Andet: Sælger B af virtuel AI -skriftteknologi
Deltagere i denne arm vil bruge AI Scribe -værktøjer fra leverandør B og vil fortsætte deres sædvanlige kliniske dokumentationsprocesser, understøttet af Scribe -softwaren, der integreres med EHR og tilføjer automatisk den genererede tekst til noten.
AI Scribe -værktøjet er transkriptionelt og leverer ikke klinisk beslutningsstøtte.
|
AI Scribe Technologies fanger hjælp af læge-patient for at skabe en transkription og opsummere derefter transkriptionen i form af en kliniske noter.
Disse værktøjer er integreret i EHR og tilføjer automatisk den genererede tekst til udbyderens note.
Alle læger skal informere patienter om optagelsen og få deres verbale samtykke, og forekomster af patienter, der falder til samtykke, spores.
|
|
Ingen indgriben: Ingen skriftlærer
Deltagere i denne arm vil ikke have adgang til AI -skriftlige værktøjer og vil fortsætte deres sædvanlige kliniske dokumentationsprocesser
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Ændring i tid pr. note
Tidsramme: Studiemåned 2
|
Det primære resultatmål er ændringen i udbyderens gennemsnitlige tid i noter pr. note i den anden måned af forsøget fra udbyderens baseline gennemsnitlige tid i noter pr. note for de seks måneder før optagelse.
Denne ændring vil blive beregnet på den naturlige logaritmeskala.
Der vil ikke blive indsamlet patientniveauoplysninger for dette resultatmål.
|
Studiemåned 2
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Udbyder Burnout Score
Tidsramme: Undersøgelsesmåned 2
|
Mini Z 2.0-undersøgelsen er et valideret 10-punkts instrument designet til at måle nøglefaktorer, der påvirker tilfredshed med arbejdspladsen og udbrændthed blandt sundhedsfagfolk.
Hvert element scores i en Likert -skala (1-5), med højere score, der generelt indikerer mere positive resultater - større jobtilfredshed, tilstrækkelig tid til elektronisk medicinsk registreringsdokumentation og lavere niveauer af stress.
For negativt indrammede genstande (f.eks. Stress på grund af jobbet eller frustrationen med den elektroniske medicinske registrering), indikerer højere score lavere niveauer af utilfredshed.
Den samlede score varierer fra 10 til 50, med scoringer ≥40, der repræsenterer en glad arbejdsplads.
Information om patientniveau indsamles til dette mål.
|
Undersøgelsesmåned 2
|
|
Ændring i EHR Signal (Activity) Data - Pyjama Time
Tidsramme: Undersøgelsesmåned 2
|
Vi vil undersøge ændringer fra en retrospektiv baseline 6 måneder før tilmelding til signalmetrics inklusive pyjamasid pr. Planlagt dag.
Brug af disse data bestemmer, hvordan en udbyders tid bruges i EHR.
Information om patientniveau indsamles til dette mål.
|
Undersøgelsesmåned 2
|
|
Provider Task Load Score
Tidsramme: Studiemåned 2
|
Providerens opgavebelastning tilpasset fra NASA Task Load Index (TLX), et valideret værktøj til vurdering af opfattet arbejdsbelastning på tværs af seks underskalaer: mental belastning, fysisk belastning, tidsmæssig belastning, præstation, indsats og frustration.
Til denne undersøgelse tilpassede vi TLX til at fokusere på notationsskrivningsarbejdsbelastning, herunder fire underskalaer (mental belastning, tidsmæssig belastning, fysisk belastning og indsats) som tidligere gjort.
Hver underskala scores fra 0 (lav opgavebelastning) til 100 (høj opgavebelastning) og summeres til en samlet score-skala fra 0 (lav opgavebelastning) til 400 (høj opgavebelastning), lavere er bedre.
Ingen informationsniveauer på patientniveau vil blive indsamlet til dette resultatmål.
|
Studiemåned 2
|
|
Udførelse af udbyderprofessionel
Tidsramme: Studiemåned 2
|
The Professional Fulfillment Index (PFI) er et valideret instrument med 16 punkter, der anvender en 5-punkts Likert-skala (0-4) til at måle professionel opfyldelse, arbejdsudbrændthed og interpersonel afkobling.
I denne undersøgelse anvender vi underskalaen for arbejdsudbrændthed med 4 punkter, som er et gennemsnit af de 4 punkter i den pågældende underskala, hvor en lav score (0) angiver et lavere niveau af udbrændthed, og en høj score (4) angiver et højere niveau af udbrændthed. Ingen patientniveauoplysninger vil blive indsamlet til dette resultatmål. |
Studiemåned 2
|
|
Antal læger, der betragtes som kritikere, passive eller fortalere
Tidsramme: Studiemåned 2
|
Selvrapporteret tilfredshedsundersøgelse, der beder læger om at overveje notatnøjagtighed, patientsikkerhed, retfærdighed og andre potentielle utilsigtede konsekvenser og vurdere deres samlede sandsynlighed for at anbefale brug af værktøjet på en skala fra 1-10.
Højere score (10) indikerer større tilfredshed og sandsynlighed for at anbefale, mens lavere score (1) indikerer utilfredshed og usandsynlighed for at anbefale.
Udbydere grupperes som "Forkæmpere", hvis de svarer 9-10, "Passive", hvis de svarer 7-8, og "Kritikere", hvis de svarer med en værdi mindre end eller lig med 6.
Denne gruppering matcher almindeligt accepterede "Net Promoter Score"-grupperinger.
Ingen patientrelateret information indsamles for dette resultatmål.
|
Studiemåned 2
|
|
Ændring i providerens RVU
Tidsramme: Studiemåned 2
|
Studieteamet vil bruge lægefaktureringsoplysninger på lægeniveau via RVU til at bestemme deres ændring i produktivitet fra en retrospektiv baseline 6 måneder før tilmelding.
Der vil ikke blive indsamlet nogen patientoplysninger for dette resultatmål.
|
Studiemåned 2
|
|
Ændring i EHR-signal (Aktivitet) Data - Tid uden for planlagte timer
Tidsramme: Studiemåned 2
|
Vi vil undersøge ændringer fra en retrospektiv baseline 6 måneder før inklusion i signalmålinger, herunder tid uden for planlagte timer pr. planlagt dag.
Ved brug af disse data vil vi bestemme, hvordan en udbyders tid udnyttes i EHR.
Ingen patientniveau oplysninger vil blive indsamlet til dette resultatmål.
|
Studiemåned 2
|
|
Ændring i EHR-signal (aktivitet) data - tid på ikke-planlagte dage
Tidsramme: Måned 2 af undersøgelsen
|
Vi vil undersøge ændringer fra et retrospektivt baseline 6 måneder før inklusion i Signal-målinger, herunder tid tilbragt i systemet på ikke-planlagte dage.
Ved hjælp af disse data vil vi bestemme, hvordan en leverandørs tid bruges i EHR.
Der indsamles ikke patientrelaterede oplysninger til dette resultatmål.
|
Måned 2 af undersøgelsen
|
Samarbejdspartnere og efterforskere
Publikationer og nyttige links
Generelle publikationer
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Faktiske)
Studieafslutning (Faktiske)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
- NPR 40703
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .
Kliniske forsøg med Lægens arbejdsgang
-
University Hospital, GenevaRekruttering
-
University of Missouri-ColumbiaAfsluttet
-
Brigham and Women's HospitalPartners Siemens Research CouncilAfsluttetKontinuitet i patientbehandlingen | Workflow | Kvalitet af SignoutForenede Stater
-
University Hospital, Basel, SwitzerlandAfsluttetLaparoskopi | Kolecystektomi | Omkostninger | WorkflowSchweiz
-
National Cheng-Kung University HospitalAfsluttetMeddelelse | Kvaliteten af sundhedsvæsenet | WorkflowTaiwan
-
Seva Canada SocietyPragyaan Sustainable Health Outcomes Foundation; Pushpagiri Vitreo Retina...RekrutteringKvalitetsforbedring | Aftaler og tidsplaner | Operations Research WorkflowIndien