- ICH GCP
- US Clinical Trials Registry
- Klinisk utprøving NCT06792890
En randomisert kontrollert studie av kunstig intelligens skriftteknologier (AIScribe RCT)
En randomisert kontrollert studie av to omgivende kunstige intelligensskriberteknologier for å forbedre dokumentasjonseffektiviteten og redusere utbrenthet av lege
Dette er en tre-arm pragmatisk RCT av 238 polikliniske leger ved et stort akademisk helsesystem, randomisert 1: 1: 1 til ett av to AI-skribentverktøy eller en vanlig kontrollgruppe. Den to måneders studien vil observere og sammenligne effekten av hvert verktøy før systemomfattende utrulling av valgt verktøy (forventet våren 2025). Vi vil bruke kovariatbegrenset randomisering for å balansere armene når det gjelder lege-tid på lege i notater, undersøkelsesmålt nivå av utbrenthet og klinikkdager per uke.
Hovedformålet med initiativet er å forbedre kvalitet, effektivitet og forretningsdrift ved University of California, Los Angeles (UCLA) helse, og dette initiativet blir ikke gjort for forskningsformål. Resultatene fra dette operasjonelle initiativet vil informere den utbredte utrullingen av AI -skribentverktøy på tvers av alle leverandører i UCLA -helsesystemet. Likevel planlegger UCLA-studieteamet å undersøke og publisere virkningen av dette intervensjonen på tvers av helsesystemet, og det er grunnen til at studieteamet forhåndsregistrerte initiativet.
Studieoversikt
Status
Intervensjon / Behandling
Detaljert beskrivelse
Denne studien vil vurdere operasjonsorienterte utfall i alle grupper. Spesielt vil alle grupper etter hvert motta alle intervensjoner over tid i denne observasjonsstudien av en randomisert rulling av et QI -initiativ. Dessuten er det primære formålet med dette initiativet operativt. Med andre ord, basert på resultatene fra dette initiativet, vil et av disse verktøyene til slutt bli valgt og operasjonalisert mye i helsesystemet.
Påmeldte deltakere blir randomisert til en av tre grupper. Randomisering var nødvendig for å overvinne sekulære trender, sesong- og ferieeffekter i desember, og andre faktorer som forvirrer forholdet mellom eksponering for AI -verktøyene og resultatene.
Hovedmålet med denne studien er å evaluere virkningen av to AI -skribentteknologier på klinikerendring fra baseline -tid brukt på EHR -dokumentasjon, og sammenligne hver skribent med en kontrollgruppe. Sekundære mål inkluderer vurdering av AI -skriftlærs innvirkning på kliniker -beregninger som utbrenthet, legetilfredshet og produktivitet. I tillegg har studieteamet til hensikt å utføre en økonomisk evalueringsanalyse av verktøyene for å veilede beslutningstaking av forretningene. Studieteamet vil også analysere lege rapporterte effekter av AI -verktøyene på pasientsikkerhet, egenkapital og eventuelle utilsiktede konsekvenser av initiativet.
Studietype
Registrering (Faktiske)
Fase
- Ikke aktuelt
Kontakter og plasseringer
Studiesteder
-
-
California
-
Los Angeles, California, Forente stater, 90024
- UCLA Health System
-
-
Deltakelseskriterier
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Barn
- Voksen
- Eldre voksen
Tar imot friske frivillige
Beskrivelse
Inkluderingskriterier:
- Ambulatoriske omsorgsleger innen UCLA-helsesystemet som hadde minst en halv dag av klinikken per uke
Eksklusjonskriterier:
- Trainee -leverandører (f.eks. Beboere, medisinstudenter) og allierte helsepersonell (f.eks. RNS, PAS)
- Fremmøtte som utelukkende jobber med traineer
Studieplan
Hvordan er studiet utformet?
Designdetaljer
- Primært formål: Helsetjenesteforskning
- Tildeling: Randomisert
- Intervensjonsmodell: Enkeltgruppeoppdrag
- Masking: Enkelt
Våpen og intervensjoner
Deltakergruppe / Arm |
Intervensjon / Behandling |
|---|---|
|
Annen: Nabla, leverandør av virtuell AI -skribentteknologi
Deltakere i denne armen vil bruke AI -skribentverktøy fra Nabla og vil fortsette sine vanlige kliniske dokumentasjonsprosesser, støttet av skribentprogramvaren, som integreres med EHR og automatisk legger til den genererte teksten til lappen.
Nabla AI -skribentverktøyet er transkripsjonelt og gir ikke klinisk beslutningsstøtte.
|
AI-skriftteknologier fanger lege-pasientsamtaler for å lage et transkripsjon, og oppsummerer deretter transkripsjonen i form av kliniske notater. Disse verktøyene er integrert i EHR og legger automatisk den genererte teksten til leverandørnotatet. Alle leger må informere pasienter om innspillingen og få sitt muntlige samtykke, og tilfeller av pasienter som avviser til samtykke blir sporet. Nabla utnytter sin proprietære tale-til-tekst for å transformere samtalen til en skriftlig kontekst, kombinert med HIPAA-kompatible store språkmodeller (LLM) som Azure Openais GPT-4. Nabla lagrer ikke noe lyd. |
|
Annen: Leverandør B av virtuell AI -skriftteknologi
Deltakere i denne armen vil bruke AI -skribentverktøy fra leverandør B og vil fortsette sine vanlige kliniske dokumentasjonsprosesser, støttet av skribentprogramvaren, som integreres med EHR og automatisk legger til den genererte teksten til lappen.
AI -skribentverktøyet er transkripsjonelt og gir ikke klinisk beslutningsstøtte.
|
AI-skriftteknologier fanger lege-pasientsamtaler for å lage et transkripsjon, og oppsummerer deretter transkripsjonen i form av kliniske notater.
Disse verktøyene er integrert i EHR og legger automatisk den genererte teksten til leverandørnotatet.
Alle leger må informere pasienter om innspillingen og få sitt muntlige samtykke, og tilfeller av pasienter som avviser til samtykke blir sporet.
|
|
Ingen inngripen: Ingen skribent
Deltakere i denne armen vil ikke ha tilgang til AI -skribentverktøy og vil fortsette sine vanlige kliniske dokumentasjonsprosesser
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Endring i Tid i Notater Per Notat
Tidsramme: Studiemåned 2
|
Det primære utfallsmålet er endringen i utbydernes gjennomsnittlige tid på notater per notat i den andre måneden av forsøket fra utbydernes gjennomsnittlige tid på notater per notat i de seks månedene før påmelding.
Denne endringen vil bli beregnet på den naturlige log-skalaen.
Ingen pasientnivåinformasjon vil bli samlet inn for dette utfallsmålet.
|
Studiemåned 2
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Leverandørutbrenthetspoeng
Tidsramme: Studie måned 2
|
Mini Z 2.0-undersøkelsen er et validert 10-element instrument designet for å måle viktige faktorer som påvirker arbeidsplassens tilfredshet og utbrenthet blant helsepersonell.
Hvert element blir scoret på en Likert -skala (1-5), med høyere score som generelt indikerer mer positive resultater - større arbeidsglede, tilstrekkelighet av tid for elektronisk medisinsk journaldokumentasjon og lavere nivåer av stress.
For negativt innrammede elementer (f.eks. Stress på grunn av jobben eller frustrasjonen med den elektroniske medisinske journalen), indikerer høyere score lavere nivåer av misnøye.
Den totale poengsummen varierer fra 10 til 50, med score ≥40 som representerer en gledelig arbeidsplass.
Ingen informasjon om pasientnivå vil bli samlet inn for dette utfallsmålet.
|
Studie måned 2
|
|
Endring i EHR -signal (aktivitet) data - Pyjamas tid
Tidsramme: Studie måned 2
|
Vi vil undersøke endring fra en retrospektiv grunnlinje 6 måneder før påmelding til signalmålinger inkludert pyjamasid per planlagt dag.
Å bruke disse dataene vil avgjøre hvordan en leverandørtid brukes i EHR.
Ingen informasjon om pasientnivå vil bli samlet inn for dette utfallsmålet.
|
Studie måned 2
|
|
Leverandørens oppgavelastpoeng
Tidsramme: Studiemåned 2
|
Arbeidsbelastning for tjenesteyter tilpasset fra NASA Task Load Index (TLX), et validert verktøy for å vurdere opplevd arbeidsbelastning på tvers av seks underskalaer: mental belastning, fysisk belastning, tidsmessig belastning, ytelse, innsats og frustrasjon.
Til denne studien tilpasset vi TLX til å fokusere på arbeidsbelastning knyttet til notatskriving, inkludert fire underskalaer (mental belastning, tidsmessig belastning, fysisk belastning og innsats) som gjort tidligere.
Hver underskala skåres fra 0 (lav arbeidsbelastning) til 100 (høy arbeidsbelastning) og summeres sammen til en totalskåre fra 0 (lav arbeidsbelastning) til 400 (høy arbeidsbelastning), lavere er bedre.
Ingen informasjon på pasientnivå vil bli samlet inn for dette utfallsmålet.
|
Studiemåned 2
|
|
Leverandør Profesjonell Oppfyllelse
Tidsramme: Studiemåned 2
|
Professional Fulfillment Index (PFI) er et validert instrument med 16 elementer som bruker en 5-punkts Likert-skala (0-4) for å måle profesjonell oppfyllelse, arbeidsutmattelse og mellommenneskelig tilbaketrekning.
For denne studien benytter vi underskalaen for arbeidsutmattelse på 4 elementer, som er et gjennomsnitt av de 4 elementene i denne underskalaen, der en lav poengsum (0) indikerer et lavere nivå av utmattelse og en høy (4) poengsum indikerer et høyere nivå av utmattelse. Det vil ikke bli samlet inn informasjon på pasientnivå for dette utfallet. |
Studiemåned 2
|
|
Antall leger som anses å være motstandere, passive eller forkjempere
Tidsramme: Studiemåned 2
|
Selvrapportert tilfredshetsundersøkelse som ber leger vurdere notatnøyaktighet, pasientsikkerhet, rettferdighet og andre potensielle utilsiktede konsekvenser og vurdere sin generelle sannsynlighet for å anbefale bruk av verktøyet på en skala fra 1-10.
Høyere score (10) indikerer større tilfredshet og sannsynlighet for å anbefale, mens lavere score (1) indikerer misnøye og usannsynlighet for å anbefale.
Tilbydere grupperes som "Forkjempere" hvis de svarer 9-10, "Passive" hvis de svarer 7-8, og "Kritiske" hvis de svarer med en verdi mindre enn eller lik 6.
Denne grupperingen samsvarer med allment aksepterte "Net Promoter Score"-grupperinger.
Ingen informasjon på pasientnivå vil bli samlet inn for dette utfallsmålet.
|
Studiemåned 2
|
|
Endring i Leverandør RVU
Tidsramme: Studiemåned 2
|
Studieteamet vil benytte legenivåfaktureringsinformasjon via RVU for å fastslå endringen i produktivitet fra en retrospektiv baseline 6 måneder før rekruttering.
Ingen pasientnivåinformasjon vil bli samlet inn for dette utfallsmålet.
|
Studiemåned 2
|
|
Endring i EHR Signal (Aktivitet)-Data - Tid utenom planlagte timer
Tidsramme: Studiemåned 2
|
Vi vil undersøke endring fra en retrospektiv baseline 6 måneder før inklusjon i Signal-metrikker, inkludert tid utenfor planlagte timer per planlagt dag. Disse dataene vil bli brukt til å bestemme hvordan en leverandørs tid benyttes i EHR. Det vil ikke bli samlet inn pasientnivåinformasjon for dette utfallsmålet.
|
Studiemåned 2
|
|
Endring i EHR-signal (aktivitet) - Tid på uplanlagte dager
Tidsramme: Studiemåned 2
|
Vi vil undersøke endring fra en retrospektiv baseline 6 måneder før innrullering i Signal-metrikker, inkludert tid brukt i systemet på ikke-planlagte dager hvor.
Ved å bruke disse dataene vil vi fastslå hvordan en leverandørs tid blir brukt i EPJ.
Ingen pasientnivåinformasjon vil bli samlet inn for dette resultatmålet.
|
Studiemåned 2
|
Samarbeidspartnere og etterforskere
Publikasjoner og nyttige lenker
Generelle publikasjoner
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
Studierekorddatoer
Studer hoveddatoer
Studiestart (Faktiske)
Primær fullføring (Faktiske)
Studiet fullført (Faktiske)
Datoer for studieregistrering
Først innsendt
Først innsendt som oppfylte QC-kriteriene
Først lagt ut (Faktiske)
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
Siste oppdatering sendt inn som oppfylte QC-kriteriene
Sist bekreftet
Mer informasjon
Begreper knyttet til denne studien
Nøkkelord
Andre studie-ID-numre
- NPR 40703
Plan for individuelle deltakerdata (IPD)
Planlegger du å dele individuelle deltakerdata (IPD)?
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Studerer et amerikansk FDA-regulert enhetsprodukt
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .