Randomizowane kontrolowane badanie technologii skrybowania sztucznej inteligencji (AIScribe RCT)
Randomizowane kontrolowane badanie dwóch technologii skrybowania sztucznej inteligencji w otoczeniu w celu poprawy wydajności dokumentacji i zmniejszenia wypalenia lekarzy
Jest to trójstronny pragmatyczny RCT z 238 lekarzy ambulatoryjnych w dużym akademickim systemie opieki zdrowotnej, randomizowanym 1: 1: 1 do jednego z dwóch narzędzi skrybowania AI lub zwykłej grupy kontrolnej. Dwuznaczne badanie będzie obserwować i porównać efekty każdego narzędzia przed wdrożeniem całego systemu z wybranego narzędzia (przewidywana wiosna 2025). Będziemy używać randomizacji ograniczonej do zmiennej towarzyszącej, aby zrównoważyć broń pod względem czasu wyjściowego lekarza w notatkach, pomiaru ankiet poziomu wypalenia i dni kliniki w tygodniu.
Głównym celem inicjatywy jest poprawa jakości, wydajności i działalności biznesowej na University of California, Los Angeles (UCLA) Health, a inicjatywa ta nie odbywa się do celów badawczych. Wyniki tej inicjatywy operacyjnej poinformują powszechne wdrożenie narzędzi skryby AI we wszystkich dostawcach w systemie opieki zdrowotnej UCLA. Niemniej jednak zespół badawczy UCLA planuje rygorystyczne zbadanie i opublikowanie wpływu tej interwencji w całym systemie opieki zdrowotnej, dlatego zespół badań zarejestrował inicjatywę.
Przegląd badań
Status
Status
Warunki
Warunki
Interwencja / Leczenie
Interwencja / Leczenie
Szczegółowy opis
To badanie oceni wyniki zorientowane na operacyjne we wszystkich grupach. W szczególności wszystkie grupy ostatecznie otrzymają wszystkie interwencje w czasie w tym badaniu obserwacyjnym randomizowanego wdrożenia z inicjatywy QI. Ponadto głównym celem tej inicjatywy jest działanie. Innymi słowy, w oparciu o wyniki tej inicjatywy, jedno z tych narzędzi zostanie ostatecznie wybrane i operacjonalizowane szeroko w całym systemie opieki zdrowotnej.
Zarejestrowani uczestnicy są losowo przydzielani do jednej z trzech grup. Konieczna była randomizacja, aby przezwyciężyć świeckie trendy, efekty sezonowe i wakacyjne w grudniu, a inne czynniki zakłócające związek między narażeniem na narzędzia AI a wynikami.
Głównym celem tego badania jest ocena wpływu dwóch technologii skrybowania AI na zmianę klinicystów od czasu wyjściowego czasu spędzonego na dokumentacji EHR, porównując każdy pisarz z grupą kontrolną. Wtórne cele obejmują ocenę wpływu skrybów AI na wskaźniki klinicystów, takie jak wypalenie zawodowe, zadowolenie lekarza i wydajność. Ponadto zespół badawczy zamierza przeprowadzić analizę oceny ekonomicznej narzędzi do prowadzenia podejmowania decyzji biznesowych. Zespół badań przeanalizuje również lekarz zgłaszał wpływ narzędzi AI na bezpieczeństwo pacjentów, sprawiedliwość i wszelkie niezamierzone konsekwencje inicjatywy.
Typ studiów
Typ studiów
Zapisy (Rzeczywisty)
Zapisy
Faza
Faza
- Nie dotyczy
Kontakty i lokalizacje
Lokalizacje studiów
-
-
California
-
Los Angeles, California, Stany Zjednoczone, 90024
- UCLA Health System
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dziecko
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Opis
Kryteria włączenia:
- Lekarze opieki ambulatoryjnej w ramach systemu opieki zdrowotnej UCLA, którzy zajmowali co najmniej jeden pół dnia kliniki tygodniowo
Kryteria wykluczenia:
- Dostawcy stażystów (np. Mieszkańcy, studenci medycyny) i alianccy pracownicy służby zdrowia (np. RNS, PAS)
- Uczestnicy, którzy pracują wyłącznie ze stażystami
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
- Główny cel: Badania usług zdrowotnych
- Przydział: Randomizowane
- Model interwencyjny: Zadanie dla jednej grupy
- Maskowanie: Pojedynczy
Liczba ramion
Broń i interwencje
Grupa uczestników / ArmGrupa uczestników / Arm |
Interwencja / LeczenieInterwencja / Leczenie |
|---|---|
|
Inny: Nabla, sprzedawca technologii wirtualnej AI Scribe
Uczestnicy tego ramienia będą wykorzystywać narzędzia do skryby AI od NABLA i będą kontynuować swoje zwykłe procesy dokumentacji klinicznej, obsługiwane przez oprogramowanie Scribe, które integruje się z EHR i automatycznie dodaje wygenerowany tekst do notatki.
Narzędzie skrybowania NABLA AI jest transkrypcyjne i nie zapewnia klinicznego wsparcia decyzji.
|
Technologie AI Scribe przechwytują rozmowy lekarza-pacjent, aby utworzyć transkrypcję, a następnie podsumować transkrypt w postaci notatek klinicznych. Narzędzia te są zintegrowane z EHR i automatycznie dodają wygenerowany tekst do notatki dostawcy. Wszyscy lekarze muszą poinformować pacjentów o rejestracji i uzyskać werbalną zgodę, a przypadki pacjentów odmawiających zgody są śledzone. NABLA wykorzystuje swój własny tekst mowy, aby przekształcić rozmowę w pisemny kontekst, w połączeniu z dużymi modelami językowymi zgodnymi z HIPAA (LLM), takimi jak Azure Openai GPT-4. NABLA nie przechowuje żadnego dźwięku. |
|
Inny: Sprzedawca B Virtual AI Scribe Technology
Uczestnicy tego ramienia będą wykorzystywać narzędzia do pisarza AI od dostawcy B i będą kontynuować swoje zwykłe procesy dokumentacji klinicznej, obsługiwane przez oprogramowanie Scribe, które integruje się z EHR i automatycznie dodaje wygenerowany tekst do notatki.
Narzędzie do skryby AI jest transkrypcyjne i nie zapewnia klinicznego wsparcia decyzji.
|
Technologie AI Scribe przechwytują rozmowy lekarza-pacjent, aby utworzyć transkrypcję, a następnie podsumować transkrypt w postaci notatek klinicznych.
Narzędzia te są zintegrowane z EHR i automatycznie dodają wygenerowany tekst do notatki dostawcy.
Wszyscy lekarze muszą poinformować pacjentów o rejestracji i uzyskać werbalną zgodę, a przypadki pacjentów odmawiających zgody są śledzone.
|
|
Brak interwencji: Brak pisarza
Uczestnicy tego ramienia nie będą mieli dostępu do narzędzi skrybowania AI i będą kontynuować swoje zwykłe procesy dokumentacji klinicznej
|
Co mierzy badanie?
Podstawowe miary wyniku
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Zmiana w czasie w notatkach na notę
Ramy czasowe: Miesiąc 2 badania
|
Główną miarą wyniku jest zmiana średniego czasu lekarza na notatkę w drugim miesiącu badania w porównaniu do wyjściowego średniego czasu lekarza na notatkę z sześciu miesięcy przed włączeniem do badania.
Zmiana ta zostanie obliczona w skali logarytmu naturalnego.
Na potrzeby tej miary wyniku nie będą zbierane żadne dane na poziomie pacjenta.
|
Miesiąc 2 badania
|
Miary wyników drugorzędnych
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Wynik wypalenia dostawcy
Ramy czasowe: Miesiąc studiów 2
|
Badanie Mini Z 2.0 to zatwierdzony 10-elementowy instrument zaprojektowany do pomiaru kluczowych czynników wpływających na zadowolenie i wypalenie zawodowe wśród pracowników służby zdrowia.
Każda pozycja jest oceniana w skali Likerta (1-5), przy czym wyższe wyniki generalnie wskazują na bardziej pozytywne wyniki - większe satysfakcję z pracy, wystarczalność czasu na dokumentację elektroniczną i niższe poziomy stresu.
W przypadku elementów negatywnie oprawionych (np. Stres z powodu pracy lub frustracji elektronicznej dokumentacji medycznej) wyższe wyniki wskazują na niższe poziomy niezadowolenia.
Całkowity wynik wynosi od 10 do 50, przy czym wyniki ≥40 reprezentują radosne miejsce pracy.
Dla tej miary wyniku nie zostaną zebrane żadne informacje o poziomie pacjenta.
|
Miesiąc studiów 2
|
|
Zmiana danych sygnału EHR (aktywności) - czas piżamy
Ramy czasowe: Miesiąc studiów 2
|
Przeanalizujemy zmianę z retrospektywnej linii bazowej 6 miesięcy przed zapisaniem się w wskaźniki sygnałów, w tym czas piżamy na zaplanowany dzień.
Korzystanie z tych danych określi, w jaki sposób czas dostawców jest wykorzystywany w EHR.
Dla tej miary wyniku nie zostaną zebrane żadne informacje o poziomie pacjenta.
|
Miesiąc studiów 2
|
|
Wynik obciążenia zadaniami dostawcy
Ramy czasowe: Miesiąc 2 badania
|
Obciążenie zadaniowe dostawcy zaadaptowane z NASA Task Load Index (TLX) – zatwierdzonego narzędzia do oceny odczuwanego obciążenia w sześciu podskalach: zapotrzebowanie umysłowe, zapotrzebowanie fizyczne, zapotrzebowanie czasowe, wydajność, wysiłek i frustracja.
W ramach tego badania zaadaptowaliśmy TLX, koncentrując się na obciążeniu związanym z pisaniem notatek, w tym cztery podskale (zapotrzebowanie umysłowe, zapotrzebowanie czasowe, zapotrzebowanie fizyczne i wysiłek), jak to robiono wcześniej. Każda podskała oceniana jest od 0 (niskie obciążenie zadaniowe) do 100 (wysokie obciążenie zadaniowe) i sumowana w celu uzyskania całkowitej skali punktacji od 0 (niskie obciążenie zadaniowe) do 400 (wysokie obciążenie zadaniowe), niższe wartości oznaczają lepszy wynik. Nie będą zbierane żadne informacje na poziomie pacjenta dla tego pomiaru wyniku. |
Miesiąc 2 badania
|
|
Profesjonalna realizacja świadczenia
Ramy czasowe: Miesiąc badania 2
|
"Professional Fulfillment Index (PFI) to zatwierdzone narzędzie składające się z 16 pozycji, które wykorzystuje 5-punktową skalę Likerta (0-4) do pomiaru spełnienia zawodowego, wyczerpania pracą i dystansu interpersonalnego.
W tym badaniu wykorzystujemy 4-itemową podskalę wyczerpania pracą, która jest średnią 4 pozycji w ramach tej podskali, gdzie niska ocena (0) wskazuje na niższy poziom wyczerpania, a wysoka (4) na wyższy poziom wyczerpania. Żadne informacje na poziomie pacjenta nie będą zbierane dla tego pomiaru wyniku." |
Miesiąc badania 2
|
|
Liczba lekarzy uznawanych za krytyków, pasywnych lub promotorów
Ramy czasowe: Miesiąc badania 2
|
Samodzielnie wypełniana ankieta satysfakcji, w której lekarze proszeni są o ocenę dokładności notatek, bezpieczeństwa pacjenta, równości i innych potencjalnych niezamierzonych konsekwencji oraz o ocenę ogólnego prawdopodobieństwa polecenia użycia narzędzia w skali 1-10.
Wyższe wyniki (10) wskazują na większą satysfakcję i prawdopodobieństwo polecenia, natomiast niższe wyniki (1) oznaczają niezadowolenie i małe prawdopodobieństwo polecenia. Dostawcy są grupowani jako „Promotorzy”, jeśli odpowiedzą 9-10, „Pasywni”, jeśli odpowiedzą 7-8, oraz „Krytycy”, jeśli odpowiedzą wartością mniejszą lub równą 6. To grupowanie odpowiada powszechnie akceptowanym grupom „Net Promoter Score”. Dla tej miary wyniku nie będą zbierane żadne informacje na poziomie pacjenta. |
Miesiąc badania 2
|
|
Zmiana w RVU usługodawcy
Ramy czasowe: Miesiąc badania 2
|
Zespół badawczy będzie korzystać z informacji rozliczeniowych na poziomie lekarza za pomocą RVU, aby określić zmianę w produktywności w porównaniu z retrospektywnym okresem podstawowym 6 miesięcy przed włączeniem.
Żadne informacje na poziomie pacjenta nie będą zbierane dla tej miary wyniku. |
Miesiąc badania 2
|
|
Zmiana danych (aktywności) sygnału EHR - Czas poza zaplanowanymi godzinami
Ramy czasowe: Miesiąc 2 badania
|
Zbadamy zmianę od retrospektywnej wartości wyjściowej 6 miesięcy przed włączeniem do badania w metrykach Sygnału, w tym czasu poza zaplanowanymi godzinami na zaplanowany dzień.
Wykorzystanie tych danych pozwoli określić, jak czas świadczeniodawcy jest wykorzystywany w EHR. Żadne informacje na poziomie pacjenta nie zostaną zebrane dla tego pomiaru wyników. |
Miesiąc 2 badania
|
|
Zmiana w danych sygnału EHR (aktywności) - Czas w dni nieplanowane
Ramy czasowe: Miesiąc 2 badania
|
Zbadamy zmianę w stosunku do retrospektywnego okresu wyjściowego 6 miesięcy przed zapisem, w zakresie wskaźników systemu, w tym czasu spędzonego w systemie w nieplanowanych dniach, gdzie.
Korzystając z tych danych, określimy, jak czas personelu medycznego jest wykorzystywany w EHR.
Żadne informacje na poziomie pacjenta nie będą zbierane dla tego wskaźnika wyniku.
|
Miesiąc 2 badania
|
Współpracownicy i badacze
Sponsor
Sponsor
Publikacje i pomocne linki
Publikacje ogólne
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Rzeczywisty)
Rozpoczęcie studiów
Zakończenie podstawowe (Rzeczywisty)
Zakończenie podstawowe
Ukończenie studiów (Rzeczywisty)
Ukończenie studiów
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Pierwszy wysłany
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia wysłana aktualizacja
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Słowa kluczowe
Inne numery identyfikacyjne badania
Inne numery identyfikacyjne badania
- NPR 40703
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .