Dokładność i skuteczność podsumowań przebiegu szpitalnego tworzonych przez duże modele językowe (CLEAN)
Bezpieczeństwo i wpływ na przepływ pracy podsumowań przebiegu hospitalizacji wspomaganych przez duże modele językowe: Protokół randomizowanego, zaślepionego dla oceniającego badania nieróżniącego się
Przegląd badań
Status
Status
Warunki
Warunki
Interwencja / Leczenie
Interwencja / Leczenie
Szczegółowy opis
Typ studiów
Typ studiów
Zapisy (Szacowany)
Zapisy
Faza
Faza
- Nie dotyczy
Kontakty i lokalizacje
Kontakt w sprawie studiów
Kontakt w sprawie studiów
- Nazwa: Jakub Gazda, MD, PhD
- Numer telefonu: +421556403517
- E-mail: jakub.gazda@upjs.sk
Kopia zapasowa kontaktu do badania
- Nazwa: Martin Janicko, MD, PhD
- Numer telefonu: +421556403527
- E-mail: martin.janicko@upjs.sk
Lokalizacje studiów
-
-
Košice Region
-
Košice, Košice Region, Słowacja, 04001
- Louis Pasteur University Hospital Kosice
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Opis
Kryteria włączenia:
- Wszyscy kolejno wypisani pacjenci, w tym ci, którzy zmarli podczas hospitalizacji, będą kwalifikować się do włączenia.
Kryteria wyłączenia:
- Brak kryteriów wyłączenia
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
- Główny cel: Badania usług zdrowotnych
- Przydział: Randomizowane
- Model interwencyjny: Przydział równoległy
- Maskowanie: Pojedynczy
Liczba ramion
Broń i interwencje
Grupa uczestników / ArmGrupa uczestników / Arm |
Interwencja / LeczenieInterwencja / Leczenie |
|---|---|
|
Eksperymentalny: Wspomagane przez LLM
Interwencja polega na wykorzystaniu wspomaganego przez LLM procesu tworzenia podsumowania przebiegu hospitalizacji przy wypisie.
Lekarz prowadzący inicjuje wypisanie przy użyciu aplikacji - CorteVision Hospital Suite - podłączonej do szpitalnej bazy danych Informix.
Wynik modelu - wygenerowany szkic - jest zwracany do interfejsu aplikacji, gdzie lekarz prowadzący przegląda i może edytować, poprawiać, rozszerzać lub skracać tekst przed finalizacją.
Sfinalizowane podsumowanie przebiegu hospitalizacji jest wprowadzane do dokumentacji medycznej dopiero po przejrzeniu i potwierdzeniu przez lekarza.
|
Interwencja polega na wspomaganym przez LLM procesie tworzenia podsumowania przebiegu hospitalizacji przy wypisie.
Lekarz prowadzący inicjuje wypis przy użyciu aplikacji - CorteVision Hospital Suite - podłączonej do szpitalnej bazy danych Informix.
Wynik działania modelu - wygenerowany szkic - jest zwracany do interfejsu aplikacji, gdzie lekarz prowadzący go przegląda i może edytować, poprawiać, rozszerzać lub skracać tekst przed finalizacją.
Sfinalizowane podsumowanie przebiegu hospitalizacji jest wprowadzane do dokumentacji medycznej dopiero po przeglądzie i potwierdzeniu przez lekarza.
|
|
Brak interwencji: Kontrola
Standardowe, ręczne sporządzanie podsumowania przebiegu hospitalizacji przez lekarza prowadzącego.
|
Co mierzy badanie?
Podstawowe miary wyniku
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Bezpieczeństwo ocenione przez ewaluatora wyników na skali porządkowej (1,2,3)
Ramy czasowe: Ocena w jednym punkcie czasowym - wypis ze szpitala (do 5 dni)
|
Bezpieczeństwo będzie oceniane przy użyciu skali porządkowej, obejmującej od „akceptowalne bez dalszych zmian”, przez „akceptowalne z niewielkimi poprawkami”, do „nieakceptowalne w obecnej formie” (co oznacza brak istotnych informacji lub obecność nieprawidłowych/sfałszowanych informacji)
|
Ocena w jednym punkcie czasowym - wypis ze szpitala (do 5 dni)
|
Miary wyników drugorzędnych
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Bezpieczeństwo zredagowanych i niezredagowanych streszczeń kursów wygenerowanych przez LLM oceniane na skali porządkowej (1,2,3)
Ramy czasowe: Wypis ze szpitala (do 5 dni)
|
Bezpieczeństwo podsumowań przebiegu hospitalizacji generowanych przez LLM, edytowanych przez rezydentów i nieedytowanych w porównaniu ze standardową dokumentacją pisaną przez specjalistów.
Bezpieczeństwo będzie oceniane za pomocą 3-kategorii skali porządkowej, obejmującej od "akceptowalne bez dalszych zmian" (najlepszy wynik), przez "akceptowalne z niewielkimi poprawkami" (wynik niepewny), do "nieakceptowalne w obecnej formie" (brak ważnych informacji lub obecność nieprawidłowych/zhalucynowanych informacji; najgorszy wynik)
|
Wypis ze szpitala (do 5 dni)
|
|
Wynik drugorzędny: Ważność treści w następujących wstępnie zdefiniowanych domenach (5C).
Ramy czasowe: Wypis ze szpitala (do 5 dni)
|
Miary wyników drugorzędnych: szczegółowa ocena jakości w następujących predefiniowanych domenach (5C): kompletność, zwięzłość, spójność, brak błędów krytycznych (w tym halucynacji) oraz wierność kulturowa i językowa.
Poszczególne domeny będą oceniane osobno przy użyciu 5-punktowej skali Likerta (1 – całkowity brak zgodności, 2 – częściowy brak zgodności, 3 – neutralna zgodność, 4 – częściowa zgodność, 5 – całkowita zgodność).
|
Wypis ze szpitala (do 5 dni)
|
|
Czas na uzupełnienie podsumowania szpitalnego (sekundy)
Ramy czasowe: Przy wypisie ze szpitala (do 5 dni)
|
Drugorzędowe punkty końcowe związane z przepływem pracy obejmują efektywność czasową dokumentacji przebiegu hospitalizacji przy zastosowaniu przepływu pracy generowanego przez LLM w porównaniu ze standardową praktyką.
Miarą wyniku będzie czas potrzebny na ukończenie podsumowania przebiegu hospitalizacji (w sekundach), od inicjowania wypisu do stanu "gotowy do podpisania". |
Przy wypisie ze szpitala (do 5 dni)
|
|
Stabilność generacji oceniana na skali porządkowej (1,2,3)
Ramy czasowe: Od wypisu ze szpitala do 30 dni po wypisie ze szpitala
|
Stabilność generacji oceni spójność nieskorygowanych podsumowań przebiegu szpitalnego generowanych przez LLM, gdy model jest wielokrotnie stosowany do identycznej źródłowej dokumentacji klinicznej.
Stabilność generacji będzie oceniana przez tego samego arbitra w skali: 1 – stabilne, 2 – akceptowalna zmienność, 3 – nieakceptowalna zmienność
|
Od wypisu ze szpitala do 30 dni po wypisie ze szpitala
|
|
Wdrożenie. Procent wypisów szpitalnych, w których wykorzystano wygenerowane przez LLM podsumowanie przebiegu leczenia.
Ramy czasowe: Od wypisu ze szpitala do 30 dni po wypisie ze szpitala
|
Po zakończeniu randomizowanego badania kontrolowanego, wdrożenie przepływu pracy generowanego przez LLM będzie oceniane przez okres jednego miesiąca.
Miarą wyniku będzie określona jako proporcja kwalifikujących się wypisów, dla których wykorzystano generowanie podsumowania pochodzącego z LLM. |
Od wypisu ze szpitala do 30 dni po wypisie ze szpitala
|
|
Niezawodność międzyosobnicza. Procent zgodności między dwoma oceniającymi podsumowania przebiegu hospitalizacji w ocenach bezpieczeństwa i trafności treści.
Ramy czasowe: Od wypisu ze szpitala do 30 dni po wypisie ze szpitala
|
Wyniki związane z rzetelnością będą oceniać spójność eksperckich ocen podsumowań przebiegu hospitalizacji.
Procentowa miara będzie określać stopień zgodności między oceniającymi w zakresie ocen bezpieczeństwa i trafności treści. |
Od wypisu ze szpitala do 30 dni po wypisie ze szpitala
|
|
Niezawodność wewnątrzosobowa. Zgodność ocen bezpieczeństwa i ważności treści między dwiema ewaluacjami tego samego przebiegu szpitalnego i tego samego oceniającego.
Ramy czasowe: Przy wypisie ze szpitala (do 5 dni)
|
Niezawodność wewnątrzobserwatorowa pozwoli określić spójność powtarzanych ocen dokonywanych przez tego samego obserwatora na podstawie zgodności ocen bezpieczeństwa i trafności treści (procent zgodności)
|
Przy wypisie ze szpitala (do 5 dni)
|
|
Stabilność czasowa (niezawodność test-retest) - zgodność między ocenami tego samego arbitra po okresie wypłukania.
Ramy czasowe: 30 dni po wypisie ze szpitala
|
Temporal stability of evaluator judgments will be assessed through repeated evaluation of identical hospital course summaries by the same evaluator after a predefined 30 day washout period (test-retest reliability).
Outcome measures will be based on the concordance of safety and content validity ratings (percentage)
|
30 dni po wypisie ze szpitala
|
Współpracownicy i badacze
Sponsor
Sponsor
Współpracownicy
Współpracownicy
Śledczy
Śledczy
- Główny śledczy: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
Publikacje i pomocne linki
Publikacje ogólne
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Szacowany)
Rozpoczęcie studiów
Zakończenie podstawowe (Szacowany)
Zakończenie podstawowe
Ukończenie studiów (Szacowany)
Ukończenie studiów
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Pierwszy wysłany
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia wysłana aktualizacja
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Słowa kluczowe
Inne numery identyfikacyjne badania
Inne numery identyfikacyjne badania
- 2IK2026_1
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .