Přesnost a účinnost souhrnů nemocničního průběhu napsaných velkými jazykovými modely (CLEAN)
Bezpečnost a dopad na pracovní postup při sumarizaci průběhu hospitalizace s asistencí velkého jazykového modelu: Protokol randomizované, hodnotitelsky zaslepené studie nehorší účinnosti
Přehled studie
Postavení
Postavení
Podmínky
Podmínky
Intervence / Léčba
Intervence / Léčba
Detailní popis
Typ studie
Typ studie
Zápis (Odhadovaný)
Zápis
Fáze
Fáze
- Nelze použít
Kontakty a umístění
Studijní kontakt
Studijní kontakt
- Jméno: Jakub Gazda, MD, PhD
- Telefonní číslo: +421556403517
- E-mail: jakub.gazda@upjs.sk
Studijní záloha kontaktů
- Jméno: Martin Janicko, MD, PhD
- Telefonní číslo: +421556403527
- E-mail: martin.janicko@upjs.sk
Studijní místa
-
-
Košice Region
-
Košice, Košice Region, Slovensko, 04001
- Louis Pasteur University Hospital Kosice
-
-
Kritéria účasti
Kritéria způsobilosti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Popis
Kritéria pro zařazení:
- Všichni postupně propuštění pacienti, včetně těch, kteří zemřeli během hospitalizace, budou způsobilí pro zařazení.
Vylučovací kritéria:
- Žádná vylučovací kritéria
Studijní plán
Jak je studie koncipována?
Detaily designu
- Primární účel: Výzkum zdravotnických služeb
- Přidělení: Randomizované
- Intervenční model: Paralelní přiřazení
- Maskování: Singl
Počet zbraní
Zbraně a zásahy
Skupina účastníků / ArmSkupina účastníků / Arm |
Intervence / LéčbaIntervence / Léčba |
|---|---|
|
Experimentální: LLM asistovaný
Intervence spočívá v pracovním postupu s podporou LLM pro generování shrnutí průběhu hospitalizace při propuštění.
Lékař ošetřujícího týmu zahájí propuštění pomocí aplikace - CorteVision Hospital Suite - připojené k nemocniční databázi Informix.
Výstup modelu - generovaný návrh - se vrátí do rozhraní aplikace, kde jej lékař ošetřujícího týmu zkontroluje a může text před dokončením upravit, opravit, rozšířit nebo zkrátit.
Závěrečné shrnutí průběhu hospitalizace je zapsáno do zdravotnické dokumentace až po lékařské kontrole a potvrzení.
|
Intervence spočívá v pracovním postupu podporovaném LLM pro generování souhrnu průběhu hospitalizace při propuštění.
Ošetřující lékař zahájí propuštění pomocí aplikace - CorteVision Hospital Suite - připojené k nemocniční databázi Informix.
Výstup modelu - vygenerovaný návrh - je vrácen do rozhraní aplikace, kde jej ošetřující lékař zkontroluje a může text před dokončením upravit, opravit, rozšířit nebo zkrátit.
Finální souhrn průběhu hospitalizace je zapsán do zdravotnické dokumentace až po lékařské kontrole a potvrzení.
|
|
Žádný zásah: Kontrola
Standardní, ruční vytváření shrnutí průběhu hospitalizace zodpovědným lékařem.
|
Co je měření studie?
Primární výstupní opatření
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Bezpečnost hodnocena hodnotitelem výsledků na ordinální stupnici (1,2,3)
Časové okno: Hodnocení v jednom časovém okamžiku - propuštění z nemocnice (až 5 dní)
|
Bezpečnost bude hodnocena pomocí ordinální škály od „přijatelné bez dalších změn“ přes „přijatelné s menšími úpravami“ až po „nepřijatelné v současné podobě“ (kombinace buď absence důležitých informací, nebo přítomnosti nesprávných/halucinovaných informací)
|
Hodnocení v jednom časovém okamžiku - propuštění z nemocnice (až 5 dní)
|
Sekundární výstupní opatření
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Bezpečnost editovaných a needitovaných souhrnů kurzů generovaných LLM hodnocena na ordinální škále (1,2,3)
Časové okno: Při propuštění z nemocnice (až 5 dní)
|
Bezpečnost souhrnů průběhu hospitalizace generovaných LLM, upravených rezidenty a neupravených ve srovnání se standardní dokumentací sepsanou specialisty.
Bezpečnost bude hodnocena pomocí ordinální škály se 3 kategoriemi od "přijatelné bez dalších změn" (nejlepší výsledek), přes "přijatelné s menšími úpravami" (nejistý výsledek), až po "nepřijatelné v současné podobě" (chybí důležité informace nebo jsou přítomny nesprávné/halucinované informace; nejhorší výsledek)
|
Při propuštění z nemocnice (až 5 dní)
|
|
Sekundární výsledek: Validita obsahu napříč následujícími předdefinovanými doménami (5C).
Časové okno: Při propuštění z nemocnice (až 5 dnů)
|
Sekundární výstupní měřítka: podrobné hodnocení kvality v následujících předem definovaných doménách (5C): úplnost, stručnost, soudržnost, absence kritických chyb (včetně halucinací) a kulturní a jazyková věrnost.
Jednotlivé domény budou samostatně hodnoceny pomocí 5bodové Likertovy škály (1 – úplný nesouhlas, 2 – částečný nesouhlas, 3 – neutrální souhlas, 4 – částečný souhlas, 5 – úplný souhlas).
|
Při propuštění z nemocnice (až 5 dnů)
|
|
Čas k dokončení shrnutí v nemocnici (sekundy)
Časové okno: Při propuštění z nemocnice (až 5 dní)
|
Sekundární výsledky týkající se pracovního postupu zahrnují časovou efektivitu dokumentace průběhu hospitalizace při použití pracovního postupu generovaného LLM ve srovnání se standardní praxí.
Měřeným výsledkem bude čas potřebný k dokončení shrnutí průběhu hospitalizace (v sekundách), od zahájení propuštění do stavu „připraveno k podpisu“.
|
Při propuštění z nemocnice (až 5 dní)
|
|
Stabilita generování hodnocena na ordinální škále (1,2,3)
Časové okno: Od propuštění z nemocnice do 30 dnů po propuštění z nemocnice
|
Generační stabilita posoudí konzistenci neupravených shrnutí průběhu hospitalizace generovaných LLM, když je model opakovaně aplikován na identickou zdrojovou klinickou dokumentaci.
Generační stabilita bude hodnocena stejným rozhodčím na stupnici 1 - stabilní, 2 - přijatelná variace, 3 - nepřijatelná variace.
|
Od propuštění z nemocnice do 30 dnů po propuštění z nemocnice
|
|
Přijetí. Procento propuštění z nemocnice, kde byl využit souhrn průběhu léčby generovaný LLM.
Časové okno: Od propuštění z nemocnice do 30 dnů po propuštění z nemocnice
|
Po dokončení randomizované kontrolované studie bude přijetí pracovního postupu generovaného LLM vyhodnocováno po dobu jednoho měsíce.
Výsledná míra bude definována jako podíl způsobilých propuštění, u kterých bylo využito generování souhrnů odvozených od LLM.
|
Od propuštění z nemocnice do 30 dnů po propuštění z nemocnice
|
|
Inter-rater spolehlivost. Procentuální shoda mezi dvěma posuzovateli shrnutí nemocničního průběhu ohledně hodnocení bezpečnosti a obsahové platnosti.
Časové okno: Od propuštění z nemocnice do 30 dnů po propuštění z nemocnice
|
Výsledky týkající se spolehlivosti budou hodnotit konzistenci odborných hodnocení souhrnů průběhu hospitalizace.
Procento bude kvantifikovat shodu mezi hodnotiteli v hodnoceních bezpečnosti a platnosti obsahu.
|
Od propuštění z nemocnice do 30 dnů po propuštění z nemocnice
|
|
Spolehlivost hodnotitele. Shoda hodnocení bezpečnosti a obsahové validity mezi dvěma hodnoceními stejného průběhu hospitalizace a stejného rozhodčího.
Časové okno: Při propuštění z nemocnice (až 5 dní)
|
Intra-rater reliabilita kvantifikuje konzistenci opakovaných hodnocení téhož hodnotitele na základě shody hodnocení bezpečnosti a obsahové validity (procento shody)
|
Při propuštění z nemocnice (až 5 dní)
|
|
Časová stabilita (test-retest reliabilita) - shoda mezi hodnoceními stejného rozhodčího po vymývacím období.
Časové okno: 30 dní po propuštění z nemocnice
|
Časová stabilita posudků posuzovatelů bude hodnocena opakovaným hodnocením stejných shrnutí průběhu hospitalizace stejným posuzovatelem po předem stanoveném 30denním období vyprání (test-retest reliabilita).
Výsledné míry budou založeny na shodě hodnocení bezpečnosti a obsahové validity (procentuální vyjádření) |
30 dní po propuštění z nemocnice
|
Spolupracovníci a vyšetřovatelé
Sponzor
Sponzor
Spolupracovníci
Spolupracovníci
Vyšetřovatelé
Vyšetřovatelé
- Vrchní vyšetřovatel: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
Publikace a užitečné odkazy
Obecné publikace
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Odhadovaný)
Začátek studia
Primární dokončení (Odhadovaný)
Primární dokončení
Dokončení studie (Odhadovaný)
Dokončení studie
Termíny zápisu do studia
První předloženo
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
První zveřejněno
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Poslední zveřejněná aktualizace
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Naposledy ověřeno
Více informací
Termíny související s touto studií
Klíčová slova
Další identifikační čísla studie
Další identifikační čísla studie
- 2IK2026_1
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .