Nøjagtigheden og effektiviteten af store sprogmodeller til skrivning af hospitalsforløbsoversigter (CLEAN)
Sikkerhed og arbejdsgangspåvirkning af stort sprogmodel-assisterede hospitalsforløbsopsummeringer: Protokol for et randomiseret, evaluator-blindet ikke-underlegenhedsforsøg
Studieoversigt
Status
Status
Betingelser
Betingelser
Intervention / Behandling
Intervention / Behandling
Detaljeret beskrivelse
Fremskrivninger indikerer, at dette underskud vil fortsætte med at forværres i de kommende år [1].
Desuden forekommer disse mangel i takt med stigende efterspørgsel på sundhedsydelser, drevet af befolkningens aldring og den stigende forekomst af multimorbiditet.
På trods heraf forbliver administrativ byrde en vedvarende og systemisk udfordring på tværs af sundhedssystemer på verdensplan.
Initiativer, der sigter mod at reducere lægers ikke-kliniske arbejdsbyrde, har kun opnået begrænset succes, hvilket fører til fortsat omdirigering af klinisk ekspertise væk fra direkte patientbehandling [2].
Blandt administrative ansvarsområder er udarbejdelsen af udskrivningsbreve en af de mest tidskrævende opgaver for læger, der behandler indlagte patienter, men den er også afgørende for at sikre kontinuitet i behandlingen efter udskrivelse.
På trods af stor tidsallokering opfylder udskrivningsresuméer ofte ikke de forventede standarder, og mange læger rapporterer mangler i både deres fuldstændighed og kvalitet [3], [4].
Implementeringen af elektroniske patientjournaler har ført til bestræbelser på at lette denne byrde ved at overgå fra fuldt manuel forfattelse til delvis automatisering, hvilket gør det muligt automatisk at generere udvalgte sektioner af udskrivningsbreve.
Dog forbliver sygehusforløbet - den mest klinisk informative komponent i udskrivningsbrevet - næsten universelt afhængig af manuel narrativ dokumentation fra den behandlende læge.
B. Formål Det primære formål med denne undersøgelse er at evaluere, om LLM-assisteret, specialistredigeret generering af sygehusforløbsresuméer er sikkert at anvende i rutinemæssig indlagt behandling sammenlignet med standard kliniker-skreven dokumentation.
Sekundære formål inkluderer evaluering af sikkerheden ved residerende redigerede og uredigerede LLM-genererede sygehusforløbsresuméer.
Yderligere formål er at vurdere kvaliteten af LLM-assisterede resuméer på tværs af foruddefinerede domæner, evaluere stabiliteten af genererede output, kvantificere effekten af AI-assisterede arbejdsgange på lægers dokumentationstid, undersøge klinikeres adoption af LLM-understøttet dokumentation efter afslutning af den randomiserede fase og vurdere pålideligheden af evaluatorvurderinger.
Samlet set sigter disse formål mod at fastslå sikkerheden og gennemførligheden af at integrere LLM-baseret narrativ generering i virkelige sygehusudskrivningsarbejdsgange.
Undersøgelsestype
Undersøgelsestype
Tilmelding (Anslået)
Tilmelding
Fase
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiekontakt
Studiekontakt
- Navn: Jakub Gazda, MD, PhD
- Telefonnummer: +421556403517
- E-mail: jakub.gazda@upjs.sk
Undersøgelse Kontakt Backup
- Navn: Martin Janicko, MD, PhD
- Telefonnummer: +421556403527
- E-mail: martin.janicko@upjs.sk
Studiesteder
-
-
Košice Region
-
Košice, Košice Region, Slovakiet, 04001
- Louis Pasteur University Hospital Kosice
-
-
Deltagelseskriterier
Berettigelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Beskrivelse
Inklusionskriterier:
- Alle konsekutivt udskrevne patienter, inklusive dem som døde under indlæggelsen, vil være berettigede til inklusion.
Eksklusionskriterier:
- Ingen eksklusionskriterier
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Sundhedstjenesteforskning
- Tildeling: Randomiseret
- Interventionel model: Parallel tildeling
- Maskning: Enkelt
Antal våben
Våben og indgreb
Deltagergruppe / ArmDeltagergruppe / Arm |
Intervention / BehandlingIntervention / Behandling |
|---|---|
|
Eksperimentel: LLM-assisteret
Interventionen består af en LLM-assisteret arbejdsproces til at generere hospitalsforløbsresuméet ved udskrivelse.
Den behandlende læge påbegynder udskrivelsen ved hjælp af en applikation - CorteVision Hospital Suite - forbundet til hospitalets Informix-database.
Outputtet fra modellen - den genererede kladde - returneres til applikationsgrænsefladen, hvor den behandlende læge gennemgår og eventuelt redigerer, retter, udvider eller forkorter teksten før endelig afslutning.
Det endelige hospitalsforløbsresumé indføres i journalen først efter lægens gennemgang og bekræftelse.
|
Interventionen består af en LLM-assisteret arbejdsgang til at generere sammenfatningen af forløbet på hospitalet ved udskrivelsen.
Den behandlende læge igangsætter udskrivelsen ved hjælp af en applikation - CorteVision Hospital Suite - forbundet til hospitalets Informix-database.
Outputtet fra modellen - den genererede kladde - returneres til applikationsgrænsefladen, hvor den behandlende læge gennemgår og eventuelt redigerer, korrigerer, udvider eller forkorter teksten før endelig afslutning.
Den endelige sammenfatning af forløbet på hospitalet indføres kun i journalen efter lægens gennemgang og bekræftelse.
|
|
Ingen indgriben: Kontrol
Standard, manuel generering af hospitalsforløbsresumé manuelt af ansvarlig læge.
|
Hvad måler undersøgelsen?
Primære resultatmål
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Sikkerhed vurderet af resultatevaluator på en ordinalskala (1,2,3)
Tidsramme: Vurdering på ét tidspunkt - hospitalsudskrivelse (op til 5 dage)
|
Sikkerheden vil blive vurderet ved hjælp af en ordinal skala, der spænder fra "acceptabel uden yderligere ændringer", over "acceptabel med mindre revisioner", til ikke "uacceptabel i sin nuværende form" (en kombination af enten fravær af vigtig information eller tilstedeværelse af forkert/hallucineret information)
|
Vurdering på ét tidspunkt - hospitalsudskrivelse (op til 5 dage)
|
Sekundære resultatmål
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Sikkerheden af de redigerede og uredigerede LLM-genererede kursusoversigter evalueret på en ordinal skala (1,2,3)
Tidsramme: Ved hospitalsudskrivelse (op til 5 dage)
|
Sikkerhed af LLM-genererede, lægepraktikant-redigerede og ikke-redigerede hospitalsforløbsoversigter sammenlignet med standard specialistforfattet dokumentation.
Sikkerhed vil blive vurderet ved hjælp af en 3-kategorier ordinær skala fra "acceptabel uden yderligere ændringer" (bedste resultat), over "acceptabel med mindre revisioner" (usikkert resultat), til "ikke uacceptabel i sin nuværende form" (manglende vigtig information eller tilstedeværelse af forkert/hallucineret information; værst tænkelige resultat)
|
Ved hospitalsudskrivelse (op til 5 dage)
|
|
Sekundært udfald: Indholdsvaliditet på tværs af følgende foruddefinerede domæner (5C).
Tidsramme: Ved udskrivning fra hospitalet (op til 5 dage)
|
Sekundære udfaldsmål: detaljeret evaluering af kvalitet på tværs af følgende foruddefinerede domæner (5C): fuldstændighed, kortfattethed, sammenhængskraft, fravær af kritiske fejl (inklusive hallucinationer) samt kulturel og sproglig troværdighed.
Enkelte domæner vil blive separat vurderet ved hjælp af en 5-punkts Likert-skala, (1 - fuldstændig mangel på enighed, 2 - delvis mangel på enighed, 3 - neutral enighed, 4- delvis enighed, 5- fuldstændig enighed)
|
Ved udskrivning fra hospitalet (op til 5 dage)
|
|
Tid til udarbejdelse af hospitalsresumé (sekunder)
Tidsramme: Ved hospitalsudskrivelse (op til 5 dage)
|
Arbejdsgangsrelaterede sekundære resultater inkluderer tidsmæssig effektivitet af hospitalsforløbsdokumentation ved brug af den LLM-genererede arbejdsgang sammenlignet med standardpraksis.
Resultatmålet vil være den tid, det tager at fuldføre hospitalsforløbsopsummeringen (sekunder), fra start af udskrivelse til "klar til underskrift".
|
Ved hospitalsudskrivelse (op til 5 dage)
|
|
Generationsstabilitet vurderet på en ordinal skala (1,2,3)
Tidsramme: Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
Genereringsstabilitet vil vurdere konsistensen af LLM-genererede, uredigerede hospitalsforløbsopsummeringer, når modellen anvendes gentagne gange på identisk kildeklinisk dokumentation.
Genereringsstabilitet vil blive evalueret af den samme bedømmer på en skala fra 1 - stabil, 2 - acceptabel variation, 3 - uacceptabel variation
|
Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
|
Implementering. Andel af hospitalsudskrivelser, hvor LLM-genereret behandlingsforløbsresumé blev anvendt.
Tidsramme: Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
Efter gennemførelsen af den randomiserede kontrollerede undersøgelse vil implementeringen af den LLM-genererede arbejdsproces blive evalueret over en én-måneds periode.
Resultatmålet vil blive defineret som andelen af kvalificerede udskrivninger, hvor LLM-afledt resumégenerering blev anvendt. |
Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
|
Interbedømmers pålidelighed. Procentvis overensstemmelse mellem to bedømmere af en hospitalsforløbsopsummering angående sikkerheds- og indholdsmæssige gyldighedsvurderinger.
Tidsramme: Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
Pålidelighedsrelaterede resultater vil vurdere konsistensen af ekspertvurderinger af hospitalsforløbsresuméer.
Procentdel vil kvantificere overensstemmelsen mellem evaluatorer vedrørende sikkerheds- og indholdsgydighedsvurderinger.
|
Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
|
Intra-rater pålidelighed. Overensstemmelse af sikkerheds- og indholdsgydighedsvurderinger mellem to evalueringer af samme hospitalsforløb og samme bedømmer.
Tidsramme: Ved hospitalsudskrivelse (op til 5 dage)
|
Intra-rater reliabilitet vil kvantificere konsistensen af gentagne evalueringer udført af samme evaluator baseret på overensstemmelsen af sikkerheds- og indholdsgydighedsvurderinger (procentdelen af overensstemmelse)
|
Ved hospitalsudskrivelse (op til 5 dage)
|
|
Temporal stabilitet (test-retest pålidelighed) - overensstemmelse mellem vurderingerne fra samme bedømmelsesudvalg efter udvaskeperiode.
Tidsramme: 30 dage efter hospitalsudskrivning
|
Temporal stabilitet af evaluators vurderinger vil blive vurderet gennem gentagen evaluering af identiske hospitalsforløbsoversigter af samme evaluator efter en foruddefineret 30-dages washout-periode (test-retest pålidelighed).
Resultatmål vil være baseret på overensstemmelsen af sikkerheds- og indholdsmæssige validitetsvurderinger (procentdel)
|
30 dage efter hospitalsudskrivning
|
Samarbejdspartnere og efterforskere
Sponsor
Sponsor
Samarbejdspartnere
Samarbejdspartnere
Efterforskere
Efterforskere
- Ledende efterforsker: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
Publikationer og nyttige links
Generelle publikationer
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Datoer for undersøgelser
Studer store datoer
Studiestart (Anslået)
Studiestart
Primær færdiggørelse (Anslået)
Primær færdiggørelse
Studieafslutning (Anslået)
Studieafslutning
Datoer for studieregistrering
Først indsendt
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Først opslået
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering sendt
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
Andre undersøgelses-id-numre
- 2IK2026_1
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .