- ICH GCP
- US Clinical Trials Registry
- Klinisk forsøg NCT07491068
Nøjagtigheden og effektiviteten af store sprogmodeller til skrivning af hospitalsforløbsoversigter (CLEAN)
25. marts 2026 opdateret af: Martin Janičko, Pavol Jozef Safarik University
Sikkerhed og arbejdsgangspåvirkning af stort sprogmodel-assisterede hospitalsforløbsopsummeringer: Protokol for et randomiseret, evaluator-blindet ikke-underlegenhedsforsøg
Baggrund: Læger over hele verden står over for en stigende administrativ byrde, som afleder tid fra direkte patientbehandling.
Blandt dokumentationsopgaver for indlagte patienter er udarbejdelse af hospitalsforløbsresuméer særligt tidskrævende og afgørende for sikre plejeovergange.
Store sprogmodeller (LLM'er) har vist potentiale til klinisk tekstgenerering; dog er robust evidens fra randomiserede, evaluator-blindede forsøg gennemført i rutinemæssig hospitalspraksis stadig begrænset.
Formål: CLEAN-studiet har til formål at evaluere, om LLM-assisteret, specialisteredigeret generering af hospitalsforløbsresuméer er ikke-underlegen i sikkerhed sammenlignet med standard kliniker-skrevet dokumentation i rutinemæssig indlæggelsespleje.
Sekundære formål inkluderer ikke-underlegenhedsvurderinger af residerende-redigerede og uredigerede LLM-genererede resuméer.
Yderligere formål er at evaluere resumékvalitet på tværs af foruddefinerede domæner, kvantificere lægedokumentationstid, vurdere LLM-genereringsstabilitet, måle klinikeradoption efter den randomiserede fase, og undersøge inter-, intra-observer og test-retest pålidelighed af ekspertvurderinger.
Metoder: Dette er et et-centret, dobbelt-campus, eksplorativt randomiseret kontrolleret ikke-underlegenhedsforsøg gennemført på et tertiært universitetshospital.
På hinanden følgende hospitalsudskrivelser på tværs af flere kliniske afdelinger randomiseres 1:1 til enten en LLM-assisteret dokumentationsarbejdsgang eller standard manuel forfatterskab.
Interventionen integrerer en on-premise LLM i et parallelt hospitalsinformationssystem, der genererer udkast til hospitalsforløbsresuméer fra komplet, ukureret klinisk dokumentation, som læger kan gennemgå og redigere før endelig afslutning.
Sikkerhed, det primære resultat, defineret som tilstedeværelse af al vigtig information og fravær af forkert/hallucineret information, vurderes af en bedømmelseskomité blindet for dokumentationsarbejdsgang.
Sekundære resultater inkluderer indholdsgydighed, arbejdsgangseffektivitet, genereringsstabilitet, post-forsøg klinikeradoption og pålidelighedsmetrikker.
I alt kræves 786 udskrivelsesepisoder for at vurdere ikke-underlegenhed ved brug af en foruddefineret margin på 5 procentpoint.
Etik og spredning: Studiet vil blive gennemført i overensstemmelse med Helsinkideklarationen, God Klinisk Praksis og Generel Dataforordning.
En undtagelse fra informeret samtykke søges på grund af minimal risiko og eksklusiv brug af rutinemæssige kliniske data.
Resultater vil blive spredt gennem fagfællebedømt publicering og engagement med sundhedsplejestakeholdere.
Studieoversigt
Status
Ikke rekrutterer endnu
Betingelser
Intervention / Behandling
Detaljeret beskrivelse
Verdenssundhedsorganisationen har identificeret en alvorlig global sundhedsarbejdsstyrkekrise og estimerer, at der i 2020 var et underskud på cirka 12,7 millioner læger på verdensplan.
Fremskrivninger indikerer, at dette underskud vil fortsætte med at forværres i de kommende år [1].
Desuden forekommer disse mangel i takt med stigende efterspørgsel på sundhedsydelser, drevet af befolkningens aldring og den stigende forekomst af multimorbiditet.
På trods heraf forbliver administrativ byrde en vedvarende og systemisk udfordring på tværs af sundhedssystemer på verdensplan.
Initiativer, der sigter mod at reducere lægers ikke-kliniske arbejdsbyrde, har kun opnået begrænset succes, hvilket fører til fortsat omdirigering af klinisk ekspertise væk fra direkte patientbehandling [2].
Blandt administrative ansvarsområder er udarbejdelsen af udskrivningsbreve en af de mest tidskrævende opgaver for læger, der behandler indlagte patienter, men den er også afgørende for at sikre kontinuitet i behandlingen efter udskrivelse.
På trods af stor tidsallokering opfylder udskrivningsresuméer ofte ikke de forventede standarder, og mange læger rapporterer mangler i både deres fuldstændighed og kvalitet [3], [4].
Implementeringen af elektroniske patientjournaler har ført til bestræbelser på at lette denne byrde ved at overgå fra fuldt manuel forfattelse til delvis automatisering, hvilket gør det muligt automatisk at generere udvalgte sektioner af udskrivningsbreve.
Dog forbliver sygehusforløbet - den mest klinisk informative komponent i udskrivningsbrevet - næsten universelt afhængig af manuel narrativ dokumentation fra den behandlende læge.
B. Formål Det primære formål med denne undersøgelse er at evaluere, om LLM-assisteret, specialistredigeret generering af sygehusforløbsresuméer er sikkert at anvende i rutinemæssig indlagt behandling sammenlignet med standard kliniker-skreven dokumentation.
Sekundære formål inkluderer evaluering af sikkerheden ved residerende redigerede og uredigerede LLM-genererede sygehusforløbsresuméer.
Yderligere formål er at vurdere kvaliteten af LLM-assisterede resuméer på tværs af foruddefinerede domæner, evaluere stabiliteten af genererede output, kvantificere effekten af AI-assisterede arbejdsgange på lægers dokumentationstid, undersøge klinikeres adoption af LLM-understøttet dokumentation efter afslutning af den randomiserede fase og vurdere pålideligheden af evaluatorvurderinger.
Samlet set sigter disse formål mod at fastslå sikkerheden og gennemførligheden af at integrere LLM-baseret narrativ generering i virkelige sygehusudskrivningsarbejdsgange.
Fremskrivninger indikerer, at dette underskud vil fortsætte med at forværres i de kommende år [1].
Desuden forekommer disse mangel i takt med stigende efterspørgsel på sundhedsydelser, drevet af befolkningens aldring og den stigende forekomst af multimorbiditet.
På trods heraf forbliver administrativ byrde en vedvarende og systemisk udfordring på tværs af sundhedssystemer på verdensplan.
Initiativer, der sigter mod at reducere lægers ikke-kliniske arbejdsbyrde, har kun opnået begrænset succes, hvilket fører til fortsat omdirigering af klinisk ekspertise væk fra direkte patientbehandling [2].
Blandt administrative ansvarsområder er udarbejdelsen af udskrivningsbreve en af de mest tidskrævende opgaver for læger, der behandler indlagte patienter, men den er også afgørende for at sikre kontinuitet i behandlingen efter udskrivelse.
På trods af stor tidsallokering opfylder udskrivningsresuméer ofte ikke de forventede standarder, og mange læger rapporterer mangler i både deres fuldstændighed og kvalitet [3], [4].
Implementeringen af elektroniske patientjournaler har ført til bestræbelser på at lette denne byrde ved at overgå fra fuldt manuel forfattelse til delvis automatisering, hvilket gør det muligt automatisk at generere udvalgte sektioner af udskrivningsbreve.
Dog forbliver sygehusforløbet - den mest klinisk informative komponent i udskrivningsbrevet - næsten universelt afhængig af manuel narrativ dokumentation fra den behandlende læge.
B. Formål Det primære formål med denne undersøgelse er at evaluere, om LLM-assisteret, specialistredigeret generering af sygehusforløbsresuméer er sikkert at anvende i rutinemæssig indlagt behandling sammenlignet med standard kliniker-skreven dokumentation.
Sekundære formål inkluderer evaluering af sikkerheden ved residerende redigerede og uredigerede LLM-genererede sygehusforløbsresuméer.
Yderligere formål er at vurdere kvaliteten af LLM-assisterede resuméer på tværs af foruddefinerede domæner, evaluere stabiliteten af genererede output, kvantificere effekten af AI-assisterede arbejdsgange på lægers dokumentationstid, undersøge klinikeres adoption af LLM-understøttet dokumentation efter afslutning af den randomiserede fase og vurdere pålideligheden af evaluatorvurderinger.
Samlet set sigter disse formål mod at fastslå sikkerheden og gennemførligheden af at integrere LLM-baseret narrativ generering i virkelige sygehusudskrivningsarbejdsgange.
Undersøgelsestype
Interventionel
Tilmelding (Anslået)
786
Fase
- Ikke anvendelig
Kontakter og lokationer
Dette afsnit indeholder kontaktoplysninger for dem, der udfører undersøgelsen, og oplysninger om, hvor denne undersøgelse udføres.
Studiekontakt
- Navn: Jakub Gazda, MD, PhD
- Telefonnummer: +421556403517
- E-mail: jakub.gazda@upjs.sk
Undersøgelse Kontakt Backup
- Navn: Martin Janicko, MD, PhD
- Telefonnummer: +421556403527
- E-mail: martin.janicko@upjs.sk
Studiesteder
-
-
Košice Region
-
Košice, Košice Region, Slovakiet, 04001
- Louis Pasteur University Hospital Kosice
-
-
Deltagelseskriterier
Forskere leder efter personer, der passer til en bestemt beskrivelse, kaldet berettigelseskriterier. Nogle eksempler på disse kriterier er en persons generelle helbredstilstand eller tidligere behandlinger.
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Ingen
Beskrivelse
Inklusionskriterier:
- Alle konsekutivt udskrevne patienter, inklusive dem som døde under indlæggelsen, vil være berettigede til inklusion.
Eksklusionskriterier:
- Ingen eksklusionskriterier
Studieplan
Dette afsnit indeholder detaljer om studieplanen, herunder hvordan undersøgelsen er designet, og hvad undersøgelsen måler.
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Sundhedstjenesteforskning
- Tildeling: Randomiseret
- Interventionel model: Parallel tildeling
- Maskning: Enkelt
Våben og indgreb
Deltagergruppe / Arm |
Intervention / Behandling |
|---|---|
|
Eksperimentel: LLM-assisteret
Interventionen består af en LLM-assisteret arbejdsproces til at generere hospitalsforløbsresuméet ved udskrivelse.
Den behandlende læge påbegynder udskrivelsen ved hjælp af en applikation - CorteVision Hospital Suite - forbundet til hospitalets Informix-database.
Outputtet fra modellen - den genererede kladde - returneres til applikationsgrænsefladen, hvor den behandlende læge gennemgår og eventuelt redigerer, retter, udvider eller forkorter teksten før endelig afslutning.
Det endelige hospitalsforløbsresumé indføres i journalen først efter lægens gennemgang og bekræftelse.
|
Interventionen består af en LLM-assisteret arbejdsgang til at generere sammenfatningen af forløbet på hospitalet ved udskrivelsen.
Den behandlende læge igangsætter udskrivelsen ved hjælp af en applikation - CorteVision Hospital Suite - forbundet til hospitalets Informix-database.
Outputtet fra modellen - den genererede kladde - returneres til applikationsgrænsefladen, hvor den behandlende læge gennemgår og eventuelt redigerer, korrigerer, udvider eller forkorter teksten før endelig afslutning.
Den endelige sammenfatning af forløbet på hospitalet indføres kun i journalen efter lægens gennemgang og bekræftelse.
|
|
Ingen indgriben: Kontrol
Standard, manuel generering af hospitalsforløbsresumé manuelt af ansvarlig læge.
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Sikkerhed vurderet af resultatevaluator på en ordinalskala (1,2,3)
Tidsramme: Vurdering på ét tidspunkt - hospitalsudskrivelse (op til 5 dage)
|
Sikkerheden vil blive vurderet ved hjælp af en ordinal skala, der spænder fra "acceptabel uden yderligere ændringer", over "acceptabel med mindre revisioner", til ikke "uacceptabel i sin nuværende form" (en kombination af enten fravær af vigtig information eller tilstedeværelse af forkert/hallucineret information)
|
Vurdering på ét tidspunkt - hospitalsudskrivelse (op til 5 dage)
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Sikkerheden af de redigerede og uredigerede LLM-genererede kursusoversigter evalueret på en ordinal skala (1,2,3)
Tidsramme: Ved hospitalsudskrivelse (op til 5 dage)
|
Sikkerhed af LLM-genererede, lægepraktikant-redigerede og ikke-redigerede hospitalsforløbsoversigter sammenlignet med standard specialistforfattet dokumentation.
Sikkerhed vil blive vurderet ved hjælp af en 3-kategorier ordinær skala fra "acceptabel uden yderligere ændringer" (bedste resultat), over "acceptabel med mindre revisioner" (usikkert resultat), til "ikke uacceptabel i sin nuværende form" (manglende vigtig information eller tilstedeværelse af forkert/hallucineret information; værst tænkelige resultat)
|
Ved hospitalsudskrivelse (op til 5 dage)
|
|
Sekundært udfald: Indholdsvaliditet på tværs af følgende foruddefinerede domæner (5C).
Tidsramme: Ved udskrivning fra hospitalet (op til 5 dage)
|
Sekundære udfaldsmål: detaljeret evaluering af kvalitet på tværs af følgende foruddefinerede domæner (5C): fuldstændighed, kortfattethed, sammenhængskraft, fravær af kritiske fejl (inklusive hallucinationer) samt kulturel og sproglig troværdighed.
Enkelte domæner vil blive separat vurderet ved hjælp af en 5-punkts Likert-skala, (1 - fuldstændig mangel på enighed, 2 - delvis mangel på enighed, 3 - neutral enighed, 4- delvis enighed, 5- fuldstændig enighed)
|
Ved udskrivning fra hospitalet (op til 5 dage)
|
|
Tid til udarbejdelse af hospitalsresumé (sekunder)
Tidsramme: Ved hospitalsudskrivelse (op til 5 dage)
|
Arbejdsgangsrelaterede sekundære resultater inkluderer tidsmæssig effektivitet af hospitalsforløbsdokumentation ved brug af den LLM-genererede arbejdsgang sammenlignet med standardpraksis.
Resultatmålet vil være den tid, det tager at fuldføre hospitalsforløbsopsummeringen (sekunder), fra start af udskrivelse til "klar til underskrift".
|
Ved hospitalsudskrivelse (op til 5 dage)
|
|
Generationsstabilitet vurderet på en ordinal skala (1,2,3)
Tidsramme: Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
Genereringsstabilitet vil vurdere konsistensen af LLM-genererede, uredigerede hospitalsforløbsopsummeringer, når modellen anvendes gentagne gange på identisk kildeklinisk dokumentation.
Genereringsstabilitet vil blive evalueret af den samme bedømmer på en skala fra 1 - stabil, 2 - acceptabel variation, 3 - uacceptabel variation
|
Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
|
Implementering. Andel af hospitalsudskrivelser, hvor LLM-genereret behandlingsforløbsresumé blev anvendt.
Tidsramme: Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
Efter gennemførelsen af den randomiserede kontrollerede undersøgelse vil implementeringen af den LLM-genererede arbejdsproces blive evalueret over en én-måneds periode.
Resultatmålet vil blive defineret som andelen af kvalificerede udskrivninger, hvor LLM-afledt resumégenerering blev anvendt. |
Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
|
Interbedømmers pålidelighed. Procentvis overensstemmelse mellem to bedømmere af en hospitalsforløbsopsummering angående sikkerheds- og indholdsmæssige gyldighedsvurderinger.
Tidsramme: Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
Pålidelighedsrelaterede resultater vil vurdere konsistensen af ekspertvurderinger af hospitalsforløbsresuméer.
Procentdel vil kvantificere overensstemmelsen mellem evaluatorer vedrørende sikkerheds- og indholdsgydighedsvurderinger.
|
Fra hospitalsudskrivelse til 30 dage efter hospitalsudskrivelse
|
|
Intra-rater pålidelighed. Overensstemmelse af sikkerheds- og indholdsgydighedsvurderinger mellem to evalueringer af samme hospitalsforløb og samme bedømmer.
Tidsramme: Ved hospitalsudskrivelse (op til 5 dage)
|
Intra-rater reliabilitet vil kvantificere konsistensen af gentagne evalueringer udført af samme evaluator baseret på overensstemmelsen af sikkerheds- og indholdsgydighedsvurderinger (procentdelen af overensstemmelse)
|
Ved hospitalsudskrivelse (op til 5 dage)
|
|
Temporal stabilitet (test-retest pålidelighed) - overensstemmelse mellem vurderingerne fra samme bedømmelsesudvalg efter udvaskeperiode.
Tidsramme: 30 dage efter hospitalsudskrivning
|
Temporal stabilitet af evaluators vurderinger vil blive vurderet gennem gentagen evaluering af identiske hospitalsforløbsoversigter af samme evaluator efter en foruddefineret 30-dages washout-periode (test-retest pålidelighed).
Resultatmål vil være baseret på overensstemmelsen af sikkerheds- og indholdsmæssige validitetsvurderinger (procentdel)
|
30 dage efter hospitalsudskrivning
|
Samarbejdspartnere og efterforskere
Det er her, du vil finde personer og organisationer, der er involveret i denne undersøgelse.
Sponsor
Samarbejdspartnere
Efterforskere
- Ledende efterforsker: Jakub Gazda, MD, PhD, Pavol Jozef Safarik University
Publikationer og nyttige links
Den person, der er ansvarlig for at indtaste oplysninger om undersøgelsen, leverer frivilligt disse publikationer. Disse kan handle om alt relateret til undersøgelsen.
Generelle publikationer
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Datoer for undersøgelser
Disse datoer sporer fremskridtene for indsendelser af undersøgelsesrekord og resumeresultater til ClinicalTrials.gov. Studieregistreringer og rapporterede resultater gennemgås af National Library of Medicine (NLM) for at sikre, at de opfylder specifikke kvalitetskontrolstandarder, før de offentliggøres på den offentlige hjemmeside.
Studer store datoer
Studiestart (Anslået)
1. juni 2026
Primær færdiggørelse (Anslået)
31. december 2026
Studieafslutning (Anslået)
31. december 2027
Datoer for studieregistrering
Først indsendt
25. februar 2026
Først indsendt, der opfyldte QC-kriterier
19. marts 2026
Først opslået (Faktiske)
24. marts 2026
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
30. marts 2026
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
25. marts 2026
Sidst verificeret
1. marts 2026
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
- 2IK2026_1
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
UBESLUTET
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Ingen
Studerer et amerikansk FDA-reguleret enhedsprodukt
Ingen
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .