La precisione e l'efficacia dei riassunti del decorso ospedaliero scritti da modelli linguistici di grandi dimensioni (CLEAN)
Impatto sulla Sicurezza e sul Flusso di Lavoro dei Riassunti del Decorso Ospedaliero Assistiti da Modelli Linguistici di Grandi Dimensioni: Protocollo per uno Studio Randomizzato, in Singolo Cieco per il Valutatore, di Non Inferiorità
Panoramica dello studio
Stato
Stato
Condizioni
Condizioni
Intervento / Trattamento
Intervento / Trattamento
Descrizione dettagliata
Tipo di studio
Tipo di studio
Iscrizione (Stimato)
Iscrizione
Fase
Fase
- Non applicabile
Contatti e Sedi
Contatto studio
Contatto studio
- Nome: Jakub Gazda, MD, PhD
- Numero di telefono: +421556403517
- Email: jakub.gazda@upjs.sk
Backup dei contatti dello studio
- Nome: Martin Janicko, MD, PhD
- Numero di telefono: +421556403527
- Email: martin.janicko@upjs.sk
Luoghi di studio
-
-
Košice Region
-
Košice, Košice Region, Slovacchia, 04001
- Louis Pasteur University Hospital Kosice
-
-
Criteri di partecipazione
Criteri di ammissibilità
Criteri di ammissibilità
Età idonea allo studio
- Adulto
- Adulto più anziano
Accetta volontari sani
Descrizione
Criteri di inclusione:
- Tutti i pazienti dimessi consecutivamente, compresi quelli deceduti durante il ricovero, saranno idonei all'inclusione.
Criteri di esclusione:
- Nessun criterio di esclusione
Piano di studio
Come è strutturato lo studio?
Dettagli di progettazione
- Scopo principale: Ricerca sui servizi sanitari
- Assegnazione: Randomizzato
- Modello interventistico: Assegnazione parallela
- Mascheramento: Separare
Numero di armi
Armi e interventi
Gruppo di partecipanti / ArmGruppo di partecipanti / Arm |
Intervento / TrattamentoIntervento / Trattamento |
|---|---|
|
Sperimentale: Assistito da LLM
L'intervento consiste in un flusso di lavoro assistito da un LLM per generare il riepilogo del decorso ospedaliero alla dimissione.
Il medico curante avvia la dimissione utilizzando un'applicazione - CorteVision Hospital Suite - connessa al database Informix dell'ospedale.
L'output del modello - la bozza generata - viene restituito all'interfaccia dell'applicazione, dove il medico curante la esamina e può modificare, correggere, espandere o abbreviare il testo prima della finalizzazione.
Il riepilogo finale del decorso ospedaliero viene inserito nella cartella clinica solo dopo la revisione e la conferma del medico.
|
L'intervento consiste in un flusso di lavoro assistito da LLM per generare il riepilogo del decorso ospedaliero alla dimissione.
Il medico curante avvia la dimissione utilizzando un'applicazione - CorteVision Hospital Suite - connessa al database Informix dell'ospedale.
L'output del modello - la bozza generata - viene restituito all'interfaccia dell'applicazione, dove il medico curante rivede e può modificare, correggere, espandere o abbreviare il testo prima della finalizzazione.
Il riepilogo finale del decorso ospedaliero viene inserito nella cartella clinica solo dopo la revisione e la conferma del medico.
|
|
Nessun intervento: Controllo
Generazione standard e manuale del riepilogo del decorso ospedaliero effettuata manualmente dal medico responsabile.
|
Cosa sta misurando lo studio?
Misure di risultato primarie
Misure di risultato primarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Sicurezza valutata dal valutatore dei risultati su una scala ordinale (1,2,3)
Lasso di tempo: Valutazione in un unico momento - dimissione ospedaliera (fino a 5 giorni)
|
La sicurezza sarà valutata utilizzando una scala ordinale che va da "accettabile senza ulteriori modifiche", passando per "accettabile con revisioni minori", fino a "non accettabile nella sua forma attuale" (una combinazione di assenza di informazioni importanti o presenza di informazioni errate/hallucinate)
|
Valutazione in un unico momento - dimissione ospedaliera (fino a 5 giorni)
|
Misure di risultato secondarie
Misure di risultato secondarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Sicurezza dei riassunti del corso generati da LLM modificati e non modificati valutati su una scala ordinale (1,2,3)
Lasso di tempo: Alla dimissione ospedaliera (fino a 5 giorni)
|
Sicurezza dei riassunti del decorso ospedaliero generati da LLM, modificati dai residenti e non modificati rispetto alla documentazione standard scritta da specialisti.
La sicurezza sarà valutata utilizzando una scala ordinale di 3 categorie che va da "accettabile senza ulteriori modifiche" (miglior esito), passando per "accettabile con revisioni minori" (esito incerto), fino a "non accettabile nella sua forma attuale" (assenza di informazioni importanti o presenza di informazioni errate/allucinate; peggior esito)
|
Alla dimissione ospedaliera (fino a 5 giorni)
|
|
Secondary outcome: Validità del contenuto attraverso i seguenti domini predefiniti (5C).
Lasso di tempo: Alla dimissione dall'ospedale (fino a 5 giorni)
|
Misure degli esiti secondari: valutazione dettagliata della qualità attraverso i seguenti domini predefiniti (5C): completezza, concisione, coesione, assenza di errori critici (incluse allucinazioni) e fedeltà culturale e linguistica.
I singoli domini saranno valutati separatamente utilizzando una scala Likert a 5 punti (1 - completa assenza di accordo, 2 - parziale assenza di accordo, 3 - accordo neutrale, 4 - accordo parziale, 5 - accordo completo)
|
Alla dimissione dall'ospedale (fino a 5 giorni)
|
|
Tempo per completare il riepilogo ospedaliero (secondi)
Lasso di tempo: Al momento della dimissione ospedaliera (fino a 5 giorni)
|
Gli esiti secondari relativi al flusso di lavoro includono l'efficienza temporale della documentazione del percorso ospedaliero quando si utilizza il flusso di lavoro generato da LLM rispetto alla pratica standard.
La misura dell'esito sarà il tempo impiegato per completare il riepilogo del percorso ospedaliero (secondi), dall'avvio della dimissione a "pronto per la firma".
|
Al momento della dimissione ospedaliera (fino a 5 giorni)
|
|
Stabilità della generazione valutata su scala ordinale (1,2,3)
Lasso di tempo: Dal momento della dimissione dall'ospedale fino a 30 giorni dopo la dimissione dall'ospedale
|
La stabilità di generazione valuterà la coerenza dei riassunti del decorso ospedaliero generati da LLM e non modificati quando il modello viene applicato ripetutamente a documentazione clinica di origine identica.
La stabilità di generazione sarà valutata dallo stesso giudice su una scala da 1 - stabile, 2 - variazione accettabile, 3 - variazione inaccettabile
|
Dal momento della dimissione dall'ospedale fino a 30 giorni dopo la dimissione dall'ospedale
|
|
Adozione. Percentuale di dimissioni ospedaliere in cui è stato utilizzato il riepilogo del decorso clinico generato dal LLM.
Lasso di tempo: Dalla dimissione ospedaliera fino a 30 giorni dopo la dimissione ospedaliera
|
Dopo il completamento della sperimentazione controllata randomizzata, l'adozione del flusso di lavoro generato dall'LLM sarà valutata nel corso di un mese.
La misura dell'esito sarà definita come la proporzione di dimissioni eleggibili per le quali è stata utilizzata la generazione di riepiloghi derivati dall'LLM. |
Dalla dimissione ospedaliera fino a 30 giorni dopo la dimissione ospedaliera
|
|
Affidabilità inter-giudice. Percentuale di accordo tra due valutatori di un riassunto del percorso ospedaliero sulle valutazioni di sicurezza e validità dei contenuti.
Lasso di tempo: Dal momento della dimissione ospedaliera fino a 30 giorni dopo la dimissione ospedaliera
|
Gli esiti relativi all'affidabilità valuteranno la coerenza delle valutazioni degli esperti sui riepiloghi del decorso ospedaliero.
La percentuale quantificherà la concordanza tra i valutatori sulle valutazioni di sicurezza e validità dei contenuti.
|
Dal momento della dimissione ospedaliera fino a 30 giorni dopo la dimissione ospedaliera
|
|
Affidabilità intra-osservatore. Concordanza delle valutazioni di sicurezza e validità dei contenuti tra due valutazioni dello stesso percorso ospedaliero e dello stesso giudice.
Lasso di tempo: Alla dimissione ospedaliera (fino a 5 giorni)
|
L'affidabilità intra-valutatore quantificherà la coerenza delle valutazioni ripetute da parte dello stesso valutatore in base alla concordanza delle valutazioni di sicurezza e validità dei contenuti (percentuale di accordo)
|
Alla dimissione ospedaliera (fino a 5 giorni)
|
|
Stabilità temporale (affidabilità test-retest) - concordanza tra le valutazioni dello stesso giudicatore dopo il periodo di washout.
Lasso di tempo: 30 giorni dopo la dimissione ospedaliera
|
La stabilità temporale dei giudizi degli valutatori sarà valutata attraverso la ripetuta valutazione di identici riassunti del decorso ospedaliero da parte dello stesso valutatore dopo un periodo di washout predefinito di 30 giorni (affidabilità test-retest).
Le misure di esito si baseranno sulla concordanza delle valutazioni di sicurezza e validità dei contenuti (percentuale)
|
30 giorni dopo la dimissione ospedaliera
|
Collaboratori e investigatori
Sponsor
Sponsor
Collaboratori
Collaboratori
Investigatori
Investigatori
- Investigatore principale: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
Pubblicazioni e link utili
Pubblicazioni generali
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
Studiare le date dei record
Studia le date principali
Inizio studio (Stimato)
Inizio studio
Completamento primario (Stimato)
Completamento primario
Completamento dello studio (Stimato)
Completamento dello studio
Date di iscrizione allo studio
Primo inviato
Primo inviato
Primo inviato che soddisfa i criteri di controllo qualità
Primo inviato che soddisfa i criteri di controllo qualità
Primo Inserito (Effettivo)
Primo Inserito
Aggiornamenti dei record di studio
Ultimo aggiornamento pubblicato (Effettivo)
Ultimo aggiornamento pubblicato
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo verificato
Ultimo verificato
Maggiori informazioni
Termini relativi a questo studio
Parole chiave
Altri numeri di identificazione dello studio
Altri numeri di identificazione dello studio
- 2IK2026_1
Piano per i dati dei singoli partecipanti (IPD)
Hai intenzione di condividere i dati dei singoli partecipanti (IPD)?
Informazioni su farmaci e dispositivi, documenti di studio
Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti
Studia un dispositivo regolamentato dalla FDA degli Stati Uniti
Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .