Il feedback da un modello linguistico di grandi dimensioni può migliorare la qualità dell'assistenza sanitaria?

Sperimentale: Valutazione clinica con e senza LLMS

Gli investigatori impiegano un design all'interno dei pazienti. I pazienti ricevono due valutazioni sequenziali da un lavoratore di estensione della salute della comunità: prima senza e poi con assistenza del modello linguistico di grandi dimensioni.

Altro: Modello di linguaggio di grandi dimensioni Supporto di decisione clinica

Un modello di grande lingua (LLM) integrato nel sistema di cartelle cliniche elettroniche della clinica fornisce un feedback in tempo reale sulle valutazioni dei pazienti. I lavoratori della Community Health Extension creano innanzitutto una nota SOAP standard, inviarla all'LLM e ricevono feedback dettagliati e raccomandazioni chiave. Possono quindi aggiornare la loro valutazione in base a questo feedback. Tutte le decisioni di trattamento finale sono prese da funzionari medici che valutano indipendentemente i pazienti.

Indicatore per un errore nel piano di trattamento (con il potenziale per il danno)

Durante la valutazione della nota SOAP, al MO viene chiesto di indicare se il piano di trattamento per il paziente contiene errori, condizionati per la diagnosi del MO. Questo è codificato come 1 se il MO indica che c'è un errore e 0 altrimenti.

Il testo introduttivo (qui per SOAP Note A) è: Valuta se il trattamento in sapone A è appropriato per le condizioni di questo paziente. Si prega di basare questo sulla tua stessa diagnosi, non la diagnosi della masticazione in SOAP Note A.

Questo è seguito dalla domanda: il piano di trattamento per il paziente in SOAP Nota è completamente appropriata data la propria diagnosi (contabilità per trattamenti condizionali basati su test medici)? Rispondi "No" se il paziente deve ricevere cure mediche diverse data la diagnosi. Ciò può includere sia differenze minori (ad esempio, il paziente dovrebbe essere consigliato di riposare) e errori principali (ad esempio, il paziente dovrebbe ricevere un insieme completamente diverso di farmaci). (Opzioni di risposta: sì/no/incerto)

Indicatore di un errore nel piano di trattamento che provoca una perdita di almeno X Giorni di vita corretti di qualità

Questa variabile è codificata come 1 se il MO indica che esiste un tale errore e 0 altrimenti. X è definito come il benchmark più alto sulla scala DALY appropriata in modo che almeno il 5% dei pazienti abbia un errore che grande nella nota di sapone non assistita. In altre parole, errori gravi sono errori che generano una valutazione del danno pari o superiore al 95 ° percentile di danno sulla scala non assistita (raggruppare le scale per bambini e adulti).

Indicatore per il migliore piano di trattamento (come determinato dal MOS)

Sulla base della valutazione DALY della nota SOAP A vs. B (istanze di conteggio senza errori come 0 perdita di Daly), l'indicatore è codificato come 1 se la nota SOAP ha il migliore piano di trattamento (minore perdita DALY) e 0 se MOS giudica entrambi Le note sono le stesse in risposta alla seguente domanda: ci sono differenze significative nei piani di trattamento della nota di sapone A e B?

Indicatore per se il trattamento è coerente con uno "standard di cura" predeterminato

I pazienti a rischio ricevono la malaria, l'anemia e lo screening UTI in conformità con determinati criteri demografici. Un set di dati viene quindi costruito con un'osservazione per ciascuno (paziente, test di screening, nota), fino a sei per paziente.

L'indicatore del trattamento errata registra se un paziente è stato trattato erroneamente per una condizione in base al risultato del test o alla mancanza di sintomi. La variabile è codificata come 1 se il paziente è risultato positivo e ha ricevuto un trattamento inappropriato o nessun. È inoltre codificato come 1 se il paziente è stato testato negativo o non è stato testato in base allo schermo dei sintomi ma ha ricevuto il trattamento per la condizione. La variabile è codificata come 0 solo se il paziente è stato testato negativo e non è stato trattato correttamente per la condizione corrispondente o se è stato testato positivo e ha ricevuto il trattamento corretto.

Indicatori che indicano la diagnosi e l'allineamento del trattamento tra masticazioni e MOS

Per ogni farmaco nel piano di trattamento della masticazione, esiste una "indicazione clinica" (la diagnosi associata al farmaco) insieme a un indicatore che specifica se una determinata prescrizione è subordinata al risultato di un test medico. Il team di ricerca prenderà in considerazione tre indicatori di una partita:

• Qualsiasi corrispondenza del contenuto del campo "indicazione clinica" attraverso i farmaci;
• Qualsiasi corrispondenza del contenuto del campo "farmaco" attraverso le indicazioni, incluso se il farmaco è condizionale in un test o meno;
• una corrispondenza sia di farmaci che di indicazione (e condizionalità di prova).

Indicatori alternativi per la cattiva allocazione del trattamento

Il team di ricerca costruirà i seguenti indicatori di errata allocazione del trattamento:

• Errata allocazione dovuta alla sovrascrizione: viene trattata una condizione che il paziente è confermato non avere
• Misallocazione errata dovuta alla sottoscrizione: una condizione che il paziente è confermato non viene trattata
• La disalluzione errata dovuta a dosaggio e scelta del farmaco errata: una condizione che il paziente ha viene trattata ma il dosaggio o il farmaco scelto è inappropriato.

Relazione tra perdita di QALY e gravità della condizione del paziente

Nei pazienti con solo malattie lievi, l'ambito per la perdita di QALY dagli errori può essere limitato rispetto ai pazienti con malattie più gravi.

Con questo in mente, la perdita di QALY è regredita sugli indicatori per malattie lievi, moderate e gravi (come valutato dal MO) ciascuna interagita con l'indicatore di nota assistita, controllando gli effetti fissi del paziente. I risultati verranno mostrati graficamente.

Indicatori per l'adeguatezza delle decisioni di test medici

La potenziale errata allocazione dei test medici è reso operativo in due modi:

1. Per ogni tipo di test, il team di ricerca costruirà un indicatore che viene codificato come 1 se la masticazione consiglia di condurre un test che risulta essere negativo e un secondo indicatore che è 1 se la mastica trascura di richiedere un test che risulta Sii positivo.
2. In secondo luogo, il team di ricerca costruirà un indicatore a livello di (paziente, test, nota) che misura se la masticazione e il MO hanno richiesto lo stesso o un test medico comparabile (ad esempio la masticazione ha richiesto un RDT di malaria mentre il MO ha richiesto un sangue di malaria. ).

Combinando questi indicatori, si verifica una mancata corrispondenza se e solo se: i) non è stato richiesto un test dalla masticazione ma è stato positivo o ii) il test è stato richiesto dalla mastica Mo.

Media e distribuzione di Daly perduto

L'effetto dell'assistenza LLM Daly Lost viene misurato direttamente anziché indirettamente (come nella probabilità di errore ed errore grave, la cui nota è la nota migliore). Nei risultati verrà anche mostrata la distribuzione completa delle valutazioni Daly per le note assistite e non assistite.

MO Valutazione delle note di sapone: deviazioni dal sapone del MO

Il MO è chiesto di valutare per ciascuna nota SOAP se i test medici ordinati erano necessari o clinicamente utili, se mancano o non necessarie diagnosi e non necessarie e non necessarie elementi del piano di trattamento e errati/non necessari.

MO Valutazione delle note SOAP: tipi di danni sostenuti

Al MO è chiesto di valutare eventuali danni a breve termine (ulteriori sintomi o disagio per un certo periodo) e qualsiasi danno grave a lungo termine (rischio di compromissione, morte ecc.) Dal piano di trattamento nella nota di sapone.

MO Valutazione delle note di sapone: misurare il tempo sano perso in Daly

Il MO fornisce anche una valutazione complessiva che intende riflettere il "tempo sano perso" da eventuali errori nel trattamento nella nota di sapone. Per ogni valutazione e piano costruiti da una masticazione (con o senza consulenza LLM), un MO valuterà la grandezza prevista di vita sana che andrebbe persa se il piano di masticazione fosse implementato al posto del piano del MO.

Valutazione MD di MASSE E MODE: ERRORE MO Flaging

In un primo passo, esamineranno solo le note MO e registreranno se si verifica alcun errore nella diagnosi o nel trattamento proposto nella nota condizionale o nella nota finale. Se viene identificato un errore, l'MDS valuterà l'errore per gravità per distinguere gli errori medici dalle differenze di opinione su un paziente che non è presente.

Valutazione di MD di MASSE E MO NOTE: Valutazione delle note SOAP

Al MD viene chiesto di valutare eventuali danni a breve termine (ulteriori sintomi o disagio per un certo periodo) e qualsiasi danno grave a lungo termine (rischio di compromissione, morte ecc.) Dal piano di trattamento nella nota di sapone.

L'MD fornisce anche una valutazione complessiva che intende riflettere il "tempo sano perso" da eventuali errori nel trattamento nella nota di sapone. Per ogni valutazione e piano costruiti da una masticazione (con o senza consulenza LLM), un MO valuterà la grandezza prevista di vita sana che andrebbe persa se il piano di masticazione fosse implementato al posto del piano del MO. Il tempo sano è misurato in unità dell'anno di vita regolate dalla disabilità (Dalys), che riflettono sia la lunghezza che la qualità della vita.

Valutazione MD di MASSIONE E MO NOTE: LLM Review

L'MDS esaminerà anche il feedback LLM e risponderà alle seguenti domande:

"La masticazione ha seguito tutti, alcuni o nessuno dei consigli LLM?" Se un po 'o nessuno: "Immagina che la masticazione avesse seguito tutte le raccomandazioni dell'LLM. Il piano di trattamento risultante sarebbe un miglioramento rispetto alla loro nota assistita? "(SÌ/NO) Se sì:" Si prega di spiegare. "" "L'LLM ha commesso errori?" (Sì/No) Se sì: "Qualche aspetto del piano di trattamento assistito della masticazione è peggiore del piano non assistito perché la masticazione ha seguito la raccomandazione errata dell'LLM?" Se sì: "Si prega di spiegare.

Indicatore per l'adeguatezza delle decisioni di triage

Per ciascuno (paziente, nota), un indicatore registra se la decisione di triage masticata (un intento al triage indicato nella nota SOAP) e il MO hanno suggerito una decisione di triage allineate.