Může zpětná vazba z modelu velkého jazyka zlepšit kvalitu zdravotní péče?

Experimentální: Klinické hodnocení s LLM a bez něj

Vyšetřovatelé využívají design uvnitř pacientů. Pacienti dostávají dvě sekvenční hodnocení od pracovníka pro rozšíření zdraví komunity: nejprve bez a poté s pomocí velké pomoci.

Jiný: Podpora klinického rozhodování s velkým jazykem

Velký jazykový model (LLM) integrovaný do elektronického systému lékařských záznamů kliniky poskytuje zpětnou vazbu k hodnocení pacientů v reálném čase. Pracovníci pro rozšíření zdraví komunity nejprve vytvořili standardní poznámku mýdla, odeslali ji LLM a dostávají podrobná zpětná vazba a klíčová doporučení. Na základě této zpětné vazby pak mohou své hodnocení aktualizovat. Všechna konečná rozhodnutí o léčbě jsou učiněna lékaři, kteří nezávisle hodnotí pacienty.

Indikátor chyby v léčebném plánu (s potenciálem poškození)

Během vyhodnocení mýdlové poznámky je požádán MO, aby naznačil, zda léčebný plán pro pacienta obsahuje jakékoli chyby, podmíněné vlastní diagnózou MO. To je kódováno jako 1, pokud MO označuje, že dojde k chybě a 0 jinak.

Úvodní text (zde pro mýdlo Poznámka A) je: Vyhodnoťte prosím, zda je pro stav tohoto pacienta vhodná ošetření v mýdlové poznámce A. Založte to prosím na své vlastní diagnóze, nikoli na diagnóze žvýkání v mýdlové poznámce A.

Následuje otázka: Je léčebný plán pro pacienta v mýdlové poznámce zcela vhodný vzhledem k vaší vlastní diagnóze (účtování podmíněných ošetření založených na lékařských testech)? Odpověď „ne“, pokud by pacient měl dostávat odlišnou lékařskou péči vzhledem k vaší diagnóze. To může zahrnovat jak menší rozdíly (například pacient by měl být doporučen odpočinek), tak hlavní chyby (například pacient by měl dostávat úplně jinou sadu léků). (Možnosti odpovědi: ano/ne/nejisté)

Indikátor chyby v léčebném plánu, který způsobuje ztrátu nejméně x kvalitních životních dnů

Tato proměnná je kódována jako 1, pokud MO označuje, že dojde k takové chybě a 0 jinak. X je definováno jako nejvyšší měřítko v příslušné stupnici DALY, takže alespoň 5% pacientů má chybu tak velkou v nestaistované mýdlové poznámce. Jinými slovy, závažné chyby jsou jakékoli chyby, které generují hodnocení škod při nebo nad 95. percentil poškození v bezstarostném měřítku (sdružování měřítka dětí a dospělých).

Indikátor pro lepší léčebný plán (jak je určeno MOS)

Na základě hodnocení mýdla DALY poznámka mýdla A vs. B (instance počítání bez chyb jako 0 ztráty Daly) je indikátor kódován jako 1, pokud má poznámka mýdla lepší léčebný plán (nižší ztráta daly) a 0, pokud MOS soudí oba Poznámky k tomu, aby byly stejné v reakci na následující otázku: Existují nějaké smysluplné rozdíly v léčebných plánech mýdla A a B?

Indikátor, zda je léčba v souladu s předem určeným „standardem péče“

V ohrožení pacienti dostávají screening malárie, anémie a UTI v souladu s určitými demografickými kritérii. Datový soubor je poté zkonstruován s jedním pozorováním pro každého (pacienta, screeningový test, poznámka) až šest na pacienta.

Indikátor nesprávné přidělování léčby zaznamenává, zda byl pacient nesprávně léčen pro stav založený na výsledku testu nebo nedostatku příznaků. Proměnná je kódována jako 1, pokud pacient testoval pozitivní a buď nedostal nevhodnou nebo žádnou léčbu. Je také kódován jako 1, pokud pacient testoval negativní nebo nebyl testován na základě obrazovky symptomů, ale byl podroben léčbě stavu. Proměnná je kódována pouze jako 0, pokud pacient testoval negativní a nebyl správně ošetřen pro odpovídající stav, nebo pokud testoval pozitivní a dostával správné ošetření.

Indikátory označující diagnózu a zarovnání léčby mezi žvýkáním a MOS

Pro každý lék v léčebném plánu žvýkání existuje „klinická indikace“ (diagnóza spojená s lékem) spolu s indikátorem, který specifikuje, zda je daný předpis podmíněný výsledkem lékařského testu. Výzkumný tým zváží tři ukazatele zápasu:

• jakákoli shoda obsahu pole „klinická indikace“ napříč léky;
• Jakákoli shoda obsahu pole „léčby“ napříč indikacemi, včetně toho, zda je lék podmíněný testem nebo ne;
• shoda léků i indikací (a testovací podmíněnosti).

Alternativní ukazatele pro nesprávné přiřazení léčby

Výzkumný tým vytvoří následující ukazatele nesprávné přidělování léčby:

• Misová přidělování způsobené nadpříknutím: je léčena podmínka, že je pacient potvrzen, že nemá
• Miscalocation kvůli podpisovému předpisu: Podmínka, o které je pacient potvrzen, že nemá léčbu
• Miscalocation v důsledku nesprávného dávkování nebo výběru léčiva: Podmínka, kterou pacient má, je léčen, ale vybraný dávkování nebo zvolený lék je nevhodný.

Vztah ztráty QALY k závažnosti stavu pacienta

U pacientů s pouze mírnými onemocněními může být rozsah ztráty QALY z chyb omezený ve srovnání s pacienty s závažnějšími onemocněními.

S ohledem na to je ztráta QALY regresována na indikátorech mírných, středních a závažných onemocnění (jak je hodnoceno MO), každá interagovala s indikátorem asistované poznámky a kontrolovala fixní účinky pacienta. Výsledky budou zobrazeny graficky.

Ukazatele přiměřenosti rozhodnutí o lékařském testování

Potenciální nesprávné přiřazení lékařského testování je provozováno dvěma způsoby:

1. Pro každý typ testu bude výzkumný tým sestavit ukazatel, který je kódován jako 1, pokud žvýkání doporučuje provést test, který se ukáže jako záporné, a druhý ukazatel, který je 1, pokud se žvýkání zanedbává na žádost o test, který se ukáže být pozitivní.
2. Zadruhé, výzkumný tým postaví ukazatel na úrovni (pacienta, test, poznámka), který měří, zda žvýkání a MO požadovaly stejný nebo srovnatelný lékařský test (např. Chew požádal o malárii RDT, zatímco MO požádala o Malaria Bloodshear ).

Kombinace těchto ukazatelů dochází k nesouladu, pokud a pouze tehdy, pokud buď: i) test nebyl požadován žvýkáním, ale byl pozitivní, nebo ii) test byl požadován žvýkáním, ale výsledek byl negativní a žádný ekvivalentní test nebyl nařízen Mo.

Průměr a distribuce Daly ztratila

Účinek LLM pomoci ztraceného Dalyho se měří přímo spíše než nepřímo (jako s pravděpodobností chyby a závažné chyby, což je poznámka lepší poznámka). Ve výsledcích bude také uvedena úplná distribuce hodnocení DALY pro asistované a nestapované poznámky.

MO vyhodnocení poznámek mýdla: odchylky od mýdla Mo

MO je požádán, aby pro každou mýdlovou poznámku posoudil, zda jsou nařízeny lékařské testy nezbytné nebo klinicky užitečné, zda chybí nebo nesprávné/zbytečné diagnózy a zda existují chybějící nebo nesprávné/zbytečné prvky léčby.

MO Hodnocení poznámek mýdla: Druhy vzniklé poškození

Mo je požádán o posouzení jakékoli krátkodobé újmy (další příznaky nebo nepohodlí po určitou dobu) a jakékoli dlouhodobé vážné poškození (riziko poškození, smrt atd.) Z plánu léčby v notě mýdla.

MO Hodnocení poznámky mýdla: Měření zdravého času ztraceného v Daly

MO také poskytuje celkové hodnocení, které má odrážet „zdravý čas ztracený“ z jakýchkoli chyb v léčbě v mýdlové notě. Pro každé posouzení a plán vytvořený žvýkací (s radou LLM nebo bez LLM) posoudí očekávanou velikost zdravého života, která by byla ztracena, kdyby byl namísto plánu MO proveden plán žvýkání.

Hodnocení MD Poznámky k žvýkání a MO: Chyba vlajky MO

V prvním kroku zkontrolují pouze poznámky MO a zaznamenají, zda dojde k nějaké chybě v diagnostice nebo léčbě navržené v podmíněné poznámce nebo v závěrečné poznámce. Pokud je identifikována chyba, MDS ohodnotí chybu závažností, aby odlišila lékařské chyby od rozdílů v názorech na pacienta, který není přítomen.

Hodnocení MD Poznámky k Chew a MO: Rating noty SOAP

MD je požádán o posouzení jakékoli krátkodobé újmy (další příznaky nebo nepohodlí po určitou dobu) a jakékoli dlouhodobé vážné poškození (riziko zhoršení, smrt atd.) Z plánu léčby v mýdlové poznámce.

MD také poskytuje celkové hodnocení, které má odrážet „Zdravý čas ztracený“ z jakýchkoli chyb v léčbě v mýdlové notě. Pro každé posouzení a plán vytvořený žvýkací (s radou LLM nebo bez LLM) posoudí očekávanou velikost zdravého života, která by byla ztracena, kdyby byl namísto plánu MO proveden plán žvýkání. Zdravý čas se měří v jednotkách roku životního roku upraveného v postižení (DALYS), které odrážejí délku i kvalitu života.

Hodnocení MD MD Poznámky k Chew a MO: Recenze LLM

MDS také zkontroluje zpětnou vazbu LLM a odpoví na následující otázky:

"Sledoval žvýkání všeho, některé nebo žádné z doporučení LLM?" Pokud někteří nebo žádný: „Představte si, že žvýkání dodržovalo všechna doporučení LLM. Byl by výsledný léčebný plán zlepšením oproti jejich asistované poznámce? “(Ano/Ne), pokud ano:„ Vysvětlete prosím. ““ "Udělal LLM nějaké chyby?" (Ano/Ne) Pokud ano: „Byl jakýkoli aspekt plánu asistovaného léčby Chew horší než plán bez asistence, protože žvýkání následovalo chybné doporučení LLM?“ Pokud ano: „Vysvětlete prosím.

Indikátor přiměřenosti rozhodnutí třídění

U každého (pacienta, poznámka) indikátor zaznamenává, zda rozhodnutí žvýkání třídění (záměr se třídit v mýdlové poznámce) a MO naznačuje, že rozhodnutí třídění se vyrovná.