Javíthatja -e egy nagy nyelvi modellből származó visszajelzés az egészségügyi ellátás minőségét?

Kísérleti: Klinikai értékelés LLM -ekkel és anélkül

A nyomozók egy betegen belüli kialakítást alkalmaznak. A betegek két szekvenciális értékelést kapnak a közösségi egészségügyi kiterjesztő munkástól: először nagy nyelvi modell segítségével, majd a nagy nyelvi modell nélkül.

Egyéb: Nagy nyelvi modell klinikai döntésámogatás

A klinika elektronikus orvosi nyilvántartási rendszerébe integrált nagy nyelvi modell (LLM) valós idejű visszajelzést nyújt a betegek értékeléséről. A közösségi egészségbővítők munkavállalói először létrehoznak egy standard szappanjegyet, benyújtják azt az LLM -hez, és részletes visszajelzést és legfontosabb ajánlásokat kapnak. Ezután frissíthetik értékelését e visszajelzés alapján. Az összes végleges kezelési döntést olyan orvosi tisztviselők hozzák meg, akik önállóan értékelik a betegeket.

A kezelési terv hibájának indikátora (a káros potenciállal)

A SOAP Note kiértékelése során a MO -t felkérjük, hogy jelezze, hogy a beteg kezelési terve tartalmaz -e hibákat, feltételezve a MO saját diagnosztizálását. Ez 1 -ként van kódolva, ha a MO azt jelzi, hogy van hiba, és 0 egyébként 0.

A bevezető szöveg (itt a SOAP Note A -hoz itt): Kérjük, értékelje, hogy a szappan megjegyzésben szereplő kezelés megfelelő -e a beteg állapotához. Kérjük, ezt a saját diagnosztizálására, nem pedig a rágó diagnózisára alapozza az A.

Ezt követi a kérdés: A szappanos megjegyzésben szereplő beteg kezelési terve teljesen megfelelő -e a saját diagnózisának (az orvosi vizsgálatok alapján a feltételes kezelések számvitele)? Válaszolj a "No" -ra, ha a betegnek eltérő orvosi ellátást kell kapnia a diagnózisra. Ez magában foglalhatja mind a kisebb különbségeket (például a beteget, hogy pihenjen), mind a súlyos hibákat (például a betegnek teljesen más gyógyszerkészletet kell kapnia). (Válaszolási lehetőségek: Igen/nem/bizonytalan)

A kezelési terv hibájának indikátora, amely legalább X minőség-igazított élettartam-veszteséget okoz

Ezt a változót 1 -ként kódolják, ha a MO azt jelzi, hogy van ilyen hiba, és 0 egyébként 0. Az X -et úgy határozzák meg, hogy a legmagasabb referenciaérték a megfelelő DALY skálán, így a betegek legalább 5% -ának hibája van a nem segített szappanjegyben. Más szavakkal, a súlyos hibák olyan hibák, amelyek káros besorolást generálnak a károsodás 95. százalékában vagy annál magasabb szinten a nem segített skálán (gyermek- és felnőtt skálák).

A jobb kezelési terv indikátora (a MOS meghatározása szerint)

A szappanjegy Daly besorolása alapján az A vs. B (számolási példányokat hibák nélkül, mint 0 DALY veszteség), a mutatót 1 -ként kódolják, ha a SOAP jegyzetnek a jobb kezelési terve (alacsonyabb DALY -veszteség) és 0, ha a MOS mindkettő Megjegyzések, hogy ugyanazok legyenek a következő kérdésre válaszul: Van -e értelmes különbség az A és B szappan megjegyzés kezelési terveiben?

Indikátor arra vonatkozóan, hogy a kezelés összhangban van -e egy előre meghatározott "gondozási standard" -val

A veszélyeztetett betegek bizonyos demográfiai kritériumoknak megfelelően malária, vérszegénység és UTI szűrést kapnak. Ezután egy adatkészletet készítünk egy megfigyeléssel mindegyikre (beteg, szűrési teszt, megjegyzés), betegenként legfeljebb hat.

A kezelés téves elosztásának mutatója rögzíti, hogy a beteget helytelenül kezelik -e egy olyan állapotban, amely a teszt eredménye vagy a tünetek hiánya alapján volt -e. A változót 1 -ként kódolják, ha a beteg pozitívnak bizonyult, és vagy nem megfelelő, vagy kezelés nélkül. Azt is kódolják, ha a beteg negatívan tesztelt, vagy nem a tünet szitanyomásán alapul, hanem a betegség kezelését kapta. A változót csak 0 -ként kódolják, ha a beteg negatívan tesztelt, és helyesen nem kezelték a megfelelő állapotban, vagy ha pozitívan tesztelték, és a megfelelő kezelést kapják.

A rágások és a MOS közötti diagnózist és kezelés összehangolását jelölő mutatók

A Chew kezelési tervében szereplő minden gyógyszernél van egy "klinikai indikáció" (a gyógyszerhez kapcsolódó diagnózis), valamint egy olyan mutató, amely meghatározza, hogy egy adott recept az orvosi teszt eredményétől függ. A kutatócsoport a mérkőzés három mutatóját veszi figyelembe:

• A "klinikai indikáció" mező tartalmának bármilyen megegyezése a gyógyszerek között;
• A "gyógyszer" mező tartalmának bármilyen megegyezése az indikációk között, ideértve azt is, hogy a gyógyszer a teszttől függ, vagy sem;
• mind a gyógyszeres kezelés, mind az indikáció (és a teszt feltételei).

Alternatív mutatók a kezelés téves elosztásához

A kutatócsoport a kezelés téves elrendezésének következő mutatóit fogja felépíteni:

• A túltervezés miatti téves elosztás: egy olyan állapotot kell kezelni, hogy a beteget megerősítik, hogy nincs
• Az alulértékelés miatti téves elosztás: egy olyan állapotot, amelyet a beteg megerősít, nem kezelik
• A helytelen adagolás vagy a kábítószer -választás miatti téves elosztás: A beteget kezelik, de a választott adagolás vagy gyógyszeres kezelés nem megfelelő.

A QALY veszteség kapcsolata a beteg állapotának súlyosságával

Csak enyhe betegségben szenvedő betegeknél a hibákból származó QALY -veszteségek hatálya korlátozható lehet a súlyosabb betegségben szenvedő betegek esetében.

Ezt szem előtt tartva, a Qaly -veszteséget az enyhe, közepes és súlyos betegségek mutatói (a MO értékelésével) regresszálják, amelyek mindegyike kölcsönhatásba lépett a segített jegyzetjelzővel, ellenőrizve a betegek rögzített hatásait. Az eredmények grafikusan jelennek meg.

Az orvosi tesztelési döntések megfelelőségének mutatói

Az orvosi tesztelés esetleges téves elosztása kétféle módon működik:

1. Minden egyes teszttípushoz a kutatócsoport felépít egy mutatót, amely 1 -ként kódolt legyen pozitív.
2. Másodszor, a kutatócsoport a (beteg, teszt, megjegyzés) szintjén mutat egy mutatót, amely méri, hogy a rágás és az MO ugyanazt vagy összehasonlítható orvosi tesztet kért -e (például a rágó malária RDT -t kért ).

Ezeknek a mutatóknak a kombinálásával egy eltérés akkor fordul elő, ha és csak akkor, ha: i) A rágás nem kérte a tesztet, de ii) a tesztet a rágás kérte, de az eredmény negatív volt, és a Mo.

Daly átlagos és eloszlása ​​az elveszett

Az LLM segítségnyújtásának hatását a Daly Lost közvetlenül közvetlenül, nem pedig közvetetten mérik (mint a hiba és a súlyos hiba valószínűsége, amely a megjegyzés a jobb megjegyzés). Az eredményekben a DALY besorolások teljes eloszlása ​​a segített és a nem segített jegyzetekhez is megmutatkozik.

A szappan megjegyzéseinek MO értékelése: eltérések a MO szappanjától

Felkérjük a MO -t, hogy értékelje az egyes szappan megjegyzéseket, hogy szükség van -e vagy klinikailag hasznosak -e, ha hiányoznak vagy helytelenek/felesleges/felesleges diagnózisok vannak -e, és vannak -e hiányzó vagy helytelen/szükségtelen kezelési terv elemek.

A szappan megjegyzéseinek MO értékelése: A felmerült kár típusai

Felkérjük a MO-t, hogy értékelje a rövid távú károsodást (egy bizonyos időtartamra további tünetek vagy kellemetlenség), valamint a SOAP feljegyzésben szereplő kezelési terv hosszú távú súlyos károkat (károsodás, halál stb.).

A szappan megjegyzéseinek MO értékelése: Daly -ban elveszett egészséges idő mérése

Az MO olyan általános besorolást is biztosít, amelynek célja a SOAP jegyzetben szereplő kezelési hibák miatt az "egészséges idő" tükrözése. Minden egyes értékeléshez és tervhez, amelyet egy rágás (LLM tanácsadással vagy anélkül) készített, egy MO felméri az egészséges élet várható nagyságát, amely elveszne, ha a rágási tervet a MO terve helyett végrehajtják.

A rágás és a MO megjegyzéseinek MD értékelése: Mo hiba lobogása

Az első lépésben csak a MO jegyzeteket vizsgálják meg, és rögzítik, hogy van -e hiba a feltételes feljegyzésben vagy a végső megjegyzésben javasolt diagnózisban vagy kezelésben. Ha hibát azonosítanak, az MDS súlyossággal értékeli a hibát, hogy megkülönböztesse az orvosi hibákat a nem jelenlévő betegről szóló vélemény különbségeitől.

A rágó és a MO MEGJEGYZÉSEK MD értékelése: SOAP jegyzetek besorolása

Az MD-t felkérjük, hogy értékelje a rövid távú károsodást (egy bizonyos ideig további tünetek vagy kellemetlenség), valamint a SOAP jegyzetben szereplő kezelési terv hosszú távú súlyos károkat (károsodás, halál stb.).

Az MD egy olyan teljes besorolást is biztosít, amelynek célja a szappanjegyben szereplő kezelési hibák tükrözése az "egészséges idő" tükrözése. Minden egyes értékeléshez és tervhez, amelyet egy rágás (LLM tanácsadással vagy anélkül) készített, egy MO felméri az egészséges élet várható nagyságát, amely elveszne, ha a rágási tervet a MO terve helyett végrehajtják. Az egészséges időt a fogyatékossággal korrigált életév (DALYS) egységekben mérik, amelyek tükrözik mind a hosszát, mind az életminőséget.

A Chew és a MO MEGJEGYZÉSEK MD értékelése: LLM áttekintés

Az MDS felülvizsgálja az LLM visszajelzést, és válaszol a következő kérdésekre:

"A rágás minden, vagy az LLM -ajánlás egyikét vagy egyikét követi?" Ha valamelyik vagy egyáltalán nem: "Képzelje el, hogy a rágás követte az LLM összes ajánlását. Javítás lenne a kapott kezelési terv a segített megjegyzésükhöz képest? "(Igen/Nem) Ha igen:" Kérem, magyarázza el. " - Az LLM hibákat követett el? (Igen/Nem) Ha igen: "A rágás segített kezelési tervének bármely szempontja rosszabb volt -e, mint a nem segített terv, mert a rágás követte az LLM téves ajánlását?" Ha igen: "Kérjük, magyarázza el.

Mutató a triage -döntések megfelelőségére

Mindegyikre (beteg, megjegyzés) egy indikátor rögzíti, hogy a rágóhelyi döntés (a szappan megjegyzésben jelzett szándéka) és a MO javasolt triage -döntés igazítása.