Kan feedback van een groot taalmodel de kwaliteit van de gezondheidszorg verbeteren?

Experimenteel: Klinische beoordeling met en zonder LLMS

De onderzoekers gebruiken een ontwerp binnen het patiënt. Patiënten ontvangen twee opeenvolgende beoordelingen van een werknemer van de gemeenschapsgezondheidsuitbreiding: eerst zonder en vervolgens met grote taalmodelhulp.

Ander: Groot taalmodel klinische beslissingsondersteuning

Een groot taalmodel (LLM) geïntegreerd in het elektronische medische recordsysteem van de kliniek geeft realtime feedback over patiëntbeoordelingen. Community Health Extension Workers maken eerst een standaard SOAP -noot, dien deze in bij de LLM en ontvangen gedetailleerde feedback en belangrijke aanbevelingen. Ze kunnen vervolgens hun beoordeling bijwerken op basis van deze feedback. Alle definitieve behandelingsbeslissingen worden genomen door medische officieren die patiënten onafhankelijk evalueren.

Indicator voor een fout in het behandelplan (met het potentieel voor schade)

Tijdens de evaluatie van SOAP Note wordt de MO gevraagd aan te geven of het behandelplan voor de patiënt fouten bevat, afhankelijk van de eigen diagnose van de MO. Dit wordt gecodeerd als 1 als de MO aangeeft dat er een fout is en anders 0.

De inleidende tekst (hier voor SOAP -opmerking A) is: evalueer of de behandeling in SOAP Note A geschikt is voor de toestand van deze patiënt. Baseer dit op uw eigen diagnose, niet op de diagnose van de kauw in Soap Note A.

Dit wordt gevolgd door de vraag: is het behandelplan voor de patiënt in SOAP een volledig geschikte gezien uw eigen diagnose (rekening houdend met voorwaardelijke behandelingen op basis van medische tests)? Antwoord "nee" als de patiënt gezien uw diagnose verschillende medische zorg moet krijgen. Dit kan beide kleine verschillen omvatten (bijvoorbeeld de patiënt moet worden geadviseerd om te rusten) en belangrijke fouten (bijvoorbeeld, de patiënt moet een compleet andere set medicijnen ontvangen). (Antwoordopties: ja/nee/onzeker)

Indicator voor een fout in het behandelplan die een verlies van ten minste X-kwaliteit gecorrigeerde levensdagen veroorzaakt

Deze variabele wordt gecodeerd als 1 als de MO aangeeft dat er een dergelijke fout is en anders 0. X wordt gedefinieerd als de hoogste benchmark op de juiste DALY -schaal, zodat ten minste 5% van de patiënten een fout heeft die groot is in de niet -ondersteunde soapnoot. Met andere woorden, ernstige fouten zijn fouten die een schadebepaling genereren bij of boven het 95e percentiel schade op de niet -ondersteunde schaal (schalen voor kinderen en volwassenen poolen).

Indicator voor het betere behandelplan (zoals bepaald door de MOS)

Gebaseerd op de Daly -rating van SOAP -opmerking A versus B (tellende instanties zonder fouten als 0 daly -verlies), wordt de indicator gecodeerd als 1 als de SOAP -noot het betere behandelplan (lager Daly -verlies) en 0 heeft als MOS beide beoordelen Opmerkingen zijn hetzelfde als reactie op de volgende vraag: zijn er zinvolle verschillen in de behandelplannen van SOAP -noot A en B?

Indicator voor de vraag of de behandeling consistent is met een vooraf bepaalde "zorgstandaard"

Risicopatiënten ontvangen malaria, bloedarmoede en UTI-screening in overeenstemming met bepaalde demografische criteria. Een dataset wordt vervolgens geconstrueerd met één observatie voor elk (patiënt, screeningstest, opmerking), tot zes per patiënt.

De indicator van de behandeling van behandeling registreert een verkeerde toewijzing of een patiënt onjuist werd behandeld voor een aandoening op basis van het testresultaat of gebrek aan symptomen. De variabele wordt gecodeerd als 1 als de patiënt positief testte en ofwel ongepast of geen behandeling werd ontvangen. Het wordt ook gecodeerd als 1 als de patiënt negatief heeft getest of niet werd getest op basis van het symptoomscherm maar wordt behandeld voor de aandoening. De variabele wordt alleen gecodeerd als 0 als de patiënt negatief heeft getest en correct niet werd behandeld voor de overeenkomstige aandoening, of als ze positief testten en de juiste behandeling kregen.

Indicatoren die diagnose en behandelingsuitlijning tussen kauwen en MOS aangeven

Voor elk medicijn in het behandelplan van de kauw is er een "klinische indicatie" (de diagnose geassocieerd met het medicijn) samen met een indicator die aangeeft of een bepaald recept voorwaardelijk is bij een medisch testresultaat. Het onderzoeksteam zal drie indicatoren van een wedstrijd overwegen:

• elke match van de inhoud van het veld "klinische indicatie" over medicijnen;
• Elke overeenkomst van de inhoud van het veld "medicatie" over indicaties, inclusief of het medicijn voorwaardelijk is bij een test of niet;
• Een overeenkomst van zowel medicatie als indicatie (en testconditionaliteit).

Alternatieve indicatoren voor verkeerde toewijzing van behandeling

Het onderzoeksteam zal de volgende indicatoren voor de verkeerde toewijzing van de behandeling construeren:

• Misallocatie als gevolg van overpreventie: een aandoening wordt behandeld dat de patiënt wordt bevestigd
• Misallocatie als gevolg van onderdrukken: een aandoening die de patiënt heeft bevestigd, wordt niet behandeld
• Misallocatie vanwege onjuiste dosering of medicijnkeuze: een aandoening die de patiënt heeft, wordt behandeld, maar de gekozen dosering of medicatie is ongepast.

Relatie van QALY -verlies tot ernst van de toestand van de patiënt

Bij patiënten met slechts milde ziekten, kan de reikwijdte voor QALY -verlies door fouten beperkt zijn ten opzichte van patiënten met ernstigere ziekten.

Met dit in gedachten wordt QALY -verlies teruggedrongen op indicatoren voor milde, matige en ernstige ziekten (zoals beoordeeld door de MO), interactie met de ondersteunde nootindicator, die controle op vaste effecten van de patiënt. Resultaten worden grafisch weergegeven.

Indicatoren voor de geschiktheid van beslissingen over medische tests

De potentiële verkeerde toewijzing van medische testen wordt op twee manieren geoperationaliseerd:

1. Voor elk testtype zal het onderzoeksteam een ​​indicator construeren die is gecodeerd als 1 als de kauw aanbeveelt om een ​​test uit te voeren die negatief blijkt te zijn, en een tweede indicator die 1 is als het kauw niet verwaarloost om een ​​test aan te vragen die blijkt Wees positief.
2. Ten tweede zal het onderzoeksteam een ​​indicator construeren op het niveau van (patiënt, test, opmerking) die meet of de Chew en MO dezelfde of een vergelijkbare medische test hebben gevraagd (bijvoorbeeld de kauw vroeg om een ​​malaria -RDT, terwijl de MO verzocht om een ​​malaria -bloedverwant ).

Door deze indicatoren te combineren, treedt een mismatch op als en alleen als een van beide: i) een test werd gevraagd door de kauw maar positief was, of ii) de test werd gevraagd door de kauw, maar het resultaat was negatief en er werd geen gelijkwaardige test besteld door de Mo.

Gemiddelde en verdeling van Daly verloren

Het effect van LLM -hulp die Daly verloren is, wordt direct gemeten in plaats van indirect (zoals in waarschijnlijkheid van fouten en ernstige fouten, welke noot de betere noot is). De volledige verdeling van DALY -beoordelingen voor de geassisteerde en niet -ondersteunde notes zal ook in de resultaten worden getoond.

MO -evaluatie van zeepnotities: afwijkingen van de SOAP van de MO

De MO wordt gevraagd om te beoordelen voor elke soap -opmerking of medische tests noodzakelijk of klinisch nuttig waren, of er ontbrekende of onjuiste/onnodige diagnoses zijn en of er ontbrekende of onjuiste/onnodige behandelplan elementen zijn.

MO -evaluatie van soapnotities: soorten schade opgelopen

De MO wordt gevraagd om eventuele schade op korte termijn (aanvullende symptomen of ongemak voor een bepaalde periode) te beoordelen, en elke langdurige ernstige schade (risico op stoornissen, overlijden enz.) Van het behandelplan in de soapnoot.

MO -evaluatie van soapnotities: Gezonde tijd gemeten verloren in Daly

De MO biedt ook een algemene beoordeling die bedoeld is om de "gezonde tijd verloren" te weerspiegelen van eventuele fouten in de behandeling in de soapnoot. Voor elke beoordeling en plan gebouwd door een kauw (met of zonder LLM -advies), zal een MO de verwachte omvang van een gezond leven beoordelen die verloren zou gaan als het kauwplan zou worden geïmplementeerd in plaats van het plan van de MO.

MD -evaluatie van Chew en MO -opmerkingen: Mo -fout markeren

In een eerste stap zullen ze alleen de MO -notities bekijken en registreren ze of er een fout is in de diagnose of behandeling die wordt voorgesteld in de voorwaardelijke notitie of in de laatste notitie. Als een fout wordt geïdentificeerd, beoordeelt de MDS de fout door ernst om medische fouten te onderscheiden van verschillen in meningen over een patiënt die niet aanwezig is.

MD -evaluatie van Chew en MO -opmerkingen: Soap Note Rating

De MD wordt gevraagd om eventuele schade op korte termijn te beoordelen (aanvullende symptomen of ongemak gedurende een bepaalde periode), en eventuele langdurige ernstige schade (risico op stoornissen, overlijden enz.) Van het behandelplan in de SOAP-noot.

De MD biedt ook een algemene beoordeling die bedoeld is om de "gezonde tijd verloren" te weerspiegelen van eventuele fouten in de behandeling in de SOAP -noot. Voor elke beoordeling en plan gebouwd door een kauw (met of zonder LLM -advies), zal een MO de verwachte omvang van een gezond leven beoordelen die verloren zou gaan als het kauwplan zou worden geïmplementeerd in plaats van het plan van de MO. Gezonde tijd wordt gemeten in eenheden van een handicap-aangepaste levensjaar (Dalys), die zowel lengte als kwaliteit van leven weerspiegelen.

MD Evaluatie van Chew en MO Notes: LLM Review

De MDS zal ook de LLM -feedback bekijken en de volgende vragen beantwoorden:

"Heeft de Chew alles gevolgd, sommige, of geen van de LLM -aanbevelingen?" Als sommigen of geen: "Stel je voor dat de kauw alle aanbevelingen van de LLM had gevolgd. Zou het resulterende behandelplan een verbetering zijn ten opzichte van hun geassisteerde notitie? "(Ja/nee) Zo ja:" Leg het uit. "" "Heeft de LLM fouten gemaakt?" (Ja/Nee) Zo ja: "Was een aspect van het geassisteerde behandelplan van de Chew erger dan het niet -ondersteunde plan omdat de kauw de foutieve aanbeveling van de LLM volgde?" Zo ja: "Leg het uit.

Indicator voor de geschiktheid van triage -beslissingen

Voor elke (patiënt, opmerking) registreert een indicator of de beslissing van de kauwtriage (een intentie tot triage aangegeven in de soap -noot) en de MO -voorgestelde triage -beslissing -uitlijning.