Kan feedback från en stor språkmodell förbättra hälso- och sjukvårdskvaliteten?

Experimentell: Klinisk bedömning med och utan LLMS

Utredarna använder en design inom patienten. Patienterna får två sekventiella bedömningar från en arbetare i samhället för hälsa: först utan och sedan med stor språkmodellassistans.

Övrig: Stort om kliniskt beslut om kliniskt beslut

En stor språkmodell (LLM) integrerad i klinikens elektroniska medicinska registersystem ger realtidsåterkoppling på patientbedömningar. Community Health Extensionsarbetare skapar först en standard tvålnot, skickar in den till LLM och får detaljerad feedback och viktiga rekommendationer. De kan sedan uppdatera sin bedömning baserat på denna feedback. Alla slutliga behandlingsbeslut fattas av medicinska tjänstemän som självständigt utvärderar patienter.

Indikator för ett fel i behandlingsplanen (med potential för skada)

Under utvärderingen av SOAP Note uppmanas MO att ange om behandlingsplanen för patienten innehåller några fel, villkorade på MO: s egen diagnos. Detta är kodat som 1 om MO indikerar att det finns ett fel och 0 annars.

Den inledande texten (här för SOAP Note A) är: Utvärdera om behandlingen i SOAP Note A är lämplig för denna patients tillstånd. Basera detta på din egen diagnos, inte tugens diagnos i SOAP Note A.

Detta följs av frågan: Är behandlingsplanen för patienten i SOAP Notera en helt lämplig med tanke på din egen diagnos (redovisning för villkorade behandlingar baserade på medicinska test)? Svar "Nej" om patienten skulle få olika medicinska vård med tanke på din diagnos. Detta kan inkludera både mindre skillnader (till exempel bör patienten rekommenderas att vila) och större fel (till exempel bör patienten få en helt annan uppsättning mediciner). (Svaralternativ: Ja/Nej/osäker)

Indikator för ett fel i behandlingsplanen som orsakar en förlust av minst x kvalitetsjusterade livsdagar

Denna variabel kodas som 1 om MO indikerar att det finns ett sådant fel och 0 annars. X definieras för att vara det högsta riktmärket på lämplig Daly -skala så att minst 5% av patienterna har ett fel som är stort i den oassisterade tvålnoten. Med andra ord, allvarliga fel är alla fel som genererar ett skador på eller över den 95: e percentilen av skada på den oassisterade skalan (poolande barn och vuxna skalor).

Indikator för den bättre behandlingsplanen (som bestäms av MOS)

Baserat på Daly -klassificeringen av Soap Note A vs. B (räknar instanser utan fel som 0 Daly -förlust), är indikatorn kodad som 1 om SOAP Note har den bättre behandlingsplanen (lägre Daly -förlust) och 0 om MOS domar båda Anteckningar för att vara desamma som svar på följande fråga: Finns det några meningsfulla skillnader i behandlingsplanerna för SOAP Note A och B?

Indikator för huruvida behandlingen överensstämmer med en förutbestämd "vårdstandard"

Patienter i riskzonen får malaria, anemi och UTI-screening i enlighet med vissa demografiska kriterier. Ett datasätt konstrueras sedan med en observation för varje (patient, screeningtest, anmärkning), upp till sex per patient.

Indikatorn för missfördelning av behandlingen registrerar om en patient felaktigt behandlades för ett tillstånd baserat på testresultatet eller bristen på symtom. Variabeln kodas som 1 om patienten testade positivt och antingen fick olämplig eller ingen behandling. Det är också kodat som 1 om patienten testade negativt eller inte testades baserat på symptomskärmen men fick behandling för tillståndet. Variabeln kodas endast som 0 om patienten testade negativt och behandlades inte korrekt för motsvarande tillstånd, eller om de testade positiva och fick rätt behandling.

Indikatorer som anger diagnos och behandlingsinriktning mellan tuggar och MOS

För varje medicinering i THES -behandlingsplanen finns det en "klinisk indikation" (diagnosen associerad med läkemedlet) tillsammans med en indikator som anger om ett givet recept är villkorat av ett medicinskt testresultat. Forskningsteamet kommer att överväga tre indikatorer på en match:

• Varje matchning av innehållet i fältet "klinisk indikation" över mediciner;
• Varje matchning av innehållet i "medicinering" -fältet över indikationer, inklusive om medicinen är villkorad av ett test eller inte;
• En matchning av både medicinering och indikation (och testvillkor).

Alternativa indikatorer för missfördelning av behandling

Forskarteamet kommer att konstruera följande indikatorer för missfördelning av behandling:

• Misfördelning på grund av överskrivning: Ett tillstånd behandlas som patienten bekräftas att inte ha
• Misfördelning på grund av underbeskrivning: Ett tillstånd som patienten bekräftas har inte behandlas
• Misallokering på grund av felaktig dosering eller läkemedelsval: Ett tillstånd som patienten har behandlas men den valda dosering eller medicinering är olämplig.

Förhållandet mellan QALY -förlust och svårighetsgrad av patientens tillstånd

Hos patienter med endast milda sjukdomar kan utrymmet för QALY -förlust från misstag vara begränsat i förhållande till patienter med allvarligare sjukdomar.

Med detta i åtanke regresseras QALY -förlust på indikatorer för milda, måttliga och allvarliga sjukdomar (enligt bedömningen av MO) som var och en interagerade med den assisterade anteckningsindikatorn och kontrollerar för patientfasta effekter. Resultaten kommer att visas grafiskt.

Indikatorer för lämpligheten av beslut om medicinska testning

Den potentiella missfördelningen av medicinsk testning opereras på två sätt:

1. För varje testtyp kommer forskargruppen att konstruera en indikator som är kodad som 1 om tuggen rekommenderar att man genomför ett test som visar sig vara negativt, och en andra indikator som är 1 om tuggen försummar att begära ett test som visar sig vara positiv.
2. För det andra kommer forskarteamet att konstruera en indikator på nivån (patient, test, anmärkning) som mäter om tuggen och MO begärde samma eller ett jämförbart medicinskt test (t.ex. tuggen begärde en malaria RDT medan MO begärde en malariablodsmear ).

Genom att kombinera dessa indikatorer inträffar en missanpassning om och endast om antingen: i) ett test inte begärdes av tuggen utan var positivt, eller ii) testet begärdes av tuggen men resultatet var negativt och inget motsvarande test beställdes av Mo.

Genomsnitt och distribution av Daly förlorade

Effekten av LLM -assistansen Daly förlorade mäts direkt snarare än indirekt (som i sannolikhet för fel och allvarligt fel, vilket noterar är den bättre anmärkningen). Den fullständiga fördelningen av Daly -betyg för de assisterade och oassisterade anteckningarna kommer också att visas i resultaten.

MO Utvärdering av tvålanteckningar: Avvikelser från MO: s tvål

MO uppmanas att bedöma för varje SOAP -not om medicinska test som beställts var nödvändiga eller kliniskt användbara, om det finns saknade eller felaktiga/onödiga diagnoser, och om det saknas eller felaktigt/onödiga behandlingsplanelement.

MO Utvärdering av tvålanteckningar: Typer av skada uppstår

MO uppmanas att bedöma eventuella kortvariga skador (ytterligare symtom eller obehag under någon period) och eventuell långvarig allvarlig skada (risk för nedsättning, död etc.) från behandlingsplanen i tvålnoten.

MO Utvärdering av tvålanteckningar: Mätning av frisk tid förlorad i Daly

MO ger också ett övergripande betyg som är avsett att återspegla den "friska tiden som förlorats" från eventuella fel i behandlingen i tvålnoten. För varje bedömning och plan som är konstruerad av en tugga (med eller utan LLM -råd) kommer en MO att bedöma den förväntade storleken på ett hälsosamt liv som skulle gå förlorat om tuggplanen genomfördes istället för MO: s plan.

MD -utvärdering av tugga och MO -anteckningar: Flagging Mo -fel

I ett första steg kommer de att granska MO -anteckningarna endast och registrera om det finns något fel i diagnosen eller behandlingen som föreslås i den villkorade anteckningen eller i den slutliga anteckningen. Om ett fel identifieras kommer MDS att betygsätta felet genom svårighetsgrad för att skilja medicinska misstag från skillnader i åsikt om en patient som inte är närvarande.

MD -utvärdering av Chew och MO Notes: Soap Note Rating

MD uppmanas att bedöma någon kortvarig skada (ytterligare symtom eller obehag under någon period) och eventuell långvarig allvarlig skada (risk för nedsättning, död etc.) från behandlingsplanen i tvålnoten.

MD ger också ett övergripande betyg som är avsett att återspegla den "friska tiden som förlorats" från eventuella fel i behandlingen i tvålnoten. För varje bedömning och plan som är konstruerad av en tugga (med eller utan LLM -råd) kommer en MO att bedöma den förväntade storleken på ett hälsosamt liv som skulle gå förlorat om tuggplanen genomfördes istället för MO: s plan. Hälsosam tid mäts i enheter av funktionshinderjusterat livsår (Dalys), som återspeglar både längd och livskvalitet.

MD -utvärdering av Chew och MO -anteckningar: LLM Review

MDS kommer också att granska LLM -feedbacken och svara på följande frågor:

"Följde tuggen alla, några eller ingen av LLM -rekommendationerna?" Om någon eller ingen: "Föreställ dig att tuggen hade följt alla rekommendationerna från LLM. Skulle den resulterande behandlingsplanen vara en förbättring jämfört med deras assisterade anteckning? "(Ja/nej) om ja:" Förklara. "" "Gjorde LLM några misstag?" (Ja/Nej) Om ja: "Var någon aspekt av tuggens assisterade behandlingsplan sämre än den oassisterade planen eftersom tuggen följde LLM: s felaktiga rekommendation?" Om ja: "Förklara.

Indikator för lämpligheten av triagebeslut

För varje (patient, not) registrerar en indikator om Chew Triage -beslutet (en avsikt till triage som anges i tvålnoten) och MO föreslog triagebeslut i anpassning.