Kan tilbakemeldinger fra en stor språkmodell forbedre helsevesenets kvalitet?

Eksperimentell: Klinisk vurdering med og uten LLM -er

Etterforskerne bruker en design innen pasient. Pasientene får to sekvensielle vurderinger fra en arbeidstaker i samfunnet: Først uten og deretter med stor språkmodellassistanse.

Annen: Stor språkmodell klinisk beslutningsstøtte

En stor språkmodell (LLM) integrert i klinikkens elektroniske medisinske journalsystem gir sanntids tilbakemelding om pasientvurderinger. Fellesskapsarbeidere oppretter først en standard SOAP -merknad, send den til LLM og mottar detaljerte tilbakemeldinger og viktige anbefalinger. De kan deretter oppdatere vurderingen sin basert på denne tilbakemeldingen. Alle endelige behandlingsbeslutninger tas av medisinske offiserer som uavhengig evaluerer pasienter.

Indikator for en feil i behandlingsplanen (med potensial for skade)

Under evaluering av SOAP -notat blir MO bedt om å indikere om behandlingsplanen for pasienten inneholder noen feil, betinget av MOs egen diagnose. Dette er kodet som 1 hvis MO indikerer at det er en feil og 0 ellers.

Den innledende teksten (her for SOAP -merknad A) er: Vennligst evaluer om behandlingen i SOAP -merknad A er passende for denne pasientens tilstand. Vennligst base dette på din egen diagnose, ikke tyggens diagnose i Soap Note A.

Dette blir fulgt av spørsmålet: Er behandlingsplanen for pasienten i SOAP -merknad en helt passende gitt din egen diagnose (regnskap for betingede behandlinger basert på medisinske tester)? Svar "nei" hvis pasienten skal få forskjellig medisinsk behandling gitt diagnosen din. Dette kan omfatte både mindre forskjeller (for eksempel bør pasienten anbefales å hvile) og større feil (for eksempel bør pasienten få et helt annet sett med medisiner). (Svaralternativer: Ja/Nei/usikker)

Indikator for en feil i behandlingsplanen som forårsaker tap av minst x kvalitetsjusterte livsdager

Denne variabelen er kodet som 1 hvis MO indikerer at det er en slik feil og 0 ellers. X er definert for å være det høyeste målestokken på riktig Daly -skala slik at minst 5% av pasientene har en feil som er så stor i den uassisterte SOAP -lappen. Med andre ord, alvorlige feil er noen feil som genererer en skadevurdering ved eller over den 95. persentilen av skade på den uassisterte skalaen (sammenslåing av barn og voksne skalaer).

Indikator for bedre behandlingsplan (som bestemt av MOS)

Basert på Daly -vurderingen av SOAP -merknad A vs. B (telle forekomster uten feil som 0 Daly -tap), er indikatoren kodet som 1 hvis SOAP -notatet har bedre behandlingsplan (lavere Daly -tap) og 0 hvis MOS -dommer begge deler Merknader til å være de samme som svar på følgende spørsmål: Er det noen meningsfulle forskjeller i behandlingsplanene til SOAP -merknad A og B?

Indikator for om behandlingen er i samsvar med en forhåndsbestemt "omsorgsstandard"

Pasienter med risiko får malaria, anemi og UTI-screening i samsvar med visse demografiske kriterier. Et datasett er deretter konstruert med en observasjon for hver (pasient, screeningtest, merk), opptil seks per pasient.

Indikatoren på behandling av feilfordeling registrerer om en pasient feil ble behandlet for en tilstand basert på testresultatet eller manglende symptomer. Variabelen er kodet som 1 hvis pasienten testet positivt og enten fikk upassende eller ingen behandling. Det er også kodet som 1 hvis pasienten testet negativt eller ikke ble testet basert på symptomskjermen, men fikk behandling for tilstanden. Variabelen er bare kodet som 0 hvis pasienten testet negativt og ble riktig ikke behandlet for den tilsvarende tilstanden, eller hvis de testet positivt og fikk riktig behandling.

Indikatorer som betegner diagnose og behandlingsinnretting mellom tyggene og MOS

For hver medisin i tyggens behandlingsplan er det en "klinisk indikasjon" (diagnosen assosiert med stoffet) sammen med en indikator som spesifiserer om en gitt resept er betinget av et medisinsk testresultat. Forskerteamet vil vurdere tre indikatorer på en kamp:

• Enhver samsvar med innholdet i "klinisk indikasjon" -felt på tvers av medisiner;
• Enhver samsvar med innholdet i "medisinering" -feltet på tvers av indikasjoner, inkludert om medisinen er betinget av en test eller ikke;
• en kamp med både medisiner og indikasjoner (og testbetingelse).

Alternative indikatorer for feilfordeling av behandlingen

Forskerteamet vil konstruere følgende indikatorer for behandling av behandling av behandling:

• Misfordeling på grunn av overbestilling: En tilstand behandles at pasienten er bekreftet å ikke ha
• Misfordeling på grunn av underbeskrivelse: En tilstand pasienten bekreftes å ha er ikke behandlet
• Misfordeling på grunn av feil dosering eller medikamentvalg: en tilstand pasienten har behandlet, men doseringen eller medisinen som er valgt er upassende.

Forholdet mellom QALY -tap og alvorlighetsgrad av pasienttilstand

Hos pasienter med bare milde sykdommer kan omfanget av tap fra QALY fra feil være begrenset i forhold til pasienter med mer alvorlige sykdommer.

Med dette i bakhodet blir QALY -tap regressert på indikatorer for milde, moderate og alvorlige sykdommer (som vurdert av MO) som hver var i samspill med den assisterte noteindikatoren, og kontrollerer for pasientfast effekter. Resultatene vil bli vist grafisk.

Indikatorer for hensiktsmessigheten av beslutninger om medisinsk testing

Den potensielle feilfordelingen av medisinsk testing er operasjonalisert på to måter:

1. For hver testtype vil forskerteamet konstruere en indikator som er kodet som 1 hvis tyggingen anbefaler å gjennomføre en test som viser seg å være negativ, og en andre indikator som er 1 hvis tyggingen unnlater å be om en test som viser seg å Vær positiv.
2. For det andre vil forskerteamet konstruere en indikator på nivået med (pasient, test, merk ).

Ved å kombinere disse indikatorene oppstår et misforhold hvis og bare hvis enten: i) en test ikke ble bedt om av tyggingen, men var positiv, eller ii) testen ble bedt om av tyggingen, men resultatet var negativt og ingen tilsvarende test ble bestilt av Mo.

Gjennomsnitt og distribusjon av Daly tapte

Effekten av LLM -assistanse Daly Lost måles direkte i stedet for indirekte (som i sannsynlighet for feil og alvorlig feil, hvilken merknad er den bedre merknaden). Den fulle distribusjonen av DALY -rangeringer for de assisterte og uassisterte notatene vil også bli vist i resultatene.

MO Evaluering av såpenotater: Avvik fra MOs såpe

MO blir bedt om å vurdere for hver SOAP -merknad om medisinske tester som ble bestilt var nødvendige eller klinisk nyttige, om det mangler eller er feil/unødvendige diagnoser, og om det mangler eller feil/unødvendige behandlingsplanelementer.

MO Evaluering av såpenotater: Typer skade pådratt

MO blir bedt om å vurdere kortvarig skade (ytterligere symptomer eller ubehag i en eller annen periode), og all langvarig alvorlig skade (risiko for svekkelse, død etc.) fra behandlingsplanen i SOAP-lappen.

MO Evaluering av SOAP -notater: Måling av sunn tid tapt i Daly

MO gir også en samlet rangering som er ment å gjenspeile den "sunne tiden som er tapt" fra eventuelle feil i behandlingen i SOAP -lappen. For hver vurdering og plan konstruert av en tygging (med eller uten LLM -råd), vil en MO vurdere den forventede størrelsen på sunt liv som ville gå tapt hvis tyggeplanen ble implementert i stedet for MOs plan.

MD Evaluering av tygging og MO -merknader: Flagging MO -feil

I et første trinn vil de bare gjennomgå MO -merknadene og registrere om det er noen feil i diagnosen eller behandlingen som er foreslått i betinget merknad eller i den endelige merknaden. Hvis en feil blir identifisert, vil MDS vurdere feilen etter alvorlighetsgraden for å skille medisinske feil fra meningsforskjeller om en pasient som ikke er til stede.

MD Evaluering av Chew og MO -merknader: Soap Note Rating

MD blir bedt om å vurdere kortvarig skade (ytterligere symptomer eller ubehag i en eller annen periode), og langsiktig alvorlig skade (risiko for svekkelse, død etc.) fra behandlingsplanen i SOAP-seddelen.

MD gir også en samlet rangering som er ment å gjenspeile den "sunne tiden tapt" fra eventuelle feil i behandlingen i SOAP -lappen. For hver vurdering og plan konstruert av en tygging (med eller uten LLM -råd), vil en MO vurdere den forventede størrelsen på sunt liv som ville gå tapt hvis tyggeplanen ble implementert i stedet for MOs plan. Sunn tid måles i enheter med funksjonshemmingsjustert livsår (DALY), som gjenspeiler både livslengde og livskvalitet.

MD Evaluering av Chew og MO Notes: LLM Review

MDS vil også gjennomgå LLM -tilbakemeldingene og svare på følgende spørsmål:

"Fulgte tyggingen alle, noen, eller ingen av LLM -anbefalingene?" Hvis noen eller ingen: "Se for deg at tyggingen hadde fulgt alle anbefalingene fra LLM. Ville den resulterende behandlingsplanen være en forbedring i forhold til deres assisterte merknad? "(Ja/Nei) Hvis ja:" Vennligst forklar. "" "Har LLM gjort noen feil?" (Ja/Nei) Hvis ja: "Var noe aspekt av Chews assisterte behandlingsplan verre enn den uassisterte planen fordi tyggingen fulgte LLMs feilaktige anbefaling?" Hvis ja: "Vennligst forklar.

Indikator for hensiktsmessigheten av triagebeslutninger

For hver (pasient, merknad), registrerer en indikator om Chew Triage -beslutningen (en intensjon om triage som er angitt i SOAP -seddelen) og MO foreslo triage -beslutningen.