Kan feedback fra en stor sprogmodel forbedre sundhedsvæsenets kvalitet?

Eksperimentel: Klinisk vurdering med og uden LLM'er

Efterforskerne anvender et design inden for patienten. Patienter modtager to sekventielle vurderinger fra en sundhedsudvidelsesarbejder i samfundet: først uden og derefter med stor sprogmodelhjælp.

Andet: Stor til klinisk beslutningsstøtte til sprogmodel

En stor sprogmodel (LLM) integreret i klinikens elektroniske medicinske journalsystem giver feedback i realtid på patientvurderinger. Fællesskabets sundhedsudvidelsesarbejdere opretter først en standard sæbe note, indsender den til LLM og modtager detaljerede feedback og nøgleanbefalinger. De kan derefter opdatere deres vurdering baseret på denne feedback. Alle endelige behandlingsbeslutninger træffes af medicinske officerer, der uafhængigt evaluerer patienter.

Indikator for en fejl i behandlingsplanen (med potentialet for skade)

Under evaluering af sæbe note bliver MO bedt om at indikere, om behandlingsplanen for patienten indeholder fejl, der er betinget af MO's egen diagnose. Dette er kodet som 1, hvis MO angiver, at der er en fejl og 0 ellers.

Den indledende tekst (her for sæbe note A) er: Evaluer, om behandlingen i sæbe Bemærk A er passende for denne patients tilstand. Baser dette på din egen diagnose, ikke Chew's diagnose i sæbe note A.

Dette efterfølges af spørgsmålet: Er behandlingsplanen for patienten i sæbe note en helt passende i betragtning af din egen diagnose (redegør for betingede behandlinger baseret på medicinske test)? Svar "nej" hvis patienten skal modtage forskellig medicinsk behandling i betragtning af din diagnose. Dette kan omfatte både mindre forskelle (for eksempel skal patienten rådes til at hvile) og større fejl (for eksempel skal patienten modtage et helt andet sæt medicin). (Svarmuligheder: Ja/Nej/usikker)

Indikator for en fejl i behandlingsplanen, der forårsager et tab på mindst X kvalitetsjusterede livsdage

Denne variabel kodes som 1, hvis MO angiver, at der er en sådan fejl og 0 ellers. X defineres som det højeste benchmark på den relevante Daly -skala, så mindst 5% af patienterne har en fejl, der er stor i den uassisterede SOAP -note. Med andre ord er alvorlige fejl eventuelle fejl, der genererer en skadevurdering på eller over den 95. percentil af skade på den uassisterede skala (pooling af børn og voksen skalaer).

Indikator for den bedre behandlingsplan (som bestemt af MOS)

Baseret på Daly -klassificeringen af ​​sæbe note A vs. B (tæller forekomster uden fejl som 0 Daly -tab), er indikatoren kodet som 1, hvis SOAP -note har den bedre behandlingsplan (Nedre Daly -tab) og 0, hvis MOS -dommer begge Bemærkninger til at være de samme som svar på følgende spørgsmål: Er der nogen meningsfulde forskelle i behandlingsplanerne for sæbe note A og B?

Indikator for, om behandlingen er i overensstemmelse med en forudbestemt "standard for pleje"

Patienter i fare modtager malaria, anæmi og UTI-screening i overensstemmelse med visse demografiske kriterier. Et datasæt konstrueres derefter med en observation for hver (patient, screeningstest, note), op til seks pr. Patient.

Indikatoren for fejlbehandling af behandlingen registrerer, om en patient blev forkert behandlet for en tilstand baseret på testresultatet eller manglen på symptomer. Variablen kodes som 1, hvis patienten testede positivt og enten modtog upassende eller ingen behandling. Det er også kodet som 1, hvis patienten testede negativt eller ikke blev testet baseret på symptomskærmen, men modtog behandling for tilstanden. Variablen er kun kodet som 0, hvis patienten testede negativt og blev korrekt ikke behandlet for den tilsvarende tilstand, eller hvis de testede positiv og modtog den korrekte behandling.

Indikatorer, der angiver diagnose og behandlingsjustering mellem tygger og MOS

For hver medicin i Chews behandlingsplan er der en "klinisk indikation" (diagnosen forbundet med lægemidlet) sammen med en indikator, der specificerer, om en given recept er betinget af et medicinsk testresultat. Forskerteamet vil overveje tre indikatorer for en kamp:

• Enhver kamp med indholdet af feltet "klinisk indikation" på tværs af medicin;
• Enhver kamp med indholdet af feltet "medicin" på tværs af indikationer, herunder om medicinen er betinget af en test eller ej;
• En match af både medicin og indikation (og testbetingelse).

Alternative indikatorer til behandling af behandling

Forskningsteamet vil konstruere følgende indikatorer for fejlbehandling af behandling:

• Forkert tildeling på grund af overpræsentation: en tilstand behandles, at patienten bekræftes ikke at have
• Misallokation på grund af underpræsentation: En betingelse, som patienten bekræftes at have, behandles ikke
• Misallokation på grund af forkert dosering eller valg af lægemiddel: En betingelse, som patienten har, behandles, men den valgte dosering eller medicin er upassende.

Forholdet mellem qaly -tab og sværhedsgraden af ​​patienttilstand

Hos patienter med kun milde sygdomme kan omfanget af QALY -tab fra fejl være begrænset i forhold til patienter med mere alvorlige sygdomme.

Med dette i tankerne regresseres qaly -tab på indikatorer for milde, moderate og alvorlige sygdomme (som vurderet af MO) hver interagerede med den assisterede note -indikator, der kontrollerer for patientens faste effekter. Resultaterne vises grafisk.

Indikatorer for hensigtsmæssigheden af ​​beslutninger om medicinsk test

Den potentielle forkert tildeling af medicinsk test er operationeliseret på to måder:

1. For hver testtype konstruerer forskerteamet en indikator, der er kodet som 1, hvis Chew anbefaler at gennemføre en test, der viser sig at være negativ, og en anden indikator, der er 1, hvis Chew forsømmer at anmode om en test, der viser sig at Vær positiv.
2. For det andet vil forskerteamet konstruere en indikator på niveauet for (patient, test, note), der måler, om tyggen og MO anmodede om det samme eller en sammenlignelig medicinsk test (f.eks. Tyggedagen anmodede ).

Ved at kombinere disse indikatorer forekommer et misforhold, hvis og kun hvis enten: i) en test ikke blev anmodet om af tyggen, men var positiv, eller ii) testen blev anmodet om af tyggen, men resultatet var negativt, og der blev ikke bestilt nogen tilsvarende test af Mo.

Gennemsnit og distribution af Daly tabt

Effekten af ​​LLM -bistand Daly mistet måles direkte snarere end indirekte (som med sandsynlighed for fejl og alvorlig fejl, hvilken note er den bedre note). Den fulde distribution af Daly -ratings for de assisterede og uassisterede noter vil også blive vist i resultaterne.

MO -evaluering af sæbebemærkninger: Afvigelser fra MO's sæbe

MO bliver bedt om at vurdere for hver SOAP -note, om medicinske tests bestilte var nødvendige eller klinisk nyttige, om der mangler eller forkerte/unødvendige diagnoser, og om der mangler eller forkerte/unødvendige behandlingsplanelementer.

MO Evaluering af sæbebemærkninger: Typer af skader, der er afholdt

MO bliver bedt om at vurdere enhver kortvarig skade (yderligere symptomer eller ubehag i en eller anden periode) og enhver langsigtet alvorlig skade (risiko for værdiforringelse, død osv.) Fra behandlingsplanen i sæbe-note.

MO -evaluering af sæbebemærkninger: Måling af sund tid tabt i Daly

MO tilvejebringer også en samlet bedømmelse, der er beregnet til at afspejle den "sunde tid, der er mistet" fra eventuelle fejl i behandlingen i SOAP -note. For hver vurdering og plan, der er konstrueret af en tygge (med eller uden LLM -rådgivning), vil en MO vurdere den forventede størrelse af et sundt liv, der ville gå tabt, hvis Chew -planen blev implementeret i stedet for MO's plan.

MD -evaluering af Chew og MO -noter: Flagging af MO -fejl

I et første trin vil de kun gennemgå MO -noterne og registrere, om der er nogen fejl i den diagnose eller behandling, der er foreslået i den betingede note eller i den sidste note. Hvis der identificeres en fejl, vil MDS bedømme fejlen efter sværhedsgrad for at skelne medicinske fejl fra forskelle i mening om en patient, der ikke er til stede.

MD -evaluering af Chew og MO -noter: SOAP Note Rating

MD bliver bedt om at vurdere enhver kortvarig skade (yderligere symptomer eller ubehag i en eller anden periode) og enhver langsigtet alvorlig skade (risiko for svækkelse, død osv.) Fra behandlingsplanen i sæbe-note.

MD tilvejebringer også en samlet bedømmelse, der er beregnet til at afspejle den "sunde tid, der er mistet" fra eventuelle fejl i behandlingen i SOAP -note. For hver vurdering og plan, der er konstrueret af en tygge (med eller uden LLM -rådgivning), vil en MO vurdere den forventede størrelse af et sundt liv, der ville gå tabt, hvis Chew -planen blev implementeret i stedet for MO's plan. Sund tid måles i enheder med handicapjusteret livsår (DALY'er), der afspejler både længde og livskvalitet.

MD Evaluering af Chew og MO -noter: LLM Review

MDS vil også gennemgå LLM -feedback og besvare følgende spørgsmål:

"Følgede tyggen alle, nogle eller ingen af ​​LLM -anbefalinger?" Hvis nogle eller ingen: "Forestil dig, at tyggen havde fulgt alle henstillinger fra LLM. Ville den resulterende behandlingsplan være en forbedring i forhold til deres assisterede note? "(Ja/nej), hvis ja:" Forklar venligst. "" "Llm begik LLM nogen fejl?" (Ja/Nej) Hvis ja: "Var et aspekt af Chew's assisterede behandlingsplan værre end den uassisterede plan, fordi Chew fulgte LLM's fejlagtige anbefaling?" Hvis ja: "Forklar venligst.

Indikator for passende triage -beslutninger

For hver (patient, note), registrerer en indikator, om Chew Triage -beslutningen (en intention om at triage indikeret i sæbebemærkningen), og MO foreslog triage -beslutning på linje.