Czy informacje zwrotne z dużego modelu języka mogą poprawić jakość opieki zdrowotnej?

Eksperymentalny: Ocena kliniczna z LLM i bez

Śledczy stosują projekt wewnątrz pacjentów. Pacjenci otrzymują dwie sekwencyjne oceny od pracownika rozszerzenia zdrowia społeczności: najpierw bez, a następnie z dużym modelem językowym.

Inny: Model dużego języka Wsparcie decyzji klinicznych

Duży model językowy (LLM) zintegrowany z elektronicznym systemem dokumentacji medycznej kliniki zapewnia informacje zwrotne w czasie rzeczywistym na temat ocen pacjentów. Pracownicy zdrowia społeczności najpierw tworzą standardową notatkę mydła, przesyłają ją do LLM i otrzymują szczegółowe informacje zwrotne i kluczowe zalecenia. Następnie mogą zaktualizować swoją ocenę na podstawie tej informacji zwrotnej. Wszystkie ostateczne decyzje dotyczące leczenia podejmowane są przez funkcjonariuszy medycznych, którzy niezależnie oceniają pacjentów.

Wskaźnik błędu w planie leczenia (z potencjałem szkody)

Podczas oceny notatek mydła MO jest proszeni o wskazanie, czy plan leczenia pacjenta zawiera błędy, warunkowe dla własnej diagnozy M. Jest to kodowane jako 1, jeśli MO wskazuje, że występuje błąd, a 0 w przeciwnym razie.

Tekst wprowadzający (tutaj dla mydła Uwaga A) brzmi: oceń, czy leczenie w mydelniu A jest odpowiednie dla stanu tego pacjenta. Proszę oprzeć to na własnej diagnozie, a nie diagnozę żucia w mydła Uwaga A.

Następnie następuje pytanie: Czy plan leczenia pacjenta w mydle jest całkowicie odpowiedni, biorąc pod uwagę twoją własną diagnozę (uwzględniając warunkowe leczenie oparte na badaniach medycznych)? Odpowiedz „nie”, jeśli pacjent powinien otrzymać inną opiekę medyczną, biorąc pod uwagę twoją diagnozę. Może to obejmować zarówno niewielkie różnice (na przykład, należy zalecić pacjenta o odpoczynku), jak i poważne błędy (na przykład pacjent powinien otrzymać zupełnie inny zestaw leków). (Opcje odpowiedzi: tak/nie/niepewne)

Wskaźnik błędu w planie leczenia, który powoduje utratę co najmniej X dni życia skorygowanych o jakość

Ta zmienna jest kodowana jako 1, jeśli MO wskazuje, że istnieje taki błąd, a 0 w przeciwnym razie. X jest zdefiniowane jako najwyższy punkt odniesienia w odpowiedniej skali Daly, tak aby co najmniej 5% pacjentów miało błąd, który był duży w niezmożonej nucie mydła. Innymi słowy, poważne błędy to wszelkie błędy, które generują ocenę szkody w 95. percentylu szkód w skali niezaangażowanej (łączenie skal dziecka i dorosłych).

Wskaźnik lepszego planu leczenia (określony przez MOS)

W oparciu o ocenę DALY nutę mydła A vs. b (liczba instancji bez błędów jako stratę 0 Daly), wskaźnik jest kodowany jako 1, jeśli nuta mydła ma lepszy plan leczenia (niższa strata DALY) i 0, jeśli MOS ocenia oba Uwagi, aby być takie same w odpowiedzi na następujące pytanie: Czy istnieją jakieś znaczące różnice w planach leczenia nutę mydła A i B?

Wskaźnik tego, czy leczenie jest zgodne z z góry określonym „standardem opieki”

Pacjenci z zagrożeniami otrzymują malarię, anemię i badania przesiewowe UTI zgodnie z pewnymi kryteriami demograficznymi. Zestaw zestawu danych jest następnie konstruowany z jedną obserwacją dla każdego (pacjent, test przesiewowy, Uwaga), do sześciu na pacjenta.

Wskaźnik niewłaściwego alokacji leczenia odnotowuje, czy pacjent był nieprawidłowo leczony stanem opartym na wyniku testu lub braku objawów. Zmienna jest kodowana jako 1, jeśli pacjent uzyskał pozytywny test i otrzymał niewłaściwe leczenie lub bez leczenia. Jest to również kodowane jako 1, jeśli pacjent przetestował ujemne lub nie był testowany na podstawie ekranu objawowego, ale otrzymał leczenie tego stanu. Zmienna jest kodowana tylko jako 0, jeśli pacjent testował ujemny i nie został poprawnie leczony dla odpowiedniego stanu, lub jeśli testował pozytywny wynik i otrzymał prawidłowe leczenie.

Wskaźniki oznaczające diagnozę i wyrównanie leczenia między żuć i MOS

Dla każdego leku w planie leczenia Chew występuje „wskazanie kliniczne” (diagnoza związana z lekiem) wraz z wskaźnikiem, który określa, czy dana recepta jest warunkowa w wyniku badania lekarskiego. Zespół badawczy rozważy trzy wskaźniki meczu:

• Wszelkie dopasowanie zawartości pola „wskazania klinicznego” między lekami;
• Wszelkie dopasowanie zawartości pola „leku” między wskazaniami, w tym tego, czy lek jest warunkowy podczas testu, czy nie;
• dopasowanie zarówno leków, jak i wskazania (i warunkowości testowej).

Alternatywne wskaźniki błędnej alokacji leczenia

Zespół badawczy skonstruuje następujące wskaźniki błędnej alokacji leczenia:

• Błędnie alokacja z powodu nadmiernej represji: leczono warunek, że pacjent potwierdza się
• Błędnie alokacja z powodu niedoczynności: warunek, jaki pacjent potwierdza, nie jest leczony
• Błędność z powodu niepoprawnego dawkowania lub wyboru narkotyków: stan leczenia pacjenta jest leczony, ale wybrane dawkowanie lub leki są niewłaściwe.

Związek utraty QALY z nasileniem stanu pacjenta

U pacjentów z jedynie łagodnymi chorobami zakres utraty QALY z błędów może być ograniczony w stosunku do pacjentów z poważniejszymi chorobami.

Mając to na uwadze, utrata QALY jest regresowana na wskaźnikach łagodnych, umiarkowanych i ciężkich chorób (ocenianych przez MO), z których każda oddziaływała z wskaźnikiem nuty wspomaganej, kontrolując stałe skutki pacjenta. Wyniki zostaną pokazane graficznie.

Wskaźniki adekwatności decyzji dotyczących badań medycznych

Potencjalna błędna alokacja testów medycznych jest operacjonalizowana na dwa sposoby:

1. Dla każdego rodzaju testu zespół badawczy skonstruuje wskaźnik kodowany jako 1, jeśli żucie zaleca przeprowadzenie testu, który okazuje się ujemny, a drugi wskaźnik, który wynosi 1, jeśli żucie pomija żądanie testu, który się okazuje Bądź pozytywny.
2. Po drugie, zespół badawczy skonstruuje wskaźnik na poziomie (pacjenta, test, notatka), który mierzy, czy żuć i MO zażądały tego samego, czy porównywalnego testu medycznego (np. Przeżuwa poprosiła o Malaria RDT ).

Łącząc te wskaźniki, niedopasowanie występuje, jeśli i tylko wtedy, gdy: i) test nie żuć, ale był dodatni, lub ii) test był żucia, ale wynik był ujemny i nie nakazał równoważnego testu przez The the Mo.

Średnia i rozkład utracony Daly

Wpływ pomocy LLM utraconej jest mierzony bezpośrednio, a nie pośrednio (jak w przypadku prawdopodobieństwa błędu i poważnego błędu, co jest lepszą uwagą). Pełny rozkład oceny DALY dla notatek wspomaganych i niezmożonych zostanie również pokazany w wynikach.

MO Ocena notatek mydlanych: odchylenia od mydła MO

MO jest proszony o ocenę każdej notatki mydła, czy zamówiono testy medyczne były konieczne, czy klinicznie użyteczne, czy brakuje, czy nieprawidłowe/niepotrzebne diagnozy, i czy brakuje, czy nieprawidłowe/niepotrzebne elementy planu leczenia.

MO Ocena notatek mydła: rodzaje poniesionych szkód

MO jest proszony o ocenę wszelkich krótkoterminowych szkód (dodatkowe objawy lub dyskomfort przez pewien czas) oraz wszelkie długoterminowe poważne szkody (ryzyko upośledzenia, śmierci itp.) Z planu leczenia w notatce mydła.

MO Ocena UWAGI SOAP: Mierzenie zdrowego czasu utraconego w Daly

MO zapewnia również ogólną ocenę, która ma odzwierciedlać „zdrowy czas utracony” z wszelkich błędów w leczeniu nuty mydła. Dla każdej oceny i planu zbudowanego przez żucie (z poradą LLM lub bez) MO oceni oczekiwaną wielkość zdrowego życia, która zostałaby utracona, gdyby plan żucia został wdrożony zamiast planu M.

MD Ocena Uwagi Chew i MO: Flagowanie błędu MO

W pierwszym etapie przejrzą tylko notatki MO i zapisają, czy występuje jakiś błąd w diagnozie lub leczeniu zaproponowanym w notatce warunkowej, czy w końcowej notatce. W przypadku zidentyfikowania błędu MDS oceni błąd przez nasilenie, aby odróżnić błędy medyczne od różnic w opinii na temat pacjenta, który nie jest obecny.

MD Ocena Uwagi Chew i MO: Ocena notatek mydła

MD jest proszony o ocenę wszelkich krótkoterminowych szkód (dodatkowe objawy lub dyskomfort przez pewien czas) oraz wszelkie długoterminowe poważne szkody (ryzyko upośledzenia, śmierci itp.) Z planu leczenia w notatce mydła.

MD zapewnia również ogólną ocenę, która ma odzwierciedlać „zdrowy czas utracony” z wszelkich błędów w leczeniu w nucie mydła. Dla każdej oceny i planu zbudowanego przez żucie (z poradą LLM lub bez) MO oceni oczekiwaną wielkość zdrowego życia, która zostałaby utracona, gdyby plan żucia został wdrożony zamiast planu M. Zdrowy czas mierzy się w jednostkach życia narodowego skorygowanego o niepełnosprawność (DALYS), które odzwierciedlają zarówno długość, jak i jakość życia.

Ocena MD Chew i MO Uwagi: przegląd LLM

MDS przejrzy również opinie LLM i odpowie na następujące pytania:

„Czy żucie podążyło za wszystkimi, niektórymi, czy żadnymi zaleceniami LLM?” Jeśli niektórzy lub żaden: „Wyobraź sobie, że żuła śledzi wszystkie zalecenia LLM. Czy wynikowy plan leczenia byłby poprawą w stosunku do ich notatki wspomaganej? ”(Tak/nie), jeśli tak:„ Proszę wyjaśnić ”. „Czy LLM popełnił jakieś błędy?” (Tak/nie) Jeśli tak: „Czy jakikolwiek aspekt planu leczenia żucia był gorszy niż plan niezrabiany, ponieważ żuć podążał za błędnym zaleceniem LLM?” Jeśli tak: „Proszę wyjaśnić.

Wskaźnik stosowności decyzji triage

Dla każdego (pacjenta, uwaga) wskaźnik rejestruje, czy decyzja triage żucia (zamiar segregacji wskazanej w notatce mydła) i MO sugerują, że decyzja triage jest zgodna.