Bezpieczeństwo i skuteczność porównawcza czterech LLM w praktyce klinicznej

Openevidence to narzędzie internetowe zbudowane z platformy klinicznej majowej przyspieszają [Openevidence], które agreguje i syntetyzuje dane z recenzowanych badań medycznych, a następnie reakcję na pytania użytkownika za pomocą generatywnej sztucznej inteligencji. Chociaż jest on używany przez wielu klinicystów (w tym mieszkańców) dzisiaj, niewiele opublikowanych danych na temat tego, czy wyniki narzędzia są dokładne i czy informacje te odpowiednio informują o podejmowaniu decyzji klinicznych. Podobnie wielu klinicystów zwraca się do innych dużych modeli językowych (LLM), aby pomóc w podejmowaniu decyzji przy zapewnianiu opieki klinicznej.

Openevidence to narzędzie internetowe zaprojektowane do agregowania i syntezy danych z recenzowanych badań klinicznych, a następnie generując odpowiedzi na zapytania użytkowników poprzez zastosowanie generatywnej sztucznej inteligencji. Chociaż coraz częściej wykorzystywane zarówno przez doświadczonych klinicystów, jak i stażystów, istnieje znaczący brak opublikowanych danych dotyczących dokładności wyników narzędzia, ich bezpieczeństwa i skuteczności w odpowiednio informowaniu o podejmowaniu decyzji klinicznych. Jednocześnie rosnąca liczba klinicystów wykorzystuje inne publicznie dostępne modele dużych języków (LLM) w celu wspierania podejmowania decyzji w zakresie opieki klinicznej. Podczas gdy w wielu badaniach zbadano dokładność odpowiedzi LLM na pytania dotyczące komisji medycznej lub winiety kliniczne, istnieją ograniczone badania ich wyników w rzeczywistych warunkach klinicznych, a jeszcze mniej badań oferuje analizy porównawcze tej wydajności.

W przeglądzie literatury jeden artykuł pokazuje, że LLM może być lepszy w wykrywaniu lęku niż lekarze, ale było to oparte na winietach klinicznych. [Levkovich i in.] Kolejne spojrzenie na diagnostyczną wrażliwość LLM stosuje zgłoszone przez pacjenta pomiary wyników w ustrukturyzowanym kwestionariuszu. [Pagano i in.] Dodatkowe badanie porównujące onkologię LLM wykorzystuje również fikcyjne winiety. [Beneary i in.] Randomizowane badanie kontrolne z wykorzystaniem winiet klinicznych nie wykazało żadnej poprawy klinicznej dla dostawców, którzy mieli dostęp do LLM. [Goh i in.] Jedno studium przypadku zbadano integrację CHATGPT 3.5 z codziennymi rundami i oceniło jego zastosowanie jakościowo, ale nie porównało go z innymi narzędziami referencyjnymi LLM lub złotymi standardowymi. [Skryd i in.] Inny porównywał odpowiedzi Chatgpt na American College of Radiology Cririteria dotyczące bólu piersi i badań przesiewowych raka piersi, ale ponownie nie porównał tego z innymi LLM. [Rao i in.] W naszym przeglądzie tylko jedno badanie oceniło LLM w prawdziwym świecie klinicznym. Była to seria artykułów, które analizowały ich zastosowanie do złożonego decyzyjnego podejmowania opieki raka piersi, przy użyciu niewielkiej liczby rzeczywistych przypadków i znormalizowanego szybkiego szablonu. [Griewing, Knitza i in.; Griewing, Gremke i in.] Badanie to wykazało, że problemy z spójnością i pogorszeniem dokładności (szczególnie w przypadku GPT 3.5), prowadząc autorów do stwierdzenia, że ​​kliniczne zastosowanie LLM w tym celu nie było jeszcze wykonalne w momencie publikacji. Mimo to liderzy systemów opieki zdrowotnej obserwują użycie tych narzędzi szybko przyspieszających w praktyce klinicznej. Z tego powodu badacze uważają, że konieczne jest zbadanie ich bezpieczeństwa i stosowności klinicznej decyzji, które podejmują klinicyści w wyniku ich użycia.

Cambridge Health Alliance (CHA) to publiczny, akademicki system opieki bezpieczeństwa w obszarze Bostonu, obsługujący zróżnicowaną populację pacjentów. CHA ma solidną podstawową opiekę i ambulatoryjną ślad psychiatrii i wspiera duży program edukacji medycznej w ramach Harvard Medical School, jak i Tufts University School of Medicine. Śledczy wybrali mieszkańców jako naszych głównych uczestników badania, ponieważ wielu stażystów już korzysta z Openevidence, i uznali ich, że są bardziej zachęcani do udziału w badaniu, jeśli otrzymają dostęp do narzędzia w ChA (gdzie w przeciwnym razie jest ono na czarnej liście usług sieciowych i zabronione przez politykę, dopóki wyniki tego badania nie zostanie ustalone).

Wyniki badań są następujące:

Ustal, czy stosowanie openevidence prowadzi do klinicznie odpowiednich decyzji przez mieszkańców w trakcie praktyki klinicznej w środowisku.

Określ, w jaki sposób wynik openevidence porównuje się z trzema innymi powszechnie używanymi, publicznie dostępnymi modelami dużych języków (Chatgpt Openai, Anthropic's Claude i Google's Gemini) pod względem dokładności, kompletności i stronniczości w celu rozwiązania problemów klinicznych mieszkańców w trakcie praktyki klinicznej w warunkach zdrowia społeczności.

Metody:

Zbieranie danych planowane jest odbywać się w okresie 6 miesięcy w celu zminimalizowania aktualizacji wersji dostawcy w okresie badania. Mieszkańcy są pogrupowani według specjalności w „medycynie” (medycyna wewnętrzna/medycyna rodzinna) i „psychiatria” (psychiatria dorosłych/dzieci). W celu uproszczenia dopasowania do odpowiednich ekspertów specjalizujących się w przedmiotach, mieszkańcy medycyny proszeni są o zastosowanie openevence tylko w przypadkach podstawowej opieki zdrowotnej dla dorosłych (z wyłączeniem problemów związanych z OB/GYN). Mieszkańcy psychiatrii proszeni są o wykorzystanie openevence tylko w przypadkach psychiatrii dorosłych.

Przed zaakceptowaniem jako uczestników stażystów zostali poproszeni o uzgodnienie następujących:

• Sprawdź wszelkie zapytanie Openevidence przeciwko złotemu narzędziem standardowym, zdefiniowanym w protokole badania w celu obejmowania PubMed, Uptodate, Dynamed, Wytyczne społeczeństwa specjalistycznego klinicznego lub inne podobne źródło odniesienia kliniczne, które należy udokumentować w formularzu badania.
• Nie wprowadź żadnych osobistych informacji zdrowotnych (PHI) do Openevidence (jak zdefiniowano poniżej).
• Próba korzystania z Openevidence co najmniej 3 razy w tygodniu, w stosownych przypadkach do opieki klinicznej pacjenta.
• Dokumentuj 100% swoich pytań openwencji w formularzu badań, aby uniknąć stronniczości selekcji.

Wszyscy mieszkańcy otrzymają krótkie szkolenie w zakresie szybkiej inżynierii opieki zdrowotnej przed rozpoczęciem gromadzenia danych. Standaryzowane podpowiedzi nie zostaną użyte, ponieważ jednym z subgoalów badania jest zrozumienie, jakie rodzaje zapytań mieszkają do openevidence w rzeczywistym świecie.

Wszyscy mieszkańcy będą wykształceni na temat definicji PHI, w następujący sposób:

Zapytania nie powinny zawierać żadnego z phi, zgodnie z definicją identyfikatorów bezpiecznych portów [HHS]; Zapytania mogą obejmować wiek pacjenta w latach (dni/tygodnie/miesiące na pediatrię) i seks prawny; Dla pacjentów w wieku 89 lat lub starszych użytkownik musi zamiast tego użyć terminu „powyżej 89 roku życia”, aby przestrzegać bezpiecznych standardów portu.

Zapytania nie powinny obejmować pacjentów podejrzanych o niezwykle rzadkie warunki zdefiniowane przez krajową organizację rzadkich zaburzeń, ponieważ są one również podatne na ponowną identyfikację [Nord]. Jeśli rzadki warunek nie zostanie początkowo podejrzewany, ale podejrzewa się w procesie badawczym korzystania z narzędzia AI, użytkownik zostanie poproszony o zatrzymanie zapytania w tym momencie.

Zbieranie danych będzie wymagało użycia formularza Google zgodnego z HIPAA w przedsiębiorstwie roboczym Enterprise Google dla infrastruktury w chmurze zdrowia. Formularz gromadzenia danych zapyta stażystów: następujące:

1. Wprowadź pierwsze pytanie kliniczne.
2. Wklej ich monit opendy (ponumerowany sekwencyjnie pod kątem iteracyjnych podpowiedzi) i wygenerowane pełne wyjście openevidence.
3. Wprowadź wniosek kliniczny w oparciu o produkcję openevidence.
4. Wprowadź użyte narzędzie odniesienia złotego standardowego.
5. Podaj ostateczny wniosek kliniczny na podstawie informacji zarówno z Openvidence, jak i narzędzia referencyjnego złotego standardowego.
6. Odpowiedz na pytanie dotyczące zakresu, w jakim ich początkowy wniosek kliniczny został zmodyfikowany przez złote standardowe odniesienie.
7. Odpowiedz na otwarte pytanie, czy zauważyli jakiekolwiek problemy związane z bezpieczeństwem klinicznym, niedokładności lub stronniczości w wyniku openevence.

Zapytania będą sortowane według specjalności (medycyna vs. psychiatria), a każde zapytanie otrzyma sekwencyjny numer badania.

Zatrudniono zarząd ekspertów ds. Matternistycznych lekarzy (MŚP) w zakresie medycyny wewnętrznej, medycyny rodzinnej lub psychiatrii z co najmniej 5-letnim doświadczeniem klinicznym po szkoleniu. Pięć lat doświadczenia klinicznego po treningu zostało wybrane na podstawie faktu, że w swojej książce Malcolm Gladwell w swojej książce twierdzi, że potrzebne jest 10 000 godzin skoncentrowanej praktyki, aby osiągnąć wiedzę specjalistyczną w danej dziedzinie.

MŚP zostaną poproszone o ocenę początkowych pytań klinicznych mieszkańców i ich wniosków opartych tylko na openevidence. Zostaną poproszeni o ocenę klinicznej stosowności tych wniosków w 10-punktowej skali Likerta. MŚP zostaną również wyposażone w produkcję openwencji dla każdego zapytania, a gdy MŚP ocenia się, że kliniczna stosunek wniosków mieszkańców słabo (<5/10) zostanie dodatkowo złożony pytanie uzupełniające, aby ocenić, czy sama produkcja narzędzia zapewniła klinicznie niewłaściwą odpowiedź, w celu ustalenia, czy stażer może dokonać błędnej interpretacji narzędzia. Przegląd MŚP obejmie 2,5-5% nakładania się między recenzentami w celu obliczenia wyniku KAPPA dla niezawodności interrater.

W drugiej części badania zespół badawczy sortuje zapytania Openevidence w tematy i wybierze losowe pobieranie próbek zapytań z każdej specjalności i motywu do porównania LLM. Zespół badawczy potwierdza, że ​​podpowiedzi nie obejmują żadnego PHI zgodnie z protokołem badań. Następnie skopiują podpowiedzi openevidence wprowadzone przez mieszkańców do wybranych zapytań i wklejają je dokładnie do Chatgpt, Gemini i Claude.

Wyjścia każdego z czterech narzędzi (Openevidence, Chatgpt, Gemini i Claude) zostaną ukazane w formie internetowej Google. MŚP zostaną poproszone o ocenę każdego wyjścia w skali Likerta pod kątem dokładności, kompletności i stronniczości, a także o odpowiedź na pytanie jakościowe identyfikujące wszelkie problemy bezpieczeństwa pacjentów w wyniku.

Wyniki:

Wyniki pierwotne wyniki zostaną zgłoszone w następujący sposób:

Kliniczna adekwatność decyzji podjęta przez mieszkańców z użyciem openevence (średnia z SD, mediana), specjalność

• Jeśli w przypadku niskiej stosowności klinicznej MŚP zidentyfikował, że nie było to spowodowane wyjściem narzędzia, ale zamiast tego z powodu interpretacji narzędzia przez rezydenta, wskaźniki zostaną również dostarczone z wykluczonymi przypadkami
• Niezawodność między lodem (wartość kappa)

Wyniki wtórnych wyników zostaną zgłoszone w następujący sposób:

Dla każdej specjalizacji i każdej zmiennej (dokładność, kompletność i stronniczość) śledczy zgłoszą:

• Wskaźnik „wygranej” dla każdego LLM i średniej marży z wyniku drugiego miejsca.
• Rozmiar efektu (przy użyciu każdego LLM jako oddzielnego odniesienia) za pomocą testu D Cohena.
• Niezawodność między lodem (wartość kappa)