Sztuczna inteligencja jako narzędzie decyzyjne w neurologii

Ocena z wykorzystaniem sztucznej inteligencji

Scenariusz, w którym lekarz otrzymuje rekomendacje w czasie rzeczywistym wyłącznie od modelu przed podjęciem ostatecznej decyzji (ostateczna decyzja zostanie podjęta na podstawie opinii starszego lekarza prowadzącego oraz lekarza leczącego)

Ocena bez Sztucznej Inteligencji

Scenariusz, w którym lekarz nie jest narażony na zalecenia modelu.

Długość pobytu na oddziale ratunkowym

Czas od rejestracji w SOR do wypisu z oddziału ratunkowego lub przyjęcia na oddział szpitalny, skupiając się dodatkowo na czasie cyklu konsultacji.

Koszt prowadzenia LLM

Średni dziennik (w USD) w celu obsługi dużego modelu języka.

Opis:

Wynik ten zmierzy bezpośrednie koszty obliczeniowe i licencyjne poniesione przez uruchomienie LLM w warunkach klinicznych.

Jednostka miary: dolary amerykańskie (dziennie). Jak to jest oceniane: całkowite dzienne wydatki na LLM (np. Opłaty komputerowe w chmurze, opłaty licencyjne) zostaną rejestrowane i podzielone przez całkowitą liczbę spotkań pacjentów tego dnia w celu uzyskania średniego kosztu.

Zgodność personelu z AI

Ten wynik oceni, jak często (zgodność) i jak chętnie (akceptacja) lekarze, mieszkańcy i pielęgniarki stosują LLM w kwalifikujących się scenariuszach klinicznych.

Opis: Określa, jak często lekarze, mieszkańcy i pielęgniarki używają LLM do kwalifikujących się spotkań pacjentów.

Jednostka miary: proporcja (0,0-1,0) lub procent (0-100%) Jak oceniono: śledzi liczbę spotkań, w których faktycznie używany jest LLM, podzielony przez całkowitą liczbę kwalifikujących się spotkań. Wyższe wartości procentowe wskazują na większą zgodność.

Przejrzystość/wyjaśnienie

Opis: Ocena, w jaki sposób rozumowanie LLM jest przekazywane personelowi klinicznemu.

Jednostka miary: wynik w 5-punktowej skali Likerta (1 = wcale nie jest jasne, 5 = wyjątkowo jasne) Jak oceniono: Po każdej decyzji pod przewodnictwem LLM rezydent lub uczęszczanie do lekarza ocenia jasność wyjaśnienia modelu. Zgłoszono średni wynik. Wyższe wyniki wskazują na lepszą przejrzystość.

Jakość raportów klinicznych generowanych przez LLM

Dokładność i kompletność raportu klinicznego generowanego przez LLM Wynik ten ocenia, w jaki sposób dokładnie i kompleksowo LLM podsumowuje spotkanie kliniczne pacjenta i zalecany plan w skonstruowanym raporcie (np. Instrukcje dotyczące wypisu, notatki z postępami).

Jednostki (-y) miary: Wynik jakości oparty na zmodyfikowanym mydle (subiektywne, cel, ocena, plan) notatka skala oceny, od 0 do 10, gdzie wyższe wyniki wskazują lepszą jakość dokumentacji. Wynik odzwierciedla włączenie wymaganych elementów i poprawność szczegółów klinicznych.

Metoda oceny: Każdy raport generowany przez LLM jest niezależnie oceniany przez panel uczęszczania do lekarzy lub przeszkolonego personelu klinicznego. Korzystając z znormalizowanej listy kontrolnej, recenzenci oceniają kompletność (np. Włączenie objawów, wyniki fizyczne, diagnozę i plan) i dokładność (np. Prawidłowe leki, identyfikatory i diagnozy), następnie przypisują wynik oparty na predefiniowanej rubryce.

Akceptacja personelu AI

Opis: Ocena, w jaki sposób chętnie personel integruje LLM z przepływem pracy klinicznej.

Jednostka miary: 5-punktowa skala Likerta (1 = zdecydowanie się nie zgadzam, 5 = zdecydowanie się zgadza) Jak oceniono: Po każdym spotkaniu wspomaganym przez LLM pracownicy wypełniają krótką ankietę na temat postrzeganej pomocy i gotowości do ponownego wykorzystania LLM. Wyższe wyniki wskazują na większą akceptację.

Badanie jest zorganizowane wokół czterech wcześniej określonych celów:

Cel 1: Ocena trafności diagnozy i rekomendacji leczenia LLM Trafność rekomendacji LLM oceniana przez starszych klinicystów (1=nietrafne, 5=trafne) Okres: od rejestracji w SOR do wypisu lub przyjęcia na oddział, do 24h Cel 2: Dokładność diagnostyczna – porównanie opieki wspomaganej przez LLM ze standardową opieką Proporcja prawidłowych diagnoz w opiece wspomaganej przez LLM vs. standardowej opiece (%), dopasowana do diagnozy wypisowej Okres: od rejestracji w SOR do ostatecznej diagnozy, do 24h Cel 3: Ocena przydatności i użyteczności wyników LLM przez klinicystów – skala SUS i skala Likerta Przydatność mierzona za pomocą SUS (0-100) i 5-punktowej skali Likerta, zbierana po kontakcie z pacjentem wraz z jakościowymi opiniami Okres: koniec każdego kontaktu klinicznego, do 36 miesięcy Cel 4: Retrospektywny benchmark LLM – procent zgodności i współczynnik Kappa Cohena vs. rzeczywiste wyniki kliniczne Zgodność między rekomendacjami LLM a rzeczywistymi wynikami (diagnoza, decyzja, długość pobytu) w zanonimizowanych dokumentacji Okres: dokumentacja do 36 miesięcy przed rozpoczęciem badania

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months