Umělá inteligence jako nástroj pro rozhodování v neurologii

Hodnocení pomocí umělé inteligence

Scénář, ve kterém lékař dostává doporučení v reálném čase pouze od modelu před tím, než učiní konečné rozhodnutí (konečné rozhodnutí bude učiněno na základě názoru vedoucího lékaře a ošetřujícího lékaře)

Hodnocení bez umělé inteligence

Scénář, ve kterém lékař není vystaven doporučením modelu.

Délka pobytu na pohotovosti

Čas od registrace na urgentním příjmu do propuštění z pohotovosti nebo přijetí na nemocniční oddělení, se zaměřením navíc na čas konzultačního cyklu.

Náklady na provoz LLM

Průměrné denní náklady (v USD) na provoz modelu velkého jazyka.

Popis:

Tento výsledek změří přímé výpočetní a licenční náklady vzniklé spuštěním LLM v klinickém prostředí.

Měrná jednotka: americké dolary (za den). Jak je hodnoceno: Celkové denní výdaje za LLM (např. Poplatky za cloud-computu, licenční poplatky) budou zaznamenány a rozděleny celkovým počtem setkání pacienta toho dne, aby se získaly průměrné náklady.

Zaměstnanci dodržování AI

Tento výsledek posoudí, jak často (dodržování) a jak dobrovolně (přijetí) lékaři, obyvatelé a sestry používají LLM ve způsobilých klinických scénářích.

Popis: Určuje, jak často lékaři, obyvatelé a sestry používají LLM pro způsobilé setkání s pacienty.

Měrná jednotka: podíl (0,0-1,0) nebo procenta (0-100%) Jak hodnoceno: sleduje počet setkání, ve kterých se LLM skutečně používá, děleno celkovým počtem způsobilých setkání. Vyšší procenta naznačují větší soulad.

Transparentnost/vysvětlitelnost

Popis: Vyhodnocuje, jak jasně je zdůvodnění LLM sděleno klinickému personálu.

Jednotka měrné jednotky: Skóre na 5-bodové Likertově stupnici (1 = ne vůbec jasné, 5 = extrémně jasné), jak posouzeno: Po každém rozhodnutí vedené LLM rezident nebo účast na lékaři hodnotí jasnost vysvětlení modelu. Je hlášeno průměrné skóre. Vyšší skóre naznačují lepší jasnost.

Kvalita klinických zpráv generovaných LLM

Přesnost a úplnost skóre klinické zprávy generované LLM Tento výsledek hodnotí, jak přesně a komplexně LLM shrnuje klinické setkání pacienta a doporučený plán ve strukturované zprávě (např. Pokyny pro vypouštění, poznámky k pokroku).

Jednotka (s) míry: Skóre kvality založené na modifikovaném mýdle (subjektivní, objektivní, hodnocení, plán) stupnice hodnocení noty v rozmezí od 0 do 10, kde vyšší skóre naznačuje lepší kvalitu dokumentace. Skóre odráží zahrnutí požadovaných prvků a správnost klinických detailů.

Metoda hodnocení: Každá zpráva generovaná LLM je nezávisle vyhodnocena panelem ošetřujících lékařů nebo vyškoleného klinického personálu. Pomocí standardizovaného kontrolního seznamu hodnotí recenzenti úplnost (např. Zahrnutí symptomů, fyzických nálezů, diagnózy a plánu) a přesnost (např. Správné léky, identifikátory a diagnózy) a poté přiřadit skóre založené na předdefinovaném rubriku.

Přijetí AI zaměstnanců

Popis: Vyhodnocuje, jak ochotně zaměstnanci integrují LLM do svého klinického pracovního postupu.

Jednotka měrné jednotky: 5-bodová Likertova stupnice (1 = silně nesouhlasím, 5 = silně souhlasí) Jak posouzeno: Po každém setkání s podporou LLM absolvoval zaměstnanci krátký průzkum o vnímané užitečnosti a ochotě znovu použít LLM. Vyšší skóre naznačují větší přijetí.

Studie je organizována kolem čtyř předem stanovených cílů:

Cíl 1: Vhodnost diagnostiky a doporučení léčby LLM Vhodnost doporučení LLM hodnocená zkušenými kliniky (1=nevhodné, 5=vhodné) Časový rámec: Od registrace na pohotovosti po propuštění nebo přijetí k hospitalizaci, až 24 hodin Cíl 2: Přesnost diagnostiky - LLM-asistovaná vs. standardní péče Klinické rozhodování Podíl správných diagnóz v LLM-asistované vs. standardní péči (%), porovnáno s diagnózou při propuštění Časový rámec: Od registrace na pohotovosti po konečnou diagnózu, až 24 hodin Cíl 3: Užitečnost a použitelnost výstupů LLM hodnocená kliniky - SUS a Likertova škála Užitečnost měřená pomocí SUS (0-100) a 5bodového Likertova hodnocení, shromážděno po setkání s kvalitativní zpětnou vazbou Časový rámec: Konec každého klinického setkání, až 36 měsíců Cíl 4: Retrospektivní srovnávací test LLM - Procentuální shoda a Cohenovo kappa vs. skutečné klinické výsledky Shoda mezi doporučeními LLM a skutečnými výsledky (diagnóza, dispozice, délka hospitalizace) v anonymizovaných záznamech Časový rámec: Záznamy až 36 měsíců před zahájením studie