Bezpečnost OpenEvidence a srovnávací účinnost čtyř LLM v klinické praxi

OpenEvidence je online nástroj vytvořený z květnové klinické platformy urychlit [OpenEvidence], který agreguje a syntetizuje data z recenzovaných lékařských studií a poté vytváří reakci na otázky uživatele pomocí generativní AI. Přestože je dnes používána řada kliniků (včetně obyvatel), není zde jen málo nebo žádné zveřejněné údaje o tom, zda jsou výstupy nástroje přesné a zda tyto informace vhodně informují o klinickém rozhodování. Podobně se řada kliniků obrací na jiné velké jazykové modely (LLM), které pomáhají při rozhodování při poskytování klinické péče.

OpenEvidence je online nástroj určený k agregaci a syntetizaci dat z recenzovaných klinických studií a následně generuje reakce na dotazy uživatelů prostřednictvím aplikace generativní AI. Přestože je stále více využíván ostřílení kliničtí lékaři i stážisty, existuje pozoruhodná absence zveřejněných údajů o přesnosti výstupů nástroje, jejich bezpečnosti a účinnosti při vhodném informování o klinickém rozhodování. Současně rostoucí počet kliniků využívá další veřejně dostupné modely velkých jazyků (LLM) na podporu rozhodování v klinické péči. Zatímco řada studií zkoumala přesnost odpovědí LLM na otázky lékařské rady nebo klinické viněty, existuje omezený výzkum jejich výkonu v reálném klinickém prostředí a ještě méně studií nabízí srovnávací analýzy tohoto výkonu.

V přehledu literatury jeden článek ukazuje, že LLM může být lepší při detekci úzkosti než praktikující, ale to bylo založeno na klinických vinětach. [Levkovich et al.] Další se podíval na diagnostickou citlivost LLM pomocí měření výsledků hlášených pacientem ve strukturovaném dotazníku. [Pagano et al.] Další studie porovnávající LLM pro onkologii také používá fiktivní viněty. [Benary et al.] Randomizovaná kontrolní studie využívající klinické viněty neprokázala klinické zlepšení poskytovatelů, kteří měli přístup k LLM. [Goh et al.] Jedna případová studie prozkoumala integraci ChatGPT 3.5 do denních kol a kvalitativně hodnotila jeho použití, ale neporovnávala ji s jinými referenčními nástroji LLM nebo zlatými standardy. [Skryd et al.] Další porovnával reakce CHATGPT na kritérii Americké vysokoškolské radiologie vhodnosti pro bolest bolesti a screening rakoviny prsu, ale opět ji nesrovnával s jinými LLM. [Rao a kol.] V našem přezkumu pouze jedna studie hodnotila LLM v klinickém prostředí skutečného světa. Jednalo se o sérii článků, které se zaměřily na jejich použití pro složité rozhodování v péči o rakovinu prsu, s použitím malého počtu skutečných případů a standardizované rychlé šablony. [Griewing, Knitza et al.; Gremke, Gremke et al.] Tato studie zjistila problémy s konzistencí a zhoršením přesnosti (zejména s GPT 3.5), což vedlo autory k závěru, že klinické použití LLM za tímto účelem nebylo v době zveřejnění proveditelné. Vedoucí systémů zdravotnických systémů však však v klinické praxi rychle zrychlují používání těchto nástrojů. Z tohoto důvodu vyšetřovatelé se domnívají, že je nezbytné studovat jejich bezpečnost a klinická vhodnosti rozhodnutí, které kliničtí lékaři dělají v důsledku jejich použití.

Cambridge Health Alliance (CHA) je veřejný, akademický zdravotní systém v oblasti Bostonu, který slouží rozmanité populaci pacientů. CHA má robustní primární péči a ambulantní psychiatrickou stopu a podporuje velký postgraduální vzdělávací program prostřednictvím Harvard Medical School a Tufts University School of Medicine. Vyšetřovatelé si vybrali obyvatele jako naši účastníci primární studie, protože mnoho stážistů již používá OpenEvidence, a zjistili, že je více motivováni k účasti na studii, pokud je dán přístup k nástroji v CHA (kde je jinak na černou listinu od síťových služeb a je zakázán, dokud nebude možné stanovit výsledky této studie).

Výsledky studie jsou následující:

Zjistěte, zda použití OpenEvidence vede k klinicky vhodnému rozhodnutí obyvatel v průběhu klinické praxe v prostředí zdraví komunity.

Určete, jak se výstup OpenEvidence porovnává s třemi dalšími běžně používanými, veřejně dostupnými modely velkých jazyků (OpenAi's Chatgpt, Anthropic's Claude a Google Gemini) v přesnosti, úplnosti a zaujatosti při řešení klinických otázek v průběhu klinické praxe v komunitním prostředí.

Metody:

Sběr dat se plánuje probíhat po dobu 6 měsíců, aby se minimalizovalo upgrady verze dodavatele během období studie. Obyvatelé jsou seskupeni specialitou do „medicíny“ (interní medicína/rodinná medicína) a „psychiatrie“ (psychiatrie pro dospělé/děti). Za účelem zjednodušení porovnání s příslušnými odborníky na specializované předměty jsou obyvatelé medicíny žádáni, aby používali OpenEvidence pouze pro případy primární péče pro dospělé (s výjimkou problémů souvisejících s OB/GYN). Obyvatelé psychiatrie jsou žádáni, aby používali OpenEvidence pouze pro případy psychiatrie pro dospělé.

Předtím, než byli přijati jako účastníci, byli stážisté požádáni, aby souhlasili s následujícím:

• Křížová kontrola libovolný dotaz OpenEvidence proti zlatému standardnímu nástroji, definovaný ve studijním protokolu, který zahrnuje PubMed, Uptodate, Dynamed, Clinical Speciality Society Pokyny nebo jiný podobný klinický referenční zdroj, který musí být zdokumentován ve formě studie.
• Nepřihlásit žádné osobní zdravotní informace (PHI) do OpenEvidence (jak je definováno níže).
• Pokuste se použít OpenEvidence nejméně 3krát týdně, pokud je to vhodné pro klinickou péči o pacienta.
• Dokumentujte 100% jejich dotazů na OpenEvidence do formy výzkumu studie, aby se zabránilo zkreslení výběru.

Všichni obyvatelé budou před zahájením sběru dat proveden krátký školení v rychlém inženýrství pro zdravotní péči. Standardizované výzvy nebudou používány, protože jedním z poddoalů studie je pochopit, jaké typy dotazů, kteří se obyvatelé podrobují OpenEvidence v reálném prostředí.

Všichni obyvatelé budou vzděláváni o definici PHI takto:

Dotazy by neměly zahrnovat žádnou z PHI, jak je definováno identifikátory bezpečného přístavu [HHS]; Dotazy mohou zahrnovat věk pacientů v letech (dny/týdny/měsíce pro pediatrii) a legální sex; U pacientů ve věku 89 let nebo starší musí uživatel místo toho použít termín „nad 89 let“, aby dodržoval standardy bezpečného přístavu.

Dotazy by neměly zahrnovat pacienty podezřelé z toho, že mají extrémně vzácné podmínky, jak je definována Národní organizací pro vzácné poruchy, protože jsou také náchylné k reidentifikaci [Nord]. Pokud vzácný stav není zpočátku podezřelý, ale bude podezřelý prostřednictvím výzkumného procesu používání nástroje AI, bude uživatel požádán, aby v tomto okamžiku zastavil svůj dotaz.

Sběr dat bude zahrnovat použití formuláře Google kompatibilní s HIPAA v rámci Workspace Workspace Google pro Cloud Infrastructure. Formulář pro sběr dat požádá stážisty provést následující:

1. Zadejte svou počáteční klinickou otázku.
2. Vložte svou výzvu OpenEVidence (očíslovanou postupně pro iterační výzvy) a generované úplné výstupy (výstupy).
3. Zadejte svůj klinický závěr na základě výstupu OpenEvidence.
4. Zadejte použitý referenční nástroj Gold Standard.
5. Uveďte svůj konečný klinický závěr založený na informacích jak z OpenEvidence, tak z zlatého standardního referenčního nástroje.
6. Odpovězte na otázku, do jaké míry byl jejich počáteční klinický závěr upraven pomocí zlaté standardní reference.
7. Odpovězte na otevřenou otázku, zda si všimli jakýchkoli problémů s klinickým bezpečnosti, nepřesnosti nebo zkreslení ve výstupu z OpenEvidence.

Dotazy budou tříděny podle speciality (medicína vs. psychiatrie) a každý dotaz obdrží sekvenční číslo studie.

Byla přijata účast na odbornících na předměty lékařů (MSP) certifikované v interním lékařství, rodinném lékařství nebo psychiatrii s nejméně 5 lety klinických zkušeností po tréninku. Pět let klinických zkušeností po tréninku bylo vybráno na základě skutečnosti, že Malcolm Gladwell ve své knize Outliers tvrdí, že k dosažení odborných znalostí je zapotřebí 10 000 hodin zaměřené praxe.

Malé a střední podniky budou požádány o vyhodnocení počátečních klinických otázek obyvatel a jejich závěrů založených pouze na OpenEvidence. Budou požádáni o hodnocení klinické přiměřenosti těchto závěrů na 10-bodové Likertově stupnici. SME bude také poskytnuta výkonu otevřeného pro každý dotaz a kde a malé a střední podniky hodnotí klinickou přiměřenost závěrů obyvatel špatně (<5/10), bude navíc MSP navíc položena následná otázka k posouzení, zda samotný výstup nástroje poskytne klinicky nevhodnou reakci, aby bylo možné zjistit, zda praktikant může mít nesprávný výstup nástroje. Přezkum malých a středních podniků bude zahrnovat překrytí 2,5–5% mezi recenzenty pro výpočet skóre Kappa pro spolehlivost interrater.

Ve druhé části studie bude výzkumný tým třídit dotazy OpenEvidence do témat a pro srovnání LLM si vybere náhodné vzorkování dotazů z každé speciality a téma. Výzkumný tým potvrzuje, že výzvy nezahrnují žádný PHI podle studijního protokolu. Poté zkopírují výzvy OpenEvidence zadané obyvateli pro vybrané dotazy a vloží je přesně do chatgptu, Gemini a Claude.

Výstupy každého ze čtyř nástrojů (OpenEvidence, ChatGPT, Gemini a Claude) se objeví v webformu Google. Malé a střední podniky budou požádány o hodnocení každého výkonu v Likertově stupnici pro přesnost, úplnost a zkreslení a také odpovědět na kvalitativní otázku identifikující jakékoli problémy s bezpečností pacienta ve výstupu.

Výsledky:

Výsledky primárního výsledku budou hlášeny takto:

Klinická přiměřenost rozhodnutí přijata obyvateli používajícími OpenEvidence (průměr s SD, mediánem), specialitou

• Pokud v případě nízké klinické přiměřenosti identifikovaly SME, že to bylo způsobeno výstupem nástroje, ale místo toho kvůli interpretaci nástroje rezidenta, metriky budou také poskytnuty s těmito případy vyloučeny
• Spolehlivost interrater (hodnota Kappa)

Výsledky sekundárního výsledku budou hlášeny takto:

Pro každou specialitu a každou proměnnou (přesnost, úplnost a zkreslení) budou vyšetřovatelé hlásit:

• Sazba „Win“ za každý LLM a průměrná marže od druhého skóre.
• Velikost efektu (použití každého LLM jako samostatného odkazu) pomocí Cohenova testu D.
• Spolehlivost interrater (hodnota Kappa)