Vývoj nástroje pro zpracování přirozeného jazyka, který umožní klinický výzkum v urgentní medicíně (NLP-DeVal)

VÝCHODISKA A ODŮVODNĚNÍ STUDIE

Provádění klinického výzkumu a výzkumu hodnocení kvality péče v urgentní medicíně je stejně obtížné jako důležité. Je to obtížné, protože obrovský počet pacientů, které je třeba léčit, a chronický nedostatek personálu znemožňují sběr dat ad hoc. Je to důležité, protože výzkum v konečném důsledku umožňuje lékařům a sestrám na pohotovosti založit svou praxi na důkazech získaných v jejich vlastním, jedinečném prostředí, na rozdíl od důkazů získaných v daleko vzdálených souvislostech, jak je tomu dnes běžně.

Jediným způsobem, jak překlenout propast mezi výzkumnými potřebami a dostupností robustních dat, je extrahovat data přímo z elektronických zdravotních záznamů (EHR) pohotovostních oddělení, čímž se vyhnete specializovanému a časově náročnému sběru dat. To je však obtížný úkol, protože nejužitečnější informace jsou ve formátu volného textu (např. přítomnost příznaků a symptomů, suspektní a potvrzená diagnóza, anamnéza). Takové okolnosti a potřeby vyžadují spolehlivý nástroj pro zpracování přirozeného jazyka (NLP), aby bylo možné odvodit vysoce konzistentní data z volného textu.

Dnes jsou k dispozici rozsáhlé jazykové modely, které dokážou přesně interpretovat přirozený jazyk. Tyto modely jsou trénovány na obrovském množství obecných znalostí převzatých převážně z internetu, nicméně jejich výkon ve specializovanějších oblastech, jako je například lékařská oblast, nemusí být optimální.

Tato studie je součástí většího projektu nazvaného eCREAM (umožňující klinický výzkum v urgentní a akutní medicíně) a jejím cílem je vyvinout a ověřit jazykový model (nazvaný eCREAM_LM) ​​pro šest jazyků, který dokáže interpretovat obsah EHR oddělení pohotovosti a extrahovat relevantní informace pro výzkumné účely.

METODY

Studie je observační, multicentrická, retrospektivní, 24měsíční studie. Studie se zúčastní 30 center: 13 z Itálie, 4 z Polska, 3 z Řecka, Slovenska, Slovinska a Spojeného království a 1 ze Švýcarska. Centra nedostanou žádnou kompenzaci, ale jejich výdaje budou hrazeny z prostředků projektu.

Vývoj a validace modelu eCREAM_LM.

eCREAM_LM bude vyvíjen prostřednictvím školení a vyladění nejlepšího celkového modelu mezi těmi open source a bude probíhat v částečně paralelních fázích. Kandidátské modely budou vystaveny obrovskému množství (miliardám) lékařských textů z vědecké literatury nebo jiných veřejných zdrojů. Současně budou modely také vystaveny obrovskému množství (milionů) volných textových poznámek získaných z lékařských záznamů používaných v zúčastněných nemocnicích. Poté přejdeme k dolaďování, kde bude použito velké množství (tisíce) klinických záznamů, získaných opět z lékařské dokumentace zúčastněných center. Tyto poznámky budou opatřeny anotací zkušených lékařů, která spočívá v extrakci informací z poznámek k vyplnění datových položek uvedených ve formuláři pro virtuální sběr dat (vCRF). VCRF byl vytvořen pro související studii a obsahuje soubor proměnných užitečných při predikci hospitalizace pacientů s dušností nebo přechodnou ztrátou vědomí, což je cílem související studie. V této studii bude vCRF sloužit jako nástroj pro validaci jazykového modelu.

Validace eCREAM_LM bude provedena pomocí sady 1 000 klinických poznámek anotovaných, jak je popsáno výše, ale nepoužívaných ve fázi vývoje. Tyto poznámky budou odeslány do modelu eCREAM_LM s úkolem sestavit vCRF. Měřítkem konečné validace eCREAM_LM bude shoda při vyplňování vCRF mezi odbornými lékaři a eCREAM_LM.

Sběr a anonymizace dat

Každá zúčastněná nemocnice poskytne bezplatné textové poznámky obsažené ve zdravotních záznamech 150–300 000 dospělých pacientů léčených v letech 2021 až 2023. Poznámky týkající se různých aspektů téhož pacienta (např. anamnéza, objektivní vyšetření, výsledky testů) budou od sebe odděleny, takže nebude možné rekonstruovat úplný profil pacienta. Kromě toho budou poznámky zbaveny všech odkazů na pacienta (např. jméno, příjmení, datum narození) a kontextu (např. nemocnice, datum a čas příjezdu do centra). Tento proces minimalizuje pravděpodobnost opětovné identifikace pacientů a maximalizuje ochranu jejich práv. Pravděpodobnost opětovné identifikace pacienta v databázi závisí na tom, jak jedinečné jsou jeho charakteristiky od ostatních osob v databázi. Pravděpodobnost jedinečných, a tedy identifikovatelných pacientů se zvyšuje s množstvím informací dostupných v databázi a klesá s její velikostí. Odstraněním všech osobních a kontextových informací z klinických poznámek a oddělením každé poznámky od ostatních bude každá poznámka obsahovat pouze několik charakteristik pacienta. Data shromážděná z nemocnic ve stejné zemi budou navíc sloučena, takže pro každý jazyk bude existovat jedna velká databáze. To účinně vynuluje pravděpodobnost, že existují jednotlivci jednoznačně identifikovatelní z bankovek.

A konečně, aby se vyloučila možnost, že poznámky budou obsahovat informace o třetích stranách, jako jsou jména a telefonní čísla příbuzných pacientů, bude v každé nemocnici nainstalován certifikovaný anonymizační software, speciálně navržený k odstranění osobních údajů z volného textu.

Po anonymizaci budou data centralizována pro analýzu a budou také nahrána na hlavní evropské platformy pro sdílení jazykových zdrojů ve vědecké komunitě.

Statistická analýza

Při validaci eCREAM_LM posoudíme shodu mezi odbornými pohotovostními lékaři a samotným eCREAM_LM při vyplňování vCRF. Údaje se budou vztahovat na vzorek 1 000 poznámek pro každý studijní jazyk. Shoda bude hodnocena pro každou proměnnou vCRF pomocí Cohenova κ jako míry shody. eCREAM_LM bude považován za platný, pokud je Cohenovo κ větší než 0,75.

Velikost vzorku

Za předpokladu vynikající shody (κ=0,80) mezi eCREAM_LM a zkušenými pohotovostními lékaři při vyplňování vCRF bude k dosažení dostatečné přesnosti pro zaručení dobré shody nezbytný vzorek alespoň 735 poznámek (spodní mez spolehlivosti 95% interval spolehlivosti Cohenovo K větší než 0,75). Toto číslo je maximální velikost vzorku získaná v různých scénářích zahrnujících různý počet kategorií (2 až 5) pro každou proměnnou a různé okrajové rozdělení kategorií ve vzorku, včetně vyváženého rozdělení (např. 5 kategorií s 20 % vzorku v každé kategorii) a velmi nevyvážené výsledky (např. 5 kategorií s 1,8 %, 7,3 %, 16,4 %, 29,1 % a 45,5 % vzorku). Vzhledem k tomu, že v některých poznámkách mohou chybět zajímavé informace, provedeme vyhodnocení ověření dat na 1 000 poznámkách.