Opracowanie narzędzia do przetwarzania języka naturalnego umożliwiającego prowadzenie badań klinicznych w medycynie ratunkowej (NLP-DeVal)

TŁO I UZASADNIENIE BADANIA

Prowadzenie badań klinicznych i oceny jakości opieki w medycynie ratunkowej jest tyle samo trudne, co ważne. Jest to trudne, ponieważ ogromna liczba pacjentów wymagających leczenia i chroniczne niedobory personelu sprawiają, że gromadzenie danych doraźnych jest niepraktyczne. Jest to ważne, ponieważ ostatecznie badania umożliwiają lekarzom i pielęgniarkom zajmującym się pogotowiem ratunkowym oparcie swojej praktyki na dowodach uzyskanych w ich własnym, wyjątkowym środowisku, a nie na dowodach uzyskanych w odległych kontekstach, jak to powszechnie ma miejsce obecnie.

Jedynym sposobem na wypełnienie luki między potrzebami badawczymi a dostępnością solidnych danych jest wyodrębnienie danych bezpośrednio z elektronicznych kart zdrowia (EHR) oddziałów ratunkowych, unikając dedykowanego, czasochłonnego gromadzenia danych. Jest to jednak trudne zadanie, ponieważ najbardziej przydatne informacje są podawane w formie dowolnego tekstu (np. obecność objawów przedmiotowych i podmiotowych, podejrzenie i potwierdzenie diagnozy, wywiad). Takie okoliczności i potrzeby wymagają niezawodnego narzędzia do przetwarzania języka naturalnego (NLP), które pozwoli uzyskać wysoce spójne dane z dowolnego tekstu.

Obecnie dostępne są wielkoskalowe modele językowe, które umożliwiają dokładną interpretację języka naturalnego. Modele te są jednak szkolone w oparciu o ogromne ilości wiedzy ogólnej, pochodzącej głównie z Internetu, więc ich działanie w bardziej wyspecjalizowanych obszarach, takich jak dziedzina medycyny, może nie być optymalne.

Niniejsze badanie jest częścią większego projektu o nazwie eCREAM (umożliwienie badań klinicznych w medycynie ratunkowej i ostrej) i ma na celu opracowanie i walidację modelu językowego (zwanego eCREAM_LM) ​​dla sześciu języków, który może interpretować treść EHR oddziałów ratunkowych i wyodrębnić istotne informacje do celów badawczych.

METODY

Badanie ma charakter obserwacyjny, wieloośrodkowy, retrospektywny i trwa 24 miesiące. W badaniu weźmie udział trzydzieści ośrodków: 13 z Włoch, 4 z Polski, 3 z Grecji, Słowacji, Słowenii i Wielkiej Brytanii oraz 1 ze Szwajcarii. Ośrodki nie otrzymają żadnej rekompensaty, ale ich wydatki zostaną pokryte ze środków projektu.

Opracowanie i walidacja modelu eCREAM_LM.

eCREAM_LM będzie rozwijany poprzez szkolenie i dostrajanie najlepszego ogólnego modelu spośród modeli typu open source i będzie realizowany w częściowo równoległych fazach. Kandydaci na modelki będą mieli kontakt z ogromną liczbą (miliardów) tekstów medycznych pochodzących z literatury naukowej lub innych źródeł publicznych. Jednocześnie modele zostaną również narażone na ogromną liczbę (miliony) dowolnych notatek tekstowych uzyskanych z dokumentacji medycznej wykorzystywanej w uczestniczących szpitalach. Następnie przejdziemy do dostrajania, w którym wykorzystana zostanie duża liczba (tysiące) not klinicznych, uzyskanych po raz kolejny z dokumentacji medycznej uczestniczących ośrodków. Notatki te zostaną opatrzone adnotacjami przez doświadczonych lekarzy, co polega na wyodrębnieniu informacji z notatek w celu wypełnienia elementów danych wymienionych w wirtualnym formularzu gromadzenia danych (vCRF). vCRF został stworzony na potrzeby powiązanego badania i zawiera zestaw zmiennych przydatnych w przewidywaniu hospitalizacji pacjentów z dusznością lub przejściową utratą przytomności, co jest celem tego badania. W obecnym badaniu vCRF będzie służyć jako narzędzie do walidacji modelu językowego.

Walidacja eCREAM_LM zostanie przeprowadzona przy użyciu zestawu 1000 notatek klinicznych z adnotacjami, jak opisano powyżej, ale nie wykorzystanych w fazie rozwoju. Notatki te zostaną przekazane do modelu eCREAM_LM z zadaniem kompilacji vCRF. Zgodność w wypełnianiu vCRF pomiędzy lekarzami-specjalistami a eCREAM_LM będzie miarą ostatecznej walidacji eCREAM_LM.

Zbieranie danych i anonimizacja

Każdy uczestniczący szpital udostępni bezpłatne notatki zawarte w dokumentacji medycznej 150–300 000 dorosłych pacjentów leczonych w latach 2021–2023. Notatki dotyczące różnych aspektów tego samego pacjenta (np. wywiadu, obiektywnego badania, wyników badań) zostaną oddzielone od siebie w taki sposób, że niemożliwe będzie odtworzenie pełnego profilu pacjenta. Ponadto notatki zostaną pozbawione wszelkich odniesień do pacjenta (np. imię, nazwisko, data urodzenia) i kontekstu (np. szpital, data i godzina przybycia do ośrodka). Proces ten minimalizuje prawdopodobieństwo ponownej identyfikacji pacjentów i maksymalizuje ochronę ich praw. Prawdopodobieństwo ponownej identyfikacji pacjenta w bazie danych zależy od tego, jak bardzo jego cechy charakterystyczne różnią się od innych osób w bazie danych. Prawdopodobieństwo posiadania unikalnych, a zatem możliwych do zidentyfikowania pacjentów wzrasta wraz z ilością informacji dostępnych w bazie danych i maleje wraz z jej rozmiarem. Usunięcie wszelkich informacji osobistych i kontekstowych z notatek klinicznych i oddzielenie każdej notatki od pozostałych spowoduje, że każda notatka będzie zawierała jedynie kilka cech charakterystycznych pacjenta. Ponadto dane zebrane ze szpitali w tym samym kraju zostaną połączone, tak aby dla każdego języka powstała jedna duża baza danych. To skutecznie eliminuje prawdopodobieństwo, że istnieją osoby, które można jednoznacznie zidentyfikować na podstawie notatek.

Wreszcie, aby wykluczyć możliwość, że notatki będą zawierać informacje o osobach trzecich, takie jak nazwiska i numery telefonów krewnych pacjentów, w każdym szpitalu zostanie zainstalowane certyfikowane oprogramowanie do anonimizacji, zaprojektowane specjalnie w celu usuwania danych osobowych z dowolnego tekstu.

Po anonimizacji dane zostaną scentralizowane do celów analizy, a także przesłane do głównych europejskich platform wymiany zasobów językowych w środowisku naukowym.

Analiza statystyczna

Podczas walidacji eCREAM_LM ocenimy zgodność pomiędzy lekarzami specjalizującymi się w leczeniu ratunkowym a samym eCREAM_LM w zakresie wypełniania vCRF. Dane będą odnosić się do próby 1000 notatek dla każdego badanego języka. Zgodność zostanie oceniona dla każdej zmiennej vCRF przy użyciu κ Cohena jako miary zgodności. eCREAM_LM zostanie uznany za ważny, jeśli κ Cohena jest większe niż 0,75.

Wielkość próbki

Zakładając doskonałą zgodność (κ=0,80) pomiędzy eCREAM_LM a doświadczonymi lekarzami medycyny ratunkowej przy wypełnianiu vCRF, konieczna będzie próbka co najmniej 735 notatek, aby osiągnąć wystarczającą precyzję gwarantującą dobrą zgodność (dolna granica ufności wynosząca 95% przedziału ufności wynoszącego κ Cohena większe niż 0,75). Liczba ta to maksymalna wielkość próby uzyskana w różnych scenariuszach obejmujących różną liczbę kategorii (2 do 5) dla każdej zmiennej i różne rozkłady krańcowe kategorii w próbie, w tym rozkłady zrównoważone (np. 5 kategorii z 20% próby w każdej kategorii) i bardzo niezrównoważone wyniki (np. 5 kategorii z 1,8%, 7,3%, 16,4%, 29,1% i 45,5% próby). Ponieważ w niektórych notatkach może brakować interesujących informacji, ocenę zgodności danych przeprowadzimy na 1000 notatkach.