Umělá inteligence pro triáž pacientů vyžadujících neodkladnou nebo neplánovanou péči, kteří potřebují být odesláni do nemocnice (TRIAGE)

Úvod - vědecké zdůvodnění 1.1. Kontext S tím, jak populace stárne a prevalence chronických onemocnění roste, počet praktických lékařů klesá. Tato rostoucí nerovnováha mezi lékařskými potřebami a nabídkou vede k obtížím v přístupu k primární péči, zejména k urgentní a neplánované péči.

Pro řešení tohoto problému Francie zřídila službu přístupu ke zdravotní péči (SAS). V případě potřeby urgentní nebo neplánované péče umožňuje SAS jednotlivcům, jejichž primární lékař není k dispozici, přístup k zdravotnickému pracovníkovi. V závislosti na situaci může služba poskytnout lékařskou radu, nabídnout telekonzultaci, odeslat osobu k místnímu lékaři nebo na pohotovost, nebo dokonce přivolat mobilní jednotku urgentní péče a resuscitace (SMUR) nebo sanitku. SAS funguje jako triážní systém, poskytující odpověď přizpůsobenou potřebám každého jednotlivce.

Cílem tohoto projektu je studovat určité aspekty platnosti triážního modelu založeného na umělé inteligenci (AI) pro pacienty vyhledávající urgentní nebo neplánovanou péči, což umožní identifikaci pacientů, kteří budou vyžadovat nemocniční léčbu.

Tento projekt navazuje na předchozí studii, která vyvinula model využívající AI k triáži pacientů pomocí SOS Médecins Grand Paris. Stejně jako v SAS, lidé, kteří volají SOS Médecins, předkládají svůj problém zdravotnickému dispečerskému asistentovi (MDA), který ve většině případů zajišťuje domácí návštěvu.

Databáze SOS Médecins obsahují zvukové záznamy žádostí o péči a lékařských rozhodnutí učiněných lékaři po jejich domácích návštěvách, včetně toho, zda byl pacient odeslán do nemocnice (data o výsledcích pacientů jsou vyčerpávající). Byl proto vyvinut prediktivní model využití nemocničních služeb pacienty po domácí návštěvě lékaře SOS pomocí AI. Model "naslouchá" výměnám mezi pacientem a MDA a předpovídá využití nemocničních služeb po domácí návštěvě lékaře.

Model a jeho vývoj jsou předmětem článku, který je aktuálně předložen k publikaci v mezinárodním časopise. Během testovací fáze dosáhl plochy pod křivkou ROC (receiver operating characteristic) 0,80. Nakonec bude model založený na AI muset fungovat v reálném čase a poskytovat informace MDA, aby jim pomáhal v jejich práci. Prozatím je cílem tohoto projektu dokončit validaci systému. Poté bude nutné jej implementovat a otestovat v reálných podmínkách, aby bylo možné určit přínosy triáže pacientů MDA s využitím předpovědí modelu.

Je třeba poznamenat, že zatímco SOS Médecins není totéž co SAS, je podobný. Za prvé, obě struktury fungují podobným způsobem: MDA kontaktovaný telefonem se snaží reagovat na žádost o urgentní nebo neplánovanou péči. Rozsah možných odpovědí je pro obě struktury stejný (SOS nenabízí pouze domácí návštěvy, provádí také osobní nebo videokonzultace a převádí určité hovory na zdravotnickou záchrannou službu), stejně jako využití lékařské odbornosti v případě potřeby (lékařská regulace). Za druhé, SOS Médecins je jedním z následných efektorů SAS. Starší a lépe známý široké veřejnosti a zdravotnickým pracovníkům než SAS (který v současnosti pokrývá pouze 60 % území státu), by SOS mohl mít proces náboru velmi podobný tomuto novému službě. Pokud je nám známo, neexistují zatím žádné statistiky o SAS, které by umožnily srovnání aktivit obou struktur. V tomto kontextu bude proto nutná validace modelu vyvinutého s daty SOS v rámci SAS. Pokud v budoucnu data ukážou, že obě struktury jsou podobné, SAS by mohl těžit z tohoto projektu vyvinutého v SOS. Data SOS mají významnou výhodu oproti datům SAS: obsahují informace o výsledcích pacientů, včetně toho, zda šli na nemocniční pohotovost. Toto označení hovorů umožnilo supervizované učení modelu AI.

Tento projekt, který je podle našich znalostí jedinečný, otevírá cestu k triážní pomoci, kterou lze použít v SAS (a možná do určité míry i na pohotovostech).

1.2. Přínosy pro pacienty a zdravotnický systém Včasná identifikace pacientů s vysokým rizikem hospitalizace, z nichž někteří mají stavy vyžadující urgentní péči ve specializovaném prostředí, by měla usnadnit klinické rozhodování a nakonec zlepšit zdraví pacientů. To se týká především pacientů se stavy, jejichž prognóza je přímo spojena s rychlostí poskytnutí péče, jako jsou závažné ischemické, respirační, traumatické nebo infekční stavy, kteří budou mít prospěch z hospitalizace bez čekání na návštěvu lékaře doma. Přínosem pro pacienty tedy bude snížení ztracených příležitostí v důsledku chyb v triáži.

Kromě toho triáž před pohotovostmi (jak navrhl předchozí ministr zdravotnictví a jak je implementována v některých personálně nedostatečně vybavených pohotovostech a je běžnou praxí v Dánsku) zlepší fungování nemocničních pohotovostí, kde nadměrná aktivita má dopad na úmrtnost starších pacientů přijímaných k péči. Z hlediska veřejného zdraví by zavedení efektivního triážního systému mohlo zlepšit přístup k urgentní a neplánované péči.

Výzkumné cíle a hodnotící kritéria Triážní model založený na AI používaný k identifikaci pacientů, kteří potřebují být odesláni do nemocnice, již byl vyvinut a otestován pomocí hovorů na SOS Médecins Grand Paris. Článek je aktuálně publikován. Tento projekt se tedy nezaměřuje na vývoj nebo interní validaci triážního modelu, ale na další aspekty související s jeho validací: prospektivní a externí validaci; srovnání jeho předpovědí s předpověďmi lékařského experta; vyšetření sociální diskriminace, která by mohla být spojena s jeho použitím; a stanovení skutečných podmínek jeho použití ve zdravotnických zařízeních.

2.1. Cíl a primární ukazatel Prospektivní hodnocení výkonnosti prediktivních modelů na provozních datech z reálného světa je klíčovým krokem k integraci těchto modelů do klinického kontextu a posouzení jejich dopadu na péči o pacienty.

- Primární cíl (PO): Prospektivní validace triážního modelu používaného k identifikaci pacientů, kteří budou odesláni do nemocnice po domácí návštěvě lékaře.

Plocha pod křivkou ROC (AROC) poskytuje celkové měření výkonnosti klasifikačního systému.

Je třeba poznamenat, že všechna data použitá v této studii jsou retrospektivní. Model byl navržen pomocí dat z roku 2023 a dřívějších (včetně roku 2017) a "prospektivní" data jsou ta následující po jeho návrhu a budou to data pro rok 2024.

- Primární ukazatel (PE): Srovnání AROC získaných z reprezentativních vzorků retrospektivních a prospektivních dat z SOS Médecins Paris.

2.2. Sekundární cíle a ukazatele Externí validace na datech pacientů z oddělených geografických lokalit je nezbytná k pochopení toho, jak mohou být modely vyvinuté na jedné lokalitě bezpečně a efektivně implementovány na jiných lokalitách.

- Sekundární cíl č. 1 (SO1): Externí validace triážního modelu

• Sekundární ukazatel č. 1 (SEP1): Srovnání AROC získaných z reprezentativních vzorků retrospektivních dat z SOS Médecins Grand Paris a Ajaccio.
• SEP2: Srovnání předpovědí triážního modelu s předpověďmi experta lékaře.
• Sekundární ukazatel č. 2 (SEP2): Srovnání míry správných předpovědí mezi triážním modelem a expertem lékařem na vyváženém nereprezentativním vzorku (tj. skládajícím se z 50 % pacientů odeslaných do nemocnice po domácí návštěvě lékaře, spíše než z 3 %, jak je tomu ve skutečnosti) dat z SOS Médecins Grand Paris.

Bylo zjištěno, že několik triážních systémů založených na AI je diskriminačních. Dva známé příklady to ilustrují:

• výběr počítačových inženýrů ucházejících se o práci na základě jejich životopisů: systém byl trénován pomocí stávajících inženýrů, kteří byli převážně muži, a znevýhodňoval ženy;
• Detekce melanomů z obrazů dermatoskopu: systém byl trénován pomocí světlých odstínů pleti a nebyl tak účinný na tmavých odstínech pleti.
• OS3: Studium potenciálních jevů diskriminace spojených s modelem ve vztahu k sociálním charakteristikám pacientů.
• Sekundární ukazatel č. 3 (CJS3): Srovnání AROC získaných z reprezentativních vzorků dat SOS Médecins Grand Paris pro obě pohlaví.

Přechod od validovaného prediktivního modelu k efektivnímu zařízení v reálných podmínkách je v AI dobře známou výzvou.

- SO4: Stanovení reálných podmínek použití modelu MDA.

- Sekundární ukazatel č. 4 (SEP4): Vypracování specifikací pro implementaci triážního systému MDA

Výběr a vyloučení osob ze studie 3.1. Kritéria zařazení Osoby jakéhokoli věku, které obdržely domácí návštěvu lékaře SOS po hovoru v roce 2024 nebo dříve.

3.2. Vylučovací kritéria Osoby, které nemluví francouzsky. Osoby bez zdravotního pojištění.

Popis studie 4.1. Typ studie Jedná se v podstatě o studii k validaci triážního modelu pacientů založeného na AI. Bude provedena pomocí observačních dat.

4.2. Proces výzkumu 4.2.1. Místo výzkumu Studie bude provedena v prostorách SOS Médecins. Lékařští experti z SOS Médecins Grand Paris budou najati k provedení SO2.

4.2.2. Metody náboru Budou použita data shromážděná SOS Médecins v průběhu jeho činnosti.

4.2.3. Postupy péče o pacienty Projekt se zaměřuje na potřebu využívat nemocnice k uspokojení poptávky po urgentní nebo neplánované péči od pacientů v komunitě. Nebude však zasahovat do péče o pacienty.

4.2.4. Postupy ukončení studie Pacienti, kteří požádají o vyloučení, budou vyloučeni.

4.2.5. Sbírka dat

• PO (prospektivní validace), SO1 (externí validace) a SO3 (diskriminace):

Použitá data budou ta, která již byla shromážděna v průběhu činnosti SOS Médecins. Obě lokality (Paříž a Ajaccio, Korsika) používají stejný software pro správu telefonních hovorů od okamžiku jejich přijetí a zaznamenání až do konce procesu péče SOS (tj. konce domácí návštěvy v našem případě), včetně zadávání administrativních a lékařských dat (soubor SOS Médecins). Zde je seznam dat, která budou použita, a způsob, jakým budou zpracována pro analýzu:

- Přepisy zvukových nahrávek konverzací mezi pacienty a MDA. Predikce AI budou provedeny na základě těchto přepisů (a pouze těchto přepisů).

• Data ze souboru SOS Médecins:
• den v týdnu, měsíc, rok a čas telefonního hovoru;
• číslo sčítacího obvodu místa návštěvy bude získáno z adresy poskytnuté pacientem. Sčítací obvody jsou nejmenší prostorové jednotky, pro které jsou dostupná statistická data při zachování anonymity jejich obyvatel. Na této úrovni je k dispozici několik socioekonomických proměnných ze sčítání INSEE (Národní institut pro statistiku a ekonomická studia), jako jsou míry nezaměstnanosti, absolventi středních škol, dělníci, medián příjmu, index sociální deprivace (také známý jako FDep pro francouzský index deprivace) a EDI (pro index ekologické deprivace). Tyto různé proměnné poskytují ekologická (oproti individuálním) měření sociální pozice jednotlivců tam bydlících;
• důvody hovoru, definované MDA, na základě předdefinovaného seznamu, ale neodpovídající mezinárodní klasifikaci. Pro stejný hovor může být hlášeno několik důvodů;
• úroveň naléhavosti (4 úrovně), definovaná MDA;
• datum a čas ukončení domácí návštěvy, definované lékařem na konci návštěvy
• Diagnózy konzultace, definované lékařem na konci návštěvy, na základě předdefinovaného seznamu, ale neodpovídající mezinárodní klasifikaci. Pro stejnou konzultaci může být hlášeno několik důvodů.
• Stav pacienta na konci návštěvy (uzavřený seznam: ponechán na místě, převoz na nemocniční pohotovost, volání zdravotnické záchranné služby).
• způsob převozu na nemocniční pohotovost (uzavřený seznam: vlastními prostředky, sanitka, hasiči, SMUR).
• SO2 (lékařský expert):

Některá individuální data budou shromážděna od lékařských expertů podílejících se na dosažení tohoto cíle: věk, pohlaví, délka praxe celkově a v rámci SOS Médecins, specializace.

Kromě toho, po přečtení přepisů telefonických výměn mezi pacienty a ARMs, bude těmto lékařům požádáno, aby odhadli pravděpodobnost převozu pacientů do nemocnice.

Budou jim položeny dvě otázky:

• Jaká je pravděpodobnost, že tento pacient bude hospitalizován po návštěvě lékaře SOS? Odpověď umístěním křížku na škálu od 0 (žádná hospitalizace) do 100 (hospitalizace).
• Jak jste si jisti touto pravděpodobností? Odpověď umístěním křížku na škálu od 0 (žádná jistota) do 100 (úplná jistota)

Popis zásahů studie V této studii nejsou žádné zásahy, je striktně observační.

Přesto zde popisujeme organizaci práce, která bude provedena k dokončení SO2 a SO4.

• SO2 (lékařský expert):

Za účelem srovnání předpovědí triážního modelu o využití nemocnice s předpověďmi lékařského experta budou na dobrovolné bázi najati lékaři z SOS Médecins Grand Paris s více než pětiletou zkušeností v organizaci. Každý z těchto lékařů bude požádán, aby odhadl pravděpodobnost využití nemocnice pro několik pacientů/hovorů (viz §4.2.5. Sbírka dat).

- SO4 (reálné podmínky): Bude vytvořena pracovní skupina složená ze statistiků, počítačových inženýrů, MDA, lékařů SOS a výzkumníků ergonomie, aby zvážila nejlepší způsob, jak poskytnout MDA pravděpodobnost využití nemocnice. Bude třeba řešit několik otázek: jak je pravděpodobnost zobrazena na obrazovce, prahová hodnota pravděpodobnosti, zda by měl být hovor převeden na dispečerského lékaře (a pokud ano, při jaké prahové hodnotě), vliv pravděpodobnosti na úroveň naléhavosti hovoru definovanou MDA a možnost dát prioritu určitým naléhavým žádostem. Po úvodní pracovní schůzce bude verze implementována s dobrovolnými MDA. Po počátečním použití v reálných podmínkách bude shromážděna zpětná vazba a proveden nový experiment. Nakonec budou vypracovány specifikace pro implementaci v reálných podmínkách (s uvedením důvodů pro provedené volby), aby mohl být triážní model implementován na různých IT platformách.

Statistické analýzy 6.1. Výpočet počtu subjektů - PO (prospektivní validace): Abychom prokázali, že AROC na prospektivních datech je odlišný od ROC na retrospektivních datech, pokud jsou pozorovány AROC 0,75 a 0,80, budeme potřebovat 13 560 pacientů/hovorů na vzorek (tj. 407 pacientů, kteří budou odesláni do nemocnice a 13 153 pacientů, kteří nebudou, v souladu s 3 % pacientů odeslaných do nemocnice pozorovaných v SOS Médecins Grand Paris), za předpokladu alfa rizika 5 %, síly 90 % a oboustranného testu. Tento výsledek byl získán pomocí funkce power tworoc statistického softwaru Stata.

- SO1 (externí validace): Podle stejného výpočtu jako pro OP bude třeba v Ajacciu na Korsice mobilizovat vzorek 13 560 pacientů.

- SO2 (expertní lékaři): Zatímco všechny ostatní analýzy budou založeny na reprezentativních vzorcích, tato analýza bude založena na vyváženém vzorku (tj. složeném z 50 % pacientů, kteří budou odesláni do nemocnice a 50 %, kteří nebudou) ze dvou důvodů. Při nízké míře odeslání do nemocnice (3 %) a nízkém počtu hovorů, které mají být hodnoceny pro každého z expertních lékařů, by možnou strategií pro lékaře, který by chtěl zajistit dobrý výkon, bylo nikdy neodesílat pacienty do nemocnice. Navíc reprezentativní vzorek by neumožnil studium falešně negativních (pacientů s nízkou odhadovanou pravděpodobností odeslání do nemocnice, když ve skutečnosti budou), protože by jich bylo příliš málo.

Za účelem zdůraznění rozdílu v míře správných předpovědí mezi triážním modelem a expertním lékařem by bylo zapotřebí 365 hovorů od pacientů, kteří využívají nemocnici (a stejný počet pacientů, kteří ji nevyužívají), za předpokladu míry správných předpovědí 58 % (viz přílohy §12.2 pro stanovení této míry) a 68 % (apriorní volba 10 dalších procentních bodů) pro triážní model a experta lékaře, s alfa rizikem 5 %, sílou 80 % a oboustranným testem (funkce Stat's power twoproportions).

Na základě hodnocení jednoho hovoru každých 5 minut bude zapotřebí celkem 61 hodin času lékařského experta. Na základě 4 hodin práce na lékaře to odpovídá 16 lékařských expertů k náboru.

- SO3 (diskriminace): Podle stejného výpočtu jako pro PO bude třeba mobilizovat vzorek 13 560 pacientů každého pohlaví, pokud chceme ukázat rozdíl v AROC triážního modelu mezi muži a ženami. Poměr pohlaví osob volajících SOS Médecins Grand Paris je blízký 1. Budou použity jak retrospektivní, tak prospektivní vzorky z SOS Médecins Grand Paris z PO.

6.2. Popis použitých statistických analýz Studie bude provedena v souladu s doporučeními TRIPOD-AI, což jsou směrnice pro reportování prognostických a diagnostických studií (konkrétně pro AI)

6.2.1. Výběr osob, které mají být zahrnuty do analýz Pro všechny cíle bude výběr osob, které mají být zahrnuty, proveden náhodným losováním na základě celého počtu let. To pokryje všechny hodiny dne, dny v týdnu a měsíce v roce. Pro SO3 bude nereprezentativní vzorek obsahovat 50 % pacientů odeslaných do nemocnice.

6.2.2. Deskriptivní statistika Pro všechny shromážděné proměnné budou provedeny deskriptivní analýzy. Kvantitativní proměnné budou popsány pomocí jejich průměru, mediánu, směrodatné odchylky, 95% intervalu spolehlivosti, interkvartilového rozsahu, minima, maxima, počtu chybějících hodnot a počtu nepoužitelných hodnot. Kvantitativní proměnné budou popsány jejich procenty a 95% intervalem spolehlivosti. Bude prezentován časový interval mezi hovorem a koncem návštěvy. Tyto analýzy budou provedeny na všech vzorcích a stratifikovány podle využití nemocnice.

6.2.3. Analýza primárního ukazatele Začínáme prezentací generické analytické strategie, která bude použita pro různé účely.

Pro hodnocení výkonnosti různých triážních systémů (AI a lékařský expert) na různých vzorcích (prospektivních nebo retrospektivních, v Paříži nebo Ajacciu, Korsika) pacientů budou vykresleny křivky ROC a precision-recall (PR) a odhadnuty plochy pod těmito křivkami (AROC a APR). AROC nám umožňuje měřit celkovou výkonnost klasifikačního systému. APR bude také použito, protože je obzvláště informativní při hodnocení binárních klasifikátorů na nevyvážených datových souborech, ve kterých počet negativních výsledků daleko převažuje nad počtem pozitivních výsledků (což odpovídá naší situaci). Pro srovnání dvou triážních systémů (např. AI a lékařský expert) nebo stejného triážního systému (např. AI) na dvou různých populacích (např. Paříž a Ajaccio, Korsika) budou porovnány jejich AROC.

Kromě toho, pro hodnocení výkonnosti smysluplným způsobem z provozní perspektivy, budou pro různé prahové hodnoty vypočteny senzitivita (Sen), specificita (Spe), pozitivní prediktivní hodnoty (PPV) a negativní prediktivní hodnoty (NPV).

- PO (prospektivní platnost): Generická analytická strategie pro triážní model AI bude provedena na dvou reprezentativních vzorcích, jednom retrospektivním (2023 a předchozí roky) a jednom prospektivním (2024 roky) z SOS Médecin Grand Paris.

6.2.4. Analýza sekundárních ukazatelů

- SO1 (externí platnost): Generická analytická strategie týkající se triážního modelu AI bude provedena na dvou reprezentativních retrospektivních vzorcích z SOS Médecin Grand Paris a Ajaccio, Korsika.

- SO2 (expertní lékaři): Míry správných předpovědí dvou triážních systémů (AI a expertní lékaři) budou porovnány pomocí statistického testu.

Na více exploratorním základě:

- Budou vypočteny AROC dvou triážních systémů (generická analytická strategie).

- Rozdíly v předpovědích mezi dvěma triážními systémy budou modelovány na základě skutečného využití nemocnice a charakteristik pacientů.

- Budou vypočteny vážené kappa koeficienty mezi dvěma předpověďmi.

- budou provedeny senzitivní analýzy na základě úrovně jistoty hlášené lékařskými experty (zejména vysoké a nízké úrovně jistoty);

• budou provedeny stratifikované analýzy skutečného využití nemocnice (studium pravých pozitivních a pravých negativních).

Kdykoli to bude možné, analýzy vezmou v úvahu skutečnost, že stejný lékařský expert mohl vyšetřit několik hovorů/pacientů.

• SO3 (diskriminace):

Diskriminace bude vyšetřována podle následujících sociálních charakteristik: věk, pohlaví a sociální pozice (odhadnuta na základě socioekonomických charakteristik sčítacího obvodu místa návštěvy). . Věk a ekologické proměnné sociální pozice budou použity ve formě tercilů a kvintilů. Bude provedena generická analytická strategie týkající se triážního modelu AI na reprezentativních vzorcích z SOS Médecin Grand Paris stratifikovaných podle výše uvedených sociálních charakteristik. Srovnání AROC určí, zda je triáž stejně účinná podle výše uvedených sociálních charakteristik.

Kromě toho bude také provedeno srovnání úspěchů (pravých pozitivních a pravých negativních společně a odděleně) podle výše uvedených charakteristik pomocí univariačních a poté multivariačních logistických modelů. Tyto analýzy budou provedeny pro různé prahové hodnoty rizika.

- SO4 (reálné podmínky) Po diskusích mezi kolegy a testování v reálném měřítku budou vypracovány specifikace pro implementaci v reálných podmínkách, aby mohl být triážní model implementován na různých IT platformách. Odůvodnění za provedenými volbami bude specifikováno v těchto specifikacích.