Vývoj a validace nástroje naděje dožití demence

Plán analýzy

Plán analýzy byl založen na pokynech pro modelování klinické predikce. Plán byl vyvinut po přístupu k odvozenému datovému souboru, ale před posouzením asociací prediktor-výsledek a přizpůsobení modelu. Klíčovými úvahami je úplná předběžná specifikace modelu, včetně výběru prediktorů, aby se zabránilo výběru proměnných na základě dat. Tím se sníží riziko vychýlení a nadměrného přizpůsobení modelu. Za druhé, spojité proměnné budou specifikovány jako omezené kubické splajny s uzly na pevných kvantilech, takže se vyhneme kategorizaci spojitých proměnných. To bude respektovat nelineární povahu spojitých proměnných a zabrání neefektivitě a zkreslení spojené s kategorizací. Za třetí, důraz bude kladen na posouzení kalibrace modelu, a to nejen ve validační kohortě, ale také v podskupinách, které mají význam pro klinické lékaře a tvůrce politik. Statistická analýza bude provedena pomocí SAS Enterprise Guide V.9.4.

Validace bude provedena pomocí časové validace, přičemž výkonnost modelu bude hodnocena v časově odlišné (novější) kohortě jedinců s demencí. Toto je přísnější forma validace ve srovnání s interní validací, která zahrnuje náhodné rozdělení nebo převzorkování (bootstrapping, křížová validace). Zatímco dočasná validace hodnotí přenositelnost, interní validace hodnotí pouze reprodukovatelnost. Velikost derivační kohorty a očekávaný počet událostí v ní umožňuje dočasné ověření, aniž by se významně zvýšilo riziko přemontování.

Prediktorové proměnné

Kandidátské prediktorové proměnné byly plně předem specifikovány, takže se zabránilo výběru proměnných na základě dat. Zkontrolovali jsme proměnné v databázích domácí péče, abychom identifikovali prediktory. Kromě toho byly prozkoumány existující přehledy prognostických modelů u demence. Proměnné byly přezkoumány výzkumným týmem v jednotlivých položkách, aby určil, které mají být zahrnuty do původního modelu.

Do modelu budou zahrnuty prediktorové hodnoty pouze z jednoho náhodně vybraného hodnocení po diagnóze demence (hodnocení indexu). Nezahrnuli jsme hodnoty z následných posouzení, protože nástroj by byl aplikován v příčném řezu, nikoli podélně. Chceme se totiž vyhnout použití hodnot z následných hodnocení, které by v době náhodně vybraného hodnocení nebyly známy. Proměnné v našem modelu budou uspořádány do následujících kategorií: sociodemografické, klinické (komorbidity, léčba), specifické pro pečovatele, funkční, nutriční, kognitivní, psychologické/behaviorální, domácí péče, využití zdravotní péče a informace specifické pro hodnocení. Zahrneme interakce mezi věkem a proměnnými, které představují komorbidity, protože jejich spojení a očekávaná délka života se může s věkem lišit. V interakcích bude použit lineární člen věku, nikoli jeho omezený kubický spline.

Proměnná výsledku

Výslednou proměnnou bude doba přežití od hodnocení indexu do maximálního data sledování (31. prosince 2022). Úmrtnost bude zjištěna z databáze registrovaných osob, která obsahuje historický seznam všech jednotlivců způsobilých pro program zdravotního pojištění Ontario, včetně sociodemografických (např. věk, pohlaví, PSČ) a životně důležitých informací (např. datum úmrtí). Máme předem specifikované doby přežití, které nás zajímají, které jsou kompatibilní se současnými směrnicemi o způsobilosti pro služby specializované paliativní péče (tj. 3, 6 a 12 měsíců).

Specifikace modelu

Před vyhodnocením asociací prediktor-výsledek nebo přizpůsobením modelu budou prozkoumány prediktorové proměnné. Spojité proměnné budou zkoumány pomocí deskriptivních statistik a boxplotů a kategorické proměnné pomocí deskriptivních statistik a rozdělení četností. Jakékoli identifikované neplatné hodnoty budou opraveny, pokud je to možné, nebo budou jinak nastaveny na chybějící. Spojité proměnné budou specifikovány pomocí omezených kubických splajnů s uzly na pevných kvantilech (např. v 5-uzlovém splajnu jsou kvantily umístěny na 5., 27.5., 50., 72.5 a 95. percentil). Kategorizaci spojitých proměnných se vyhneme, protože je to spojeno s neefektivitou a zkreslením a nerespektuje to nelineární povahu spojitých proměnných. Kombinaci úrovní kategoriální proměnné se vyhneme, pokud kategorie nebude mít velmi nízký podíl na celkových pozorováních. Proměnné s vysokou mírou chybějících hodnot nebo nedostatečnou variací budou vyloučeny. Multikolinearita bude vyhodnocena pomocí proměnného shlukování (funkce VARCLUS v SAS). Minimální podíl rozptylu vysvětlený shlukem (vlastní hodnota) bude nastaven na 0,7.

Chybějící hodnoty budou přičteny pomocí vícenásobného přičtení, pokud bylo posouzeno, že chybějící hodnoty byly zcela náhodné nebo náhodné. Navzdory své jednoduchosti se vyhneme úplné analýze případu, aby se předešlo neefektivitě a zkreslení spojené s touto metodou. Imputační model bude zahrnovat výslednou proměnnou, prediktorové proměnné a pomocné proměnné (tj. proměnné, které nejsou zahrnuty v úplném modelu, ale které by mohly informovat o chybějící hodnotě proměnné). Počet imputovaných datových sad bude založen na podílu chybějících hodnot v datové sadě. Konečný model bude odhadnut v každém z imputovaných datových souborů. Odhady parametrů založené na každém souboru dat budou kombinovány pomocí Rubinových pravidel, která integrují nejistotu spojenou s imputací do konečných odhadů parametrů.

Odhad modelu

Model bude odhadnut v derivační kohortě pomocí Coxovy regrese proporcionálních rizik. Předpoklad proporcionálních rizik bude kontrolován vizuálně zkoumáním grafů Schoenfeldových reziduí v závislosti na čase a statisticky přidáním časově interagovaných prediktorů do modelu. Pokud je předpoklad porušen, pak zvážíme doplnění modelu o časově interagované prediktory.

Vzhledem k vysokému poměru očekávaných událostí ke stupňům volnosti a vyhýbání se výběru proměnných na základě dat je riziko nadměrného přizpůsobení posouzeno jako nízké. To však bude posuzováno statisticky pomocí heuristického odhadu smrštění [(pravděpodobnostní poměr Chí-kvadrát modelu - míra volnosti modelu)/pravděpodobnostní poměr Chí-kvadrát modelu]. Pokud je toto <0,90, pak bude model vyžadovat úpravu pro přesazení (např. provedením metody proměnlivé redukce nebo aplikací koeficientů smrštění na odhady parametrů). Přesazení bude také posouzeno vizuálně pomocí kalibrační křivky.

Protože záměrem je použít náš model jako manuální webovou kalkulačku, kterou by mohli používat poskytovatelé zdravotní péče, pečovatelé a pacienti, odhadneme redukovaný model, který se snaží optimalizovat šetrnost bez výrazného snížení výkonnosti modelu. Původní model může být skutečně příliš složitý, pracný a časově náročný na to, aby byl implementován. Redukovaný model bude odhadnut pomocí stepdown metody, přičemž postupně bude z modelu odstraněna proměnná s nejnižší Wald Chi-kvadrát, dokud nebude dosaženo minimálně přijatelné výkonnosti modelu. Redukovaný model bude porovnán s původním modelem pomocí Akaikeova informačního kritéria a měření diskriminace a kalibrace. Budeme uvažovat operátor nejmenšího absolutního smrštění a výběru (LASSO), protože by mohl vést ke smrštění některých regresních koeficientů na 0, čímž by se model redukoval. Kromě statistických prostředků modelové redukce zvážíme klinickou relevanci proměnné na základě existující literatury a odborných znalostí o obsahu, kromě schopnosti pacientů a jejich pečovatelů hodnotit a vkládat proměnnou.

Model bude vyvinut a ověřen pomocí časově rozdělených vzorků; konečné regresní koeficienty však budou založeny na úplném vzorku. Finální model bude mít stejné specifikace jako odvozený model.

Výkon modelu

Výkonnost modelu bude hodnocena ve validační kohortě ve více doménách. Konkrétně bude hodnocena z hlediska celkového výkonu, měřeného Nagelkerkeho R2, což je míra podílu variability ve výsledku, kterou model vysvětluje. Historicky měly nástroje klinické predikce R2 v rozmezí od 0,2 do 0,3. Model bude také posuzován z hlediska diskriminace, měřené statistikou konkordance (c) a vizualizované křivkou provozní charakteristiky přijímače. Statistika c se pohybuje od 0,5, což představuje žádnou rozlišovací schopnost, do 1,0, která představuje dokonalou rozlišovací schopnost.

Nakonec bude model posouzen z hlediska kalibrace. To bude vyhodnoceno vizuálně pomocí kalibrační křivky predikované versus pozorované úmrtnosti založené na odhadech Kaplan Meier ve výše uvedených předem specifikovaných dobách přežití (3, 6 a 12 měsíců). Dokonale zkalibrovaný model představuje 45stupňová čára s průsečíkem 0 a sklonem 1. Kalibrační křivka informuje, zda model systematicky nadhodnocuje nebo podhodnocuje riziko úmrtnosti (průměrná kalibrace nebo kalibrace ve velkém) a zda poskytuje extrémní predikce rizika úmrtnosti (tj. podhodnocuje riziko u jedinců s nízkým rizikem a nadhodnocuje riziko u vysoce rizikových jedinců). -rizikové osoby), což naznačuje nadměrné vybavení. Vypočte se průměrný relativní rozdíl mezi pozorovaným a předpokládaným rizikem úmrtnosti. Přijatelný rozdíl je <20 %, když je četnost událostí <=5 %. Nakonec, abychom umožnili srovnání s jinými prognostickými modely u jedinců s demencí žijících v komunitě, vypočítáme Integrated Calibration Index, střední absolutní rozdíl mezi pozorovaným a předpokládaným rizikem úmrtnosti; E50, střední absolutní rozdíl; a E90, 90. percentil absolutního rozdílu. Správnost shody nebude měřena Hosmer-Lemeshowovou statistikou nebo jejím ekvivalentem v Coxově modelu proporcionálních rizik; tyto testy nemohou poskytnout rozsah chybné kalibrace nebo určit, zda je chybná kalibrace přítomna pouze v určitých rozmezích předpokládaného rizika úmrtnosti.

Kalibrace bude také posuzována v decilových skupinách na základě predikovaného rizika úmrtnosti (střední kalibrace). Nakonec budou předem specifikovány podskupiny významu pro klinické lékaře a tvůrce politik (např. definované podle věku, pohlaví, komorbidit), ve kterých bude kalibrace hodnocena. Zobrazí se kalibrační graf a v každé podskupině se vypočte střední relativní rozdíl. Vzhledem k tomu, že jednotlivci, kteří podstoupili své náhodně vybrané hodnocení v nemocnici, se mohou systematicky lišit od těch, kteří podstoupili hodnocení v komunitě, budeme konkrétně hodnotit výkon modelu u jednotlivců, kteří podstoupili hodnocení v nemocnici.

Prezentace modelu

Konečný regresní model, založený na celkovém vzorku, bude prezentován pomocí poměrů rizik a souvisejících 95% intervalů spolehlivosti. Regresní vzorec bude zveřejněn online a bude základem pro webovou implementaci. Konkrétně bude model převeden na veřejně přístupnou webovou ruční kalkulačku na www.projectbiglife.com, který obsahuje několik nástrojů pro klinickou predikci vyvinutých naším týmem. Tento nástroj by k výpočtu naděje dožití mohli používat nejen poskytovatelé zdravotní péče, ale také pacienti a pečovatelé. S ohledem na to bude tým webových vývojářů, webových designérů, implementačních vědců, pacientů a pečovatelů a lékařů informovat o implementaci, aby byl nástroj uživatelsky přívětivý a aby byl jeho výstup interpretovatelný. Rozhraní modelu a výstup se mohou lišit v závislosti na tom, zda nástroj používá lékař nebo pacient/pečovatel. Budeme respektovat nejistotu spojenou s výstupem nástroje tím, že zahrneme mezikvartilní rozsahy, které transparentně odrážejí prognostickou nejistotu.