Opracowanie i walidacja narzędzia dotyczącego przewidywanej długości życia w przypadku demencji

Plan analizy

Plan analizy opierał się na wytycznych dotyczących klinicznego modelowania predykcyjnego. Plan opracowano po uzyskaniu dostępu do zbioru danych wyprowadzających, ale przed oceną powiązań między predyktorami a wynikami oraz dopasowania modelu. Kluczowymi kwestiami są pełna wstępna specyfikacja modelu, w tym wybór predyktorów, tak aby uniknąć selekcji zmiennych na podstawie danych. Zmniejszy to ryzyko błędu systematycznego i nadmiernego dopasowania modelu. Po drugie, zmienne ciągłe zostaną określone jako ograniczone splajny sześcienne z węzłami w ustalonych kwantylach, tak aby uniknąć kategoryzacji zmiennych ciągłych. Pozwoli to uwzględnić nieliniowy charakter zmiennych ciągłych i pozwoli uniknąć nieefektywności i stronniczości związanej z kategoryzacją. Po trzecie, nacisk zostanie położony na ocenę kalibracji modelu, nie tylko w kohorcie walidacyjnej, ale także w podgrupach mających znaczenie dla klinicystów i decydentów. Analiza statystyczna zostanie przeprowadzona przy użyciu SAS Enterprise Guide V.9.4.

Walidacja zostanie przeprowadzona przy użyciu walidacji czasowej, w ramach której działanie modelu zostanie ocenione w czasowo odrębnej (nowszej) kohorcie osób z demencją. Jest to bardziej rygorystyczna forma walidacji w porównaniu z walidacją wewnętrzną, która obejmuje losowy podział lub ponowne próbkowanie (ładowanie początkowe, walidacja krzyżowa). Podczas gdy walidacja tymczasowa ocenia możliwość transportu, walidacja wewnętrzna ocenia jedynie odtwarzalność. Rozmiar kohorty wyprowadzającej i oczekiwana liczba zdarzeń w niej umożliwia walidację czasową bez znaczącego zwiększania ryzyka nadmiernego dopasowania.

Zmienne predykcyjne

Kandydackie zmienne predykcyjne zostały w pełni określone z góry, tak że uniknięto selekcji zmiennych na podstawie danych. Dokonaliśmy przeglądu zmiennych w bazach danych dotyczących opieki domowej, aby zidentyfikować czynniki predykcyjne. Ponadto zbadano istniejące przeglądy modeli prognostycznych w demencji. Zespół badawczy dokonał szczegółowego przeglądu zmiennych, aby określić, które z nich należy uwzględnić w modelu początkowym.

Warto zauważyć, że w modelu uwzględnione zostaną wartości predykcyjne tylko z jednej losowo wybranej oceny przeprowadzonej po rozpoznaniu demencji (ocena wskaźnikowa). Nie uwzględniliśmy wartości z kolejnych ocen, ponieważ narzędzie będzie stosowane przekrojowo, a nie podłużnie. Rzeczywiście chcemy uniknąć wykorzystywania wartości z kolejnych ocen, które nie byłyby znane w momencie losowo wybranej oceny. Zmienne w naszym modelu zostaną podzielone na następujące kategorie: socjodemograficzne, kliniczne (choroby współistniejące, leczenie), specyficzne dla opiekuna, funkcjonalne, żywieniowe, poznawcze, psychologiczne/behawioralne, opieka domowa, korzystanie z opieki zdrowotnej i informacje specyficzne dla oceny. Uwzględnimy interakcje między wiekiem a zmiennymi reprezentującymi choroby współistniejące, ponieważ ich powiązanie ze średnią długością życia może zmieniać się wraz z wiekiem. W interakcjach używany będzie liniowy termin wieku, a nie jego ograniczony splajn sześcienny.

Zmienna wynikowa

Zmienną wynikową będzie czas przeżycia od oceny wskaźnika do maksymalnego terminu obserwacji (31 grudnia 2022 r.). Śmiertelność będzie ustalana na podstawie bazy danych osób zarejestrowanych, w której znajduje się historyczny wykaz wszystkich osób kwalifikujących się do programu ubezpieczenia zdrowotnego Ontario, w tym informacje socjodemograficzne (np. wiek, płeć, kod pocztowy) i istotne informacje (np. data śmierci). Mamy wstępnie określone czasy przeżycia, które są zgodne z aktualnymi wytycznymi dotyczącymi kwalifikowalności do specjalistycznych usług opieki paliatywnej (tj. 3, 6 i 12 miesięcy).

Specyfikacja modelu

Zmienne predykcyjne zostaną zbadane przed oceną powiązań między predyktorami a wynikami lub dopasowaniem modelu. Zmienne ciągłe będą badane za pomocą statystyk opisowych i wykresów pudełkowych, natomiast zmienne kategoryczne będą badane za pomocą statystyk opisowych i rozkładów częstotliwości. Wszelkie zidentyfikowane nieprawidłowe wartości zostaną, jeśli to możliwe, poprawione lub w przeciwnym razie ustawione na brakujące. Zmienne ciągłe będą określane przy użyciu ograniczonych splajnów sześciennych z węzłami w stałych kwantylach (np. w splajnie z 5 węzłami kwantyle są umieszczane na 5., 27.5., 50., 72.5. i 95. percentylu). Kategoryzacja zmiennych ciągłych będzie unikana, ponieważ wiąże się to z nieefektywnością i stronniczością oraz nie uwzględnia nieliniowego charakteru zmiennych ciągłych. Należy unikać łączenia poziomów zmiennej kategorycznej, chyba że kategoria ma bardzo niski odsetek wszystkich obserwacji. Zmienne o wysokim stopniu braków danych lub niewystarczającym zróżnicowaniu zostaną wykluczone. Wielokolinearność zostanie oceniona przy użyciu grupowania zmiennych (funkcja VARCLUS w SAS-ie). Minimalna proporcja wariancji wyjaśniona przez skupienie (wartość własna) zostanie ustawiona na 0,7.

Brakujące wartości zostaną przypisane przy użyciu wielokrotnej imputacji, o ile uznano, że braki wystąpiły całkowicie losowo lub losowo. Pomimo swojej prostoty, uniknie się pełnej analizy przypadku, aby zapobiec nieefektywności i stronniczości związanej z tą metodą. Model imputacji będzie obejmował zmienną wynikową, zmienne predykcyjne i zmienne pomocnicze (tj. zmienne, które nie są uwzględnione w pełnym modelu, ale które mogą informować o brakującej wartości zmiennej). Liczba przypisanych zbiorów danych będzie oparta na proporcji brakujących wartości w zbiorze danych. Ostateczny model zostanie oszacowany w każdym z imputowanych zbiorów danych. Oszacowania parametrów na podstawie każdego zbioru danych zostaną połączone przy użyciu reguł Rubina, które integrują niepewność związaną z imputacją w ostatecznych oszacowaniach parametrów.

Estymacja modelu

Model zostanie oszacowany w kohorcie wyprowadzającej przy użyciu regresji proporcjonalnych hazardów Coxa. Założenie o hazardach proporcjonalnych zostanie sprawdzone wizualnie poprzez badanie wykresów reszt Schoenfelda w funkcji czasu oraz statystycznie poprzez dodanie do modelu predyktorów oddziałujących w czasie. Jeżeli założenie zostanie naruszone, wówczas rozważymy dodanie do modelu predyktorów oddziałujących w czasie.

Biorąc pod uwagę wysoki stosunek oczekiwanych zdarzeń do stopni swobody i uniknięcie selekcji zmiennych na podstawie danych, ryzyko nadmiernego dopasowania ocenia się jako niskie. Będzie to jednak oceniane statystycznie za pomocą heurystycznego estymatora skurczu [(współczynnik wiarygodności Chi-kwadrat modelu - stopień swobody modelu)/współczynnik wiarygodności Chi-kwadrat modelu]. Jeśli wynosi <0,90, wówczas model będzie wymagał korekty pod kątem nadmiernego dopasowania (np. poprzez zastosowanie metody redukcji zmiennej lub zastosowanie współczynników skurczu do oszacowań parametrów). Nadmierne dopasowanie będzie również oceniane wizualnie za pomocą krzywej kalibracyjnej.

Ponieważ zamierzeniem jest zastosowanie naszego modelu jako ręcznego kalkulatora internetowego, z którego mogliby korzystać świadczeniodawcy, opiekunowie i pacjenci, oszacujemy zredukowany model, który ma na celu optymalizację oszczędności bez znaczącego spadku wydajności modelu. Rzeczywiście, początkowy model może być zbyt złożony, pracochłonny i czasochłonny, aby można go było wdrożyć. Zredukowany model będzie estymowany metodą stepdown, w ramach której zmienna o najniższym współczynniku Chi-kwadrat Walda będzie sekwencyjnie usuwana z modelu, aż do uzyskania minimalnie akceptowalnej wydajności modelu. Zredukowany model zostanie porównany z modelem początkowym przy użyciu kryterium informacyjnego Akaike oraz miar dyskryminacji i kalibracji. Rozważymy operator najmniejszego bezwzględnego skurczu i selekcji (LASSO), ponieważ może to skutkować skurczem niektórych współczynników regresji do 0, redukując w ten sposób model. Oprócz statystycznych sposobów redukcji modelu, weźmiemy pod uwagę kliniczne znaczenie zmiennych w oparciu o istniejącą literaturę i wiedzę specjalistyczną, a także zdolność pacjentów i ich opiekunów do oceny i wprowadzenia zmiennej.

Model zostanie opracowany i zweryfikowany na podstawie próbek podzielonych czasowo; jednakże ostateczne współczynniki regresji będą oparte na pełnej próbie. Ostateczny model będzie miał te same specyfikacje, co model wyprowadzony.

Wydajność modelu

Wydajność modelu zostanie oceniona w kohorcie walidacyjnej w wielu domenach. W szczególności zostanie on oceniony pod kątem ogólnej wydajności mierzonej za pomocą współczynnika R2 Nagelkerkego, który jest miarą proporcji zmienności wyniku wyjaśnionej przez model. Historycznie rzecz biorąc, narzędzia prognozowania klinicznego miały R2 w zakresie od 0,2 do 0,3. Model zostanie również oceniony pod kątem dyskryminacji mierzonej za pomocą statystyki zgodności (c) i wizualizowanej za pomocą krzywej charakterystyki pracy odbiornika. Statystyka c waha się od 0,5, co oznacza brak zdolności rozróżniania, do 1,0, co oznacza doskonałą zdolność rozróżniania.

Na koniec model zostanie poddany ocenie pod kątem kalibracji. Zostanie to ocenione wizualnie przy użyciu krzywej kalibracji przewidywanej i obserwowanej śmiertelności w oparciu o szacunki Kaplana Meiera dla wyżej wymienionych, wcześniej określonych czasów przeżycia (3, 6 i 12 miesięcy). Idealnie skalibrowany model jest reprezentowany przez linię o nachyleniu 45 stopni z punktem przecięcia 0 i nachyleniem 1. Krzywa kalibracyjna informuje, czy model systematycznie przeszacowuje lub niedoszacowuje ryzyko śmiertelności (kalibracja średnia lub kalibracja w skali dużej) oraz czy zapewnia ekstremalne przewidywania ryzyka śmiertelności (tj. niedoszacowuje ryzyko u osób niskiego ryzyka i przeszacowuje ryzyko u osób o wysokim ryzyku). -osoby z grupy ryzyka), co sugeruje nadmierne dopasowanie. Obliczona zostanie średnia względna różnica pomiędzy obserwowanym i przewidywanym ryzykiem zgonu. Dopuszczalna różnica wynosi <20%, gdy częstość zdarzeń wynosi <=5%. Na koniec, aby umożliwić porównanie z innymi modelami prognostycznymi u osób z demencją zamieszkujących społeczności lokalne, obliczymy Zintegrowany Wskaźnik Kalibracji, czyli średnią bezwzględną różnicę między obserwowanym i przewidywanym ryzykiem zgonu; E50, mediana różnicy bezwzględnej; i E90, 90. percentyl różnicy bezwzględnej. Dobroć dopasowania nie będzie mierzona za pomocą statystyki Hosmera-Lemeshowa ani jej odpowiednika w modelu proporcjonalnych hazardów Coxa; testy te nie są w stanie określić wielkości błędnej kalibracji ani określić, czy błędna kalibracja występuje tylko w określonych zakresach przewidywanego ryzyka zgonu.

Kalibracja będzie również oceniana w grupach decylowych w oparciu o przewidywane ryzyko śmiertelności (kalibracja umiarkowana). Na koniec zostaną wstępnie określone podgrupy istotne dla klinicystów i decydentów (np. określone według wieku, płci, chorób współistniejących), w ramach których oceniana będzie kalibracja. Zostanie wyświetlony wykres kalibracji i obliczona zostanie średnia względna różnica w każdej podgrupie. Biorąc pod uwagę, że osoby, które przeszły losowo wybraną ocenę w szpitalu, mogą systematycznie różnić się od tych, które przeszły ocenę w społeczności, szczegółowo ocenimy działanie modelu u osób, które przeszły ocenę wewnątrzszpitalną.

Prezentacja modelu

Ostateczny model regresji, oparty na całej próbie, zostanie przedstawiony przy użyciu współczynników ryzyka i powiązanych 95% przedziałów ufności. Wzór regresji zostanie opublikowany w Internecie i będzie podstawą do wdrożenia w Internecie. W szczególności model zostanie przekształcony w publicznie dostępny internetowy kalkulator ręczny na stronie www.projectbiglife.com, w którym znajduje się wiele narzędzi do przewidywania klinicznego opracowanych przez nasz zespół. Narzędzie to mogłoby być wykorzystywane nie tylko przez podmioty świadczące opiekę zdrowotną, ale także przez pacjentów i opiekunów do obliczania średniej długości życia. Biorąc to pod uwagę, zespół twórców i projektantów stron internetowych, naukowców zajmujących się wdrażaniem, pacjentów i opiekunów oraz klinicystów poinformuje o wdrożeniu, aby narzędzie było przyjazne dla użytkownika i umożliwiało interpretację jego wyników. Interfejs modelu i dane wyjściowe mogą się różnić w zależności od tego, czy z narzędzia korzysta lekarz, czy pacjent/opiekun. Będziemy szanować niepewność związaną z wynikami narzędzia, włączając rozstępy międzykwartylowe, które w przejrzysty sposób odzwierciedlają niepewność prognostyczną.