Desenvolvimento e validação de uma ferramenta de expectativa de vida para demência

Plano de análise

O plano de análise foi informado por diretrizes para modelagem de predição clínica. O plano foi desenvolvido após acessar o conjunto de dados de derivação, mas antes de avaliar as associações preditor-resultado e o ajuste do modelo. As principais considerações são a pré-especificação completa do modelo, incluindo a seleção de preditores, de modo que a seleção de variáveis ​​baseada em dados seja evitada. Isso diminuirá o risco de viés e overfitting no modelo. Em segundo lugar, as variáveis ​​contínuas serão especificadas como splines cúbicas restritas com nós em quantis fixos, de modo que a categorização de variáveis ​​contínuas será evitada. Isto respeitará a natureza não linear das variáveis ​​contínuas e evitará a ineficiência e o preconceito associados à categorização. Terceiro, a ênfase será colocada na avaliação da calibração do modelo, não apenas na coorte de validação, mas também em subgrupos de significado para médicos e decisores políticos. A análise estatística será realizada usando SAS Enterprise Guide V.9.4.

A validação será realizada por meio de validação temporal, onde o desempenho do modelo será avaliado em uma coorte temporalmente distinta (mais recente) de indivíduos com demência. Esta é uma forma de validação mais rigorosa em comparação com a validação interna, que inclui divisão aleatória ou reamostragem (bootstrapping, validação cruzada). Enquanto a validação temporal avalia a transportabilidade, a validação interna avalia apenas a reprodutibilidade. O tamanho da coorte de derivação e o número esperado de eventos permite a validação temporal sem aumentar significativamente o risco de sobreajuste.

Variáveis ​​preditoras

As variáveis ​​preditoras candidatas foram totalmente pré-especificadas, de modo que a seleção de variáveis ​​orientada por dados foi evitada. Revisamos variáveis ​​nos bancos de dados de atendimento domiciliar para identificar preditores. Além disso, foram exploradas revisões existentes de modelos prognósticos em demência. As variáveis ​​foram revisadas pela equipe de pesquisa de forma detalhada para determinar quais incluir no modelo inicial.

Notavelmente, os valores preditores de apenas uma única avaliação selecionada aleatoriamente após o diagnóstico de demência (avaliação do índice) serão incluídos no modelo. Não incluímos valores de avaliações subsequentes, uma vez que a ferramenta seria aplicada de forma transversal e não longitudinal. Na verdade, queremos evitar a utilização de valores de avaliações subsequentes, que não seriam conhecidos no momento da avaliação selecionada aleatoriamente. As variáveis ​​em nosso modelo serão organizadas nas seguintes categorias: sociodemográficas, clínicas (comorbidades, tratamento), específicas do cuidador, funcionais, nutricionais, cognitivas, psicológicas/comportamentais, cuidados domiciliares, utilização de serviços de saúde e informações específicas de avaliação. Incluiremos interações entre idade e variáveis ​​que representam comorbidades, uma vez que a associação destas e a expectativa de vida pode variar com a idade. Um termo linear de idade, e não um spline cúbico restrito, será usado nas interações.

Variável de resultado

A variável de resultado será o tempo de sobrevivência desde a avaliação do índice até a data máxima de acompanhamento (31 de dezembro de 2022). A mortalidade será determinada a partir da Base de Dados de Pessoas Registadas, que contém uma lista histórica de todos os indivíduos elegíveis para o Programa de Seguro de Saúde do Ontário, incluindo informações sociodemográficas (por exemplo, idade, sexo, código postal) e vitais (por exemplo, data da morte). Temos tempos de sobrevivência de interesse pré-especificados, que são compatíveis com as atuais diretrizes de elegibilidade para serviços especializados de cuidados paliativos (ou seja, 3, 6 e 12 meses).

Especificação modelo

Variáveis ​​​​preditoras serão exploradas antes de avaliar associações preditor-resultado ou ajuste do modelo. Variáveis ​​contínuas serão exploradas por meio de estatística descritiva e boxplots, e variáveis ​​categóricas por meio de estatística descritiva e distribuições de frequência. Quaisquer valores inválidos identificados serão corrigidos, se possível, ou definidos como ausentes. Variáveis ​​contínuas serão especificadas usando splines cúbicas restritas com nós em quantis fixos (por exemplo, em um spline de 5 nós, os quantis são colocados nos percentis 5, 27,5, 50, 72,5 e 95). A categorização de variáveis ​​contínuas será evitada, pois está associada à ineficiência e ao viés e não respeita a natureza não linear das variáveis ​​contínuas. A combinação de níveis de uma variável categórica será evitada, a menos que uma categoria tenha uma proporção muito baixa do total de observações. Serão excluídas variáveis ​​com alto grau de valores faltantes ou variação insuficiente. A multicolinearidade será avaliada usando agrupamento de variáveis ​​(função VARCLUS no SAS). A proporção mínima de variância explicada por um cluster (autovalor) será definida como 0,7.

Os valores omissos serão imputados usando imputação múltipla, desde que a omissão seja considerada completamente aleatória ou aleatória. Apesar da sua simplicidade, a análise completa do caso será evitada para evitar a ineficiência e o viés associados a este método. O modelo de imputação incluirá a variável de resultado, variáveis ​​preditoras e variáveis ​​auxiliares (ou seja, variáveis ​​que não estão incluídas no modelo completo, mas que poderiam informar o valor faltante de uma variável). O número de conjuntos de dados imputados será baseado na proporção de valores faltantes no conjunto de dados. O modelo final será estimado em cada um dos conjuntos de dados imputados. As estimativas dos parâmetros baseadas em cada conjunto de dados serão combinadas usando as regras de Rubin, que integram a incerteza associada à imputação nas estimativas dos parâmetros finais.

Estimativa de modelo

O modelo será estimado na coorte de derivação utilizando uma regressão de riscos proporcionais de Cox. A suposição de riscos proporcionais será verificada visualmente examinando gráficos de resíduos de Schoenfeld versus tempo, e estatisticamente adicionando preditores interagidos no tempo ao modelo. Se a suposição for violada, consideraremos a adição de preditores interagidos no tempo ao modelo.

Considerando a elevada proporção de eventos esperados em relação aos graus de liberdade e a evitação da seleção de variáveis ​​baseada em dados, o risco de sobreajuste é considerado baixo. No entanto, isso será avaliado estatisticamente por meio do estimador heurístico de redução [(razão de verossimilhança Qui-quadrado do modelo - grau de liberdade do modelo)/razão de verossimilhança Qui-quadrado do modelo]. Se for <0,90, então o modelo exigirá ajuste para overfitting (por exemplo, buscando um método de redução variável ou aplicando coeficientes de contração às estimativas dos parâmetros). O overfitting também será avaliado visualmente usando a curva de calibração.

Como a intenção é aplicar nosso modelo como uma calculadora manual baseada na web que possa ser usada por profissionais de saúde, cuidadores e pacientes, estimaremos um modelo reduzido que busca otimizar a parcimônia sem uma diminuição significativa no desempenho do modelo. Na verdade, o modelo inicial pode ser demasiado complexo, trabalhoso e demorado para ser implementado. O modelo reduzido será estimado pelo método stepdown, onde sequencialmente, a variável com menor qui-quadrado de Wald será retirada do modelo até que um desempenho do modelo minimamente aceitável seja alcançado. O modelo reduzido será comparado ao modelo inicial utilizando o Critério de Informação de Akaike e medidas de discriminação e calibração. Consideraremos o operador de seleção e contração mínima absoluta (LASSO), pois pode resultar na redução de alguns coeficientes de regressão para 0, reduzindo assim o modelo. Além dos meios estatísticos de redução do modelo, consideraremos a relevância clínica da variável com base na literatura existente e na experiência do conteúdo, além da capacidade dos pacientes e seus cuidadores de avaliar e inserir a variável.

O modelo será desenvolvido e validado utilizando amostras divididas temporalmente; contudo, os coeficientes finais da regressão serão baseados na amostra completa. O modelo final terá as mesmas especificações do modelo de derivação.

Desempenho do modelo

O desempenho do modelo será avaliado na coorte de validação em múltiplos domínios. Especificamente, será avaliado em termos de desempenho global, medido pelo R2 de Nagelkerke, que é uma medida da proporção de variabilidade no resultado que é explicada pelo modelo. Historicamente, as ferramentas de predição clínica tiveram R2 que variou de 0,2 a 0,3. O modelo também será avaliado em termos de discriminação, medida pela estatística de concordância (c) e visualizada pela curva característica de operação do receptor. A estatística c varia de 0,5, que representa nenhuma capacidade discriminativa, a 1,0, que representa capacidade discriminativa perfeita.

Por fim, o modelo será avaliado em termos de calibração. Isso será avaliado visualmente usando a curva de calibração de mortalidade prevista versus mortalidade observada com base nas estimativas de Kaplan Meier nos tempos de sobrevivência pré-especificados acima mencionados (3, 6 e 12 meses). Um modelo perfeitamente calibrado é representado por uma linha de 45 graus com intercepto 0 e inclinação 1. A curva de calibração informa se o modelo superestima ou subestima sistematicamente o risco de mortalidade (calibração média ou calibração em grande escala) e se fornece previsões extremas de risco de mortalidade (ou seja, subestima o risco em indivíduos de baixo risco e superestima o risco em indivíduos de alto risco). -indivíduos de risco), o que sugere overfitting. A diferença relativa média entre o risco de mortalidade observado e previsto será calculada. Uma diferença aceitável é <20% quando a taxa de eventos é <=5%. Finalmente, para permitir a comparação com outros modelos prognósticos em indivíduos com demência residentes na comunidade, calcularemos o Índice de Calibração Integrada, a diferença média absoluta entre o risco de mortalidade observado e previsto; E50, a diferença absoluta mediana; e E90, o percentil 90 da diferença absoluta. A qualidade do ajuste não será medida pela estatística Hosmer-Lemeshow ou seu equivalente em um modelo de riscos proporcionais de Cox; esses testes não podem fornecer uma magnitude de erro de calibração ou determinar se o erro de calibração está presente apenas em faixas específicas de risco de mortalidade previsto.

A calibração também será avaliada em grupos decil com base no risco de mortalidade previsto (calibração moderada). Finalmente, subgrupos de significado para médicos e formuladores de políticas serão pré-especificados (por exemplo, definidos por idade, sexo, comorbidades), nos quais a calibração será avaliada. Um gráfico de calibração será visualizado e uma diferença relativa média será calculada em cada subgrupo. Considerando que os indivíduos que foram submetidos à avaliação selecionada aleatoriamente no hospital podem ser sistematicamente diferentes daqueles que foram submetidos à avaliação na comunidade, avaliaremos especificamente o desempenho do modelo em indivíduos que foram submetidos à avaliação intra-hospitalar.

Apresentação do modelo

O modelo de regressão final, baseado na amostra total, será apresentado utilizando taxas de risco e intervalos de confiança de 95% associados. A fórmula de regressão será publicada online e servirá de base para a implementação baseada na web. Especificamente, o modelo será convertido numa calculadora manual baseada na Web, acessível ao público, em www.projectbiglife.com, que abriga várias ferramentas de predição clínica desenvolvidas por nossa equipe. A ferramenta poderia ser utilizada não apenas por prestadores de cuidados de saúde, mas também por pacientes e cuidadores, para calcular a esperança de vida. Considerando isso, uma equipe de desenvolvedores web, web designers, cientistas de implementação, pacientes e cuidadores, e médicos informarão a implementação para tornar a ferramenta fácil de usar e tornar seu resultado interpretável. A interface e a saída do modelo podem diferir dependendo se um médico ou um paciente/cuidador está usando a ferramenta. Respeitaremos a incerteza associada ao resultado da ferramenta, incluindo intervalos interquartis que reflitam de forma transparente a incerteza prognóstica.