Desarrollo y validación de una herramienta de esperanza de vida en personas con demencia

Plan de análisis

El plan de análisis se basó en directrices para el modelado de predicción clínica. El plan se desarrolló después de acceder al conjunto de datos de derivación pero antes de evaluar las asociaciones entre predictores y resultados y el ajuste del modelo. Las consideraciones clave son la especificación previa completa del modelo, incluida la selección de predictores, de modo que se evite la selección de variables basada en datos. Esto disminuirá el riesgo de sesgo y sobreajuste en el modelo. En segundo lugar, las variables continuas se especificarán como splines cúbicos restringidos con nudos en cuantiles fijos, de modo que se evitará la categorización de variables continuas. Esto respetará la naturaleza no lineal de las variables continuas y evitará la ineficiencia y el sesgo asociados con la categorización. En tercer lugar, se hará hincapié en la evaluación de la calibración del modelo, no sólo en la cohorte de validación sino también en subgrupos que tengan significado para los médicos y los responsables de la formulación de políticas. El análisis estadístico se realizará utilizando SAS Enterprise Guide V.9.4.

La validación se realizará mediante validación temporal, mediante la cual el desempeño del modelo se evaluará en una cohorte de individuos con demencia temporalmente distinta (más reciente). Esta es una forma de validación más rigurosa en comparación con la validación interna, que incluye división aleatoria o remuestreo (bootstrapping, validación cruzada). Mientras que la validación temporal evalúa la transportabilidad, la validación interna evalúa solo la reproducibilidad. El tamaño de la cohorte de derivación y el número esperado de eventos en ella permiten la validación temporal sin aumentar significativamente el riesgo de sobreajuste.

Variables predictoras

Las variables predictoras candidatas fueron completamente especificadas previamente, de modo que se evitó la selección de variables basada en datos. Revisamos variables en las bases de datos de atención domiciliaria para identificar predictores. Además, se exploraron revisiones existentes de modelos de pronóstico en demencia. El equipo de investigación revisó las variables de forma detallada para determinar cuáles incluir en el modelo inicial.

En particular, se incluirán en el modelo los valores predictivos de una única evaluación seleccionada al azar después del diagnóstico de demencia (evaluación del índice). No incluimos valores de evaluaciones posteriores ya que la herramienta se aplicaría de forma transversal, no longitudinal. De hecho, queremos evitar el uso de valores de evaluaciones posteriores, que no se habrían conocido en el momento de la evaluación seleccionada al azar. Las variables de nuestro modelo se organizarán en las siguientes categorías: sociodemográficas, clínicas (comorbilidades, tratamiento), específicas del cuidador, funcionales, nutricionales, cognitivas, psicológicas/conductuales, atención domiciliaria, utilización de la atención médica e información específica de la evaluación. Incluiremos interacciones entre la edad y variables que representan comorbilidades ya que la asociación de estas y la esperanza de vida puede variar con la edad. En las interacciones se utilizará un término lineal de edad, no un spline cúbico restringido de la misma.

Variable de resultado

La variable de resultado será el tiempo de supervivencia desde la evaluación del índice hasta la fecha máxima de seguimiento (31 de diciembre de 2022). La mortalidad se discernirá a partir de la Base de datos de personas registradas, que alberga una lista histórica de todas las personas elegibles para el Programa de seguro médico de Ontario, incluida información sociodemográfica (por ejemplo, edad, sexo, código postal) y vital (por ejemplo, fecha de muerte). Tenemos tiempos de supervivencia de interés preespecificados, que son compatibles con las pautas de elegibilidad actuales para servicios especializados de cuidados paliativos (es decir, 3, 6 y 12 meses).

Especificación del modelo

Las variables predictoras se explorarán antes de evaluar las asociaciones predictor-resultado o el ajuste del modelo. Las variables continuas se explorarán mediante estadísticas descriptivas y diagramas de caja, y las variables categóricas mediante estadísticas descriptivas y distribuciones de frecuencia. Cualquier valor no válido identificado se corregirá, si es posible, o se establecerá como faltante en caso contrario. Las variables continuas se especificarán utilizando splines cúbicos restringidos con nudos en cuantiles fijos (por ejemplo, en un spline de 5 nudos, los cuantiles se colocan en los percentiles 5, 27,5, 50, 72,5 y 95). Se evitará la categorización de variables continuas ya que está asociada con ineficiencia y sesgo y no respeta la naturaleza no lineal de las variables continuas. Se evitará la combinación de niveles de una variable categórica a menos que una categoría tenga una proporción muy baja del total de observaciones. Se excluirán las variables con un alto grado de valores faltantes o variación insuficiente. La multicolinealidad se evaluará mediante agrupación de variables (función VARCLUS en SAS). La proporción mínima de varianza explicada por un grupo (valor propio) se establecerá en 0,7.

Los valores faltantes se imputarán mediante imputación múltiple siempre que se considere que la falta fue completamente aleatoria o aleatoria. A pesar de su simplicidad, se evitará el análisis de casos completo para evitar la ineficiencia y el sesgo asociados con este método. El modelo de imputación incluirá la variable de resultado, las variables predictivas y las variables auxiliares (es decir, variables que no están incluidas en el modelo completo pero que podrían informar el valor faltante de una variable). El número de conjuntos de datos imputados se basará en la proporción de valores faltantes en el conjunto de datos. El modelo final se estimará en cada uno de los conjuntos de datos imputados. Las estimaciones de parámetros basadas en cada conjunto de datos se combinarán utilizando las reglas de Rubin, que integran la incertidumbre asociada con la imputación en las estimaciones de parámetros finales.

Estimación del modelo

El modelo se estimará en la cohorte de derivación mediante una regresión de riesgos proporcionales de Cox. La suposición de riesgos proporcionales se verificará visualmente examinando gráficos de residuos de Schoenfeld versus el tiempo, y estadísticamente agregando al modelo predictores que interactúan con el tiempo. Si se viola el supuesto, entonces consideraremos la adición al modelo de predictores que interactúan en el tiempo.

Teniendo en cuenta la alta proporción de eventos esperados con respecto a los grados de libertad y la evitación de la selección de variables basada en datos, se considera que el riesgo de sobreajuste es bajo. Sin embargo, esto se evaluará estadísticamente utilizando el estimador de contracción heurística [(ratio de verosimilitud Chi-cuadrado del modelo - grado de libertad del modelo)/ratio de verosimilitud Chi-cuadrado del modelo]. Si es <0,90, entonces el modelo requerirá ajuste por sobreajuste (por ejemplo, aplicando un método de reducción de variables o aplicando coeficientes de contracción a las estimaciones de los parámetros). El sobreajuste también se evaluará visualmente mediante la curva de calibración.

Dado que la intención es aplicar nuestro modelo como una calculadora manual basada en web que podría ser utilizada por proveedores de atención médica, cuidadores y pacientes, estimaremos un modelo reducido que busca optimizar la parsimonia sin una disminución significativa en el rendimiento del modelo. De hecho, el modelo inicial puede ser demasiado complejo, requerir mucho trabajo y mucho tiempo para implementarlo. El modelo reducido se estimará utilizando el método de reducción, mediante el cual, secuencialmente, la variable con el Wald Chi-cuadrado más bajo se eliminará del modelo hasta que se logre un desempeño del modelo mínimamente aceptable. El modelo reducido se comparará con el modelo inicial utilizando el Criterio de Información de Akaike y medidas de discriminación y calibración. Consideraremos el operador de selección y contracción mínima absoluta (LASSO), ya que podría dar como resultado la reducción de algunos coeficientes de regresión a 0, reduciendo así el modelo. Además de los medios estadísticos de reducción del modelo, consideraremos la relevancia clínica de la variable según la literatura existente y la experiencia en el contenido, además de la capacidad de los pacientes y sus cuidadores para evaluar e ingresar la variable.

El modelo se desarrollará y validará utilizando muestras divididas temporalmente; sin embargo, los coeficientes de regresión finales se basarán en la muestra completa. El modelo final tendrá las mismas especificaciones que el modelo derivativo.

Rendimiento del modelo

El desempeño del modelo se evaluará en la cohorte de validación en múltiples dominios. Específicamente, se evaluará en términos de desempeño general, medido por el R2 de Nagelkerke, que es una medida de la proporción de variabilidad en el resultado que explica el modelo. Históricamente, las herramientas de predicción clínica han tenido un R2 que oscilaba entre 0,2 y 0,3. El modelo también se evaluará en términos de discriminación, medida por la estadística de concordancia (c) y visualizada por la curva característica operativa del receptor. El estadístico c varía desde 0,5, que representa ninguna capacidad discriminativa, hasta 1,0, que representa una capacidad discriminativa perfecta.

Finalmente, el modelo será evaluado en términos de calibración. Esto se evaluará visualmente utilizando la curva de calibración de la mortalidad prevista versus la observada según las estimaciones de Kaplan Meier en los tiempos de supervivencia preespecificados antes mencionados (3, 6 y 12 meses). Un modelo perfectamente calibrado está representado por una línea de 45 grados con una intersección de 0 y una pendiente de 1. La curva de calibración informa si el modelo sobreestima o subestima sistemáticamente el riesgo de mortalidad (calibración media o calibración general) y si proporciona predicciones extremas del riesgo de mortalidad (es decir, subestima el riesgo en individuos de bajo riesgo y sobreestima el riesgo en individuos de alto riesgo). -individuos de riesgo), lo que sugiere sobreajuste. Se calculará la diferencia relativa media entre el riesgo de mortalidad observado y previsto. Una diferencia aceptable es <20 % cuando la tasa de eventos es <= 5 %. Finalmente, para permitir la comparación con otros modelos de pronóstico en personas con demencia que viven en la comunidad, calcularemos el Índice de Calibración Integrada, la diferencia absoluta media entre el riesgo de mortalidad observado y previsto; E50, la diferencia absoluta mediana; y E90, el percentil 90 de diferencia absoluta. La bondad de ajuste no se medirá mediante la estadística de Hosmer-Lemeshow o su equivalente en un modelo de riesgos proporcionales de Cox; Estas pruebas no pueden proporcionar una magnitud de la mala calibración ni determinar si la mala calibración está presente sólo en rangos específicos de riesgo de mortalidad previsto.

La calibración también se evaluará en grupos deciles según el riesgo de mortalidad previsto (calibración moderada). Finalmente, se preespecificarán subgrupos que tengan significado para los médicos y los responsables de la formulación de políticas (p. ej., definidos por edad, sexo, comorbilidades), en los que se evaluará la calibración. Se visualizará un gráfico de calibración y se calculará una diferencia relativa media en cada subgrupo. Teniendo en cuenta que las personas que se sometieron a su evaluación seleccionada al azar en el hospital pueden ser sistemáticamente diferentes de aquellos que se sometieron a su evaluación en la comunidad, evaluaremos específicamente el desempeño del modelo en personas que se sometieron a una evaluación hospitalaria.

Presentación del modelo

El modelo de regresión final, basado en la muestra total, se presentará utilizando índices de riesgo e intervalos de confianza asociados del 95%. La fórmula de regresión se publicará en línea y será la base para la implementación basada en la web. Específicamente, el modelo se convertirá en una calculadora manual basada en web de acceso público en www.projectbiglife.com. que alberga múltiples herramientas de predicción clínica desarrolladas por nuestro equipo. La herramienta podría ser utilizada no sólo por los proveedores de atención médica, sino también por los pacientes y cuidadores, para calcular la esperanza de vida. Teniendo esto en cuenta, un equipo de desarrolladores web, diseñadores web, científicos de implementación, pacientes y cuidadores, y médicos informarán sobre la implementación para que la herramienta sea fácil de usar y su resultado sea interpretable. La interfaz del modelo y el resultado pueden diferir dependiendo de si un médico o un paciente/cuidador está utilizando la herramienta. Respetaremos la incertidumbre asociada con el resultado de la herramienta, incluyendo rangos intercuartiles que reflejen de forma transparente la incertidumbre del pronóstico.