Sviluppo e convalida di uno strumento sull'aspettativa di vita della demenza

Piano di analisi

Il piano di analisi è stato informato dalle linee guida per la modellizzazione della previsione clinica. Il piano è stato sviluppato dopo l'accesso al set di dati di derivazione ma prima di valutare le associazioni predittore-risultato e l'adattamento del modello. Le considerazioni chiave sono la pre-specificazione completa del modello, inclusa la selezione dei predittori, in modo tale da evitare la selezione delle variabili basata sui dati. Ciò ridurrà il rischio di bias e di overfitting nel modello. In secondo luogo, le variabili continue verranno specificate come spline cubiche ristrette con nodi a quantili fissi, in modo tale da evitare la categorizzazione delle variabili continue. Ciò rispetterà la natura non lineare delle variabili continue ed eviterà l'inefficienza e i pregiudizi associati alla categorizzazione. In terzo luogo, l'accento sarà posto sulla valutazione della calibrazione del modello, non solo nel gruppo di validazione ma anche nei sottogruppi significativi per medici e politici. L'analisi statistica verrà eseguita utilizzando SAS Enterprise Guide V.9.4.

La validazione verrà eseguita utilizzando la validazione temporale, per cui le prestazioni del modello saranno valutate in una coorte temporalmente distinta (più recente) di individui con demenza. Si tratta di una forma di convalida più rigorosa rispetto alla convalida interna, che include la suddivisione o il ricampionamento casuale (bootstrap, convalida incrociata). Mentre la validazione temporale valuta la trasportabilità, la validazione interna valuta solo la riproducibilità. La dimensione della coorte di derivazione e il numero previsto di eventi al suo interno consentono la validazione temporale senza aumentare significativamente il rischio di overfitting.

Variabili predittive

Le variabili predittive candidate erano completamente pre-specificate, in modo tale da evitare la selezione delle variabili basata sui dati. Abbiamo esaminato le variabili nei database dell'assistenza domiciliare per identificare i predittori. Inoltre, sono state esplorate le revisioni esistenti dei modelli prognostici nella demenza. Le variabili sono state esaminate dal gruppo di ricerca in modo dettagliato per determinare quali includere nel modello iniziale.

In particolare, nel modello saranno inclusi i valori predittivi di una sola valutazione selezionata casualmente dopo la diagnosi di demenza (valutazione indice). Non abbiamo incluso i valori delle valutazioni successive poiché lo strumento verrebbe applicato in modo trasversale, non longitudinale. Vogliamo infatti evitare di utilizzare valori provenienti da valutazioni successive, che non sarebbero stati conosciuti al momento della valutazione selezionata casualmente. Le variabili nel nostro modello saranno organizzate nelle seguenti categorie: sociodemografico, clinico (comorbilità, trattamento), specifico del caregiver, funzionale, nutrizionale, cognitivo, psicologico/comportamentale, assistenza domiciliare, utilizzo dell'assistenza sanitaria e informazioni specifiche della valutazione. Includeremo le interazioni tra età e variabili che rappresentano comorbilità poiché l'associazione di queste e l'aspettativa di vita può variare con l'età. Nelle interazioni verrà utilizzato un termine lineare di età, non una sua spline cubica ristretta.

Variabile di risultato

La variabile di risultato sarà il tempo di sopravvivenza dalla valutazione dell'indice fino alla data di follow-up massimo (31 dicembre 2022). La mortalità verrà rilevata dal database delle persone registrate, che ospita un elenco storico di tutti gli individui idonei al programma di assicurazione sanitaria dell'Ontario, comprese informazioni sociodemografiche (ad esempio età, sesso, codice postale) e informazioni vitali (ad esempio data di morte). Abbiamo pre-specificato i tempi di sopravvivenza di interesse, che sono compatibili con le attuali linee guida di ammissibilità per i servizi specialistici di cure palliative (cioè 3, 6 e 12 mesi).

Specifica del modello

Le variabili predittive verranno esplorate prima di valutare le associazioni predittore-risultato o l'adattamento del modello. Le variabili continue verranno esplorate utilizzando statistiche descrittive e boxplot, mentre le variabili categoriali utilizzando statistiche descrittive e distribuzioni di frequenza. Eventuali valori non validi identificati verranno corretti, se possibile, o altrimenti impostati come mancanti. Le variabili continue verranno specificate utilizzando spline cubiche ristrette con nodi a quantili fissi (ad esempio, in una spline a 5 nodi, i quantili sono posizionati al 5°, 27,5°, 50°, 72,5° e 95° percentile). Si eviterà la categorizzazione delle variabili continue poiché ciò è associato a inefficienza e distorsione e non rispetta la natura non lineare delle variabili continue. La combinazione dei livelli di una variabile categoriale sarà evitata a meno che una categoria non abbia una proporzione molto bassa delle osservazioni totali. Verranno escluse le variabili con un elevato grado di valori mancanti o con variazione insufficiente. La multi-collinearità sarà valutata utilizzando il clustering delle variabili (funzione VARCLUS in SAS). La proporzione minima della varianza spiegata da un cluster (autovalore) sarà impostata su 0,7.

I valori mancanti verranno imputati utilizzando l'imputazione multipla purché si ritenga che la mancanza sia stata completamente casuale o casuale. Nonostante la sua semplicità, si eviterà l’analisi completa del caso per prevenire l’inefficienza e i bias associati a questo metodo. Il modello di imputazione includerà la variabile di risultato, le variabili predittive e le variabili ausiliarie (vale a dire, variabili che non sono incluse nel modello completo ma che potrebbero informare il valore mancante di una variabile). Il numero di set di dati assegnati sarà basato sulla proporzione di valori mancanti nel set di dati. Il modello finale sarà stimato in ciascuno dei set di dati imputati. Le stime dei parametri basate su ciascun set di dati saranno combinate utilizzando le regole di Rubin, che integrano l'incertezza associata all'imputazione nelle stime dei parametri finali.

Stima del modello

Il modello sarà stimato nella coorte di derivazione utilizzando una regressione dei rischi proporzionali di Cox. L'assunzione di rischi proporzionali sarà verificata visivamente esaminando i grafici dei residui di Schoenfeld rispetto al tempo e statisticamente aggiungendo al modello predittori che interagiscono nel tempo. Se l'ipotesi viene violata, prenderemo in considerazione l'aggiunta al modello di predittori che interagiscono nel tempo.

Considerando l’elevato rapporto tra eventi attesi e gradi di libertà e l’evitamento della selezione delle variabili basata sui dati, il rischio di overfitting è giudicato basso. Tuttavia, questo sarà valutato statisticamente utilizzando lo stimatore euristico della contrazione [(rapporto di verosimiglianza Chi-quadrato del modello - grado di libertà del modello)/rapporto di verosimiglianza Chi-quadrato del modello]. Se questo è <0,90, allora il modello richiederà un aggiustamento per il sovradattamento (ad esempio, perseguendo un metodo di riduzione variabile o applicando coefficienti di contrazione alle stime dei parametri). L'overfitting verrà valutato anche visivamente utilizzando la curva di calibrazione.

Poiché l'intenzione è quella di applicare il nostro modello come un calcolatore manuale basato sul web che potrebbe essere utilizzato da operatori sanitari, operatori sanitari e pazienti, stimeremo un modello ridotto che cerca di ottimizzare la parsimonia senza una diminuzione significativa delle prestazioni del modello. In effetti, il modello iniziale potrebbe essere troppo complesso, dispendioso in termini di manodopera e di tempo per essere implementato. Il modello ridotto verrà stimato utilizzando il metodo stepdown, in base al quale, in sequenza, la variabile con il Chi-quadrato di Wald più basso verrà rimossa dal modello fino al raggiungimento di una prestazione del modello minimamente accettabile. Il modello ridotto sarà confrontato con il modello iniziale utilizzando il Criterio Informativo di Akaike e misure di discriminazione e calibrazione. Considereremo l'operatore di contrazione e selezione minimo assoluto (LASSO), poiché potrebbe comportare la contrazione di alcuni coefficienti di regressione a 0, riducendo così il modello. Oltre ai mezzi statistici di riduzione del modello, prenderemo in considerazione la rilevanza clinica della variabile basata sulla letteratura esistente e sulle competenze sui contenuti, oltre alla capacità dei pazienti e dei loro caregiver di valutare e inserire la variabile.

Il modello sarà sviluppato e validato utilizzando campioni suddivisi temporalmente; tuttavia, i coefficienti di regressione finali saranno basati sull'intero campione. Il modello finale avrà le stesse specifiche del modello di derivazione.

Prestazioni del modello

Le prestazioni del modello saranno valutate nella coorte di validazione in più domini. Nello specifico, sarà valutato in termini di prestazione complessiva, misurata dall'R2 di Nagelkerke, che è una misura della percentuale di variabilità nel risultato spiegata dal modello. Storicamente, gli strumenti di previsione clinica hanno avuto un R2 compreso tra 0,2 e 0,3. Il modello sarà valutato anche in termini di discriminazione, misurata dalla statistica di concordanza (c) e visualizzata dalla curva caratteristica operativa del ricevitore. La statistica c varia da 0,5, che rappresenta nessuna capacità discriminativa, a 1,0, che rappresenta una perfetta capacità discriminativa.

Infine, il modello sarà valutato in termini di calibrazione. Ciò sarà valutato visivamente utilizzando la curva di calibrazione della mortalità prevista rispetto a quella osservata basata sulle stime di Kaplan Meier ai tempi di sopravvivenza pre-specificati sopra menzionati (3, 6 e 12 mesi). Un modello perfettamente calibrato è rappresentato da una linea di 45 gradi con intercetta pari a 0 e pendenza pari a 1. La curva di calibrazione indica se il modello sovrastima o sottostima sistematicamente il rischio di mortalità (calibrazione media o calibrazione in-the-large) e se fornisce previsioni estreme del rischio di mortalità (ovvero sottostima il rischio in soggetti a basso rischio e sovrastima il rischio in soggetti ad alto rischio). -individui a rischio), il che suggerisce un overfitting. Verrà calcolata la differenza media relativa tra il rischio di mortalità osservato e quello previsto. Una differenza accettabile è <20% quando il tasso di eventi è <=5%. Infine, per consentire il confronto con altri modelli prognostici negli individui con demenza residenti in comunità, calcoleremo l'indice di calibrazione integrato, la differenza media assoluta tra il rischio di mortalità osservato e quello previsto; E50, la differenza media assoluta; ed E90, il 90° percentile della differenza assoluta. La bontà di adattamento non sarà misurata dalla statistica Hosmer-Lemeshow o dal suo equivalente in un modello a rischi proporzionali di Cox; questi test non possono fornire l'entità dell'errore di calibrazione o determinare se l'errore di calibrazione è presente solo in intervalli specifici di rischio di mortalità previsto.

La calibrazione sarà valutata anche in gruppi decilici in base al rischio di mortalità previsto (calibrazione moderata). Infine, saranno prespecificati sottogruppi significativi per medici e politici (ad esempio, definiti per età, sesso, comorbidità), in cui verrà valutata la calibrazione. Verrà visualizzato un grafico di calibrazione e verrà calcolata una differenza relativa media in ciascun sottogruppo. Considerando che gli individui che sono stati sottoposti alla valutazione selezionata casualmente in ospedale possono essere sistematicamente diversi da quelli che sono stati sottoposti alla valutazione nella comunità, valuteremo specificamente le prestazioni del modello negli individui che sono stati sottoposti a una valutazione intraospedaliera.

Presentazione del modello

Il modello di regressione finale, basato sul campione totale, sarà presentato utilizzando i rapporti di rischio e gli intervalli di confidenza al 95% associati. La formula di regressione sarà pubblicata online e costituirà la base per l'implementazione basata sul web. Nello specifico, il modello sarà convertito in un calcolatore manuale basato sul web accessibile al pubblico su www.projectbiglife.com, che ospita molteplici strumenti di previsione clinica sviluppati dal nostro team. Lo strumento potrebbe essere utilizzato non solo dagli operatori sanitari, ma anche dai pazienti e dagli operatori sanitari, per calcolare l’aspettativa di vita. Considerando ciò, un team di sviluppatori web, web designer, scienziati dell'implementazione, pazienti, operatori sanitari e medici informeranno l'implementazione per rendere lo strumento facile da usare e per rendere il suo output interpretabile. L'interfaccia del modello e l'output possono variare a seconda che lo strumento venga utilizzato da un medico o da un paziente/operatore sanitario. Rispetteremo l'incertezza associata al risultato dello strumento, includendo intervalli interquartili che riflettono in modo trasparente l'incertezza prognostica.