Entwicklung und Validierung eines Tools zur Lebenserwartung bei Demenz

Analyseplan

Der Analyseplan wurde durch Richtlinien für die Modellierung klinischer Vorhersagen beeinflusst. Der Plan wurde nach Zugriff auf den Ableitungsdatensatz, jedoch vor der Bewertung der Prädiktor-Ergebnis-Zusammenhänge und der Modellanpassung entwickelt. Wichtige Überlegungen sind die vollständige Vorspezifikation des Modells, einschließlich der Auswahl von Prädiktoren, sodass eine datengesteuerte Variablenauswahl vermieden wird. Dadurch wird das Risiko einer Verzerrung und Überanpassung im Modell verringert. Zweitens werden kontinuierliche Variablen als eingeschränkte kubische Splines mit Knoten an festen Quantilen spezifiziert, sodass eine Kategorisierung kontinuierlicher Variablen vermieden wird. Dadurch wird die nichtlineare Natur kontinuierlicher Variablen respektiert und die mit der Kategorisierung verbundene Ineffizienz und Verzerrung vermieden. Drittens wird der Schwerpunkt auf die Bewertung der Modellkalibrierung gelegt, nicht nur in der Validierungskohorte, sondern auch in Untergruppen, die für Kliniker und politische Entscheidungsträger von Bedeutung sind. Die statistische Analyse wird mit SAS Enterprise Guide V.9.4 durchgeführt.

Die Validierung erfolgt mittels zeitlicher Validierung, wobei die Leistung des Modells in einer zeitlich unterschiedlichen (jüngeren) Kohorte von Personen mit Demenz evaluiert wird. Dies ist eine strengere Form der Validierung im Vergleich zur internen Validierung, die eine zufällige Aufteilung oder Neuabtastung (Bootstrapping, Kreuzvalidierung) umfasst. Während die zeitliche Validierung die Transportfähigkeit bewertet, bewertet die interne Validierung nur die Reproduzierbarkeit. Die Größe der Ableitungskohorte und die erwartete Anzahl der darin enthaltenen Ereignisse ermöglichen eine zeitliche Validierung, ohne das Risiko einer Überanpassung wesentlich zu erhöhen.

Predictor Variablen

Die möglichen Prädiktorvariablen waren vollständig vorab spezifiziert, sodass eine datengesteuerte Variablenauswahl vermieden werden konnte. Wir haben Variablen in den Datenbanken zur häuslichen Pflege überprüft, um Prädiktoren zu identifizieren. Darüber hinaus wurden bestehende Übersichten zu Prognosemodellen bei Demenz untersucht. Das Forschungsteam überprüfte die Variablen einzeln, um zu bestimmen, welche in das ursprüngliche Modell aufgenommen werden sollten.

Insbesondere werden Prädiktorwerte aus nur einer einzigen zufällig ausgewählten Bewertung nach Demenzdiagnose (Indexbewertung) in das Modell einbezogen. Wir haben keine Werte aus nachfolgenden Bewertungen einbezogen, da das Tool im Querschnitt und nicht im Längsschnitt angewendet werden würde. Wir möchten vielmehr vermeiden, Werte aus Folgebewertungen zu verwenden, die zum Zeitpunkt der zufällig ausgewählten Bewertung noch nicht bekannt waren. Die Variablen in unserem Modell werden in die folgenden Kategorien eingeteilt: soziodemografisch, klinisch (Komorbiditäten, Behandlung), pflegerspezifisch, funktionell, ernährungsphysiologisch, kognitiv, psychologisch/verhaltensbezogen, häusliche Pflege, Inanspruchnahme der Gesundheitsversorgung und bewertungsspezifische Informationen. Wir werden Wechselwirkungen zwischen dem Alter und Variablen einbeziehen, die Komorbiditäten darstellen, da der Zusammenhang zwischen diesen und der Lebenserwartung mit dem Alter variieren kann. Bei Interaktionen wird ein linearer Term des Alters und kein eingeschränkter kubischer Spline davon verwendet.

Ergebnisvariable

Die Ergebnisvariable ist die Überlebenszeit von der Indexbewertung bis zum maximalen Nachbeobachtungsdatum (31. Dezember 2022). Die Sterblichkeit wird aus der Datenbank der registrierten Personen ermittelt, die eine historische Auflistung aller für das Ontario Health Insurance Program berechtigten Personen enthält, einschließlich soziodemografischer (z. B. Alter, Geschlecht, Postleitzahl) und wichtiger Informationen (z. B. Sterbedatum). Wir haben vorab festgelegte Überlebenszeiten von Interesse, die mit den aktuellen Zulassungsrichtlinien für spezialisierte Palliativpflegedienste vereinbar sind (d. h. 3, 6 und 12 Monate).

Modellspezifikation

Prädiktorvariablen werden untersucht, bevor Prädiktor-Ergebnis-Zusammenhänge oder Modellanpassungen bewertet werden. Kontinuierliche Variablen werden mithilfe deskriptiver Statistiken und Boxplots untersucht, kategoriale Variablen mithilfe deskriptiver Statistiken und Häufigkeitsverteilungen. Alle erkannten ungültigen Werte werden nach Möglichkeit korrigiert oder andernfalls auf „fehlend“ gesetzt. Kontinuierliche Variablen werden mithilfe eingeschränkter kubischer Splines mit Knoten an festen Quantilen angegeben (z. B. werden bei einem 5-Knoten-Spline Quantile am 5., 27,5., 50., 72,5. und 95. Perzentil platziert). Eine Kategorisierung kontinuierlicher Variablen wird vermieden, da dies mit Ineffizienz und Verzerrung verbunden ist und die nichtlineare Natur kontinuierlicher Variablen nicht berücksichtigt. Eine Kombination von Ebenen einer kategorialen Variablen wird vermieden, es sei denn, eine Kategorie hat einen sehr geringen Anteil an den Gesamtbeobachtungen. Variablen mit einem hohen Grad an fehlenden Werten oder unzureichender Variation werden ausgeschlossen. Die Multikollinearität wird mithilfe von Variablenclustering (VARCLUS-Funktion in SAS) bewertet. Der minimale Anteil der durch einen Cluster erklärten Varianz (Eigenwert) wird auf 0,7 festgelegt.

Fehlende Werte werden mittels Mehrfachimputation imputiert, sofern das Fehlen als völlig zufällig oder zufällig beurteilt wurde. Trotz ihrer Einfachheit wird auf eine vollständige Fallanalyse verzichtet, um die mit dieser Methode verbundene Ineffizienz und Verzerrung zu verhindern. Das Imputationsmodell umfasst die Ergebnisvariable, Prädiktorvariablen und Hilfsvariablen (d. h. Variablen, die nicht im vollständigen Modell enthalten sind, aber über den fehlenden Wert einer Variablen informieren könnten). Die Anzahl der unterstellten Datensätze basiert auf dem Anteil fehlender Werte im Datensatz. Das endgültige Modell wird in jedem der unterstellten Datensätze geschätzt. Die auf jedem Datensatz basierenden Parameterschätzungen werden mithilfe der Rubin-Regeln kombiniert, die die mit der Imputation verbundene Unsicherheit in die endgültigen Parameterschätzungen integrieren.

Modellschätzung

Das Modell wird in der Ableitungskohorte mithilfe einer Cox-Proportional-Hazards-Regression geschätzt. Die Annahme proportionaler Gefahren wird visuell überprüft, indem Diagramme von Schönfeld-Residuen im Vergleich zur Zeit untersucht werden, und statistisch, indem dem Modell zeitinteragierte Prädiktoren hinzugefügt werden. Wenn die Annahme verletzt wird, werden wir die Hinzufügung zeitinteragierender Prädiktoren zum Modell in Betracht ziehen.

Angesichts des hohen Verhältnisses von erwarteten Ereignissen zu Freiheitsgraden und der Vermeidung einer datengesteuerten Variablenauswahl wird das Risiko einer Überanpassung als gering eingeschätzt. Dies wird jedoch statistisch mithilfe des heuristischen Schrumpfungsschätzers [(Likelialitätsverhältnis Chi-Quadrat des Modells – Freiheitsgrad des Modells)/Likelialitätsverhältnis Chi-Quadrat des Modells] bewertet. Wenn dieser <0,90 ist, muss das Modell wegen Überanpassung angepasst werden (z. B. durch die Anwendung einer variablen Reduktionsmethode oder durch die Anwendung von Schrumpfungskoeffizienten auf die Parameterschätzungen). Überanpassung wird auch visuell anhand der Kalibrierungskurve beurteilt.

Da die Absicht darin besteht, unser Modell als manuellen webbasierten Rechner anzuwenden, der von Gesundheitsdienstleistern, Betreuern und Patienten verwendet werden könnte, werden wir ein reduziertes Modell schätzen, das darauf abzielt, die Sparsamkeit zu optimieren, ohne die Modellleistung wesentlich zu beeinträchtigen. Tatsächlich ist das ursprüngliche Modell möglicherweise zu komplex, arbeitsintensiv und zeitaufwändig, um umgesetzt zu werden. Das reduzierte Modell wird mithilfe der Stepdown-Methode geschätzt, wobei nacheinander die Variable mit dem niedrigsten Wald-Chi-Quadrat aus dem Modell entfernt wird, bis eine minimal akzeptable Modellleistung erreicht ist. Das reduzierte Modell wird mit dem ursprünglichen Modell unter Verwendung des Informationskriteriums von Akaike sowie von Unterscheidungs- und Kalibrierungsmaßen verglichen. Wir werden den kleinsten absoluten Schrumpfungs- und Auswahloperator (LASSO) berücksichtigen, da er dazu führen könnte, dass einige Regressionskoeffizienten auf 0 schrumpfen und dadurch das Modell reduziert wird. Zusätzlich zu statistischen Mitteln zur Modellreduktion werden wir die klinische Relevanz der Variablen auf der Grundlage vorhandener Literatur und Fachwissen sowie die Fähigkeit von Patienten und ihren Betreuern, die Variable zu bewerten und einzugeben, berücksichtigen.

Das Modell wird anhand zeitlich aufgeteilter Stichproben entwickelt und validiert; Die endgültigen Regressionskoeffizienten basieren jedoch auf der gesamten Stichprobe. Das endgültige Modell weist dieselben Spezifikationen auf wie das abgeleitete Modell.

Modellleistung

Die Leistung des Modells wird in der Validierungskohorte in mehreren Bereichen bewertet. Konkret wird es im Hinblick auf die Gesamtleistung bewertet, gemessen mit Nagelkerkes R2, einem Maß für den Anteil der Variabilität im Ergebnis, der durch das Modell erklärt wird. In der Vergangenheit hatten klinische Vorhersagetools einen R2-Wert im Bereich von 0,2 bis 0,3. Das Modell wird auch im Hinblick auf die Diskriminierung bewertet, die anhand der Konkordanzstatistik (c) gemessen und anhand der Betriebskennlinie des Empfängers visualisiert wird. Die c-Statistik reicht von 0,5, was keine Unterscheidungsfähigkeit darstellt, bis 1,0, was perfekte Unterscheidungsfähigkeit darstellt.

Abschließend wird das Modell im Hinblick auf die Kalibrierung bewertet. Dies wird visuell anhand der Kalibrierungskurve der vorhergesagten versus beobachteten Mortalität basierend auf Kaplan-Meier-Schätzungen zu den oben genannten vorab festgelegten Überlebenszeiten (3, 6 und 12 Monate) bewertet. Ein perfekt kalibriertes Modell wird durch eine 45-Grad-Linie mit einem Achsenabschnitt von 0 und einer Steigung von 1 dargestellt. Die Kalibrierungskurve gibt Aufschluss darüber, ob das Modell das Mortalitätsrisiko systematisch über- oder unterschätzt (mittlere Kalibrierung oder Kalibrierung im Großen) und ob es extreme Vorhersagen des Mortalitätsrisikos liefert (d. h. das Risiko bei Personen mit geringem Risiko unterschätzt und das Risiko bei Personen mit hohem Risiko überschätzt). -Risikopersonen), was auf eine Überanpassung hindeutet. Der mittlere relative Unterschied zwischen beobachtetem und vorhergesagtem Mortalitätsrisiko wird berechnet. Eine akzeptable Differenz beträgt <20 %, wenn die Ereignisrate <=5 % beträgt. Um schließlich einen Vergleich mit anderen Prognosemodellen für in Wohngemeinschaften lebende Personen mit Demenz zu ermöglichen, berechnen wir den Integrierten Kalibrierungsindex, die mittlere absolute Differenz zwischen beobachtetem und vorhergesagtem Sterblichkeitsrisiko; E50, der mittlere absolute Unterschied; und E90, das 90. Perzentil der absoluten Differenz. Die Anpassungsgüte wird nicht anhand der Hosmer-Lemeshow-Statistik oder einer gleichwertigen Statistik in einem Cox-Proportional-Hazards-Modell gemessen; Diese Tests können kein Ausmaß der Fehlkalibrierung liefern oder feststellen, ob eine Fehlkalibrierung nur in bestimmten Bereichen des vorhergesagten Sterblichkeitsrisikos vorliegt.

Die Kalibrierung wird auch in Dezilgruppen auf der Grundlage des vorhergesagten Sterblichkeitsrisikos bewertet (moderate Kalibrierung). Schließlich werden Untergruppen, die für Kliniker und politische Entscheidungsträger von Bedeutung sind, vorab spezifiziert (z. B. definiert nach Alter, Geschlecht, Komorbiditäten), in denen die Kalibrierung bewertet wird. Ein Kalibrierungsdiagramm wird visualisiert und eine mittlere relative Differenz wird in jeder Untergruppe berechnet. In Anbetracht der Tatsache, dass Personen, die ihre zufällig ausgewählte Untersuchung im Krankenhaus durchlaufen haben, sich systematisch von denen unterscheiden können, die ihre Untersuchung in der Gemeinschaft durchlaufen haben, werden wir die Leistung des Modells speziell bei Personen bewerten, die einer Untersuchung im Krankenhaus unterzogen wurden.

Modellpräsentation

Das endgültige Regressionsmodell, basierend auf der Gesamtstichprobe, wird anhand von Hazard Ratios und zugehörigen 95 %-Konfidenzintervallen dargestellt. Die Regressionsformel wird online veröffentlicht und bildet die Grundlage für die webbasierte Umsetzung. Konkret wird das Modell in einen öffentlich zugänglichen webbasierten manuellen Rechner auf www.projectbiglife.com umgewandelt. Hier finden Sie mehrere von unserem Team entwickelte klinische Vorhersagetools. Das Tool könnte nicht nur von Gesundheitsdienstleistern, sondern auch von Patienten und Pflegekräften zur Berechnung der Lebenserwartung genutzt werden. Vor diesem Hintergrund wird ein Team aus Webentwicklern, Webdesignern, Implementierungswissenschaftlern, Patienten und Betreuern sowie Klinikern die Implementierung informieren, um das Tool benutzerfreundlich und seine Ergebnisse interpretierbar zu machen. Die Modellschnittstelle und die Ausgabe können unterschiedlich sein, je nachdem, ob ein Arzt oder ein Patient/Betreuer das Tool verwendet. Wir werden die mit der Ausgabe des Tools verbundene Unsicherheit respektieren, indem wir Interquartilbereiche einbeziehen, die die prognostische Unsicherheit transparent widerspiegeln.