Ontwikkeling en validatie van een instrument voor levensverwachting bij dementie

Analyseplan

Het analyseplan was gebaseerd op richtlijnen voor klinische voorspellingsmodellen. Het plan werd ontwikkeld na toegang tot de afleidingsdataset, maar vóór het beoordelen van de associaties tussen voorspellers en uitkomsten en het aanpassen van modellen. Belangrijke overwegingen zijn de volledige pre-specificatie van het model, inclusief de selectie van voorspellers, zodat datagestuurde selectie van variabelen wordt vermeden. Dit verkleint het risico op bias en overfitting in het model. Ten tweede zullen continue variabelen worden gespecificeerd als beperkte kubieke splines met knopen op vaste kwantielen, zodat categorisering van continue variabelen zal worden vermeden. Hierdoor wordt de niet-lineaire aard van continue variabelen gerespecteerd en worden de inefficiëntie en vertekening die gepaard gaan met categorisering vermeden. Ten derde zal de nadruk worden gelegd op de beoordeling van de kalibratie van het model, niet alleen in het validatiecohort, maar ook in subgroepen die betekenis hebben voor clinici en beleidsmakers. Statistische analyse zal worden uitgevoerd met behulp van SAS Enterprise Guide V.9.4.

Validatie zal worden uitgevoerd met behulp van temporele validatie, waarbij de prestaties van het model zullen worden geëvalueerd in een temporeel verschillend (recenter) cohort van personen met dementie. Dit is een strengere vorm van validatie vergeleken met interne validatie, die willekeurige splitsing of resampling omvat (bootstrapping, kruisvalidatie). Terwijl temporele validatie de transporteerbaarheid evalueert, evalueert interne validatie alleen de reproduceerbaarheid. De omvang van het afleidingscohort en het verwachte aantal gebeurtenissen daarin maken tijdelijke validatie mogelijk zonder het risico op overfitting significant te vergroten.

Voorspellende variabelen

De kandidaat-predictorvariabelen waren volledig vooraf gespecificeerd, zodat datagestuurde selectie van variabelen werd vermeden. We hebben variabelen in de thuiszorgdatabases beoordeeld om voorspellers te identificeren. Daarnaast werden bestaande reviews van prognostische modellen bij dementie onderzocht. Variabelen werden door het onderzoeksteam op een gespecificeerde manier beoordeeld om te bepalen welke in het initiële model moesten worden opgenomen.

Met name zullen voorspellende waarden van slechts een enkele willekeurig geselecteerde beoordeling na de diagnose dementie (indexbeoordeling) in het model worden opgenomen. We hebben geen waarden uit latere beoordelingen meegenomen, omdat het instrument cross-sectioneel zou worden toegepast, en niet longitudinaal. We willen namelijk voorkomen dat waarden uit volgende beoordelingen worden gebruikt, die op het moment van de willekeurig geselecteerde beoordeling niet bekend zouden zijn geweest. De variabelen in ons model zullen in de volgende categorieën worden georganiseerd: sociodemografisch, klinisch (comorbiditeiten, behandeling), zorgverlenerspecifiek, functioneel, voedingswaarde, cognitief, psychologisch/gedragsmatig, thuiszorg, gebruik van gezondheidszorg en beoordelingsspecifieke informatie. We zullen interacties opnemen tussen leeftijd en variabelen die comorbiditeiten vertegenwoordigen, aangezien de associatie hiervan met de levensverwachting kan variëren met de leeftijd. Bij interacties zal een lineaire leeftijdsterm worden gebruikt, en niet een beperkte kubieke spline daarvan.

Uitkomst variabele

De uitkomstvariabele is de overlevingstijd vanaf de indexbeoordeling tot aan de maximale vervolgdatum (31 december 2022). De sterfte zal worden afgeleid uit de database met geregistreerde personen, die een historische lijst bevat van alle personen die in aanmerking komen voor het Ontario Health Insurance Program, inclusief sociaal-demografische (bijvoorbeeld leeftijd, geslacht, postcode) en essentiële informatie (bijvoorbeeld de datum van overlijden). We hebben vooraf gespecificeerde overlevingstijden van belang, die compatibel zijn met de huidige deelnamerichtlijnen voor gespecialiseerde palliatieve zorgdiensten (d.w.z. 3, 6 en 12 maanden).

Modelspecificatie

Predictorvariabelen zullen worden onderzocht voordat de associaties tussen voorspellers en uitkomsten of modelaanpassing worden beoordeeld. Continue variabelen zullen worden onderzocht met behulp van beschrijvende statistieken en boxplots, en categorische variabelen met behulp van beschrijvende statistieken en frequentieverdelingen. Eventuele geïdentificeerde ongeldige waarden worden, indien mogelijk, gecorrigeerd of anderszins op ontbrekend gezet. Continue variabelen zullen worden gespecificeerd met behulp van beperkte kubieke splines met knopen op vaste kwantielen (bijvoorbeeld in een spline van 5 knopen worden kwantielen op het 5e, 27,5e, 50e, 72,5e en 95e percentiel geplaatst). Categorisering van continue variabelen zal worden vermeden, aangezien dit gepaard gaat met inefficiëntie en vertekening en de niet-lineaire aard van continue variabelen niet respecteert. Combinatie van niveaus van een categorische variabele zal worden vermeden, tenzij een categorie een zeer laag aandeel van de totale waarnemingen heeft. Variabelen met een hoge mate van ontbrekende waarden of onvoldoende variatie worden uitgesloten. Multi-collineariteit zal worden geëvalueerd met behulp van variabele clustering (VARCLUS-functie in SAS). Het minimale variantieaandeel dat door een cluster wordt verklaard (eigenwaarde) wordt vastgesteld op 0,7.

Ontbrekende waarden zullen worden geïmputeerd met behulp van meervoudige imputatie, zolang werd geoordeeld dat de ontbrekende waarden volledig willekeurig of willekeurig waren. Ondanks de eenvoud ervan zal een volledige casusanalyse worden vermeden om de inefficiëntie en vooringenomenheid die met deze methode gepaard gaan, te voorkomen. Het imputatiemodel omvat de uitkomstvariabele, voorspellende variabelen en hulpvariabelen (d.w.z. variabelen die niet in het volledige model zijn opgenomen, maar die wel informatie kunnen geven over de ontbrekende waarde van een variabele). Het aantal geïmputeerde datasets zal gebaseerd zijn op het aandeel ontbrekende waarden in de dataset. Het uiteindelijke model zal worden geschat in elk van de geïmputeerde datasets. De parameterschattingen op basis van elke dataset zullen worden gecombineerd met behulp van de regels van Rubin, die de onzekerheid die gepaard gaat met imputatie integreren in de uiteindelijke parameterschattingen.

Modelschatting

Het model zal worden geschat in het afleidingscohort met behulp van een Cox proportionele gevarenregressie. De aanname van proportionele gevaren zal visueel worden gecontroleerd door grafieken van Schoenfeld-residuen tegen de tijd te onderzoeken, en statistisch door tijdsinteractieve voorspellers aan het model toe te voegen. Als de aanname wordt geschonden, zullen we de toevoeging van tijdsinteractieve voorspellers aan het model overwegen.

Gezien de hoge verhouding tussen verwachte gebeurtenissen en vrijheidsgraden en het vermijden van datagestuurde selectie van variabelen, wordt het risico op overfitting als laag ingeschat. Dit zal echter statistisch worden beoordeeld met behulp van de heuristische krimpschatter [(waarschijnlijkheidsratio Chi-kwadraat van het model - vrijheidsgraad van het model)/waarschijnlijkheidsratio Chi-kwadraat van het model]. Als dit <0,90 is, moet het model worden aangepast voor overfitting (bijvoorbeeld door een variabele reductiemethode te volgen of door krimpcoëfficiënten toe te passen op de parameterschattingen). Overfitting wordt ook visueel beoordeeld met behulp van de kalibratiecurve.

Omdat het de bedoeling is om ons model toe te passen als een handmatige webgebaseerde rekenmachine die kan worden gebruikt door zorgverleners, zorgverleners en patiënten, zullen we een gereduceerd model schatten dat de spaarzaamheid probeert te optimaliseren zonder een significante afname van de modelprestaties. Het initiële model kan zelfs te complex, arbeidsintensief en tijdrovend zijn om te implementeren. Het gereduceerde model zal worden geschat met behulp van de stepdown-methode, waarbij achtereenvolgens de variabele met de laagste Wald Chi-kwadraat uit het model wordt verwijderd totdat een minimaal acceptabele modelprestatie is bereikt. Het gereduceerde model zal worden vergeleken met het initiële model met behulp van Akaike's Informatiecriterium en metingen van discriminatie en kalibratie. We zullen de minst absolute krimp- en selectieoperator (LASSO) overwegen, omdat dit zou kunnen resulteren in het verkleinen van sommige regressiecoëfficiënten naar 0, waardoor het model wordt verkleind. Naast statistische manieren om modellen te reduceren, zullen we de klinische relevantie van de op variabelen gebaseerde bestaande literatuur en inhoudelijke expertise in overweging nemen, naast het vermogen van patiënten en hun zorgverleners om de variabele te beoordelen en in te voeren.

Het model zal worden ontwikkeld en gevalideerd met behulp van tijdelijk gesplitste monsters; de uiteindelijke regressiecoëfficiënten zullen echter gebaseerd zijn op de volledige steekproef. Het uiteindelijke model zal dezelfde specificaties hebben als het afleidingsmodel.

Modelprestaties

De prestaties van het model zullen in het validatiecohort in meerdere domeinen worden beoordeeld. Concreet zal het worden beoordeeld in termen van algehele prestaties, zoals gemeten aan de hand van Nagelkerke's R2, een maatstaf voor het aandeel van de variabiliteit in de uitkomst die door het model wordt verklaard. Historisch gezien hadden klinische voorspellingsinstrumenten een R2 die varieerde van 0,2 tot 0,3. Het model zal ook worden beoordeeld in termen van discriminatie, zoals gemeten aan de hand van de concordantie (c)-statistiek en gevisualiseerd door de karakteristieke curve van de ontvanger. De c-statistiek varieert van 0,5, wat geen onderscheidingsvermogen vertegenwoordigt, tot 1,0, wat een perfect onderscheidingsvermogen vertegenwoordigt.

Tenslotte wordt het model beoordeeld op kalibratie. Dit zal visueel worden geëvalueerd met behulp van de ijkcurve van voorspelde versus waargenomen sterfte op basis van Kaplan Meier-schattingen bij de bovengenoemde vooraf gespecificeerde overlevingstijden (3, 6 en 12 maanden). Een perfect gekalibreerd model wordt weergegeven door een lijn van 45 graden met een snijpunt van 0 en een helling van 1. De kalibratiecurve geeft aan of het model het sterfterisico systematisch over- of onderschat (gemiddelde kalibratie of kalibratie in het algemeen) en of het extreme voorspellingen geeft over het sterfterisico (d.w.z. het risico onderschat bij individuen met een laag risico en het risico overschat bij individuen met een hoog risico). -risico-individuen), wat duidt op overfitting. Het gemiddelde relatieve verschil tussen het waargenomen en voorspelde sterfterisico zal worden berekend. Een acceptabel verschil is <20% wanneer het gebeurtenispercentage <=5% is. Ten slotte zullen we, om vergelijking met andere prognostische modellen bij thuiswonende individuen met dementie mogelijk te maken, de Integrated Calibration Index berekenen, het gemiddelde absolute verschil tussen het waargenomen en voorspelde sterfterisico; E50, het mediaan absolute verschil; en E90, het 90e percentiel van het absolute verschil. Goodness-of-fit zal niet worden gemeten aan de hand van de Hosmer-Lemeshow-statistiek of het equivalent daarvan in een Cox-model voor proportionele gevaren; deze tests kunnen geen indicatie geven van de omvang van de miskalibratie, noch bepalen of er alleen sprake is van miskalibratie in specifieke bereiken van het voorspelde sterfterisico.

De kalibratie zal ook worden beoordeeld in decielgroepen op basis van het voorspelde sterfterisico (matige kalibratie). Ten slotte zullen subgroepen die van betekenis zijn voor artsen en beleidsmakers vooraf worden gespecificeerd (bijvoorbeeld gedefinieerd op basis van leeftijd, geslacht, comorbiditeiten), waarin de kalibratie zal worden beoordeeld. Er wordt een kalibratiegrafiek gevisualiseerd en voor elke subgroep wordt een gemiddeld relatief verschil berekend. Aangezien individuen die hun willekeurig geselecteerde beoordeling in het ziekenhuis hebben ondergaan, systematisch anders kunnen zijn dan degenen die hun beoordeling in de gemeenschap hebben ondergaan, zullen we specifiek de prestaties van het model beoordelen bij personen die een beoordeling in het ziekenhuis hebben ondergaan.

Presentatie van modellen

Het uiteindelijke regressiemodel, gebaseerd op de totale steekproef, zal worden gepresenteerd met behulp van risicoratio's en bijbehorende 95% betrouwbaarheidsintervallen. De regressieformule zal online worden gepubliceerd en zal de basis vormen voor webgebaseerde implementatie. Concreet zal het model worden omgezet in een publiekelijk toegankelijke webgebaseerde handmatige rekenmachine op www.projectbiglife.com, waarin meerdere klinische voorspellingsinstrumenten zijn ondergebracht die door ons team zijn ontwikkeld. De tool zou niet alleen door zorgverleners, maar ook door patiënten en zorgverleners kunnen worden gebruikt om de levensverwachting te berekenen. Met dit in het achterhoofd zal een team van webontwikkelaars, webontwerpers, implementatiewetenschappers, patiënten en zorgverleners en artsen de implementatie informeren om de tool gebruiksvriendelijk te maken en de resultaten ervan interpreteerbaar te maken. De modelinterface en uitvoer kunnen verschillen, afhankelijk van of een arts of een patiënt/verzorger de tool gebruikt. We zullen de onzekerheid respecteren die gepaard gaat met de uitkomst van de tool, door interkwartielbereiken op te nemen die op transparante wijze de prognostische onzekerheid weerspiegelen.