Utvikling og validering av et verktøy for forventet levealder for demens

Analyseplan

Analyseplanen ble informert av retningslinjer for klinisk prediksjonsmodellering. Planen ble utviklet etter tilgang til avledningsdatasettet, men før vurdering av assosiasjoner til prediktor-utfall og modelltilpasning. Nøkkelhensyn er full forhåndsspesifikasjon av modellen, inkludert valg av prediktorer, slik at datadrevet variabelseleksjon vil unngås. Dette vil redusere risikoen for skjevhet og overtilpasning i modellen. For det andre vil kontinuerlige variabler spesifiseres som begrensede kubiske splines med knuter ved faste kvantiler, slik at kategorisering av kontinuerlige variabler vil unngås. Dette vil respektere den ikke-lineære naturen til kontinuerlige variabler, og vil unngå ineffektiviteten og skjevheten knyttet til kategorisering. For det tredje vil det bli lagt vekt på vurdering av modellens kalibrering, ikke bare i valideringskohorten, men også i undergrupper av betydning for klinikere og beslutningstakere. Statistisk analyse vil bli utført ved å bruke SAS Enterprise Guide V.9.4.

Validering vil bli utført ved bruk av tidsmessig validering, hvor modellens ytelse vil bli evaluert i en tidsmessig distinkt (nyere) kohort av individer med demens. Dette er en mer streng form for validering sammenlignet med intern validering, som inkluderer tilfeldig splitting eller resampling (bootstrapping, kryssvalidering). Mens tidsmessig validering evaluerer transportabilitet, evaluerer intern validering kun reproduserbarhet. Størrelsen på avledningskohorten og forventet antall hendelser deri muliggjør tidsmessig validering uten å øke risikoen for overtilpasning vesentlig.

Prediktorvariabler

Kandidatprediktorvariablene var fullstendig forhåndsspesifisert, slik at datadrevet variabelseleksjon ble unngått. Vi gjennomgikk variabler i hjemmetjenestens databaser for å identifisere prediktorer. I tillegg ble eksisterende gjennomganger av prognostiske modeller ved demens utforsket. Variabler ble gjennomgått av forskerteamet på en spesifisert måte for å bestemme hvilke som skulle inkluderes i den innledende modellen.

Spesielt vil prediktorverdier fra kun en enkelt tilfeldig valgt vurdering etter demensdiagnose (indeksvurdering) inkluderes i modellen. Vi inkluderte ikke verdier fra etterfølgende vurderinger siden verktøyet ville bli brukt i tverrsnitt, ikke på langs. Vi ønsker faktisk å unngå å bruke verdier fra etterfølgende vurderinger, som ikke ville vært kjent på tidspunktet for den tilfeldig valgte vurderingen. Variablene i modellen vår vil bli organisert i følgende kategorier: sosiodemografisk, klinisk (komorbiditeter, behandling), omsorgspersonspesifikk, funksjonell, ernæringsmessig, kognitiv, psykologisk/atferdsmessig, hjemmesykepleie, helsetjenesteutnyttelse og vurderingsspesifikk informasjon. Vi vil inkludere interaksjoner mellom alder og variabler som representerer komorbiditeter siden assosiasjonen mellom disse og forventet levealder kan variere med alder. En lineær aldersterm, ikke en begrenset kubisk spline, vil bli brukt i interaksjoner.

Utfallsvariabel

Utfallsvariabelen vil være overlevelsestid fra indeksvurderingen til maksimal oppfølgingsdato (31. desember 2022). Dødelighet vil kunne skjelnes fra databasen over registrerte personer, som inneholder en historisk liste over alle individer som er kvalifisert for Ontario Health Insurance Program, inkludert sosiodemografisk (f.eks. alder, kjønn, postnummer) og vital informasjon (f.eks. dødsdato). Vi har forhåndsspesifiserte overlevelsestider av interesse, som er kompatible med gjeldende kvalifikasjonsretningslinjer for spesialiserte palliative omsorgstjenester (dvs. 3, 6 og 12 måneder).

Modellspesifikasjon

Prediktorvariabler vil bli utforsket før man vurderer assosiasjoner til prediktor-utfall eller modelltilpasning. Kontinuerlige variabler vil bli utforsket ved hjelp av beskrivende statistikk og boksplott, og kategoriske variabler ved hjelp av beskrivende statistikk og frekvensfordelinger. Eventuelle identifiserte ugyldige verdier vil bli korrigert, hvis mulig, eller satt til manglende på annen måte. Kontinuerlige variabler vil spesifiseres ved å bruke begrensede kubiske splines med knuter ved faste kvantiler (f.eks. i en 5-knops spline, er kvantiler plassert ved 5., 27.5, 50., 72.5 og 95. persentil). Kategorisering av kontinuerlige variabler vil unngås siden dette er forbundet med ineffektivitet og skjevhet og ikke respekterer den ikke-lineære naturen til kontinuerlige variabler. Kombinasjon av nivåer av en kategorisk variabel vil unngås med mindre en kategori har en svært lav andel av totale observasjoner. Variabler med høy grad av manglende verdier eller utilstrekkelig variasjon vil bli ekskludert. Multi-kollinearitet vil bli evaluert ved hjelp av variabel clustering (VARCLUS-funksjon i SAS). Minimumsandelen av varians forklart av en klynge (egenverdi) vil bli satt til 0,7.

Manglende verdier vil bli imputert ved bruk av multippel imputasjon så lenge mangler ble bedømt til å ha vært helt tilfeldig eller tilfeldig. Til tross for sin enkelhet, vil fullstendig kasusanalyse unngås for å forhindre ineffektiviteten og skjevheten knyttet til denne metoden. Imputeringsmodellen vil inkludere utfallsvariabelen, prediktorvariabler og hjelpevariabler (dvs. variabler som ikke er inkludert i den fullstendige modellen, men som kan informere om den manglende verdien av en variabel). Antall imputerte datasett vil være basert på andelen manglende verdier i datasettet. Den endelige modellen vil bli estimert i hvert av de imputerte datasettene. Parameterestimatene basert på hvert datasett vil bli kombinert ved hjelp av Rubins regler, som integrerer usikkerheten knyttet til imputering i de endelige parameterestimatene.

Modell estimering

Modellen vil bli estimert i avledningskohorten ved å bruke en Cox proporsjonal fare-regresjon. Antakelsen om proporsjonale farer vil bli kontrollert visuelt ved å undersøke plott av Schoenfeld-rester versus tid, og statistisk ved å legge til tidsinteragerte prediktorer til modellen. Hvis forutsetningen brytes, vil vi vurdere tillegg av tidsinteragerte prediktorer til modellen.

Tatt i betraktning det høye forholdet mellom forventede hendelser og frihetsgrader og unngåelse av datadrevet variabelvalg, vurderes risikoen for overtilpasning å være lav. Dette vil imidlertid bli vurdert statistisk ved hjelp av den heuristiske svinnestimatoren [(likelihood ratio Chi-square of the model - degree of freedom of the model)/likelihood ratio Chi-square of the model]. Hvis dette er <0,90, vil modellen kreve justering for overtilpasning (f.eks. ved å følge en variabel reduksjonsmetode eller ved å bruke krympingskoeffisienter på parameterestimatene). Overtilpasning vil også bli vurdert visuelt ved hjelp av kalibreringskurven.

Siden intensjonen er å bruke modellen vår som en manuell nettbasert kalkulator som kan brukes av helsepersonell, omsorgspersoner og pasienter, vil vi estimere en redusert modell som søker å optimalisere sparsomhet uten en betydelig reduksjon i modellytelse. Faktisk kan den første modellen være for kompleks, arbeidskrevende og tidkrevende til å implementeres. Den reduserte modellen vil bli estimert ved å bruke nedtrappingsmetoden, hvorved variabelen med lavest Wald Chi-kvadrat vil bli fjernet fra modellen inntil en minimalt akseptabel modellytelse er oppnådd. Den reduserte modellen vil bli sammenlignet med den opprinnelige modellen ved å bruke Akaikes informasjonskriterium og mål på diskriminering og kalibrering. Vi vil vurdere minste absolutte krympings- og seleksjonsoperator (LASSO), siden det kan resultere i krymping av noen regresjonskoeffisienter til 0, og dermed redusere modellen. I tillegg til statistiske metoder for modellreduksjon, vil vi vurdere den kliniske relevansen til den variabelbaserte eksisterende litteraturen og innholdsekspertisen, i tillegg til pasientenes og deres omsorgspersoners evne til å vurdere og legge inn variabelen.

Modellen vil bli utviklet og validert ved bruk av tidsdelte prøver; De endelige regresjonskoeffisientene vil imidlertid være basert på hele utvalget. Den endelige modellen vil ha samme spesifikasjoner som avledningsmodellen.

Modellytelse

Modellens ytelse vil bli vurdert i valideringskohorten i flere domener. Konkret vil det vurderes med tanke på total ytelse, målt ved Nagelkerkes R2, som er et mål på andelen variasjon i utfallet som forklares av modellen. Historisk har kliniske prediksjonsverktøy hatt R2 som varierte fra 0,2 til 0,3. Modellen vil også bli vurdert med tanke på diskriminering, målt ved konkordans (c)-statistikken og visualisert av mottakerens driftskarakteristikk. c-statistikken varierer fra 0,5, som representerer ingen diskriminerende evne, til 1,0, som representerer perfekt diskriminerende evne.

Til slutt vil modellen vurderes med tanke på kalibrering. Dette vil bli evaluert visuelt ved å bruke kalibreringskurven for predikert versus observert dødelighet basert på Kaplan Meier-estimater ved de ovenfor nevnte forhåndsspesifiserte overlevelsestidene (3, 6 og 12 måneder). En perfekt kalibrert modell er representert av en 45-graders linje med en avskjæring på 0 og en helning på 1. Kalibreringskurven informerer om hvorvidt modellen systematisk over- eller undervurderer dødelighetsrisiko (gjennomsnittlig kalibrering eller kalibrering i det store) og om den gir ekstreme prediksjoner av dødelighetsrisiko (dvs. undervurderer risiko hos lavrisikoindivider og overvurderer risiko hos høyrisikopersoner). -risiko individer), noe som tyder på overfitting. Den gjennomsnittlige relative forskjellen mellom observert og predikert dødelighetsrisiko vil bli beregnet. En akseptabel forskjell er <20 % når hendelsesraten er <=5 %. Til slutt, for å muliggjøre sammenligning med andre prognostiske modeller hos personer som bor i lokalsamfunnet med demens, vil vi beregne den integrerte kalibreringsindeksen, den gjennomsnittlige absolutte forskjellen mellom observert og predikert dødelighetsrisiko; E50, median absolutt forskjell; og E90, den 90. persentilen av absolutt forskjell. Goodness-of-fit vil ikke bli målt av Hosmer-Lemeshow-statistikken eller tilsvarende i en Cox proporsjonale faremodell; disse testene kan ikke gi en størrelse på feilkalibrering eller avgjøre om feilkalibrering kun er tilstede i spesifikke områder av forutsagt dødelighetsrisiko.

Kalibrering vil også bli vurdert i desilgrupper basert på predikert dødelighetsrisiko (moderat kalibrering). Til slutt vil undergrupper av betydning for klinikere og beslutningstakere være forhåndsspesifisert (f.eks. definert av alder, kjønn, komorbiditeter), der kalibrering vil bli vurdert. En kalibreringsgraf vil bli visualisert og en gjennomsnittlig relativ forskjell vil bli beregnet i hver undergruppe. Tatt i betraktning at individer som gjennomgikk sin tilfeldig utvalgte utredning på sykehuset kan være systematisk annerledes enn de som gjennomgikk sin vurdering i samfunnet, vil vi spesifikt vurdere modellens ytelse hos individer som gjennomgikk en sykehusvurdering.

Modellpresentasjon

Den endelige regresjonsmodellen, basert på det totale utvalget, vil bli presentert ved bruk av fareforhold og tilhørende 95 % konfidensintervall. Regresjonsformelen vil bli publisert på nett og være grunnlaget for nettbasert implementering. Nærmere bestemt vil modellen bli konvertert til en offentlig tilgjengelig nettbasert manuell kalkulator på www.projectbiglife.com, som inneholder flere kliniske prediksjonsverktøy utviklet av teamet vårt. Verktøyet kan brukes ikke bare av helsepersonell, men også av pasienter og omsorgspersoner, for å beregne forventet levealder. Med tanke på dette vil et team av nettutviklere, nettdesignere, implementeringsforskere, pasienter og omsorgspersoner og klinikere informere implementeringen for å gjøre verktøyet brukervennlig og gjøre det tolkbart. Modellgrensesnittet og utgangen kan variere avhengig av om en kliniker eller en pasient/omsorgsperson bruker verktøyet. Vi vil respektere usikkerheten knyttet til resultatet av verktøyet, ved å inkludere interkvartile områder som transparent gjenspeiler prognostisk usikkerhet.