Udvikling og validering af et værktøj til demens levetid

Analyseplan

Analyseplanen var baseret på retningslinjer for klinisk forudsigelsesmodellering. Planen blev udviklet efter adgang til afledningsdatasættet, men før vurdering af prædiktor-udfald associationer og modeltilpasning. Nøgleovervejelser er fuld præ-specifikation af modellen, herunder valg af prædiktorer, således at datadrevet variabeludvælgelse undgås. Dette vil mindske risikoen for skævhed og overpasning i modellen. For det andet vil kontinuerte variable blive specificeret som begrænsede kubiske splines med knob ved faste kvantiler, således at kategorisering af kontinuerte variable undgås. Dette vil respektere den ikke-lineære karakter af kontinuerte variabler, og vil undgå ineffektivitet og skævhed forbundet med kategorisering. For det tredje vil der blive lagt vægt på vurderingen af ​​modellens kalibrering, ikke kun i valideringskohorten, men også i undergrupper af betydning for klinikere og politiske beslutningstagere. Statistisk analyse vil blive udført ved hjælp af SAS Enterprise Guide V.9.4.

Validering vil blive udført ved brug af tidsmæssig validering, hvorved modellens præstation vil blive evalueret i en tidsmæssigt adskilt (nyere) kohorte af personer med demens. Dette er en mere streng form for validering sammenlignet med intern validering, som inkluderer tilfældig opdeling eller resampling (bootstrapping, krydsvalidering). Mens tidsmæssig validering evaluerer transportabilitet, evaluerer intern validering kun reproducerbarhed. Størrelsen af ​​afledningskohorten og det forventede antal hændelser deri muliggør tidsmæssig validering uden at øge risikoen for overfitting væsentligt.

Forudsigelsesvariable

Kandidatprædiktorvariablerne var fuldt forud specificeret, således at datadrevet variabelselektion blev undgået. Vi gennemgik variabler i hjemmeplejedatabaserne for at identificere prædiktorer. Derudover blev eksisterende gennemgange af prognostiske modeller ved demens undersøgt. Variabler blev gennemgået af forskerholdet på en specificeret måde for at bestemme, hvilke der skulle inkluderes i den indledende model.

Specielt vil prædiktorværdier fra kun en enkelt tilfældigt udvalgt vurdering efter demensdiagnose (indeksvurdering) indgå i modellen. Vi inkluderede ikke værdier fra efterfølgende vurderinger, da værktøjet ville blive anvendt på tværs, ikke på langs. Vi ønsker nemlig at undgå at bruge værdier fra efterfølgende vurderinger, som ikke ville have været kendt på tidspunktet for den tilfældigt udvalgte vurdering. Variablerne i vores model vil blive organiseret i følgende kategorier: sociodemografiske, kliniske (komorbiditeter, behandling), omsorgspersonspecifikke, funktionelle, ernæringsmæssige, kognitive, psykologiske/adfærdsmæssige, hjemmepleje, sundhedsudnyttelse og vurderingsspecifik information. Vi vil inkludere interaktioner mellem alder og variabler, der repræsenterer komorbiditeter, da sammenhængen mellem disse og forventet levetid kan variere med alderen. En lineær aldersbetegnelse, ikke en begrænset kubisk spline deraf, vil blive brugt i interaktioner.

Udfaldsvariabel

Resultatvariablen vil være overlevelsestid fra indeksvurderingen til den maksimale opfølgningsdato (31. december 2022). Dødelighed vil kunne skelnes fra databasen over registrerede personer, som rummer en historisk liste over alle personer, der er berettiget til Ontario Health Insurance Program, inklusive sociodemografiske (f.eks. alder, køn, postnummer) og vitale oplysninger (f.eks. dødsdato). Vi har foruddefinerede overlevelsestider af interesse, som er kompatible med de nuværende retningslinjer for berettigelse til specialiserede palliative ydelser (dvs. 3, 6 og 12 måneder).

Modelspecifikation

Prædiktorvariabler vil blive undersøgt, før man vurderer prædiktor-udfaldssammenhænge eller modeltilpasning. Kontinuerlige variabler vil blive udforsket ved hjælp af beskrivende statistik og boxplots, og kategoriske variabler ved hjælp af beskrivende statistik og frekvensfordelinger. Eventuelle identificerede ugyldige værdier vil blive rettet, hvis det er muligt, eller indstillet til at mangle på anden måde. Kontinuerlige variabler vil blive specificeret ved brug af begrænsede kubiske splines med knob ved faste kvantiler (f.eks. i en 5-knobs spline placeres kvantiler ved 5., 27.5, 50., 72.5 og 95. percentil). Kategorisering af kontinuerte variable vil blive undgået, da dette er forbundet med ineffektivitet og bias og ikke respekterer den ikke-lineære karakter af kontinuerte variable. Kombination af niveauer af en kategorisk variabel vil blive undgået, medmindre en kategori har en meget lav andel af de samlede observationer. Variabler med en høj grad af manglende værdier eller utilstrækkelig variation vil blive udelukket. Multi-kollinearitet vil blive evalueret ved hjælp af variabel clustering (VARCLUS funktion i SAS). Den mindste andel af varians, der forklares af en klynge (egenværdi), vil blive sat til 0,7.

Manglende værdier vil blive imputeret ved hjælp af multiple imputation, så længe mangler blev vurderet til at have været helt tilfældigt eller tilfældigt. På trods af sin enkelhed vil fuldstændig case-analyse blive undgået for at forhindre ineffektiviteten og bias forbundet med denne metode. Imputationsmodellen vil inkludere udfaldsvariablen, prædiktorvariabler og hjælpevariabler (dvs. variable, der ikke er inkluderet i den fulde model, men som kunne informere om den manglende værdi af en variabel). Antallet af imputerede datasæt vil være baseret på andelen af ​​manglende værdier i datasættet. Den endelige model vil blive estimeret i hvert af de imputerede datasæt. Parameterestimaterne baseret på hvert datasæt vil blive kombineret ved hjælp af Rubins regler, som integrerer usikkerheden forbundet med imputation i de endelige parameterestimater.

Model estimering

Modellen vil blive estimeret i afledningskohorten ved hjælp af en Cox proportional hazards regression. Antagelsen om proportionale farer vil blive kontrolleret visuelt ved at undersøge plots af Schoenfeld-rester versus tid og statistisk ved at tilføje tidsinteragerede forudsigere til modellen. Hvis antagelsen overtrædes, vil vi overveje tilføjelsen af ​​tidsinteragerede prædiktorer til modellen.

I betragtning af det høje forhold mellem forventede hændelser og frihedsgrader og undgåelse af datadrevet variabelvalg vurderes risikoen for overfitting at være lav. Dette vil dog blive vurderet statistisk vha. den heuristiske svind-estimator [(modellens sandsynlighedsforhold Chi-kvadrat - modellens frihedsgrad)/sandsynlighedsforhold Chi-kvadrat af modellen]. Hvis dette er <0,90, så vil modellen kræve justering for overfitting (f.eks. ved at forfølge en variabel reduktionsmetode eller ved at anvende svindkoefficienter til parameterestimater). Overfitting vil også blive vurderet visuelt ved hjælp af kalibreringskurven.

Da hensigten er at anvende vores model som en manuel webbaseret beregner, der kan bruges af sundhedsudbydere, plejere og patienter, vil vi estimere en reduceret model, der søger at optimere sparsommelighed uden et væsentligt fald i modellens ydeevne. Faktisk kan den oprindelige model være for kompleks, arbejdskrævende og tidskrævende til at blive implementeret. Den reducerede model vil blive estimeret ved hjælp af stepdown-metoden, hvorved variablen med den laveste Wald Chi-kvadrat vil blive fjernet fra modellen, indtil en minimalt acceptabel modelydelse er opnået. Den reducerede model vil blive sammenlignet med den oprindelige model ved hjælp af Akaikes informationskriterium og mål for diskrimination og kalibrering. Vi vil overveje mindste absolutte svind- og selektionsoperator (LASSO), da det kan resultere i svind af nogle regressionskoefficienter til 0, og derved reducere modellen. Ud over statistiske metoder til modelreduktion vil vi overveje den kliniske relevans af den variabelbaserede eksisterende litteratur og indholdsekspertise, foruden patienternes og deres pårørendes evne til at vurdere og indtaste variablen.

Modellen vil blive udviklet og valideret ved hjælp af tidsdelte prøver; dog vil de endelige regressionskoefficienter være baseret på hele stikprøven. Den endelige model vil have samme specifikationer som afledningsmodellen.

Model ydeevne

Modellens ydeevne vil blive vurderet i valideringskohorten i flere domæner. Konkret vil det blive vurderet i forhold til overordnet præstation, som målt ved Nagelkerkes R2, som er et mål for andelen af ​​variabilitet i resultatet, som forklares af modellen. Historisk set har kliniske forudsigelsesværktøjer haft R2, der varierede fra 0,2 til 0,3. Modellen vil også blive vurderet med hensyn til diskrimination, som målt ved konkordans (c) statistikken og visualiseret af modtagerens driftskarakteristik. c-statistikken spænder fra 0,5, som repræsenterer ingen diskriminerende evne, til 1,0, som repræsenterer perfekt diskriminerende evne.

Til sidst vil modellen blive vurderet mht. kalibrering. Dette vil blive evalueret visuelt ved hjælp af kalibreringskurven for forudsagt versus observeret dødelighed baseret på Kaplan Meier-estimater ved de ovennævnte forudspecificerede overlevelsestider (3, 6 og 12 måneder). En perfekt kalibreret model er repræsenteret af en 45-graders linje med en skæring på 0 og en hældning på 1. Kalibreringskurven informerer om, hvorvidt modellen systematisk over- eller undervurderer dødelighedsrisiko (gennemsnitlig kalibrering eller kalibrering i det store), og om den giver ekstreme forudsigelser af dødelighedsrisiko (dvs. -risiko individer), hvilket tyder på overfitting. Den gennemsnitlige relative forskel mellem observeret og forudsagt dødelighedsrisiko vil blive beregnet. En acceptabel forskel er <20 %, når hændelsesraten er <=5 %. Til sidst, for at muliggøre sammenligning med andre prognostiske modeller i samfundsboende personer med demens, vil vi beregne det integrerede kalibreringsindeks, den gennemsnitlige absolutte forskel mellem observeret og forudsagt dødelighedsrisiko; E50, den mediane absolutte forskel; og E90, den 90. percentil af absolut forskel. Goodness-of-fit vil ikke blive målt af Hosmer-Lemeshow-statistikken eller tilsvarende i en Cox proportional hazards-model; disse tests kan ikke give en størrelse af fejlkalibrering eller afgøre, om fejlkalibrering kun er til stede i specifikke områder af forudsagt dødelighedsrisiko.

Kalibrering vil også blive vurderet i decilgrupper baseret på forudsagt dødelighedsrisiko (moderat kalibrering). Endelig vil undergrupper af betydning for klinikere og politiske beslutningstagere være forudspecificeret (f.eks. defineret ved alder, køn, komorbiditeter), hvor kalibrering vil blive vurderet. En kalibreringsgraf vil blive visualiseret, og en gennemsnitlig relativ forskel vil blive beregnet i hver undergruppe. I betragtning af, at personer, der har gennemgået deres tilfældigt udvalgte vurdering på hospitalet, kan være systematisk anderledes end dem, der har gennemgået deres vurdering i samfundet, vil vi specifikt vurdere modellens præstation hos personer, der har gennemgået en hospitalsvurdering.

Model præsentation

Den endelige regressionsmodel, baseret på den samlede prøve, vil blive præsenteret ved brug af hazard ratios og tilhørende 95 % konfidensintervaller. Regressionsformlen vil blive offentliggjort online og være grundlaget for webbaseret implementering. Specifikt vil modellen blive konverteret til en offentligt tilgængelig webbaseret manuel lommeregner på www.projectbiglife.com, som rummer flere kliniske forudsigelsesværktøjer udviklet af vores team. Værktøjet kan ikke kun bruges af sundhedsudbydere, men også af patienter og plejere, til at beregne forventet levetid. I betragtning af dette vil et team af webudviklere, webdesignere, implementeringsforskere, patienter og plejere og klinikere informere implementeringen for at gøre værktøjet brugervenligt og gøre dets output fortolket. Modellens grænseflade og output kan variere afhængigt af, om en kliniker eller en patient/plejer bruger værktøjet. Vi vil respektere usikkerheden forbundet med outputtet af værktøjet ved at inkludere interkvartilintervaller, der transparent afspejler prognostisk usikkerhed.