Utveckling och validering av ett verktyg för demenslivslängd

Analysplan

Analysplanen grundades av riktlinjer för klinisk prediktionsmodellering. Planen utvecklades efter att ha tillgång till härledningsdataset men innan bedömning av prediktor-utfallsassociationer och modellanpassning. Viktiga överväganden är fullständig förspecifikation av modellen, inklusive val av prediktorer, så att datadrivet variabelval undviks. Detta minskar risken för partiskhet och överanpassning i modellen. För det andra kommer kontinuerliga variabler att specificeras som begränsade kubiska splines med knutar vid fasta kvantiler, så att kategorisering av kontinuerliga variabler kommer att undvikas. Detta kommer att respektera den icke-linjära naturen hos kontinuerliga variabler, och kommer att undvika ineffektiviteten och fördomar som är förknippade med kategorisering. För det tredje kommer tonvikten att läggas på bedömningen av modellens kalibrering, inte bara i valideringskohorten utan också i undergrupper av betydelse för kliniker och beslutsfattare. Statistisk analys kommer att utföras med hjälp av SAS Enterprise Guide V.9.4.

Validering kommer att utföras med hjälp av tidsmässig validering, varvid modellens prestanda kommer att utvärderas i en tidsmässigt distinkt (senare) kohort av individer med demens. Detta är en mer rigorös form av validering jämfört med intern validering, som inkluderar slumpmässig delning eller omsampling (bootstrapping, korsvalidering). Medan tidsmässig validering utvärderar transportbarhet, utvärderar intern validering endast reproducerbarhet. Storleken på härledningskohorten och det förväntade antalet händelser däri möjliggör tidsmässig validering utan att nämnvärt öka risken för överanpassning.

Prediktorvariabler

Kandidatförutsägelsevariablerna var helt förspecificerade, så att datadrivet variabelval undvek. Vi granskade variabler i hemtjänstdatabaserna för att identifiera prediktorer. Dessutom undersöktes befintliga översikter av prognostiska modeller vid demens. Variabler granskades av forskargruppen på ett specificerat sätt för att bestämma vilka som skulle inkluderas i den initiala modellen.

Noterbart kommer prediktorvärden från endast en enda slumpmässigt utvald bedömning efter demensdiagnos (indexbedömning) att inkluderas i modellen. Vi inkluderade inte värden från efterföljande bedömningar eftersom verktyget skulle tillämpas i tvärsnitt, inte longitudinellt. Vi vill faktiskt undvika att använda värden från efterföljande bedömningar, som inte skulle ha varit kända vid tidpunkten för den slumpmässigt valda bedömningen. Variablerna i vår modell kommer att organiseras i följande kategorier: sociodemografisk, klinisk (komorbiditet, behandling), vårdgivarspecifik, funktionell, näringsmässig, kognitiv, psykologisk/beteendemässig, hemtjänst, sjukvårdsanvändning och bedömningsspecifik information. Vi kommer att inkludera interaktioner mellan ålder och variabler som representerar komorbiditeter eftersom sambandet mellan dessa och förväntad livslängd kan variera med ålder. En linjär åldersterm, inte en begränsad kubisk spline därav, kommer att användas i interaktioner.

Utfallsvariabel

Utfallsvariabeln kommer att vara överlevnadstid från indexbedömningen fram till maximalt uppföljningsdatum (31 december 2022). Dödligheten kommer att urskiljas från databasen för registrerade personer, som innehåller en historisk lista över alla individer som är berättigade till Ontario Health Insurance Program, inklusive sociodemografisk (t.ex. ålder, kön, postnummer) och viktig information (t.ex. dödsdatum). Vi har i förväg specificerade överlevnadstider av intresse, som är kompatibla med gällande riktlinjer för behörighet för specialistvård inom palliativ vård (d.v.s. 3, 6 och 12 månader).

Modellspecifikation

Prediktorvariabler kommer att utforskas innan man bedömer prediktor-utfallsassociationer eller modellanpassning. Kontinuerliga variabler kommer att utforskas med hjälp av beskrivande statistik och boxplots, och kategoriska variabler med beskrivande statistik och frekvensfördelningar. Eventuella identifierade ogiltiga värden kommer att korrigeras, om möjligt, eller ställas in på att saknas på annat sätt. Kontinuerliga variabler kommer att specificeras med begränsade kubiska splines med knutar vid fasta kvantiler (t.ex. i en 5-knops spline placeras kvantiler vid 5:e, 27,5:e, 50:e, 72,5:e och 95:e percentilen). Kategorisering av kontinuerliga variabler kommer att undvikas eftersom detta är förknippat med ineffektivitet och bias och inte respekterar den icke-linjära naturen hos kontinuerliga variabler. Kombination av nivåer av en kategorisk variabel kommer att undvikas om inte en kategori har en mycket låg andel av totala observationer. Variabler med en hög grad av saknade värden eller otillräcklig variation kommer att exkluderas. Multikollinearitet kommer att utvärderas med hjälp av variabel klustring (VARCLUS-funktion i SAS). Den minsta andelen varians som förklaras av ett kluster (egenvärde) sätts till 0,7.

Saknade värden kommer att imputeras med hjälp av multipel imputering så länge som saknas bedömdes ha varit helt slumpmässigt eller slumpmässigt. Trots sin enkelhet kommer fullständig fallanalys att undvikas för att förhindra ineffektiviteten och fördomar som är förknippade med denna metod. Imputeringsmodellen kommer att inkludera utfallsvariabeln, prediktorvariabler och hjälpvariabler (d.v.s. variabler som inte ingår i den fullständiga modellen men som kan informera om det saknade värdet på en variabel). Antalet imputerade datamängder kommer att baseras på andelen saknade värden i datamängden. Den slutliga modellen kommer att uppskattas i var och en av de imputerade datamängderna. Parameteruppskattningarna baserade på varje datamängd kommer att kombineras med hjälp av Rubins regler, som integrerar osäkerheten förknippad med imputering i de slutliga parameteruppskattningarna.

Modelluppskattning

Modellen kommer att uppskattas i härledningskohorten med hjälp av en Cox proportional hazards regression. Antagandet om proportionella faror kommer att kontrolleras visuellt genom att undersöka diagram av Schoenfeld-rester mot tid, och statistiskt genom att lägga till tidsinteragerade prediktorer till modellen. Om antagandet kränks kommer vi att överväga tillägget av tidsinteragerade prediktorer till modellen.

Med tanke på det höga förhållandet mellan förväntade händelser och frihetsgrader och undvikandet av datadrivet variabelval bedöms risken för överanpassning vara låg. Detta kommer dock att bedömas statistiskt med hjälp av den heuristiska krympningsestimatorn [(modellens sannolikhetsförhållande Chi-kvadrat - modellens frihetsgrad)/likviditetsförhållande Chi-kvadrat för modellen]. Om detta är <0,90 kommer modellen att kräva justering för övermontering (t.ex. genom att tillämpa en variabel reduktionsmetod eller genom att tillämpa krympningskoefficienter på parameteruppskattningarna). Övermontering kommer också att bedömas visuellt med hjälp av kalibreringskurvan.

Eftersom avsikten är att tillämpa vår modell som en manuell webbaserad kalkylator som kan användas av vårdgivare, vårdgivare och patienter, kommer vi att uppskatta en reducerad modell som strävar efter att optimera sparsamhet utan en signifikant minskning av modellens prestanda. Faktum är att den initiala modellen kan vara för komplex, arbetsintensiv och tidskrävande för att implementeras. Den reducerade modellen kommer att uppskattas med hjälp av nedtrappningsmetoden, varvid variabeln med den lägsta Wald Chi-kvadraten sekventiellt kommer att tas bort från modellen tills en minimalt acceptabel modellprestanda uppnås. Den reducerade modellen kommer att jämföras med den ursprungliga modellen med hjälp av Akaikes informationskriterium och mått på diskriminering och kalibrering. Vi kommer att överväga minsta absoluta krympnings- och urvalsoperator (LASSO), eftersom det kan resultera i att vissa regressionskoefficienter krymper till 0, och därigenom reducerar modellen. Förutom statistiska metoder för modellreduktion kommer vi att överväga den kliniska relevansen av den variabelbaserade befintliga litteraturen och innehållsexpertis, förutom patienternas och deras vårdgivares förmåga att bedöma och mata in variabeln.

Modellen kommer att utvecklas och valideras med hjälp av tidsdelade prover; dock kommer de slutliga regressionskoefficienterna att baseras på hela urvalet. Den slutliga modellen kommer att ha samma specifikationer som härledningsmodellen.

Modellens prestanda

Modellens prestanda kommer att bedömas i valideringskohorten i flera domäner. Specifikt kommer det att bedömas i termer av övergripande prestanda, mätt med Nagelkerkes R2, som är ett mått på andelen variabilitet i utfallet som förklaras av modellen. Historiskt har kliniska prediktionsverktyg haft R2 som varierade från 0,2 till 0,3. Modellen kommer också att bedömas i termer av diskriminering, mätt med konkordansstatistiken (c) och visualiserad av mottagarens funktionskarakteristikkurva. C-statistiken sträcker sig från 0,5, vilket representerar ingen särskiljningsförmåga, till 1,0, som representerar perfekt särskiljningsförmåga.

Slutligen kommer modellen att bedömas i termer av kalibrering. Detta kommer att utvärderas visuellt med hjälp av kalibreringskurvan för förutspådd kontra observerad dödlighet baserat på Kaplan Meier-uppskattningar vid de ovannämnda förutspecificerade överlevnadstiderna (3, 6 och 12 månader). En perfekt kalibrerad modell representeras av en 45-graders linje med en skärning på 0 och en lutning på 1. Kalibreringskurvan informerar om huruvida modellen systematiskt över- eller underskattar dödsrisk (medelkalibrering eller kalibrering i det stora) och om den ger extrema förutsägelser om dödsrisk (dvs. underskattar risken hos individer med låg risk och överskattar risken i hög risk). -riskindivider), vilket tyder på överanpassning. Den genomsnittliga relativa skillnaden mellan observerad och förutsagd dödlighetsrisk kommer att beräknas. En acceptabel skillnad är <20 % när händelsefrekvensen är <=5 %. Slutligen, för att möjliggöra jämförelse med andra prognostiska modeller hos individer som bor i samhället med demens, kommer vi att beräkna det integrerade kalibreringsindexet, den genomsnittliga absoluta skillnaden mellan observerad och förutsagd dödsrisk; E50, median absolut skillnad; och E90, den 90:e percentilen av absolut skillnad. Goodness-of-fit kommer inte att mätas av Hosmer-Lemeshow-statistiken eller dess motsvarighet i en Cox proportional hazards-modell; dessa tester kan inte ge en omfattning av felkalibrering eller avgöra om felkalibrering endast förekommer inom specifika områden av förutsagd dödsrisk.

Kalibrering kommer också att bedömas i decilgrupper baserat på förväntad dödlighetsrisk (måttlig kalibrering). Slutligen kommer undergrupper av betydelse för kliniker och beslutsfattare att fördefinieras (t.ex. definierade av ålder, kön, komorbiditeter), där kalibrering kommer att bedömas. En kalibreringsgraf kommer att visualiseras och en genomsnittlig relativ skillnad kommer att beräknas i varje undergrupp. Med tanke på att individer som genomgått sin slumpmässigt utvalda bedömning på sjukhuset kan vara systematiskt annorlunda än de som genomgått sin bedömning i samhället, kommer vi specifikt att bedöma modellens prestanda hos individer som genomgått en bedömning på sjukhus.

Modellpresentation

Den slutliga regressionsmodellen, baserad på det totala urvalet, kommer att presenteras med hjälp av riskkvoter och tillhörande 95 % konfidensintervall. Regressionsformeln kommer att publiceras online och ligga till grund för webbaserad implementering. Specifikt kommer modellen att konverteras till en allmänt tillgänglig webbaserad manuell kalkylator på www.projectbiglife.com, som innehåller flera kliniska prediktionsverktyg utvecklade av vårt team. Verktyget skulle kunna användas inte bara av vårdgivare, utan också av patienter och vårdgivare, för att beräkna förväntad livslängd. Med tanke på detta kommer ett team av webbutvecklare, webbdesigners, implementeringsforskare, patienter och vårdgivare och kliniker att informera implementeringen för att göra verktyget användarvänligt och göra dess resultat tolkbart. Modellens gränssnitt och utdata kan skilja sig beroende på om en läkare eller en patient/vårdgivare använder verktyget. Vi kommer att respektera den osäkerhet som är förknippad med verktygets utdata, genom att inkludera interkvartila intervall som transparent återspeglar prognostisk osäkerhet.