Utveckling och utvärdering av Electronic Frailty Index+ (eFI+)

Hälsoteknik utvärderas

eFI+ kommer att utvecklas med hjälp av komponenter från det ursprungliga eFI, kompletterat med ytterligare rutinmässig primärvårds-EPJ-data och vägledning om de extra fördelarna med att implementera enkla kliniska åtgärder i rutinmässig primärvård. eFI+ kommer att vara lämpligt för snabb implementering i brittiska primärvårdens EPJ-system, som bygger på befintliga nära förbindelser med systemleverantörer (SystmOne/EMISWeb/Vision/Microtest).

Utredarna kommer att utveckla, sedan internt och externt validera eFI+ med hjälp av SAIL-databanken (Secure Anonymised Information Linkage), ResearchOne-databasen och Leeds Data Model (LDM).

Dessutom kommer utredarna att analysera Community Aging Research 75+ (CARE75+) kohortstudiedata (CI Clegg, n≈1 200) som den enda nationella kohortstudien som inkluderar eFI-poäng, för att undersöka hur enkla åtgärder som kan bedömas i primärvården, men är inte tillgängliga i rutinmässiga EPJ-data (t.ex. gånghastighet, upp-och-kör-test; dagliga aktiviteter; ensamhet) kan förbättra förutsägelsen.

Studera design

Prognostisk modellutveckling, intern validering och extern validering med hjälp av rutinmässig primärvårdsforskningsdata (ResearchOne), länkade dataset (SAIL-databank och LDM) och kohortstudiedata (CARE75+), med integrerad beslutsanalytisk modellering, inklusive hälsoekonomisk analys.

Databaser

1. Secure Anonymised Information Linkage (SAIL) databank

   Anonymiserade register från cirka 5 miljoner människor i Wales, med kopplad primärvård, akutmottagning, sjukhusinläggningar, öppenvårdsdata, socialvård, datauppsättning för walesiska vårdhem och ONS-dödlighetsdata. SAIL inkluderar eFI-sammanfattningspoäng och individuella komponenter.

2. ResearchOne

   Nationellt representativa, avidentifierade data från cirka 6 miljoner elektroniska hälsojournaler för primärvården i Storbritannien på det kliniska systemet TPP SystmOne. ResearchOne inkluderar eFI-sammanfattningspoäng och enskilda komponenter.

3. Leeds Data Model (LDM)

   Anonymiserade, länkade primär-, sekundär-, samhälls- och socialvårdsdata från 810 000 patienter över 108 kliniker i Leeds, inklusive eFI-sammanfattningspoäng och individuella komponenter.

4. Community Aging Research 75+ (CARE75+) kohort

Nationell prospektiv kohortstudie (n≈1 200) som samlar in detaljerad sociodemografisk information, svaghetsmått (inklusive eFI-poäng), enkla instrument som lämpar sig för användning i primärvården (t.ex. gånghastighet, upp-och-kör-test; dagliga aktiviteter; informell vård; ensamhet), och nyckelresultat vid sex, 12, 24 och 48 månader. CARE75+ är en mycket rik datauppsättning som ger en mycket effektiv metod för att undersöka hur enkla instrument kan förbättra eFI-prestandan.

Berättigad befolkning

Patienter ≥65 år med måttlig skörhet (eFI-poäng 0,24 till 0,36) eller svår skörhet (eFI-poäng >0,36) och registrerade hos en ResearchOne-, SAIL- eller LDM-mottagning den 1 april 2018.

Alla CARE75+-deltagare med måttlig skörhet (eFI-poäng 0,24 till 0,36) eller svår skörhet (eFI-poäng >0,36) kommer att vara berättigade.

Utfall för riskprediktion (alla 12 månader)

• Nytt eller utökat hemtjänstpaket
• ED närvaro/sjukhusinläggning med fall eller fraktur
• Intagning på vårdhem
• Dödlighet av alla orsaker

Prediktorer

Komponenter i eFI, kompletterade med variabler tillgängliga inom rutinmässig primärvård EPJ-data och kliniska bedömningsåtgärder praktiska för användning i primärvården.

Prognostiska modeller

Varje prognosmodell kommer att utvecklas och internt valideras i bara en av databaserna och sedan externt valideras i en andra databas

Provstorlek för prognostisk modellutveckling

SAIL- och ResearchOne-extrakten kommer vardera att inkludera ≈600 000 patienter i åldern 65 eller äldre, med uppskattningsvis 72 000 med måttlig skörhet och 24 000 svår svaghet. LDM-extrakt kommer att inkludera ≈150 000 patienter i åldern 65 år eller äldre, med uppskattningsvis 18 000 med måttlig skörhet och 6 000 allvarlig skörhet.

För modellutveckling är en nyckelindikator på den effektiva urvalsstorleken antalet utfallshändelser. Tidigare forskning om resultaten av intresse och genomförbarhetsuppskattningar med CARE75+, ResearchOne och SAIL ger uppskattningar för förväntat antal händelser inom 12 månader.

• Nytt eller utökat hemtjänstpaket: Förväntat 15 864 händelser i SAIL, baserat på 14,9 % 12 månaders incidens i gruppen med måttlig skörhet (10 080 händelser) och 24,1 % 12 månaders incidens i gruppen med svår skörhet (5 784 händelser).
• ED-närvaro/sjukhusinläggning med fall eller fraktur: Förväntade 8 064 händelser i SAIL, baserat på 7,4 % 12 månaders incidens i gruppen med måttlig skörhet (5 328 händelser) och 11,4 % incidens i svår skörhet (2 736 händelser).
• Inläggning på vårdhem: Förväntade 2 160 händelser i ResearchOne, baserat på 2,0 % 12 månaders incidens i gruppen med måttlig skörhet (1 440 händelser) och 3,8 % 12 månaders incidens i gruppen med svår skörhet (720 händelser).
• Dödlighet av alla orsaker: Förväntad 12 216 händelser i ResearchOne, baserat på 10,6 % 12-månaders incidens i gruppen med måttlig skörhet (7 632 händelser) och 19,1 % 12 månaders incidens i gruppen med svår skörhet (4 584 händelser).

Därför, även när man tar den lägsta uppskattningen av incidenthändelser med 12 månader (för intagning på vårdhem), skulle utredarna för varje resultat förvänta sig minst 2 160 händelser i var och en av ResearchOne eller SAIL. Detta gör det möjligt för oss att robust uppskatta en prognostisk modell för varje utfall även med upp till 108 prediktorparametrar, motsvarande 20 händelser per potentiell prediktorparameter (2160/20). Detta överskrider "tumregel"-rekommendationer på 10 eller 15 händelser per prediktorparameter.

Dessutom, om man konservativt antar att de nya modellerna kommer att ha en Nagelkerke R-kvadrat på 15 %, föreslår Rileys urvalsstorleksformel att minst 7,5 händelser för varje prediktorparameter kommer att säkerställa överanpassning och optimism minimeras, när utfallsproportionen är 3 %. När utfallsandelen ökar till 20 % (hemtjänstpaket), 9 % (fall/fraktur) eller 15 % (mortalitet), är den minsta urvalsstorleken som krävs 18, 11,5 respektive 15 händelser per prediktorparameter. Utredarna överträffar alla dessa, på grund av de stora datamängder som finns tillgängliga.

Provstorlek för extern validering

Aktuella rekommendationer är att minst 100 händelser och 100 icke-händelser (helst 200) krävs för extern validering av prognosmodell. Våra uppskattningar indikerar betydligt fler än så, såsom 2160 händelser för det minst vanliga utfallet av vårdhemsinläggning i SAIL och ResearchOne, och 540 i LDM (som endast kommer att användas för extern validering av modeller).

Saknar data

Hanterades med användning av multipel imputering och Rubins regler, under ett slumpmässigt antagande som saknas, inklusive utfall i imputeringsmodellen, vilket tar hänsyn till praxiskluster.

Analysplan

i) Prognostisk modellering

Utredarna kommer att bygga fyra separata prognosmodeller inom utvecklingsdatauppsättningarna för att förutsäga risken för våra fyra viktiga uttalade resultat hos individer med måttlig eller svår svaghet som utgångspunkt.

För varje resultat, för de med måttlig skörhet (eFI-poäng 0,24 till 0,36) eller svår skörhet (eFI-poäng >0,36) kommer utredarna att utveckla och internt validera en prognostisk modell som bara innehåller eFI (som helhet som den ser ut för närvarande) och sedan innehåller komponenter i eFI (ingår som prediktorer) tillsammans med ytterligare rutindata för primärvårdens EPJ. Regressionsmodellen kommer att vara logistisk regression eller flexibel parametrisk överlevnad, för binära eller tid-till-händelseutfall (som är lämpligt när utredarna observerar databasens kodning och censur etc.), för att producera utfallsrisker med 12 månader.

På grund av den stora urvalsstorleken förväntas överanpassningen vara liten, men utredarna kommer att justera för det med hjälp av bestraffning via en global krympfaktor uppskattad via bootstrapping. Där variabelurval anses vara viktigt för sparsamhet, kommer utredarna snarare att använda bestraffning via elastiskt nät. Intern validering kommer att använda bootstrapping av hela utvecklingsdataset och optimismjusterade uppskattningar av prediktiv prestanda som produceras för kalibrering (t.ex. kalibrering-i-den-stora, kalibreringslutning, observerad/förväntad), diskriminering (t.ex. C-statistik) och övergripande (t.ex. Nagelkerke R2) prestanda för förutspådda risker. Kontinuerliga variabler kommer inte att kategoriseras och potentiella icke-linjära effekter undersöks med splines eller bråkpolynom. Icke-proportionella faror för prediktorer kommer också att undersökas med interaktionstermer med tiden.

Alla modeller kommer att valideras externt i en annan databas. Förutsägande prestationsstatistik kommer att härledas enligt beskrivningen ovan (t.ex. C-statistik, kalibreringslutning), tillsammans med kalibreringsdiagram som visar överensstämmelse mellan observerade och förutsagda risker, över hela spektrumet av förutspådda risker, med hjälp av en löss icke-parameterutjämnare.

Separat kommer utredarna att använda datauppsättningen CARE75+ för att undersöka den ytterligare prediktiva kraften hos kliniska bedömningsmått av prognostiska faktorer som identifierats från översikterna som är praktiska för användning i rutinmässig primärvård.

ii) Beslutsmodellering

Prognostiska modeller kommer att översättas till ett ramverk för att vägleda kliniskt beslutsfattande genom att identifiera relevanta trösklar för förutspådd risk, över vilka implementering av våra uttalade interventioner är motiverad. Detta kommer att tillåta oss att generera en beslutsanalytisk modell (DAM), som kommer att undersökas med hjälp av beslutskurvor och nettonytta i de externa valideringsdatauppsättningarna.

iii) Hälsoekonomisk utvärdering

Den hälsoekonomiska utvärderingen kommer att genomföras i två steg. Syftet med det första steget är att tillhandahålla en kortsiktig, 12 månader lång jämförelse av kostnadseffektiviteten för de scenarier som identifierats av DAM. För det andra steget kommer utredarna att utöka vår analys till en långsiktig kostnadseffektivitetsutvärdering av dessa scenarier.