Utvikling og evaluering av Electronic Frailty Index+ (eFI+)

Helseteknologi blir vurdert

eFI+ vil bli utviklet ved å bruke komponenter fra den originale eFI, supplert med ekstra rutinemessig EPJ-data for primærhelsetjenesten, og veiledning om de ekstra fordelene ved å implementere enkle kliniske tiltak i rutinemessig primærhelsetjeneste. eFI+ vil være egnet for rask implementering i EPJ-systemer for primærhelsetjenesten i Storbritannia, og bygger på eksisterende nære forbindelser med systemleverandører (SystmOne/EMISWeb/Vision/Microtest).

Etterforskerne vil utvikle, deretter internt og eksternt validere eFI+ ved å bruke SAIL-databanken (Secure Anonymised Information Linkage), ResearchOne-databasen og Leeds Data Model (LDM).

I tillegg vil etterforskerne analysere Community Aging Research 75+ (CARE75+) kohortstudiedata (CI Clegg, n≈1 200) som den eneste nasjonale kohortstudien som inkluderer eFI-skårer, for å undersøke hvordan enkle tiltak som kan vurderes i primærhelsetjenesten, men er ikke tilgjengelige i rutinemessige EPJ-data (f.eks. ganghastighet, tidsbestemt-og-gå-test; dagliglivets aktiviteter; ensomhet) kan forbedre prediksjonen.

Studere design

Prognostisk modellutvikling, intern validering og ekstern validering ved bruk av rutinemessig primærhelseforskningsdata (ResearchOne), koblede datasett (SAIL databank og LDM) og kohortstudiedata (CARE75+), med integrert beslutningsanalytisk modellering, inkludert helseøkonomisk analyse.

Databaser

1. Secure Anonymised Information Linkage (SAIL) databank

   Anonymiserte journaler fra rundt 5 millioner mennesker i Wales, med tilknyttet primæromsorg, akuttmottak, sykehusinnleggelser, polikliniske data, sosial omsorg, datasett for walisiske omsorgshjem og ONS-dødelighetsdata. SAIL inkluderer eFI-sammendragspoeng og individuelle komponenter.

2. ResearchOne

   Nasjonalt representative, avidentifiserte data fra rundt 6 millioner elektroniske helsejournaler for primærhelsetjenesten i Storbritannia på det kliniske systemet TPP SystmOne. ResearchOne inkluderer eFI-sammendragspoeng og individuelle komponenter.

3. Leeds Data Model (LDM)

   Anonymiserte, koblede primær-, sekundær-, samfunns- og sosialomsorgsdata fra 810 000 pasienter på tvers av 108 praksiser i Leeds, inkludert eFI-oppsummeringspoeng og individuelle komponenter.

4. Community Aging Research 75+ (CARE75+) kohort

Nasjonal prospektiv kohortstudie (n≈1 200) som samler inn detaljert sosiodemografisk informasjon, skrøpelighetsmål (inkludert eFI-score), enkle instrumenter egnet for bruk i primærhelsetjenesten (f.eks. ganghastighet, tidsbestemt-og-gå-test; dagliglivets aktiviteter; uformell omsorg; ensomhet), og nøkkelutfall etter seks, 12, 24 og 48 måneder. CARE75+ er et veldig rikt datasett som gir en svært effektiv metode for å undersøke hvordan enkle instrumenter kan øke eFI-ytelsen.

Kvalifisert befolkning

Pasienter ≥65 år med moderat skrøpelighet (eFI score 0,24 til 0,36) eller alvorlig skrøpelighet (eFI score >0,36) og registrert hos en ResearchOne, SAIL eller LDM praksis 1. april 2018.

Alle CARE75+-deltakere med moderat skrøpelighet (eFI-score 0,24 til 0,36) eller alvorlig skrøpelighet (eFI-score >0,36) vil være kvalifisert.

Utfall for risikoprediksjon (alle 12 måneder)

• Ny eller økt hjemmetjenestepakke
• ED oppmøte/sykehusinnleggelse med fall eller brudd
• Sykehjemsopptak
• Dødelighet av alle årsaker

Prediktorer

Komponenter av eFI, supplert med variabler tilgjengelig innen rutinemessig primærhelsetjeneste EPJ-data og kliniske vurderingstiltak praktiske for bruk i primærhelsetjenesten.

Prognostiske modeller

Hver prognostisk modell vil bli utviklet og internt validert i bare én av databasene, og deretter eksternt validert i en andre database

Prøvestørrelse for prognostisk modellutvikling

SAIL- og ResearchOne-ekstrakter vil hver inkludere ≈600 000 pasienter i alderen 65 år eller over, med anslagsvis 72 000 med moderat skrøpelighet og 24 000 alvorlig skrøpelighet. LDM-ekstrakt vil inkludere ≈150 000 pasienter i alderen 65 år eller over, med anslagsvis 18 000 med moderat skrøpelighet og 6000 alvorlig skrøpelighet.

For modellutvikling er en nøkkelindikator på den effektive prøvestørrelsen antall utfallshendelser. Tidligere forskning på resultatene av interesse, og gjennomførbarhetsestimater ved bruk av CARE75+, ResearchOne og SAIL, informerer estimater for forventet antall hendelser innen 12 måneder.

• Ny eller økt hjemmetjenestepakke: Forventet 15 864 hendelser i SAIL, basert på 14,9 % 12 måneders forekomst i moderat skrøpelighetsgruppe (10 080 hendelser), og 24,1 % 12 måneders forekomst i alvorlig skrøpelighetsgruppe (5 784 hendelser).
• ED-oppmøte/sykehusinnleggelse med fall eller brudd: Forventet 8 064 hendelser i SAIL, basert på 7,4 % 12 måneders forekomst i moderat skrøpelighetsgruppe (5 328 hendelser) og 11,4 % forekomst ved alvorlig skrøpelighet (2 736 hendelser).
• Innleggelse på sykehjem: Forventet 2160 hendelser i ResearchOne, basert på 2,0 % 12 måneders forekomst i moderat skrøpelighetsgruppe (1 440 hendelser) og 3,8 % 12 måneders forekomst i alvorlig skrøpelighetsgruppe (720 hendelser).
• Dødelighet av alle årsaker: Forventet 12 216 hendelser i ResearchOne, basert på 10,6 % 12 måneders forekomst i gruppen med moderat skrøpelighet (7 632 hendelser) og 19,1 % 12 måneders forekomst i gruppen med alvorlig skrøpelighet (4 584 hendelser).

Derfor, selv når man tar det laveste estimatet av hendelser med 12 måneder (for innleggelse i sykehjem), vil etterforskerne for hvert utfall forvente minst 2160 hendelser i hver av ResearchOne eller SAIL. Dette gjør oss i stand til å robust estimere en prognostisk modell for hvert utfall selv med opptil 108 prediktorparametere, tilsvarende 20 hendelser per potensiell prediktorparameter (2160/20). Dette overskrider tommelfingerregelanbefalingene på 10 eller 15 hendelser per prediktorparameter.

Videre, konservativt forutsatt at de nye modellene vil ha en Nagelkerke R-kvadrat på 15 %, antyder Rileys prøvestørrelsesformel at minst 7,5 hendelser for hver prediktorparameter vil sikre at overfitting og optimisme minimeres, når utfallsandelen er 3 %. Når utfallsandelen økes til 20 % (hjemmetjenestepakke), 9 % (fall/brudd) eller 15 % (dødelighet), er minimumsutvalgsstørrelsen henholdsvis 18, 11,5 og 15 hendelser per prediktorparameter. Etterforskerne overgår alle disse, på grunn av de store datasettene som er tilgjengelige.

Prøvestørrelse for ekstern validering

Gjeldende anbefalinger er at minst 100 hendelser og 100 ikke-hendelser (ideelt sett 200) kreves for ekstern validering av prognostisk modell. Våre estimater indikerer atskillig mer enn dette, slik som 2160 hendelser for det minst utbredte utfallet av sykehjemsinnleggelse i SAIL og ResearchOne, og 540 i LDM (som kun vil bli brukt til ekstern validering av modeller).

Manglende data

Håndteres ved bruk av multippel imputasjon og Rubins regler, under en manglende tilfeldig antakelse, inkludert utfall i imputasjonsmodellen, og tar hensyn til praksisklynger.

Analyseplan

i) Prognostisk modellering

Etterforskerne vil bygge 4 separate prognostiske modeller i utviklingsdatasettene for å forutsi risikoen for våre 4 viktige uttalte utfall hos individer med moderat eller alvorlig skrøpelighet som utgangspunkt.

For hvert utfall, for de med moderat skrøpelighet (eFI-skåre 0,24 til 0,36) eller alvorlig skrøpelighet (eFI-skåre >0,36), vil etterforskerne utvikle og internt validere en prognostisk modell som bare inneholder eFI (som helhet slik den er nå) og deretter inneholder komponenter av eFI (inkludert som prediktorer) sammen med ekstra rutinemessige EPJ-data fra primærhelsetjenesten. Regresjonsmodellen vil være logistisk regresjon eller fleksibel parametrisk overlevelse, for binære eller tid-til-hendelse utfall (alt etter behov når etterforskerne observerer databasekoding og sensur etc.), for å produsere utfallsrisiko innen 12 måneder.

På grunn av den store prøvestørrelsen forventes overfitting å være liten, men etterforskerne vil justere for det ved å bruke straff via en global krympingsfaktor estimert via bootstrapping. Der variabelseleksjon anses som viktig for sparsomhet, vil etterforskerne heller bruke straff via elastisk nett. Intern validering vil bruke bootstrapping av hele utviklingsdatasettet, og optimismejusterte estimater av prediktiv ytelse produsert for kalibrering (f.eks. kalibrering-i-det-store, kalibreringshelling, observert/forventet), diskriminering (f.eks. C-statistikk) og samlet (f.eks. Nagelkerke R2) ytelse av predikerte risikoer. Kontinuerlige variabler vil ikke bli kategorisert og potensielle ikke-lineære effekter undersøkt ved bruk av splines eller brøkpolynomer. Ikke-proporsjonale farer for prediktorer vil også bli undersøkt med interaksjonsbegreper med tid.

Alle modellene vil bli eksternt validert i en annen database. Prediktiv ytelsesstatistikk vil bli utledet som beskrevet ovenfor (f.eks. C-statistikk, kalibreringshelling), ved siden av kalibreringsplott som viser samsvar mellom observerte og forutsagte risikoer, på tvers av spekteret av forutsagte risikoer, ved bruk av en løss uten parameterutjevning.

Separat vil etterforskerne bruke CARE75+-datasettet for å undersøke den ekstra prediktive kraften til kliniske vurderingsmål av prognostiske faktorer identifisert fra oversiktene som er praktiske for bruk i rutinemessig primærhelse.

ii) Beslutningsmodellering

Prognostiske modeller vil bli oversatt til et rammeverk for å veilede klinisk beslutningstaking ved å identifisere relevante terskler for predikert risiko, over hvilke implementering av våre uttalte intervensjoner er berettiget. Dette vil tillate oss å generere en beslutningsanalytisk modell (DAM), som vil bli undersøkt ved hjelp av beslutningskurver og netto nytte i de eksterne valideringsdatasettene.

iii) Helseøkonomisk evaluering

Den helseøkonomiske evalueringen vil bli gjennomført i to trinn. Målet med den første fasen er å gi en kortsiktig 12-måneders sammenligning av kostnadseffektiviteten til scenariene identifisert av DAM. For det andre trinnet vil etterforskerne utvide analysen vår til en langsiktig kostnadseffektivitetsevaluering av disse scenariene.