Forbedring av nøyaktigheten til kunstig intelligens triasje i primærhelsetjenesten

Bakgrunn Fastlegekontorpersonell triagerer pasienter som kontakter dem for å optimalisere ressursbruk og opprettholde pasientsikkerhet. Online konsultasjonssystemer brukes av de fleste fastlegekontorer og lar pasienter kontakte fastlegekontoret sitt via et skjema på nett. De kan sendes inn uten å snakke med et medlem av personalet, og dermed omgå den vanlige triageprosessen. Online konsultasjonssystemer kan triagere pasienter ved hjelp av 'kunstig intelligens' (KI), men det er mangel på forskning på deres ytelse. Vi (Universitetet i Manchester; UoM) foreslår å fylle dette gapet gjennom samarbeid med en leverandør av online konsultasjonssystemer med valgfri KI-triagefunksjonalitet (Patchs).

Forskningsspørsmål Overordnet forskningsspørsmål: er det mulig å utvikle KI-modeller som kan gjenskape klinikeres triagebeslutninger?

1. Hvilke utfordringer møter pasienter og fastlegekontorer ved triasering av pasienter i primærhelsetjenesten, og hva er deres drivkrefter?
2. Hva er den best presterende KI-modellen for triasering av pasienter i primærhelsetjenesten?
3. Opprettholdes KI-triagens ytelse på tvers av ulike geografiske regioner?
4. Opprettholdes KI-triagens ytelse over tid?
5. Hvordan sammenligner KI-triagens ytelse seg med nåværende klinisk praksis?
6. Endrer KI-triagens ytelse seg når den implementeres i klinisk praksis?
7. Fungerer KI-triasering rettferdig for alle pasienter? Metoder Arbeidsstrøm 1: Kvantifisering av triageproblemer. Vi vil analysere anonymiserte historiske data fra fastlegekontorer som bruker Patchs med KI-triage deaktivert. Der offentlig tilgjengelig, vil vi sammenligne dette med praksisnivådata fra fastlegekontorer som ikke bruker Patchs (kontrollpraksiser). Vi vil gjennomføre beskrivende og inferensielle analyser for å forstå potensielle triageproblemer og faktorer som påvirker dem, som forsinkelser i pasientbehandlingen.

Arbeidsstrøm 2: KI-utvikling. Vi vil bruke anonymiserte historiske data fra fastlegekontorer som bruker Patchs til å bygge nye versjoner av KI-triagemodellene som for tiden er i bruk med fire forskjellige tilnærminger: logistisk regresjon, XGBoost, lang korttidsminne (LSTM), og stor språkmodell (LLM). Vi vil bruke intern-ekstern kryssvalidering etter geografisk region og sammenligne deres ytelse ved hjelp av random-effects meta-analyse og undergruppanalyser for å vurdere rettferdighet (f.eks. på tvers av etnisiteter). Vi vil sammenligne deres ytelse med de nåværende KI-triagemodellene som er i bruk. Den endelige versjonen av de best presterende KI-modellene vil bli utviklet ved hjelp av hele datasettet.

Arbeidsstrøm 3: Prospektiv bakgrunnsevaluering. Vi vil innhente prediksjoner fra de best presterende KI-modellene på prospektivt innsamlede data fra fastlegekontorer som bruker Patchs uten KI-triage ved å kjøre modellene i 'bakgrunnen'. Vi vil gjennomføre undergruppanalyser for å vurdere rettferdighet som beskrevet ovenfor.

Arbeidsstrøm 4: Prospektiv implementeringsevaluering. I henhold til vanlige Patchs programvareoppdateringer, vil vi oppdatere KI-modellene i fastlegekontorer som allerede bruker KI-triage med de best presterende versjonene. Vi vil prospektivt måle hvor ofte fastlegekontorpersonell og pasienter er enige med de nye versjonenes triageprediksjoner for å teste om ytelsen overføres til reell pasientbehandling. Vi vil gjennomføre undergruppanalyser for å vurdere rettferdighet som beskrevet ovenfor.

Forventede fordeler Vi vil bidra til å forstå problemene fastlegekontorer for tiden møter under online konsultasjonstriasering. Hvis vi utvikler forbedrede KI-modeller, kan det føre til forbedret pasientsikkerhet (f.eks. ved å hjelpe pasienter med å få hjelp raskere) og redusert arbeidsbelastning på fastlegekontorer (f.eks. ved å automatisere triageprosessen). Fastlegekontorer og deres pasienter i Arbeidsstrøm 4 vil umiddelbart dra nytte. Vi vil gi bevis for fastlegekontorer som for tiden ikke bruker KI-triage om hvorvidt de bør innføre det.