Förbättra noggrannheten i artificiell intelligens triage inom primärvård

Bakgrund Personal på vårdcentraler triagerar patienter som kontaktar dem för att bäst utnyttja resurser och upprätthålla patientsäkerhet. Onlinekonsultationssystem används av de flesta vårdcentraler och låter patienter kontakta sin vårdcentral via ett onlineformulär. De kan skickas in utan att tala med en medarbetare, vilket kringgår den vanliga triageprocessen. Onlinekonsultationssystem kan triagera patienter med 'Artificiell Intelligens' (AI), men det finns brist på forskning om deras prestanda. Vi (University of Manchester; UoM) föreslår att fylla detta gap genom att samarbeta med en leverantör av onlinekonsultationssystem med valfri AI-triagefunktionalitet (Patchs).

Forskningsfrågor Övergripande forskningsfråga: är det möjligt att utveckla AI-modeller som kan replikera klinikers triagebeslut?

1. Vilka utmaningar möter patienter och vårdcentraler vid triage av patienter i primärvården, och vilka är deras drivkrafter?
2. Vilken är den bäst presterande AI-modellen för att triagera patienter i primärvården?
3. Upprätthålls AI-triagens prestanda över olika geografiska regioner?
4. Upprätthålls AI-triagens prestanda över tid?
5. Hur jämför sig AI-triagens prestanda med nuvarande klinisk praxis?
6. Förändras AI-triagens prestanda när den implementeras i klinisk praxis?
7. Fungerar AI-triage rättvist för alla patienter? Metoder Arbetsflöde 1: Kvantifiering av triageproblem. Vi kommer att analysera anonymiserad historisk data från vårdcentraler som använder Patchs med AI-triage inaktiverad. Där offentligt tillgängligt kommer vi att jämföra detta med praktiknivådata från vårdcentraler som inte använder Patchs (kontrollpraktiker). Vi kommer att genomföra deskriptiva och inferentiella analyser för att förstå potentiella triageproblem och faktorer som påverkar dem, såsom förseningar i att ge patientvård.

Arbetsflöde 2: AI-utveckling. Vi kommer att använda anonymiserad historisk data från vårdcentraler som använder Patchs för att bygga nya versioner av AI-triagemodellerna som för närvarande används med fyra olika tillvägagångssätt: logistisk regression, XGBoost, long short-term memory (LSTM) och large language model (LLM). Vi kommer att använda intern-extern korsvalidering per geografisk region och jämföra deras prestanda med hjälp av random-effekts meta-analys och undergruppsanalyser för att bedöma rättvisa (t.ex. över etniska grupper). Vi kommer att jämföra deras prestanda med de nuvarande AI-triagemodellerna som används. Den slutliga versionen av de bäst presterande AI-modellerna kommer att utvecklas med hela datasetet.

Arbetsflöde 3: Prospektiv bakgrundsutvärdering. Vi kommer att erhålla prediktioner från de bäst presterande AI-modellerna på prospektivt insamlad data från vårdcentraler som använder Patchs utan AI-triage genom att köra modellerna i 'bakgrunden'. Vi kommer att genomföra undergruppsanalyser för att bedöma rättvisa som beskrivits ovan.

Arbetsflöde 4: Prospektiv implementeringsutvärdering. I enlighet med normala Patchs-mjukvaruuppdateringar kommer vi att uppdatera AI-modellerna i vårdcentraler som redan använder AI-triage med de bäst presterande versionerna. Vi kommer prospektivt att mäta hur ofta personal på vårdcentraler och patienter håller med om de nya versionernas triageprediktioner för att testa om dess prestanda översätts till riktig patientvård. Vi kommer att genomföra undergruppsanalyser för att bedöma rättvisa som beskrivits ovan.

Förväntade fördelar Vi kommer att bidra till att förstå de problem som vårdcentraler för närvarande möter under onlinekonsultationstriagen. Om vi utvecklar förbättrade AI-modeller kan det leda till förbättrad patientsäkerhet (t.ex. genom att hjälpa patienter att få hjälp snabbare) och minskat arbetsbörda för vårdcentraler (t.ex. genom att automatisera triageprocessen). Vårdcentraler och deras patienter i Arbetsflöde 4 skulle omedelbart dra nytta. Vi kommer att tillhandahålla bevis för vårdcentraler som för närvarande inte använder AI-triage om de ska införa det.