Forbedring af nøjagtigheden af kunstig intelligens triage i primærsektoren

Baggrund Almen praksis-personale prioriterer patienter, der kontakter dem, for at gøre bedst mulig brug af ressourcer og opretholde patientsikkerhed. Online konsultationssystemer bruges af de fleste almen praksiser og giver patienter mulighed for at kontakte deres almen praksis via en online formular. De kan indsendes uden at tale med et medlem af personalet, og derved omgå den sædvanlige prioriteringsproces. Online konsultationssystemer kan prioritere patienter ved hjælp af 'kunstig intelligens' (AI), selvom der er mangel på forskning i deres præstation. Vi (Manchester Universitet; UoM) foreslår at udfylde dette hul ved at samarbejde med en online konsultationssystemudbyder med valgfri AI-prioriteringsfunktionalitet (Patchs).

Forskningsspørgsmål Overordnet forskningsspørgsmål: er det muligt at udvikle AI-modeller, der kan replikere klinikeres prioriteringsbeslutninger?

1. Hvilke udfordringer står patienter og almen praksiser over for, når de prioriterer patienter i primærsektoren, og hvad er deres drivkræfter?
2. Hvad er den bedst præsterende AI-model til at prioritere patienter i primærsektoren?
3. Opretholdes AI-prioriteringspræstationen på tværs af forskellige geografiske regioner?
4. Opretholdes AI-prioriteringspræstationen over tid?
5. Hvordan sammenlignes AI-prioriteringspræstation med nuværende klinisk praksis?
6. Ændrer AI-prioriteringspræstationen sig, når den implementeres i klinisk praksis?
7. Fungerer AI-prioritering retfærdigt for alle patienter? Metoder Arbejdsstrøm 1: Kvantificering af prioriteringsproblemer. Vi vil analysere anonymiserede historiske data fra almen praksiser, der bruger Patchs med AI-prioritering deaktiveret. Hvor offentligt tilgængeligt, vil vi sammenligne dette med praksisniveau-data fra almen praksiser, der ikke bruger Patchs (kontrolpraksiser). Vi vil foretage beskrivende og inferentielle analyser for at forstå potentielle prioriteringsproblemer og faktorer, der påvirker dem, såsom forsinkelser i at yde patientpleje.

Arbejdsstrøm 2: AI-udvikling. Vi vil bruge anonymiserede historiske data fra almen praksiser, der bruger Patchs, til at bygge nye versioner af de AI-prioriteringsmodeller, der i øjeblikket er i brug, med fire forskellige tilgange: logistisk regression, XGBoost, long short-term memory (LSTM) og large language model (LLM). Vi vil bruge intern-ekstern krydsvalidering efter geografisk region og sammenligne deres præstation ved hjælp af random-effects meta-analyse og undergruppanalyser for at vurdere retfærdighed (f.eks. på tværs af etniske grupper). Vi vil sammenligne deres præstation med de nuværende AI-prioriteringsmodeller i brug. Den endelige version af de bedst præsterende AI-modeller vil blive udviklet ved hjælp af hele datasættet.

Arbejdsstrøm 3: Perspektivisk baggrundsvurdering. Vi vil indhente forudsigelser fra de bedst præsterende AI-modeller på perspektivisk indsamlede data fra almen praksiser, der bruger Patchs uden AI-prioritering, ved at køre modellerne i 'baggrunden'. Vi vil foretage undergruppanalyser for at vurdere retfærdighed som beskrevet ovenfor.

Arbejdsstrøm 4: Perspektivisk implementeringsvurdering. I overensstemmelse med de normale Patchs-softwareopdateringer vil vi opdatere AI-modellerne i almen praksiser, der allerede bruger AI-prioritering, med de bedst præsterende versioner. Vi vil perspektivisk måle, hvor ofte almen praksis-personale og patienter er enige med de nye versioners prioriteringsforudsigelser for at teste, om dens præstation omsættes til reel patientpleje. Vi vil foretage undergruppanalyser for at vurdere retfærdighed som beskrevet ovenfor.

Forventede fordele Vi vil hjælpe med at forstå de problemer, som almen praksiser i øjeblikket står over for under online konsultationsprioritering. Hvis vi udvikler forbedrede AI-modeller, kan der være forbedret patientsikkerhed (f.eks. ved at hjælpe patienter med at modtage hjælp hurtigere) og reduceret arbejdsbyrde for almen praksis (f.eks. ved at automatisere prioriteringsprocessen). Almen praksiser og deres patienter i Arbejdsstrøm 4 ville umiddelbart drage fordel. Vi vil give evidens for almen praksiser, der i øjeblikket ikke bruger AI-prioritering, om de skal indføre det.