Verbesserung der Genauigkeit der KI-gestützten Triage in der primären Gesundheitsversorgung

Hintergrund: Das Personal in Hausarztpraxen führt eine Triage bei Patienten durch, die Kontakt aufnehmen, um die Ressourcen optimal zu nutzen und die Patientensicherheit zu gewährleisten. Die meisten Hausarztpraxen verwenden Online-Konsultationssysteme, die es Patienten ermöglichen, über ein Online-Formular Kontakt mit ihrer Hausarztpraxis aufzunehmen. Diese können ohne Gespräch mit einem Mitarbeiter eingereicht werden und umgehen so den üblichen Triage-Prozess. Online-Konsultationssysteme können Patienten mithilfe von 'Künstlicher Intelligenz' (KI) triagieren, allerdings gibt es einen Mangel an Forschung zu ihrer Leistungsfähigkeit. Wir (Die Universität Manchester; UoM) schlagen vor, diese Lücke durch Zusammenarbeit mit einem Anbieter von Online-Konsultationssystemen mit optionaler KI-Triage-Funktionalität (Patchs) zu schließen.

Forschungsfragen Übergeordnete Forschungsfrage: Ist es möglich, KI-Modelle zu entwickeln, die die Triage-Entscheidungen von Klinikern replizieren können?

1. Welche Herausforderungen haben Patienten und Hausarztpraxen bei der Triage von Patienten in der Primärversorgung und was sind ihre Treiber?
2. Welches ist das leistungsstärkste KI-Modell für die Triage von Patienten in der Primärversorgung?
3. Bleibt die KI-Triage-Leistung in verschiedenen geografischen Regionen erhalten?
4. Bleibt die KI-Triage-Leistung über die Zeit erhalten?
5. Wie verhält sich die KI-Triage-Leistung im Vergleich zur derzeitigen klinischen Praxis?
6. Verändert sich die KI-Triage-Leistung, wenn sie in der klinischen Praxis eingesetzt wird?
7. Funktioniert die KI-Triage für alle Patienten fair? Methoden Arbeitsbereich 1: Quantifizierung des Triage-Problems. Wir werden anonymisierte historische Daten von Hausarztpraxen analysieren, die Patchs ohne KI-Triage verwenden. Wo öffentlich verfügbar, werden wir diese mit Praxis-Level-Daten von Hausarztpraxen vergleichen, die Patchs nicht verwenden (Kontrollpraxen). Wir werden deskriptive und inferenzstatistische Analysen durchführen, um potenzielle Triage-Probleme und Einflussfaktoren wie Verzögerungen bei der Patientenversorgung zu verstehen.

Arbeitsbereich 2: KI-Entwicklung. Wir werden anonymisierte historische Daten von Hausarztpraxen verwenden, die Patchs nutzen, um neue Versionen der derzeit verwendeten KI-Triage-Modelle mit vier verschiedenen Ansätzen zu entwickeln: logistische Regression, XGBoost, Long Short-Term Memory (LSTM) und Large Language Model (LLM). Wir werden eine interne-externe Kreuzvalidierung nach geografischen Regionen durchführen und ihre Leistung mittels Random-Effects-Metaanalyse und Subgruppenanalysen zur Bewertung der Fairness vergleichen (z.B. über Ethnien hinweg). Wir werden ihre Leistung mit den derzeit verwendeten KI-Triage-Modellen vergleichen. Die Endversion der leistungsstärksten KI-Modelle wird unter Verwendung des gesamten Datensatzes entwickelt.

Arbeitsbereich 3: Prospektive Hintergrundbewertung. Wir werden Vorhersagen der leistungsstärksten KI-Modelle auf prospektiv gesammelten Daten von Hausarztpraxen, die Patchs ohne KI-Triage verwenden, durch Hintergrundausführung der Modelle erhalten. Wir werden wie oben beschrieben Subgruppenanalysen zur Bewertung der Fairness durchführen.

Arbeitsbereich 4: Prospektive Implementierungsbewertung. Entsprechend den normalen Patchs-Software-Updates werden wir die KI-Modelle in Hausarztpraxen, die bereits KI-Triage verwenden, mit den leistungsstärksten Versionen aktualisieren. Wir werden prospektiv messen, wie oft das Personal der Hausarztpraxen und Patienten mit den Triage-Vorhersagen der neuen Versionen übereinstimmen, um zu testen, ob ihre Leistung auf die reale Patientenversorgung übertragbar ist. Wir werden wie oben beschrieben Subgruppenanalysen zur Bewertung der Fairness durchführen.

Erwartete Vorteile Wir werden dazu beitragen, die derzeit von Hausarztpraxen während der Online-Konsultations-Triage enfrenten Probleme zu verstehen. Wenn wir verbesserte KI-Modelle entwickeln, könnte dies die Patientensicherheit verbessern (z.B. durch schnellere Hilfe für Patienten) und die Arbeitsbelastung der Hausarztpraxen verringern (z.B. durch Automatisierung des Triage-Prozesses). Hausarztpraxen und ihre Patienten in Arbeitsbereich 4 würden unmittelbar profitieren. Wir werden Evidenz dafür liefern, ob Hausarztpraxen, die derzeit keine KI-Triage verwenden, diese einführen sollten.