Verbetering van de nauwkeurigheid van kunstmatige intelligentie triage in de eerstelijnszorg
Verbetering van de nauwkeurigheid van kunstmatige intelligentie-triagering in de eerstelijnszorg
WAAROM DOEN WE DIT? Wanneer patiënten contact opnemen met hun huisartsenpraktijk, is de eerste stap om uit te zoeken wat voor soort hulp ze nodig hebben en hoe snel dit nodig is. Dit wordt 'triage' genoemd en is belangrijk voor de veiligheid van patiënten.
Kunstmatige intelligentie (AI) kan helpen om triage sneller te maken. Hoewel AI al wordt gebruikt in de NHS, weten we niet hoe nauwkeurig het is of of het alle patiënten eerlijk behandelt.
WAT ZULLEN WE DOEN?
We zullen geanonimiseerde gegevens verzamelen van patiënten die een AI-triagesysteem genaamd Patchs gebruiken in huisartsenpraktijken in Engeland. Het project zal vier jaar duren. We zullen de gegevens in vier stappen analyseren:
- Kijken naar gegevens van huisartsenpraktijken die Patchs gebruiken zonder AI-triage om te zien hoe ze momenteel patiënten triëren en welke problemen ze tegenkomen.
- Gegevens gebruiken van huisartsenpraktijken die Patchs gebruiken (zowel met AI aan als uit) om de AI-triage nauwkeuriger te maken.
- Gegevens controleren van huisartsenpraktijken die Patchs gebruiken met AI-triage uit om te meten hoe goed het bijgewerkte AI-systeem werkt.
- Het verbeterde AI-triagesysteem geven aan huisartsenpraktijken die al AI gebruiken.
Bij elke stap zullen we controleren of patiënten uit verschillende achtergronden eerlijk worden behandeld.
HOE ZULLEN WE DE GEGEVENS ANALYSEREN? We zullen statistische methoden gebruiken om de triagebeslissingen van de AI te vergelijken met die van klinisch personeel. Deze analyse zal ook worden gebruikt om te controleren of de AI eerlijk werkt voor patiënten uit verschillende achtergronden.
WELK VERSCHIL ZULLEN WE MAKEN? Ons onderzoek zal de problemen met triage aantonen en uitleggen hoe een verbeterd AI-systeem patiënten kan helpen sneller de zorg te krijgen die ze nodig hebben.
Studie Overzicht
Toestand
Interventie / Behandeling
Gedetailleerde beschrijving
Achtergrond Huisartsenpraktijkpersoneel triageert patiënten die contact opnemen om de middelen optimaal te benutten en de patiëntveiligheid te waarborgen. De meeste huisartsenpraktijken gebruiken online consultsystemen, waardoor patiënten hun huisartsenpraktijk kunnen bereiken via een online formulier. Deze kunnen worden ingediend zonder met een medewerker te spreken, waardoor het gebruikelijke triageproces wordt omzeild. Online consultsystemen kunnen patiënten triageren met behulp van 'Kunstmatige Intelligentie' (AI), maar er is een gebrek aan onderzoek naar hun prestaties. Wij (The University of Manchester; UoM) stellen voor dit hiaat op te vullen door samen te werken met een aanbieder van een online consultsysteem met optionele AI-triagefunctionaliteit (Patchs).
Onderzoeksvragen Algemene onderzoeksvraag: is het mogelijk AI-modellen te ontwikkelen die de triagebeslissingen van clinici kunnen nabootsen?
- Welke uitdagingen ondervinden patiënten en huisartsenpraktijken bij het triageren van patiënten in de eerstelijnszorg, en wat zijn hun drijfveren?
- Wat is het best presterende AI-model voor het triageren van patiënten in de eerstelijnszorg?
- Blijft de AI-triageprestatie behouden in verschillende geografische regio's?
- Blijft de AI-triageprestatie in de loop van de tijd behouden?
- Hoe verhoudt de AI-triageprestatie zich tot de huidige klinische praktijk?
- Verandert de AI-triageprestatie bij implementatie in de klinische praktijk?
- Werkt AI-triage eerlijk voor alle patiënten? Methoden Werkstroom 1: Kwantificering van triageproblemen. We analyseren geanonimiseerde historische gegevens van huisartsenpraktijken die Patchs gebruiken met AI-triage uitgeschakeld. Waar openbaar beschikbaar, vergelijken we dit met praktijkniveau gegevens van huisartsenpraktijken die Patchs niet gebruiken (controlepraktijken). We voeren beschrijvende en inferentiële analyses uit om potentiële triageproblemen en factoren die deze beïnvloeden te begrijpen, zoals vertragingen in de patiëntenzorg.
Werkstroom 2: AI-ontwikkeling. We gebruiken geanonimiseerde historische gegevens van huisartsenpraktijken die Patchs gebruiken om nieuwe versies van de momenteel gebruikte AI-tragemodellen te bouwen met vier verschillende benaderingen: logistische regressie, XGBoost, long short-term memory (LSTM) en large language model (LLM). We gebruiken interne-externe kruisvalidatie per geografische regio en vergelijken hun prestaties met random-effects meta-analyse en subgroepanalyses om eerlijkheid te beoordelen (bijv. over etniciteiten). We vergelijken hun prestaties met de huidige gebruikte AI-tragemodellen. De definitieve versie van de best presterende AI-modellen wordt ontwikkeld met de volledige dataset.
Werkstroom 3: Prospectieve achtergrond evaluatie. We verkrijgen voorspellingen van de best presterende AI-modellen op prospectief verzamelde gegevens van huisartsenpraktijken die Patchs gebruiken zonder AI-triage door de modellen op de 'achtergrond' te draaien. We voeren subgroepanalyses uit om eerlijkheid te beoordelen zoals hierboven beschreven.
Werkstroom 4: Prospectieve implementatie evaluatie. In overeenstemming met de normale Patchs software-updates, zullen we de AI-modellen in huisartsenpraktijken die al AI-triage gebruiken, bijwerken met de best presterende versies. We meten prospectief hoe vaak huisartsenpraktijkpersoneel en patiënten het eens zijn met de triagevoorspellingen van de nieuwe versies om te testen of de prestaties vertalen naar echte patiëntenzorg. We voeren subgroepanalyses uit om eerlijkheid te beoordelen zoals hierboven beschreven.
Verwachte voordelen We helpen de problemen te begrijpen die huisartsenpraktijken momenteel ondervinden tijdens online consulttriage. Als we verbeterde AI-modellen ontwikkelen, kan dit leiden tot verbeterde patiëntveiligheid (bijv. door patiënten sneller hulp te bieden) en verminderde werkdruk voor huisartsenpraktijken (bijv. door automatisering van het triageproces). Huisartsenpraktijken en hun patiënten in Werkstroom 4 zouden onmiddellijk profiteren. We leveren bewijs voor huisartsenpraktijken die momenteel geen AI-triage gebruiken, of ze het wel of niet moeten adopteren.
Studietype
Inschrijving (Geschat)
Fase
- Niet toepasbaar
Contacten en locaties
Studiecontact
- Naam: Benjamin C Brown, MRCGP, PhD
- Telefoonnummer: +44 161 306 9966
- E-mail: benjamin.brown@manchester.ac.uk
Studie Locaties
-
-
-
London, Verenigd Koninkrijk
- Werving
- NHS GP practices
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Kind
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Beschrijving
Insluitingscriteria:
- Huisartsenpraktijken die het Patchs-systeem gebruiken
Uitsluitingscriteria:
- Niet van toepassing
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Onderzoek naar gezondheidsdiensten
- Toewijzing: Niet-gerandomiseerd
- Interventioneel model: Parallelle opdracht
- Masker: Verdrievoudigen
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
|---|---|
|
Experimenteel: AI-triage
Huisartsenpraktijken die AI-triage gebruiken
|
Patchs AI automatiseert delen van het triage- en workflowproces voor huisartsenpraktijken wanneer een patiënt het Patchs online consultatiesysteem gebruikt.
Het is bedoeld om te assisteren, niet om menselijke besluitvorming te vervangen.
Patchs AI heeft als doel de werklast van huisartsenpraktijken te verminderen door handmatige taken te minimaliseren en de patiëntveiligheid te verbeteren door patiënten sneller passende zorg te helpen ontvangen.
Patchs AI gebruikt informatie over de patiënt en hun online consultatie om een urgentie, klinisch onderwerp, medewerkersrol en manier om het consult uit te voeren voor te stellen.
Op basis van deze suggesties kan het patiënten relevante gezondheidsinformatie verstrekken, vragen stellen om aanvullende informatie op te halen, en/of hen adviseren contact op te nemen met alternatieve zorgverleners.
Suggesties van Patchs AI kunnen worden geaccepteerd of afgewezen door medewerkers van huisartsenpraktijken en patiënten, wat wordt gebruikt om de veiligheid ervan te monitoren en het systeem opnieuw te trainen.
|
|
Actieve vergelijker: Geen AI-triage
Huisartsenpraktijken die geen AI-triage gebruiken
|
Gebruik van het Patchs-systeem zonder AI-triage, d.w.z. uitsluitend handmatige triage
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
F1-score
Tijdsspanne: Van inschrijving tot het einde van de studie, naar verwachting 4 jaar
|
F1-score van elke AI-triagemodule (harmonisch gemiddelde van precisie en recall)
|
Van inschrijving tot het einde van de studie, naar verwachting 4 jaar
|
Medewerkers en onderzoekers
Sponsor
Medewerkers
Publicaties en nuttige links
Nuttige links
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Geschat)
Studie voltooiing (Geschat)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Andere studie-ID-nummers
- 340776
- 7hzfm (Andere identificatie: Open Science Framework)
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Beschrijving IPD-plan
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .