Effect van een voorspellend model op de beoordeling van de patiëntbereidheid door de arts op de spoedeisende hulp

Specifieke doelstellingen/doelstellingen:

1. Meet het effect van het delen van een modelvoorspelling van opname op de beoordeling door een behandelend arts van de dispositie van de patiënt binnen een uur na presentatie in een tertiair academisch kinderziekenhuis.
2. Meet het effect van het delen van een modelvoorspelling van een model dat is afgestemd op gelijke subgroepprestaties op de beoordeling door een behandelende arts van de dispositie van de patiënt binnen één uur na presentatie in een tertiair academisch kinderziekenhuis.

Achtergrond en betekenis:

Machine learning (ML)-modellen bieden steeds vaker klinische beslissingsondersteuning (CDS) aan zorgteams om individuen te helpen prioriteren voor specifieke zorg op basis van hun voorspelde gezondheidsbehoeften en -resultaten. AI/ML-methoden kunnen een bijzonder grote impact hebben op de toewijzing van middelen op spoedeisende hulpafdelingen (ED's) in de VS, die door het Institute for Medicine zijn beschreven als "het breekpunt naderen" van overcapaciteit. Helaas presteren modellen vaak slecht op gedesinvesteerde subpopulaties in verhouding tot de populatie als geheel. Als gevolg hiervan kunnen ML-modellen de gezondheidsverschillen stroomafwaarts vergroten door ondermaats te presteren op gemarginaliseerde patiëntensubpopulaties, vooral wanneer modellen worden uitgebreid naar meerdere zorgcentra en/of worden gebruikt zonder subgroepmonitoring gedurende langere perioden.

Er zijn de afgelopen jaren veel voorspellingsmodellen ontwikkeld om de dispositie van patiënten op de spoedeisende hulp te voorspellen, waaronder een voorspellingsinstrument dat door onze groep is ontwikkeld en zich momenteel in de pilotfase bevindt bij het Boston Children's Hospital, het South Shore Hospital en het Children's Hospital van Los-Angeles. Ons voorspellingsinstrument, de Predictor of Patient Placement (POPP), biedt een nauwkeurige, realtime kans op opname op basis van gegevens die beschikbaar zijn in het elektronische patiëntendossier op het moment van het bezoek. Het vooraf melden van waarschijnlijke opnames kan een belangrijke impact hebben op de wacht- en instaptijden op de spoedeisende hulp en kan de doorstroming en patiënttevredenheid verbeteren.

Daartoe heeft het onderzoeksteam een ​​subsidievoorstel ingediend bij de National Library of Medicine (NLM) [1R01LM014300 - 01A1], die onderzoek doet naar de ontwikkeling en validatie van eerlijkheidsbewuste voorspellingsmodellen van patiëntenopname. Doelstelling 2 van deze subsidie ​​bestudeert het effect van deze modellen op de beoordeling door artsen van de spoedeisende hulp van de patiënt, en komt overeen met dit protocol. De NLM heeft aangegeven dit voorstel te willen financieren en de onderzoekers zijn bezig met het indienen van documenten om de toekenning af te ronden. Dit onderdeel van de studie staat gepland voor jaar 3 van de studie.

Voorstudies

De onderzoekers voerden een reeks initiële retrospectieve onderzoeken uit waaruit bleek dat de opname van patiënten van tevoren met machine learning-modellen kon worden voorspeld in de BCH SEH, geleidelijk tijdens het bezoek, en ook in andere medische centra met goede nauwkeurigheid (AUROC 0,9-0,93). .

Vervolgens ontdekten de onderzoekers dat de nauwkeurigheid van POPP bij het voorspellen van de kans op opname waarde toevoegde aan de gestaltbeoordelingen van artsen die de spoedeisende hulp behandelen. De positief voorspellende waarde voor de voorspelling van opname was 66% voor de artsen, 73% voor POPP en 86% voor een hybride model dat de twee combineert.

Ten slotte ontwikkelden de onderzoekers methoden voor het nabewerken van de ED-voorspellingsmodellen om ze goed gekalibreerd te maken voor demografische patiëntengroepen gedefinieerd op basis van ras, geslacht en verzekeringsproduct.

De modelvoorspellingen worden momenteel gebruikt om te helpen bij de bedcoördinatie, maar kunnen gezien hun hoge waarde ook de besluitvorming aan het bed verbeteren. Met deze studie is het ons doel om nu, in een gesimuleerde, veilige en realistische setting, te testen hoe modelaanbevelingen de beoordeling van de waarschijnlijkheid van opname door artsen op de spoedeisende hulp beïnvloeden.