Effetto del modello predittivo sulle valutazioni dei medici del pronto soccorso sulla disposizione del paziente

Scopi/obiettivi specifici:

1. Misurare l'effetto della condivisione di un modello di previsione del ricovero sulla valutazione da parte del medico curante della disposizione del paziente entro un'ora dalla presentazione in un ospedale pediatrico accademico terziario.
2. Misurare l'effetto della condivisione di una previsione del modello da un modello ottimizzato per prestazioni uguali di sottogruppi sulla valutazione della disposizione del paziente da parte di un medico curante entro un'ora dalla presentazione in un ospedale pediatrico accademico terziario.

Contesto e significato:

I modelli di machine learning (ML) forniscono sempre più supporto alle decisioni cliniche (CDS) ai team di assistenza per aiutare a dare priorità alle persone per cure specifiche in base alle loro esigenze sanitarie e ai risultati previsti. I metodi AI/ML possono avere un impatto particolarmente elevato sull’allocazione delle risorse nei dipartimenti di emergenza (ED) negli Stati Uniti, che sono stati descritti dall’Institute for Medicine come “vicini al punto di rottura” della sovraccapacità. Sfortunatamente, i modelli spesso funzionano male sulle sottopopolazioni disinvestite rispetto alla popolazione nel suo insieme. Di conseguenza, i modelli ML possono esacerbare le disparità sanitarie a valle, sottoperformando le sottopopolazioni di pazienti emarginate, soprattutto quando i modelli vengono estesi a più centri di cura e/o utilizzati senza il monitoraggio dei sottogruppi per lunghi periodi di tempo.

Negli ultimi anni sono stati sviluppati molti modelli di previsione per prevedere la disposizione dei pazienti dal pronto soccorso, incluso uno strumento di previsione sviluppato dal nostro gruppo e attualmente in fasi pilota presso il Boston Children's Hospital, il South Shore Hospital e il Children's Hospital di Los Angeles. Il nostro strumento di previsione, il Predictor of Patient Placement (POPP), fornisce una probabilità di ricovero accurata e in tempo reale basata sui dati disponibili nella cartella clinica elettronica al momento della visita. Il preavviso dei probabili ricoveri può avere un impatto importante sui tempi di attesa e di ricovero in pronto soccorso con il potenziale di migliorare il flusso e la soddisfazione del paziente.

A tal fine, il gruppo investigativo ha presentato una proposta di sovvenzione alla Biblioteca Nazionale di Medicina (NLM) [1R01LM014300 - 01A1] che ricerca lo sviluppo e la validazione di modelli di previsione consapevoli dell'equità del ricovero dei pazienti. L'obiettivo 2 di questa sovvenzione studia l'effetto di questi modelli sulle valutazioni dei medici di pronto soccorso sulla disposizione del paziente e corrisponde a questo protocollo. La NLM ha indicato la sua intenzione di finanziare questa proposta e gli investigatori stanno presentando i documenti per finalizzare l'aggiudicazione. Questa componente dello studio è prevista per l'anno 3 dello studio.

Studi preliminari

I ricercatori hanno condotto una serie di studi retrospettivi iniziali che hanno stabilito che l’ammissione del paziente poteva essere prevista in anticipo con modelli di apprendimento automatico nel BCH ED, progressivamente durante la visita, così come in altri centri medici con buona precisione (AUROC 0,9-0,93). .

Successivamente, i ricercatori hanno scoperto che l’accuratezza del POPP nel prevedere la probabilità di ricovero aggiungeva valore alle valutazioni gestalt dei medici curanti del pronto soccorso. Il valore predittivo positivo per la previsione del ricovero è stato del 66% per i medici, del 73% per il POPP e dell'86% per un modello ibrido che combinava i due.

Infine, i ricercatori hanno sviluppato metodi per la post-elaborazione dei modelli di previsione della DE per renderli ben calibrati tra i gruppi demografici dei pazienti definiti per razza, sesso e prodotto assicurativo.

Le previsioni del modello sono attualmente utilizzate per aiutare la coordinazione del letto, ma dato il loro elevato valore, possono anche migliorare il processo decisionale al capezzale. Con questo studio, il nostro obiettivo è ora testare, in un ambiente simulato, sicuro e realistico, in che modo le raccomandazioni del modello influenzano le valutazioni della probabilità di ricovero da parte dei medici curanti del pronto soccorso.