Triaggio con Intelligenza Artificiale dei Pazienti che Richiedono Cure di Emergenza o Non Programmata e che Devono Essere Indirizzati all'Ospedale (TRIAGE)

Introduzione - giustificazione scientifica 1.1. Contesto Con l'invecchiamento della popolazione e l'aumento della prevalenza di malattie croniche, il numero di medici di medicina generale è in diminuzione. Questo crescente squilibrio tra bisogni medici e offerta sta portando a difficoltà nell'accesso alle cure primarie, in particolare alle cure urgenti e non programmate.

Per affrontare questo problema, la Francia ha istituito un servizio di accesso alle cure (SAS). In caso di necessità di cure urgenti o non programmate, il SAS consente alle persone il cui medico di base non è disponibile di accedere a un professionista sanitario. A seconda della situazione, il servizio può fornire consigli medici, offrire una teleconsultazione, indirizzare la persona a un medico locale o al pronto soccorso, o addirittura chiamare un'unità mobile di emergenza e rianimazione (SMUR) o un'ambulanza. Il SAS funziona come un sistema di triage, fornendo una risposta adattata alle esigenze di ciascun individuo.

L'obiettivo di questo progetto è studiare alcuni aspetti della validità di un modello di triage basato sull'intelligenza artificiale (IA) per pazienti che richiedono cure urgenti o non programmate, consentendo l'identificazione dei pazienti che richiederanno un trattamento ospedaliero.

Questo progetto segue uno studio precedente che ha sviluppato un modello utilizzando l'IA per il triage dei pazienti tramite SOS Médecins Grand Paris. Come nel SAS, le persone che chiamano SOS Médecins presentano il loro problema a un assistente di regolazione medica (ARM), che nella maggior parte dei casi organizza una visita domiciliare.

I database di SOS Médecins contengono registrazioni audio delle richieste di assistenza e le decisioni mediche prese dai medici dopo le loro visite domiciliari, incluso se il paziente è stato indirizzato o meno all'ospedale (i dati sugli esiti dei pazienti sono esaustivi). Pertanto, è stato sviluppato un modello predittivo dell'utilizzo dei servizi ospedalieri da parte dei pazienti successivamente a una visita domiciliare di un medico SOS utilizzando l'IA. Il modello "ascolta" gli scambi tra il paziente e l'ARM e predice l'utilizzo dei servizi ospedalieri successivamente alla visita domiciliare del medico.

Il modello e il suo sviluppo sono oggetto di un articolo attualmente sottoposto per la pubblicazione in una rivista internazionale. Durante la fase di test, ha raggiunto un'area sotto la curva ROC (Receiver Operating Characteristic) di 0,80. In definitiva, il modello basato sull'IA dovrà operare in tempo reale e fornire informazioni agli ARM per assisterli nel loro lavoro. Per il momento, l'obiettivo di questo progetto è completare la validazione del sistema. Successivamente, dovrà essere implementato e testato in condizioni reali per determinare i benefici del triage dei pazienti da parte degli ARM utilizzando le previsioni del modello.

Va notato che sebbene SOS Médecins non sia lo stesso del SAS, è simile. Innanzitutto, le due strutture operano in modo simile: un ARM contattato telefonicamente cerca di rispondere a una richiesta di cure urgenti o non programmate. La gamma di possibili risposte è la stessa per entrambe le strutture (SOS non offre solo visite domiciliari, ma conduce anche consultazioni faccia a faccia o video e trasferisce alcune chiamate al servizio medico di emergenza), così come l'uso dell'esperienza di un medico se necessario (regolazione medica). In secondo luogo, SOS Médecins è uno degli effettori a valle del SAS. Più vecchio e meglio conosciuto dal pubblico generale e dai professionisti sanitari rispetto al SAS (che attualmente copre solo il 60% del territorio nazionale), SOS potrebbe avere un processo di reclutamento molto simile a quello di questo nuovo servizio. A nostra conoscenza, non ci sono ancora statistiche sul SAS che consentirebbero un confronto delle attività delle due strutture. In questo contesto, sarà quindi necessaria la validazione all'interno del SAS del modello sviluppato con i dati SOS. Se, in futuro, i dati mostreranno che le due strutture sono simili, il SAS potrebbe beneficiare di questo progetto sviluppato presso SOS. I dati SOS hanno un vantaggio significativo rispetto ai dati SAS: contengono informazioni sugli esiti dei pazienti, incluso se sono andati o meno al pronto soccorso ospedaliero. Questa etichettatura delle chiamate ha consentito l'apprendimento supervisionato di un modello di IA.

Questo progetto, che a nostra conoscenza è unico, apre la strada a un'assistenza al triage che può essere utilizzata nel SAS (e forse in una certa misura nei reparti di emergenza).

1.2. Benefici per i pazienti e il sistema sanitario L'identificazione precoce di pazienti ad alto rischio di ospedalizzazione, alcuni dei quali hanno condizioni che richiedono cure di emergenza in un ambiente specializzato, dovrebbe facilitare il processo decisionale clinico e, in definitiva, migliorare la salute dei pazienti. Ciò riguarda principalmente pazienti con condizioni la cui prognosi è direttamente collegata alla velocità di erogazione delle cure, come gravi condizioni ischemiche, respiratorie, traumatiche o infettive, che beneficeranno dell'essere ospedalizzati senza aspettare che un medico li visiti a domicilio. Il beneficio per i pazienti sarà quindi una riduzione delle opportunità perse a causa di errori di triage.

Inoltre, il triage a monte dei reparti di emergenza (come proposto dal precedente Ministro della Salute e implementato in alcuni reparti di emergenza sottodimensionati ed è pratica abituale in Danimarca) migliorerà il funzionamento dei reparti di emergenza ospedalieri, dove l'eccesso di attività ha un impatto sulla mortalità dei pazienti anziani che ricevono assistenza. In termini di salute pubblica, l'introduzione di un sistema di triage efficace potrebbe quindi migliorare l'accesso alle cure urgenti e non programmate.

Obiettivi della ricerca e criteri di valutazione Il modello di triage basato sull'IA utilizzato per identificare i pazienti che devono essere indirizzati all'ospedale è già stato sviluppato e testato utilizzando chiamate a SOS Médecins Grand Paris. Un articolo è attualmente in fase di pubblicazione. Pertanto, questo progetto non si concentra sullo sviluppo o sulla validazione interna del modello di triage, ma su altri aspetti relativi alla sua validazione: validazione prospettica ed esterna; confronto delle sue previsioni con quelle di un esperto medico; indagine sulla discriminazione sociale che potrebbe essere associata al suo uso; e la determinazione delle condizioni effettive del suo utilizzo in contesti sanitari.

2.1. Obiettivo e endpoint primario La valutazione prospettica delle prestazioni dei modelli predittivi su dati operativi del mondo reale è un passo cruciale verso l'integrazione di questi modelli nel contesto clinico e la valutazione del loro impatto sull'assistenza ai pazienti.

- Obiettivo primario (OP): Validazione prospettica del modello di triage utilizzato per identificare i pazienti che saranno indirizzati all'ospedale successivamente a una visita domiciliare di un medico.

L'area sotto la curva ROC (AROC) fornisce una misura complessiva delle prestazioni di un sistema di classificazione.

Va notato che tutti i dati utilizzati in questo studio sono retrospettivi. Il modello è stato progettato utilizzando dati del 2023 e precedenti (fino al 2017 incluso), e i dati "prospettici" sono quelli successivi alla sua progettazione e saranno i dati del 2024.

- Endpoint primario (EP): Confronto delle AROC ottenute da campioni rappresentativi di dati retrospettivi e prospettici di SOS Médecins Paris.

2.2. Obiettivi secondari ed endpoint La validazione esterna su dati di pazienti provenienti da siti geografici separati è necessaria per capire come i modelli sviluppati in un sito possano essere implementati in modo sicuro ed efficace in altri siti.

- Obiettivo Secondario #1 (OS1): Validazione esterna del modello di triage

• Endpoint Secondario #1 (ESP1): Confronto delle AROC ottenute da campioni rappresentativi di dati retrospettivi di SOS Médecins Grand Paris e Ajaccio.
• ESP2: Confronto delle previsioni del modello di triage con quelle di un medico esperto.
• Endpoint Secondario #2 (ESP2): Confronto dei tassi di previsione corretta tra il modello di triage e un medico esperto su un campione bilanciato non rappresentativo (cioè, composto dal 50% di pazienti indirizzati all'ospedale successivamente a una visita domiciliare del medico, piuttosto che dal 3% come avviene nella realtà) di dati di SOS Médecins Grand Paris.

Diversi sistemi di triage basati sull'IA si sono rivelati discriminatori. Due esempi ben noti illustrano questo punto:

• la selezione di ingegneri informatici che fanno domanda per posti di lavoro in base ai loro curriculum: il sistema era stato addestrato utilizzando ingegneri esistenti, che erano prevalentemente maschi, e svantaggiava le donne;
• Il rilevamento di melanomi da immagini dermatoscopiche: il sistema era stato addestrato utilizzando tonalità della pelle chiare e non era altrettanto efficace su tonalità della pelle scure.
• OS3: Studio dei potenziali fenomeni di discriminazione associati al modello, in relazione alle caratteristiche sociali dei pazienti.
• Endpoint secondario #3 (CJS3): Confronto delle AROC ottenute da campioni rappresentativi di dati di SOS Médecins Grand Paris per entrambi i sessi.

Il passaggio da un modello predittivo validato a un dispositivo efficiente in condizioni reali è una sfida ben nota nell'IA.

- OS4: Determinazione delle condizioni reali di utilizzo del modello da parte degli ARM.

- Endpoint secondario #4 (ESP4): Redazione di specifiche per l'implementazione del sistema di triage da parte degli ARM

Selezione ed esclusione degli individui dallo studio 3.1. Criteri di inclusione Individui di qualsiasi età che hanno ricevuto una visita domiciliare da un medico SOS successivamente a una chiamata nel 2024 o precedenti.

3.2. Criteri di esclusione Individui che non parlano francese. Individui senza assicurazione sanitaria.

Descrizione dello studio 4.1. Tipo di studio Si tratta essenzialmente di uno studio per validare un modello di triage dei pazienti basato sull'IA. Sarà condotto utilizzando dati osservazionali.

4.2. Processo di ricerca 4.2.1. Luogo della ricerca Lo studio sarà condotto presso i locali di SOS Médecins. Esperti medici di SOS Médecins Grand Paris saranno reclutati per realizzare l'OS2.

4.2.2. Metodi di reclutamento Saranno utilizzati i dati raccolti da SOS Médecins nel corso delle sue attività.

4.2.3. Procedure di assistenza ai pazienti Il progetto si concentra sulla necessità di utilizzare gli ospedali per soddisfare la domanda di cure urgenti o non programmate da parte di pazienti nella comunità. Tuttavia, non interferirà con l'assistenza ai pazienti.

4.2.4. Procedure di uscita dallo studio I pazienti che richiedono di essere esclusi saranno esclusi.

4.2.5. Raccolta dati

• OP (validazione prospettica), OS1 (validazione esterna) e OS3 (discriminazione):

I dati utilizzati saranno quelli già raccolti nel corso delle attività di SOS Médecins. Entrambi i siti (Parigi e Ajaccio, Corsica) utilizzano lo stesso software per gestire le chiamate telefoniche dal momento in cui vengono ricevute e registrate fino alla fine del processo di assistenza SOS (cioè, la fine della visita domiciliare nel nostro caso), inclusa l'inserzione di dati amministrativi e medici (cartella SOS Médecins). Ecco l'elenco dei dati che saranno utilizzati e come saranno elaborati per l'analisi:

- Trascrizioni delle registrazioni audio delle conversazioni tra pazienti e ARM. Le previsioni dell'IA saranno effettuate sulla base di queste trascrizioni (e solo queste trascrizioni).

• Dati dalla cartella SOS Médecins:
• giorno della settimana, mese, anno e orario della telefonata;
• il numero dell'area censuaria del luogo di visita sarà ottenuto dall'indirizzo fornito dal paziente. Le aree censuarie sono le unità spaziali più piccole per le quali sono disponibili dati statistici preservando l'anonimato dei suoi abitanti. Diverse variabili socio-economiche del censimento INSEE (Istituto Nazionale di Statistica e Studi Economici) sono disponibili a questo livello, come tassi di disoccupazione, diplomati delle scuole superiori, lavoratori, reddito mediano, l'indice di svantaggio sociale (noto anche come FDep per French DEPrivation index) e EDI (per Ecological Deprivation Index). Queste diverse variabili forniscono misure ecologiche (al contrario di individuali) della posizione sociale degli individui che vi risiedono;
• motivi della chiamata, definiti dall'ARM, basati su un elenco predefinito ma non corrispondenti a una classificazione internazionale. Più motivi possono essere segnalati per la stessa chiamata;
• livello di urgenza (4 livelli), definito dall'ARM;
• data e ora della fine della visita domiciliare, definita dal medico alla fine della visita
• Diagnosi di consultazione, definite dal medico alla fine della visita, basate su un elenco predefinito ma non corrispondenti a una classificazione internazionale. Più motivi possono essere segnalati per la stessa consultazione.
• Stato del paziente alla fine della visita (elenco chiuso: lasciato sul posto, trasferimento al pronto soccorso ospedaliero, chiamata dei servizi medici di emergenza).
• metodo di trasferimento al pronto soccorso ospedaliero (elenco chiuso: con mezzi propri, ambulanza, vigili del fuoco, SMUR).
• OS2 (esperto medico):

Alcuni dati individuali saranno raccolti dagli esperti medici che partecipano al raggiungimento di questo obiettivo: età, genere, lunghezza della pratica complessiva e all'interno di SOS Médecins, specialità.

Inoltre, dopo aver letto le trascrizioni degli scambi telefonici tra pazienti e ARM, a questi medici sarà chiesto di stimare la probabilità che i pazienti vengano trasferiti in ospedale.

Saranno poste due domande:

• Qual è la probabilità che questo paziente venga ospedalizzato dopo la visita del medico SOS? Risposta posizionando una croce sulla scala da 0 (nessuna ospedalizzazione) a 100 (ospedalizzazione).
• Quanto sei certo di questa probabilità? Risposta posizionando una croce sulla scala da 0 (nessuna certezza) a 100 (certezza totale)

Descrizione degli interventi dello studio Non ci sono interventi in questo studio, che è strettamente osservazionale.

Tuttavia, descriviamo qui l'organizzazione del lavoro che sarà svolto per completare OS2 e OS4.

• OS2 (esperto medico):

Al fine di confrontare le previsioni del modello di triage sull'utilizzo ospedaliero con quelle di un esperto medico, saranno reclutati su base volontaria medici di SOS Médecins Grand Paris con più di cinque anni di esperienza nell'organizzazione. A ciascuno di questi medici sarà chiesto di stimare la probabilità di utilizzo ospedaliero per diversi pazienti/chiamate (vedi §4.2.5. Raccolta dati).

- OS4 (condizioni reali): Un gruppo di lavoro composto da statistici, ingegneri informatici, ARM, medici SOS e ricercatori di ergonomia sarà formato per considerare il modo migliore per fornire agli ARM la probabilità di utilizzo ospedaliero. Diverse questioni dovranno essere affrontate: come la probabilità viene visualizzata sullo schermo, la soglia di probabilità, se la chiamata dovrebbe essere trasferita al medico di regolazione (e in tal caso, a quale soglia), l'influenza della probabilità sul livello di urgenza della chiamata come definito dall'ARM, e la possibilità di dare priorità a determinate richieste urgenti. Dopo un primo incontro di lavoro, una versione sarà implementata con ARM volontari. Dopo un primo utilizzo in condizioni reali, saranno raccolti feedback e sarà condotto un nuovo esperimento. Infine, saranno redatte specifiche per l'implementazione in condizioni reali (con le ragioni fornite per le scelte fatte) in modo che il modello di triage possa essere implementato su diverse piattaforme informatiche.

Analisi statistiche 6.1. Calcolo del numero di soggetti - OP (validazione prospettica): Al fine di dimostrare che l'AROC su dati prospettici è diversa dalla ROC su dati retrospettivi, se si osservano rispettivamente AROC di 0,75 e 0,80, avremo bisogno di 13.560 pazienti/chiamate per campione (cioè, 407 pazienti che saranno indirizzati all'ospedale e 13.153 pazienti che non lo saranno, in linea con il 3% di pazienti indirizzati all'ospedale osservato a SOS Médecins Grand Paris), assumendo un rischio alfa del 5%, una potenza del 90% e un test a due code. Questo risultato è stato ottenuto utilizzando la funzione power tworoc del software statistico Stata.

- OS1 (validazione esterna): Secondo lo stesso calcolo dell'OP, sarà necessario mobilitare un campione di 13.560 pazienti ad Ajaccio, Corsica.

- OS2 (medici esperti): Mentre tutte le altre analisi saranno basate su campioni rappresentativi, questa analisi sarà basata su un campione bilanciato (cioè, composto dal 50% di pazienti che saranno indirizzati all'ospedale e dal 50% che non lo saranno) per due ragioni. Con un basso tasso di indirizzamenti ospedalieri (3%) e un basso numero di chiamate da valutare per ciascuno dei medici esperti, una possibile strategia per un medico che vuole assicurare buone prestazioni sarebbe quella di non indirizzare mai i pazienti all'ospedale. Inoltre, un campione rappresentativo non consentirebbe lo studio dei falsi negativi (pazienti con una probabilità stimata bassa di essere indirizzati all'ospedale quando in realtà lo saranno) poiché ce ne sarebbero troppo pochi.

Al fine di evidenziare una differenza nel tasso di previsione corretta tra il modello di triage e un medico esperto, sarebbero necessarie 365 chiamate da pazienti che utilizzano l'ospedale (e lo stesso numero di pazienti che non lo utilizzano), assumendo un tasso di previsione corretta del 58% (vedi appendici §12.2 per la determinazione di questo tasso) e del 68% (scelta a priori di 10 punti percentuali aggiuntivi) rispettivamente per il modello di triage e il medico esperto, con un rischio alfa del 5%, una potenza dell'80% e un test a due code (funzione power twoproportions di Stata).

Basandosi su una valutazione di una chiamata ogni 5 minuti, sarà richiesto un totale di 61 ore di tempo di esperto medico. Basandosi su 4 ore di lavoro per medico, ciò corrisponde a 16 esperti medici da reclutare.

- OS3 (discriminazione): Secondo lo stesso calcolo dell'OP, sarà necessario mobilitare un campione di 13.560 pazienti di ciascun genere se vogliamo mostrare una differenza nell'AROC del modello di triage tra uomini e donne. Il rapporto sessuale delle persone che chiamano SOS Médecins Grand Paris è vicino a 1. Saranno utilizzati sia i campioni retrospettivi che quelli prospettici di SOS Médecins Grand Paris dell'OP.

6.2. Descrizione delle analisi statistiche utilizzate Lo studio sarà condotto in conformità con le raccomandazioni TRIPOD-AI, che sono le linee guida per la segnalazione di studi prognostici e diagnostici (specificamente per l'IA)

6.2.1. Selezione degli individui da includere nelle analisi Per tutti gli obiettivi, la selezione degli individui da includere sarà effettuata tramite estrazione casuale basata su un numero intero di anni. Ciò coprirà tutte le ore del giorno, i giorni della settimana e i mesi dell'anno. Per OS3, il campione non rappresentativo conterrà il 50% dei pazienti indirizzati all'ospedale.

6.2.2. Statistiche descrittive Saranno eseguite analisi descrittive per tutte le variabili raccolte. Le variabili quantitative saranno descritte utilizzando la loro media, mediana, deviazione standard, intervallo di confidenza al 95%, intervallo interquartile, minimo, massimo, numero di valori mancanti e numero di valori inutilizzabili. Le variabili quantitative saranno descritte dalle loro percentuali e intervallo di confidenza al 95%. Il tempo trascorso tra la chiamata e la fine della visita sarà presentato. Queste analisi saranno eseguite su tutti i campioni e stratificate secondo l'utilizzo ospedaliero.

6.2.3. Analisi dell'endpoint primario Iniziamo presentando la strategia di analisi generica che sarà utilizzata per vari scopi.

Per valutare le prestazioni dei diversi sistemi di triage (IA ed esperto medico) su diversi campioni (prospettici o retrospettivi, a Parigi o Ajaccio, Corsica) di pazienti, saranno tracciate le curve ROC e precision-recall (PR) e saranno stimate le aree sotto queste curve (AROC e APR). L'AROC ci consente di misurare le prestazioni complessive di un sistema di classificazione. APR sarà anche utilizzata perché è particolarmente informativa quando si valutano classificatori binari su set di dati sbilanciati, in cui il numero di risultati negativi supera di gran lunga il numero di risultati positivi (che corrisponde alla nostra situazione). Per confrontare due sistemi di triage (IA ed esperto medico, ad esempio) o lo stesso sistema di triage (IA, ad esempio) su due popolazioni diverse (Parigi e Ajaccio, Corsica, ad esempio), le loro AROC saranno confrontate.

Inoltre, per valutare le prestazioni in modo significativo da una prospettiva operativa, saranno calcolati sensibilità (Sen), specificità (Spe), valori predittivi positivi (VPP) e valori predittivi negativi (VPN) per diverse soglie.

- OP (validità prospettica): La strategia di analisi generica per il modello di triage IA sarà condotta su due campioni rappresentativi, uno retrospettivo (2023 e anni precedenti) e uno prospettico (anni 2024) di SOS Médecin Grand Paris.

6.2.4. Analisi degli endpoint secondari

- OS1 (validità esterna): La strategia di analisi generica relativa al modello di triage IA sarà condotta su due campioni rappresentativi retrospettivi di SOS Médecin Grand Paris e Ajaccio, Corsica.

- OS2 (medici esperti): I tassi di previsione corretta dei due sistemi di triage (IA e medici esperti) saranno confrontati utilizzando un test statistico.

Su base più esplorativa:

- Saranno calcolate le AROC dei due sistemi di triage (strategia di analisi generica).

- Le differenze di previsione tra i due sistemi di triage saranno modellate in base all'effettivo utilizzo ospedaliero e alle caratteristiche dei pazienti.

- Saranno calcolati coefficienti kappa ponderati tra le due previsioni.

- saranno eseguite analisi di sensibilità basate sul livello di certezza riportato dagli esperti medici (particolarmente livelli di certezza alti e bassi);

• saranno eseguite analisi stratificate dell'effettivo utilizzo ospedaliero (studio dei veri positivi e veri negativi).

Quando possibile, le analisi terranno conto del fatto che lo stesso esperto medico potrebbe aver esaminato diverse chiamate/pazienti.

• OS3 (discriminazione):

La discriminazione sarà indagata secondo le seguenti caratteristiche sociali: età, genere e posizione sociale (stimata in base alle caratteristiche socioeconomiche dell'area censuaria del luogo di visita). L'età e le variabili ecologiche di posizione sociale saranno utilizzate sotto forma di terzili e quintili. Sarà effettuata la strategia di analisi generica relativa al modello di triage IA su campioni rappresentativi di SOS Médecin Grand Paris stratificati secondo le suddette caratteristiche sociali. Il confronto delle AROC determinerà se il triage è ugualmente efficace secondo le suddette caratteristiche sociali.

Inoltre, sarà effettuato anche un confronto dei successi (veri positivi e veri negativi congiuntamente e separatamente) secondo le suddette caratteristiche utilizzando modelli logistici univariati e poi multivariati. Queste analisi saranno effettuate per diverse soglie di rischio.

- OS4 (condizioni reali) A seguito di discussioni tra colleghi e test su scala reale, saranno redatte specifiche per l'implementazione in condizioni reali in modo che il modello di triage possa essere implementato su diverse piattaforme informatiche. La logica dietro le scelte fatte sarà specificata in queste specifiche.