Sviluppo di uno strumento di elaborazione del linguaggio naturale per abilitare la ricerca clinica nella medicina d'urgenza (NLP-DeVal)

BACKGROUND E MOTIVAZIONE DELLO STUDIO

Condurre ricerche sulla valutazione clinica e della qualità dell’assistenza in medicina d’urgenza è tanto difficile quanto importante. È difficile perché il vasto numero di pazienti che necessitano di essere curati e la cronica carenza di personale rendono impraticabile la raccolta di dati ad hoc. È importante perché, alla fine, la ricerca consente ai medici e agli infermieri di emergenza di basare la propria pratica su evidenze ottenute nel proprio contesto unico, in contrapposizione a evidenze ottenute in contesti lontani, come avviene comunemente oggi.

L’unico modo per colmare il divario tra le esigenze di ricerca e la disponibilità di dati affidabili è estrarre i dati direttamente dalle cartelle cliniche elettroniche (EHR) dei dipartimenti di emergenza, evitando raccolte dati dedicate e dispendiose in termini di tempo. Questo è un compito difficile, tuttavia, perché le informazioni più utili sono in formato testo libero (ad esempio, presenza di segni e sintomi, diagnosi sospetta e confermata, anamnesi). Tali circostanze ed esigenze richiedono uno strumento affidabile di elaborazione del linguaggio naturale (NLP) per ricavare dati altamente coerenti dal testo libero.

Oggi sono disponibili modelli linguistici su larga scala in grado di interpretare accuratamente il linguaggio naturale. Tuttavia, questi modelli si basano su enormi quantità di conoscenze generali prese principalmente da Internet, quindi le loro prestazioni in aree più specializzate, come il dominio medico, potrebbero non essere ottimali.

Il presente studio fa parte di un progetto più ampio chiamato eCREAM (abilitante la ricerca clinica in medicina d'emergenza e di cura acuta) e mira a sviluppare e convalidare un modello linguistico (chiamato eCREAM_LM) ​​per sei lingue in grado di interpretare i contenuti delle cartelle cliniche elettroniche del pronto soccorso e estrarre informazioni rilevanti per scopi di ricerca.

METODI

Lo studio è uno studio osservazionale, multicentrico, retrospettivo, della durata di 24 mesi. Allo studio parteciperanno trenta centri: 13 dall'Italia, 4 dalla Polonia, 3 dalla Grecia, Slovacchia, Slovenia e Regno Unito e 1 dalla Svizzera. I centri non riceveranno alcun compenso, ma le loro spese saranno coperte dai fondi del progetto.

Sviluppo e validazione del modello eCREAM_LM.

eCREAM_LM sarà sviluppato attraverso la formazione e la messa a punto del miglior modello complessivo, tra quelli open-source, e procederà per fasi parzialmente parallele. I modelli candidati saranno esposti a un'enorme quantità (miliardi) di testi medici provenienti dalla letteratura scientifica o da altre fonti pubbliche. Contemporaneamente, i modelli saranno anche esposti a un’enorme quantità (milioni) di note di testo libero ottenute dalle cartelle cliniche in uso negli ospedali partecipanti. Si passerà poi al fine tuning, dove verranno utilizzate una grande quantità (migliaia) di note cliniche, ricavate, ancora una volta, dalle cartelle cliniche dei centri partecipanti. Queste note verranno annotate da medici esperti, operazione che consiste nell'estrarre informazioni dalle note per compilare i dati elencati in un modulo di raccolta dati virtuale (vCRF). La vCRF è stata creata per uno studio correlato e contiene un insieme di variabili utili nel predire il ricovero in ospedale di pazienti con dispnea o perdita transitoria di coscienza, che costituisce l'obiettivo del relativo studio. Nel presente studio, la vCRF servirà come strumento per validare il modello linguistico.

La validazione di eCREAM_LM verrà effettuata utilizzando un set di 1.000 note cliniche annotate come sopra descritto, ma non utilizzate nella fase di sviluppo. Tali note verranno sottoposte al modello eCREAM_LM con il compito di compilare la vCRF. La concordanza nella compilazione della vCRF tra i medici esperti e l'eCREAM_LM sarà la misura della validazione finale dell'eCREAM_LM.

Raccolta dati e anonimizzazione

Ciascun ospedale partecipante fornirà note di testo gratuite contenute nelle cartelle cliniche di 150-300.000 pazienti adulti trattati tra il 2021 e il 2023. Le note riferite ad aspetti diversi dello stesso paziente (es. anamnesi, esame obiettivo, risultati dei test) saranno separate le une dalle altre in modo che non sia possibile ricostruire il profilo completo del paziente. Inoltre, le note saranno private di qualsiasi riferimento al paziente (es. nome, cognome, data di nascita) e contesto (es. ospedale, data e ora di arrivo al centro). Questo processo riduce al minimo la probabilità di reidentificazione dei pazienti e massimizza la protezione dei loro diritti. La probabilità di identificare nuovamente un paziente all'interno di un database dipende da quanto le sue caratteristiche siano uniche rispetto ad altri individui nel database. La probabilità di avere pazienti unici, e quindi identificabili, aumenta con la quantità di informazioni disponibili nel database e diminuisce con la sua dimensione. Rimuovendo dalle note cliniche tutte le informazioni personali e contestuali e separando ciascuna nota dalle altre, ciascuna nota riporterà solo alcune caratteristiche del paziente. Inoltre, i dati raccolti dagli ospedali dello stesso paese verranno uniti in modo che ci sia un unico grande database per ciascuna lingua. Ciò di fatto azzera la probabilità che ci siano individui identificabili in modo univoco dalle note.

Infine, per escludere la possibilità che le note contengano informazioni di terzi, come nomi e numeri di telefono dei parenti dei pazienti, in ciascun ospedale verrà installato un software di anonimizzazione certificato, appositamente progettato per rimuovere i dati personali dai testi liberi.

Una volta resi anonimi, i dati saranno centralizzati per l'analisi e saranno anche caricati sulle principali piattaforme europee di condivisione di risorse linguistiche nella comunità scientifica.

analisi statistica

Nella validazione di eCREAM_LM valuteremo la concordanza tra i medici esperti d'urgenza e l'eCREAM_LM stesso nella compilazione della vCRF. I dati faranno riferimento ad un campione di 1.000 note per ciascuna lingua di studio. La concordanza sarà valutata per ciascuna variabile della vCRF utilizzando la κ di Cohen come misura di concordanza. L'eCREAM_LM sarà considerato valido se il κ di Cohen è maggiore di 0,75.

Misura di prova

Supponendo un ottimo accordo (κ=0,80) tra eCREAM_LM e i medici d'urgenza esperti nel completare la vCRF, sarà necessario un campione di almeno 735 note per ottenere una precisione sufficiente a garantire un buon accordo (limite di confidenza inferiore dell'intervallo di confidenza del 95% di κ di Cohen maggiore di 0,75). Questo numero rappresenta la dimensione massima del campione ottenuta in diversi scenari che coinvolgono un numero diverso di categorie (da 2 a 5) per ciascuna variabile e diverse distribuzioni marginali delle categorie nel campione, comprese distribuzioni bilanciate (ad esempio, 5 categorie con il 20% del campione in ciascuna categoria) e risultati molto sbilanciati (ad esempio, 5 categorie con 1,8%, 7,3%, 16,4%, 29,1% e 45,5% del campione). Poiché in alcune note potrebbero mancare informazioni di interesse, eseguiremo la valutazione di convalida dei dati su 1.000 note.