Validazione Prospettica di uno Strumento di Intelligenza Artificiale per la Valutazione Pre-Anestetica

Background:

La valutazione pre-anestetica è un processo critico che precede gli interventi chirurgici, svolgendo un ruolo fondamentale nel garantire la sicurezza perioperatoria e la qualità dell'assistenza. Negli ultimi decenni, gli anestesisti hanno contribuito significativamente a migliorare la sicurezza perioperatoria e la qualità, come evidenziato nel rapporto dell'Institute of Medicine sulla qualità dell'assistenza sanitaria. Questa valutazione è stata continuamente perfezionata per migliorare gli esiti clinici e ridurre i costi associati a esami di laboratorio e accertamenti preoperatori non necessari.

I benefici della valutazione pre-anestetica sono ben documentati, inclusa una maggiore efficienza operativa attraverso l'identificazione precoce di potenziali complicazioni, l'ottimizzazione della gestione preoperatoria per pazienti con condizioni sottostanti come diabete, malattie cardiopolmonari e insufficienza renale, e la minimizzazione delle complicazioni postoperatorie. In Brasile, la Risoluzione n. 1.802/2006 del Consiglio Federale di Medicina impone la valutazione pre-anestetica come componente essenziale per la sicurezza del paziente, raccomandando che venga eseguita prima del ricovero ospedaliero per procedure elettive.

Recentemente, il Brasile ha sperimentato un aumento della domanda di procedure chirurgiche, esacerbato dalla pandemia di COVID-19. Un'indagine del 2022 della Fondazione Oswaldo Cruz (Fiocruz) ha rivelato un arretrato di 910.621 interventi chirurgici nel Sistema Sanitario Unificato (SUS), con deficit significativi negli interventi del sistema digerente (374.475), procedure genitourinarie (241.752), interventi del sistema circolatorio (104.925) e interventi chirurgici delle vie aeree superiori, del viso, della testa e del collo (102.352). Questa pressione sul sistema sanitario pubblico ha portato al lancio del Programma Nazionale per la Riduzione delle Liste d'Attesa nel 2024 da parte del governo federale brasiliano. Di conseguenza, è necessario ripensare il flusso e il processo delle valutazioni pre-anestetiche per garantire un'assistenza sicura e adeguata per questa domanda repressa.

Con i progressi tecnologici e il crescente volume di dati medici disponibili, le valutazioni cliniche sono diventate più complesse, richiedendo decisioni più rapide e precise. In questo contesto, l'intelligenza artificiale (IA) emerge come uno strumento promettente per trasformare l'anestesiologia, in particolare nella valutazione pre-anestetica. Gli strumenti di IA, inclusi l'Elaborazione del Linguaggio Naturale (NLP) e i Modelli Linguistici di Grandi Dimensioni (LLM), hanno mostrato il potenziale per migliorare l'accuratezza, l'efficienza e la personalizzazione dell'assistenza medica.

Studi recenti hanno dimostrato l'impatto positivo dell'IA in questo settore. Ad esempio, l'NLP per la revisione delle cartelle cliniche e l'identificazione di informazioni cliniche preoperatorie rilevanti ha mostrato un'alta concordanza (81,24%) tra le valutazioni della macchina e dell'anestesista riguardo alla presenza o assenza di condizioni, e ha identificato condizioni mediche nel 16,6% dei casi trascurati dall'anestesista. Sistemi di supporto decisionale personalizzati che utilizzano ontologie OWL e tecnologie del web semantico si sono dimostrati efficaci nel generare rapporti di valutazione del rischio e raccomandazioni cliniche personalizzate. Modelli di apprendimento automatico per la previsione del rischio perioperatorio hanno permesso la creazione di profili di rischio individuali e valutazioni personalizzate.

I Modelli Linguistici di Grandi Dimensioni (LLM), come GPT, hanno mostrato il potenziale per migliorare la comunicazione e l'educazione del paziente durante il percorso chirurgico. Uno studio comparativo del 2024 sulle versioni di GPT ha indicato la sua capacità di fornire risposte accurate e leggibili ai pazienti su domande relative all'anestesia. Tuttavia, gli studi sull'applicazione clinica dell'IA in anestesiologia che coinvolgono LLM rimangono scarsi; una revisione sistematica del 2023 non ha identificato studi che utilizzano questa tecnologia. Inoltre, la maggior parte degli studi e degli sviluppi è stata condotta in contesti internazionali, non affrontando la lingua portoghese o le specificità del sistema sanitario brasiliano. Ad oggi, non esistono studi pubblicati sullo sviluppo e la validazione di uno strumento LLM in portoghese per la valutazione pre-anestetica, in particolare considerando il profilo epidemiologico e le sfide sanitarie del Brasile.

Inoltre, sono notevoli le preoccupazioni sull'affidabilità degli strumenti di IA in medicina. Uno studio recente pubblicato su Nature Medicine ha rivelato che molti dispositivi di IA approvati dalla FDA negli Stati Uniti mancano di un'adeguata validazione clinica. Su 521 dispositivi di IA autorizzati dalla FDA tra il 1995 e il 2022, solo il 56% ha riportato qualche forma di validazione clinica, con solo il 28,4% validato prospetticamente e il 4,2% attraverso studi clinici randomizzati. Notevolmente, il 43,4% non aveva dati di validazione clinica pubblicamente disponibili. Questi risultati sottolineano l'importanza di condurre rigorosi studi di validazione clinica, specialmente in contesti specifici, prima di implementare strumenti di IA nella pratica medica.

Pertanto, questo progetto propone di sviluppare e validare prospetticamente uno strumento di IA basato su un LLM in portoghese per la valutazione pre-anestetica in Brasile, in un contesto clinico. Ciò affronta una lacuna nella letteratura e soddisfa le esigenze specifiche del contesto nazionale. L'obiettivo è migliorare l'accuratezza, la personalizzazione, l'affidabilità e l'efficienza delle valutazioni preoperatorie utilizzando l'IA avanzata, considerando le peculiarità della popolazione brasiliana e del sistema sanitario. L'implementazione di questo strumento potrebbe potenzialmente trasformare la pratica dell'anestesiologia nel paese, fornendo un migliore supporto decisionale e promuovendo una maggiore sicurezza chirurgica.

Obiettivi dello Studio:

Obiettivo Primario:

- Valutare prospetticamente l'accuratezza e la coerenza della valutazione pre-anestetica eseguita dallo strumento di IA rispetto alle valutazioni condotte da anestesisti in un ospedale terziario nazionale.

Obiettivi Secondari:

• Determinare il livello di concordanza tra la valutazione del rischio preoperatorio eseguita dallo strumento di IA e gli anestesisti umani, considerando aspetti come la classificazione della Società Americana degli Anestesisti (ASA) e modelli di rischio chirurgico validati in un ospedale terziario nazionale.
• Indagare le percezioni degli anestesisti sull'utilità dello strumento di IA, inclusa la loro fiducia nei risultati generati dallo strumento e la loro disponibilità a integrarlo nella pratica clinica.
• Valutare se l'uso dello strumento di IA influenza la qualità complessiva della valutazione pre-anestetica, inclusa la rilevazione di condizioni di rischio che potrebbero essere sottovalutate o trascurate nelle valutazioni umane convenzionali.
• Valutare eventuali difficoltà che i pazienti incontrano nell'utilizzo dello strumento di IA in un ospedale terziario nazionale.

Disegno dello Studio:

Questo è uno studio prospettico osservazionale longitudinale di coorte condotto in due centri, il Servizio di Anestesia dell'Ospedale Nossa Senhora da Conceição a Porto Alegre, Brasile e la Santa Casa de Ribeirão Preto, Brasile.

Partecipanti:

Criteri di Inclusione:

• Pazienti di età pari o superiore a 18 anni.
• Programmati per interventi chirurgici non cardiaci elettivi in entrambe le istituzioni.

Criteri di Esclusione:

• Pazienti sottoposti a procedure diagnostiche con sedazione isolata o anestesia locale.
• Se un paziente subisce più di un intervento chirurgico durante lo stesso ricovero, verrà considerato solo l'intervento principale.

Dimensioni del Campione:

La dimensione del campione è stata calcolata basandosi sull'esito primario della concordanza tra le valutazioni del rischio preoperatorio dell'IA e umane utilizzando il coefficiente Kappa di Cohen. Assumendo una concordanza attesa dell'80% (basata su studi precedenti che mostrano circa 0,80 per le valutazioni del rischio perioperatorio tra IA e clinici), con un valore Kappa ≥ 0,70 considerato una concordanza sostanziale, un margine di errore del 5% e un livello di confidenza del 95%, la dimensione minima del campione è di circa 246 pazienti. Considerando potenziali perdite al follow-up ed esclusioni (margine del 10%), il campione totale sarà di 270 pazienti.

Procedure:

1. Indicazione Chirurgica:

   • Il chirurgo determina l'indicazione chirurgica del paziente e registra il nome dell'intervento secondo il codice della procedura nel modello di rischio Ex-Care.

2. Utilizzo dello Strumento di IA:

   • Il chirurgo istruisce il paziente a utilizzare lo strumento di IA per la valutazione pre-anestetica. Il paziente accede allo strumento e completa le informazioni richieste.

3. Elaborazione della Valutazione:

   • Lo strumento elabora la valutazione del paziente, generando due tipi di risultati:
   • Orientamenti Generici: Un insieme di istruzioni generali inviate direttamente al paziente per aiutare nella preparazione chirurgica.
   • Valutazione Specifica: Una valutazione dettagliata, inclusa raccomandazioni e segnali di allarme, generata per uso medico ma non resa disponibile all'anestesista che esegue la valutazione preoperatoria.

4. Valutazione Pre-Anestetica:

   • Il paziente si sottopone a una valutazione pre-anestetica tradizionale da parte di un anestesista, che non avrà accesso alla valutazione generata dall'IA.

5. Confronto delle Valutazioni:

   • Un terzo anestesista, in cieco rispetto al processo precedente, confronterà le due valutazioni (strumento di IA versus valutazione umana). Questo confronto considererà la qualità delle informazioni raccolte, la precisione del giudizio clinico e l'identificazione di potenziali rischi o complicazioni.

Raccolta Dati:

I dati saranno raccolti prospetticamente, inclusi variabili come età, sesso, codice chirurgico e risultati di entrambe le valutazioni (strumento di IA e anestesista). Un modulo di raccolta dati (allegato nel protocollo dopo le referenze) delinea le variabili incluse in questo protocollo di ricerca.

Misure di Esito:

Esito Primario:

- Concordanza tra le valutazioni del rischio preoperatorio dello strumento di IA e dell'anestesista umano, in termini di qualità delle informazioni raccolte e giudizio clinico.

Esiti Secondari:

• Livello di accordo sulla classificazione ASA e sui modelli di rischio chirurgico validati.
• Percezioni degli anestesisti sull'utilità, fiducia e potenziale di integrazione dello strumento (valutate tramite sondaggi).
• Impatto sulla qualità della valutazione, inclusa la rilevazione di rischi trascurati.
• Difficoltà segnalate dai pazienti nell'utilizzo dello strumento di IA (valutate tramite feedback).

Analisi Statistica:

Saranno utilizzati test di concordanza per confrontare i risultati della valutazione del rischio preoperatorio tra lo strumento di IA e l'anestesista. Il coefficiente Kappa di Cohen misurerà l'accordo per variabili categoriche (qualità delle informazioni e giudizio clinico). Per variabili continue (es. età), verrà applicato il test t di Student o il test di Mann-Whitney, a seconda della distribuzione dei dati (normalità verificata tramite test di Shapiro-Wilk). La significatività statistica sarà impostata a P < 0,05.

Cronologia:

Lo studio durerà 36 mesi: 24 mesi per la raccolta dati, 6 mesi per l'analisi e 6 mesi per la formulazione e pubblicazione dei risultati.

Finanziamento:

I costi per i materiali di raccolta dati, computer, software statistico e documentazione saranno coperti dagli autori coinvolti. I dettagli del budget includono: cartelle per l'archiviazione (R$250,00), fogli di raccolta dati (R$500,00), e software di analisi (R$1.000,00).

Diffusione:

I risultati saranno archiviati in un database sicuro e confidenziale e sottoposti per la pubblicazione in una rivista scientifica indicizzata al completamento.