Intelligenza artificiale come strumento decisionale in neurologia

Valutazione con IA

Uno scenario in cui il medico riceve raccomandazioni in tempo reale solo dal modello prima di prendere la decisione finale (la decisione finale sarà presa sulla base del primario e del medico curante)

Valutazione senza IA

Uno scenario in cui il medico non viene esposto alle raccomandazioni del modello.

Durata della permanenza nel Dipartimento di Emergenza

Tempo dalla registrazione in Pronto Soccorso alla dimissione dal dipartimento di emergenza o all'ammissione in un reparto ospedaliero, con ulteriore attenzione al tempo di ciclo di consultazione.

Costo della gestione dell'LLM

Costo giornaliero medio (in USD) per gestire il modello linguistico di grandi dimensioni.

Descrizione:

Questo risultato misurerà i costi computazionali e di licenza diretti sostenuti eseguendo l'LLM in ambito clinico.

Unità di misura: dollari USA (al giorno). Come viene valutato: la spesa giornaliera totale per la LLM (ad es. Commissioni di composizione del cloud, commissioni di licenza) sarà registrata e divisa per il numero totale di incontri dei pazienti quel giorno per derivare un costo medio.

Conformità al personale con AI

Questo risultato valuterà la frequenza con cui (conformità) e quanto volentieri (accettazione) medici, residenti e infermieri usano l'LLM in scenari clinici ammissibili.

Descrizione: determina la frequenza con cui medici, residenti e infermieri usano l'LLM per incontri idonei.

Unità di misura: proporzione (0,0-1,0) o percentuale (0-100%) In che modo viene valutato: tiene traccia del numero di incontri in cui viene effettivamente utilizzato l'LLM, diviso per il numero totale di incontri idonei. Percentuali più elevate indicano una maggiore conformità.

Trasparenza/spiegabilità

Descrizione: valuta come chiaramente il ragionamento dell'LLM viene comunicato al personale clinico.

Unità di misura: punteggio su una scala Likert a 5 punti (1 = per niente chiaro, 5 = estremamente chiaro) come valutato: dopo ogni decisione guidata da LLM, il residente o il medico frequentano la chiarezza della spiegazione del modello. Viene segnalato un punteggio medio. I punteggi più alti indicano una migliore chiarezza.

Qualità dei rapporti clinici generati da LLM

Il punteggio di precisione e completezza del rapporto clinico generato da LLM Questo risultato valuta in che modo l'LLM riassume in modo accurato e completo l'LLM riassume l'incontro clinico di un paziente e il piano raccomandato in un rapporto strutturato (ad esempio, istruzioni di scarico, note di avanzamento).

Unità (i) di misura: punteggio di qualità basato su una scala di valutazione delle note SOAP (soggettiva, oggettiva, valutazione, piano) modificata, che va da 0 a 10, dove punteggi più alti indicano una migliore qualità della documentazione. Il punteggio riflette l'inclusione degli elementi richiesti e la correttezza dei dettagli clinici.

Metodo di valutazione: ogni rapporto generato da LLM è valutato in modo indipendente da un gruppo di medici di frequenza o personale clinico addestrato. Utilizzando una lista di controllo standardizzata, i revisori valutano la completezza (ad es. Inclusione di sintomi, risultati fisici, diagnosi e piano) e accuratezza (ad es. Farmaci, identificatori e diagnosi corretti), quindi assegnare un punteggio basato sulla rubrica predefinita.

Accettazione del personale di AI

Descrizione: valuta il modo in cui il personale integrano volontariamente l'LLM nel loro flusso di lavoro clinico.

Unità di misura: Scala Likert a 5 punti (1 = fortemente in disaccordo, 5 = fortemente d'accordo) come valutato: dopo ogni incontro assistito da LLM, il personale completa un breve sondaggio sull'attualità percepita e la volontà di riutilizzare l'LLM. I punteggi più alti indicano una maggiore accettazione.

Lo studio è organizzato intorno a quattro obiettivi predefiniti:

Obiettivo 1: Appropriatezza della Diagnosi e delle Raccomandazioni di Trattamento dell'LLM Appropriatezza delle raccomandazioni dell'LLM valutata da clinici senior (1=inappropriato, 5=appropriato) Periodo: dalla registrazione in PS alla dimissione o al ricovero, fino a 24 ore Obiettivo 2: Tasso di Accuratezza Diagnostica - Assistenza Assistita da LLM vs. Cura Standard Decisione Clinica Proporzione di diagnosi corrette nell'assistenza assistita da LLM vs. cura standard (%), confrontata con la diagnosi di dimissione Periodo: dalla registrazione in PS alla diagnosi finale, fino a 24 ore Obiettivo 3: Utilità e Usabilità Valutate dal Clinico degli Output dell'LLM - SUS e Scala Likert Utilità misurata tramite SUS (0-100) e valutazione Likert a 5 punti, raccolta dopo l'incontro con feedback qualitativo Periodo: fine di ogni incontro clinico, fino a 36 mesi Obiettivo 4: Benchmark Retrospettivo dell'LLM - Percentuale di Accordo e Kappa di Cohen vs. Esiti Clinici Reali Accordo tra le raccomandazioni dell'LLM e gli esiti effettivi (diagnosi, disposizione, durata della degenza) in registri anonimizzati Periodo: registri fino a 36 mesi prima dell'inizio dello studio