Feedback Generato dall'IA nei Pazienti Virtuali Sociali Robotici

L'obiettivo principale di questo progetto è indagare se un sistema di feedback diretto incorporato in una piattaforma di pazienti virtuali (VP) con robot sociale potenziata dall'intelligenza artificiale sia più efficace nella formazione delle competenze di ragionamento clinico (CR) e comunicative per gli studenti di medicina rispetto alla stessa piattaforma di VP con robot sociale potenziata dall'IA ma senza sistema di feedback.

Una maggiore conoscenza in questo campo di ricerca contribuisce a un utilizzo ottimizzato delle nuove tecnologie insieme ad altre risorse educative per facilitare risultati di apprendimento significativi, inclusi la supervisione e gli incontri con i pazienti. L'obiettivo a breve e lungo termine è migliorare l'ambiente dell'educazione medica per garantire una migliore assistenza sanitaria ai pazienti affetti da condizioni reumatiche, pur essendo applicabile anche ad altre discipline mediche. Sebbene sia ancora in fase di perfezionamento, questa attività educativa offre agli studenti l'opportunità di esercitarsi in un ambiente sicuro e interattivo.

Contesto:

Nell'assistenza sanitaria odierna, la maggior parte dei servizi viene fornita presso ambulatori e reparti di day hospital, il che vale anche per la reumatologia. Tuttavia, una parte significativa dell'educazione delle professioni sanitarie a livello universitario (HPE) continua a svolgersi in contesti ospedalieri, dove garantire che i pazienti ricoverati si allineino a specifici risultati di apprendimento rimane una sfida. I pazienti che richiedono il ricovero ospedaliero hanno tipicamente condizioni di lunga data, spesso con manifestazioni e complicanze complesse della malattia, insieme a comorbilità mediche sostanziali. La pandemia di COVID-19 ha evidenziato ulteriori barriere per gli studenti nell'interagire con insegnanti, pazienti e colleghi. Questa situazione, combinata con precedenti proposte di approcci alternativi per la formazione teorica e pratica nelle HPE universitarie, sottolinea l'urgente necessità di attività di apprendimento innovative che facilitino interazioni significative tra studenti e casi di pazienti rappresentati nei curricula HPE.

I pazienti virtuali (VP) sono simulazioni digitali interattive di scenari clinici progettate per scopi educativi e sono rappresentati attraverso una varietà di sistemi e approcci. Una componente fondamentale delle simulazioni VP è la loro interfaccia interattiva, che consente agli utenti di interagire con i pazienti in vari modi: raccogliere anamnesi, condurre esami fisici e implementare strategie investigative. Queste possibilità di interazione complete consentono agli utenti di raccogliere informazioni essenziali per effettuare diagnosi e decidere piani di gestione appropriati per i loro VP.

La clinica reumatologica del Karolinska University Hospital ha integrato i tirocini clinici per gli studenti di medicina negli ultimi 15 anni per garantire che gli studenti interagiscano con pazienti rappresentativi incorporando casi VP utilizzando software come ReumaCase e Virtual Interactive Case simulator (VIC). Queste piattaforme esemplificano sistemi VP semi-lineari, consentendo agli utenti di navigare liberamente tra i punti predeterminati della presentazione iniziale del paziente e le decisioni conclusive di diagnosi e gestione. La ricerca HPE ha prodotto nuovi approcci di apprendimento, inclusi strategie ottimizzate di implementazione VP e raccomandazioni per sviluppare competenze di ragionamento clinico (CR) attraverso la pratica con VP. Sebbene gli studenti universitari HPE riconoscano i VP come strumenti educativi preziosi per la formazione in CR, riconoscono che queste simulazioni mancano della complessità e dell'interattività degli incontri con pazienti reali.

Sebbene le competenze di CR siano importanti nell'educazione medica, alcuni sostengono che l'empatia sia una delle competenze più importanti degli operatori sanitari impegnati nell'assistenza ai pazienti. È stato dimostrato che le capacità empatiche degli operatori sanitari sono associate a migliori risultati di salute per i pazienti e riducono il rischio di ospedalizzazione. Nell'educazione medica universitaria, la condotta empatica viene tipicamente allenata utilizzando il role-playing con studenti, attori o insegnanti che interpretano pazienti standardizzati, rappresentativi di condizioni mediche da manuale. Tuttavia, i pazienti standardizzati possono essere un'opzione costosa e gli aspetti di disponibilità a volte possono ostacolare la pratica della condotta empatica. Un'alternativa potrebbero essere i VP che consentono forme di comunicazione più autentiche e interattive.

I recenti progressi tecnologici hanno introdotto metodi interattivi avanzati tra utenti e VP, in particolare attraverso l'intelligenza artificiale (AI) e la robotica sociale. I ricercatori hanno sviluppato una nuova piattaforma chiamata Social AI-enhanced Robotic Interface (SARI), che combina il robot sociale Furhat con il modello linguistico di grandi dimensioni (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Questa nuova piattaforma è stata implementata per gli studenti di medicina della clinica reumatologica del Karolinska University Hospital per integrare la loro formazione durante i tirocini clinici, insieme agli incontri VP convenzionali basati su computer (VIC). I risultati iniziali suggeriscono che gli studenti percepiscono che SARI offre un'esperienza VP più autentica e interattiva nello sviluppo delle competenze di CR rispetto a una piattaforma convenzionale basata su computer.

Questo progetto mira a valutare l'efficacia di SARI come piattaforma VP per studenti di medicina, confrontando se SARI combinata con un sistema di feedback diretto integrato generato dall'IA migliori ulteriormente la performance clinica nella raccolta dell'anamnesi.

Prima di questo studio, i ricercatori hanno sviluppato un totale di dieci casi VP, che sono stati implementati e attualmente utilizzati per i tirocini clinici presso la Divisione di Reumatologia del Karolinska University Hospital. La metà di questi casi è stata sviluppata nella piattaforma basata su computer VIC e l'altra metà nella piattaforma robotica sociale potenziata dall'IA SARI. I casi VP in entrambe le piattaforme sono stati sviluppati secondo distinte raccomandazioni per lo sviluppo di piattaforme VP e sono continuamente valutati dagli studenti di medicina attraverso feedback diretto (feedback orale e moduli di valutazione) e indiretto (dall'analisi dei dati di ricerca).

Tutti i casi VP fanno ora parte dell'attività educativa "The Virtual Outpatient Clinic", che funge da complemento ai tirocini clinici in reumatologia. All'interno di questa attività, tutti gli studenti di medicina del sesto semestre del Karolinska Institutet partecipano per un periodo di un giorno e mezzo di lavoro durante un tirocinio settimanale in reumatologia. "The Virtual Outpatient Clinic" è attiva presso la clinica dalla primavera del 2024, ospitando circa 150 studenti ogni semestre per un periodo di sei settimane. In questa attività educativa, tutti gli studenti eseguono tutti i casi VP unici e partecipano a seminari di follow-up con reumatologi consulenti dopo ogni caso per discutere domande riguardanti il contenuto del caso e le condizioni reumatiche rappresentate. All'inizio dell'attività, a tutti gli studenti viene chiesto di partecipare al progetto di ricerca valutando i casi VP per migliorare ulteriormente e indagare il loro valore aggiunto utilizzando indici validati per lo sviluppo di piattaforme VP. Accettando di partecipare e firmando un modulo di consenso informato, l'interazione di ogni studente con SARI viene memorizzata come file audio e trascritta in tempo reale. Ad oggi, circa 400 studenti hanno interagito con i cinque casi VP in SARI, risultando in quasi 2000 interazioni VP uniche.

I ricercatori hanno effettuato una valutazione iniziale di SARI e confrontato le sue prestazioni nell'acquisizione auto-percepita di competenze di CR da parte degli studenti di medicina rispetto a VIC, utilizzando una metodologia mista quantitativa e qualitativa durante il 2023. Quindici studenti di medicina sono stati inclusi e hanno completato lo stesso caso VP sia in SARI che in VIC. L'esperienza VP auto-percepita degli studenti, focalizzata sulla formazione in CR, è stata valutata utilizzando un indice precedentemente validato per lo sviluppo di piattaforme VP [23]. Inoltre, sono state condotte interviste approfondite con 8 studenti di medicina. Questa valutazione iniziale ha illustrato vantaggi significativi a favore di SARI per il tema dell'autenticità e l'effetto di apprendimento dell'incontro VP secondo temi predefiniti nel questionario di valutazione VP. Lungo l'analisi di quei temi predefiniti, è stata eseguita un'analisi tematica dei dati delle interviste approfondite, che ha prodotto quattro temi. Gli studenti hanno sperimentato SARI come superiore a VIC nella formazione di CR, comunicazione e competenze emotive.

Durante la primavera del 2024, un totale di 23 studenti di The Virtual Outpatient Clinic ha partecipato a interviste approfondite come progetto di continuazione che affrontava le loro percezioni del valore aggiunto di SARI e VIC riguardo all'acquisizione di competenze di CR. Per questo studio, i ricercatori hanno creato 4 ulteriori casi VP in ciascuna piattaforma. Inoltre, tutti gli studenti hanno partecipato a seminari dopo il completamento di ogni caso, per assomigliare alla supervisione durante incontri con pazienti reali. L'analisi tematica delle interviste completamente trascritte ha prodotto risultati simili: gli studenti hanno trovato SARI più autentico e coinvolgente rispetto a VIC, e hanno sperimentato che SARI consentiva possibilità di comunicazione altamente interattive e poteva esprimere emozioni, offrendo collettivamente un'esperienza realistica. SARI ha facilitato l'apprendimento attivo, la generazione di ipotesi e il pensiero adattivo in misura maggiore rispetto a VIC, permettendo agli studenti di formulare le proprie domande invece di scegliere tra opzioni predeterminate per raccogliere l'anamnesi.

Prima delle interazioni VP, gli studenti ricevono una formazione strutturata nella raccolta dell'anamnesi, coprendo sia aspetti generici (applicabili a tutte le specialità mediche) che componenti specifiche della reumatologia. Questa formazione preparatoria garantisce che gli studenti abbiano conoscenze di base prima di impegnarsi con i casi VP.

Gli studenti lavorano tipicamente in coppia o in piccoli gruppi di tre durante le interazioni VP, con uno studente che assume il ruolo di leader in ogni incontro con il paziente. Questo approccio collaborativo è coerente con le evidenze che supportano l'apprendimento tra pari nella formazione al ragionamento clinico basata su VP. Lo studente leader conduce l'interazione primaria con il VP, mentre gli altri membri del gruppo osservano e possono contribuire alla successiva discussione e formulazione diagnostica.

Il Social AI-enhanced Robotic Interface (SARI):

SARI rappresenta una nuova modalità VP che integra la robotica sociale con l'intelligenza artificiale di modelli linguistici di grandi dimensioni (LLM). La piattaforma combina il robot sociale Furhat (sviluppato al KTH Royal Institute of Technology, Stoccolma) con i modelli linguistici GPT-4o-mini di OpenAI.

Il robot Furhat consiste in una testa robotica fisica montata su un supporto, dotata di un volto animato retroproiettato che mostra espressioni facciali e movimenti labiali sincronizzati con la voce. Il robot include un array di microfoni per il riconoscimento vocale e altoparlanti per l'output audio. La presenza fisica del robot nella stanza crea ciò che i ricercatori definiscono "interazione situazionale", in cui il robot occupa uno spazio fisico reale anziché esistere solo come un'interfaccia basata su schermo.

Il sistema di dialogo VP opera attraverso il seguente flusso tecnico:

1. Riconoscimento vocale: Il parlato dello studente viene catturato attraverso l'array di microfoni del robot e convertito in testo utilizzando la tecnologia di riconoscimento vocale automatico (ASR).

2. Elaborazione del dialogo: L'input dello studente trascritto è combinato con:

   • Una descrizione dettagliata del caso del paziente (inclusa anamnesi, sintomi, reperti dell'esame e caratteristiche della personalità)
   • Le ultime 10 battute di dialogo (per mantenere il contesto conversazionale evitando un uso eccessivo di token)
   • Istruzioni di sistema che spingono l'LLM a rispondere dalla prospettiva del paziente piuttosto che come assistente generale
3. Generazione della risposta: L'LLM genera risposte contestualmente appropriate basate sul caso del paziente e sulla cronologia della conversazione.
4. Modellazione delle emozioni: In punti di ancoraggio specifici durante la conversazione, l'LLM genera anche istruzioni per espressioni facciali appropriate (ad esempio, preoccupato, sollevato, ansioso, confuso) basate sul contesto conversazionale. Il sistema seleziona da un set predefinito di espressioni disponibili nel software Furhat.
5. Sintesi vocale: Le risposte testuali generate sono convertite in parlato dal suono naturale utilizzando la tecnologia text-to-speech (TTS), con il volto animato che mostra movimenti labiali sincronizzati e l'espressione emotiva selezionata.
6. Trascrizione: Tutto il dialogo viene automaticamente trascritto in tempo reale e memorizzato in modo sicuro per la successiva generazione di feedback e l'analisi di ricerca.

Ogni caso VP segue principi consolidati per lo sviluppo di VP, inclusi:

• Obiettivi di apprendimento chiari allineati con i requisiti del curriculum
• Presentazioni realistiche dei pazienti basate su scenari clinici tipici
• Livello appropriato di complessità per studenti di medicina del sesto semestre
• Integrazione di condizioni comuni e presentazioni diagnostiche impegnative
• Inclusione di fattori psicosociali rilevanti e preoccupazioni del paziente

Tutti i casi VP sono presentati in inglese per accogliere gli studenti internazionali in scambio che partecipano al programma. Pannelli standard di test di laboratorio con risultati specifici per caso sono forniti insieme a ogni caso.

I casi VP rappresentano diverse condizioni reumatologiche inclusi artriti infiammatorie, malattie del tessuto connettivo e disturbi muscoloscheletrici. Ogni caso richiede agli studenti di condurre una raccolta completa dell'anamnesi, inclusa caratterizzazione dei sintomi, valutazione funzionale, storia farmacologica e revisione pertinente dei sistemi.

Il sistema di feedback utilizzato come intervento in questo studio impiega un sofisticato algoritmo a due stadi sviluppato in modo iterativo in collaborazione con reumatologi consulenti:

Fase 1: Modello di valutazione

La prima fase analizza la trascrizione completa del dialogo studente-VP utilizzando una rubrica di valutazione predefinita. Questa rubrica valuta molteplici dimensioni della performance clinica:

Competenze comunicative:

• Apertura appropriata della consultazione
• Costruzione del rapporto con il paziente
• Uso di linguaggio chiaro e senza gergo
• Dimostrazione di ascolto attivo
• Mostrare empatia e affrontare le preoccupazioni del paziente
• Chiusura appropriata della consultazione

Raccolta dell'anamnesi medica generica:

• Esplorazione dell'anamnesi patologica remota
• Farmaci attuali e allergie
• Storia familiare di condizioni rilevanti
• Storia sociale (occupazione, situazione abitativa, sistemi di supporto)
• Fattori di stile di vita (fumo, alcol, esercizio)
• Revisione dei sistemi

Raccolta dell'anamnesi specifica per la reumatologia:

• Valutazione sistematica dei sintomi articolari
• Caratterizzazione del dolore (insorgenza, localizzazione, durata, qualità, irradiazione, fattori aggravanti/allevianti)
• Valutazione dell'impatto funzionale (attività della vita quotidiana, capacità lavorativa)
• Durata e pattern della rigidità mattutina
• Manifestazioni extra-articolari
• Riconoscimento del pattern per sintomi infiammatori versus meccanici

Componenti del ragionamento clinico:

• Approccio sistematico alla raccolta di informazioni
• Riconoscimento di pattern di sintomi e significato clinico
• Ampiezza appropriata della considerazione della diagnosi differenziale
• Progressione logica attraverso la raccolta dell'anamnesi

Il modello di valutazione utilizza l'LLM per valutare ogni dialogo contro questa rubrica, generando valutazioni strutturate di punti di forza e aree di miglioramento attraverso questi domini.

Fase 2: Generazione del feedback

La seconda fase trasforma la valutazione strutturata della Fase 1 in feedback scritto leggibile e costruttivo. La generazione del feedback utilizza prompt accuratamente elaborati che istruiscono l'LLM a:

• Presentare il feedback con un tono di supporto ed educativo
• Fornire esempi specifici dal dialogo dello studente
• Riconoscere i punti di forza prima di affrontare le aree di miglioramento
• Offrire suggerimenti concreti per il miglioramento
• Concentrarsi sull'apprendimento piuttosto che sulla valutazione

Contenuto e portata del feedback Gli studenti ricevono circa una pagina (300-500 parole) di feedback scritto strutturato immediatamente dopo ciascuno dei cinque incontri VP designati. Il feedback si concentra specificamente sulle competenze di raccolta dell'anamnesi e non affronta l'accuratezza diagnostica o le decisioni di gestione, poiché questi aspetti sono coperti nei successivi seminari con reumatologi consulenti.

Il gruppo di controllo completa casi VP identici utilizzando la stessa piattaforma SARI ma non riceve feedback generato dall'IA. Tuttavia, entrambi i gruppi ricevono un'esposizione equivalente alla tecnologia VP robotica sociale, partecipano a seminari identici specifici per caso dopo il completamento del caso con reumatologi consulenti e hanno accesso alle trascrizioni del dialogo per l'autovalutazione. L'unica differenza sistematica è la presenza o assenza del feedback generato dall'IA.

La valutazione viene effettuata utilizzando una struttura basata su esame clinico oggettivo strutturato (OSCE) con pazienti standardizzati (SP) dopo l'interazione con tutti i VP disponibili in SARI. Gli SP ricevono informazioni scritte sul caso che descrivono una presentazione del paziente, storia dei sintomi e background rilevante. Gli SP ricevono anche formazione in risposte coerenti a formati di domanda comuni e istruzioni su risposte emotive appropriate, comunicazione non verbale e gestione di domande inaspettate.

La rubrica OSCE utilizzata in questo studio è stata sviluppata in collaborazione con reumatologi consulenti esperti basata su framework di Attività Professionali Affidabili (EPA) specifici per le competenze di raccolta dell'anamnesi. La rubrica ha subito test pilota e perfezionamenti per garantire l'affidabilità inter-valutatore.

La valutazione valuta cinque domini distinti con allocazioni di punti specificate (totale 10 punti):

• Comunicazione all'inizio della consultazione (0-3 punti): 30% del punteggio totale
• Anamnesi medica generica (0-3.5 punti): 35% del punteggio totale
• Anamnesi medica mirata (0-1.5 punti): 15% del punteggio totale
• Ragionamento diagnostico e di gestione (0-1 punto): 10% del punteggio totale
• Comunicazione alla fine della consultazione (0-1 punto): 10% del punteggio totale

Un punteggio di 6 punti corrisponde a una soglia di superamento nell'esame basato su OSCE. Tuttavia, gli studenti ricevono informazioni che questo studio non aveva scopi esaminativi e non influiva in alcun modo sui loro voti.

Due reumatologi consulenti hanno condotto tutte le valutazioni OSCE, in cieco rispetto all'allocazione del gruppo di intervento o controllo. Ai valutatori è stata fornita solo la rubrica di valutazione e non avevano conoscenza di quali studenti avessero ricevuto feedback generato dall'IA. Questo mascheramento è stato mantenuto per tutto il periodo di raccolta dati.