Sztucznie generowana informacja zwrotna w społecznych wirtualnych pacjentach robotycznych

Głównym celem tego projektu jest zbadanie, czy system bezpośredniej informacji zwrotnej wbudowany w platformę wirtualnego pacjenta (VP) z wykorzystaniem sztucznej inteligencji (AI) i robotyki społecznej będzie skuteczniejszy w szkoleniu umiejętności rozumowania klinicznego (CR) i komunikacyjnych dla studentów medycyny niż ta sama platforma VP z AI i robotyką społeczną, ale bez systemu informacji zwrotnej?

Większa wiedza w tej dziedzinie badawczej przyczynia się do optymalnego wykorzystania nowych technologii wraz z innymi zasobami edukacyjnymi w celu ułatwienia znaczących efektów uczenia się, w tym nadzoru i kontaktów z pacjentami. Celem krótko- i długoterminowym jest poprawa środowiska edukacji medycznej, aby zapewnić lepszą opiekę zdrowotną pacjentom żyjącym z chorobami reumatycznymi, przy jednoczesnej możliwości zastosowania w innych dyscyplinach medycznych. Chociaż ta aktywność edukacyjna wciąż podlega udoskonaleniom, zapewnia studentom możliwość treningu w bezpiecznym i interaktywnym środowisku.

Tło:

W dzisiejszej opiece zdrowotnej większość usług świadczona jest w poradniach ambulatoryjnych i oddziałach dziennych, co dotyczy również reumatologii. Jednak znacząca część kształcenia zawodów medycznych (HPE) na poziomie licencjackim nadal odbywa się w warunkach szpitalnych, gdzie zapewnienie, aby hospitalizowani pacjenci odpowiadali określonym efektom uczenia się, pozostaje wyzwaniem. Pacjenci wymagający przyjęcia do szpitala zazwyczaj mają przewlekłe schorzenia, często prezentując złożone objawy choroby i powikłania, wraz z istotnymi chorobami współistniejącymi. Pandemia COVID-19 uwydatniła dodatkowe bariery w zaangażowaniu studentów w kontakty z nauczycielami, pacjentami i rówieśnikami. Ta sytuacja, w połączeniu z wcześniejszymi propozycjami alternatywnych podejść do szkolenia teoretycznych i praktycznych umiejętności w HPE na poziomie licencjackim, podkreśla pilną potrzebę innowacyjnych działań edukacyjnych, które ułatwiają znaczące interakcje między studentami a przypadkami pacjentów reprezentowanymi w programach nauczania HPE.

Wirtualni pacjenci (VP) to interaktywne symulacje cyfrowe scenariuszy klinicznych zaprojektowane do celów edukacyjnych i reprezentowane za pomocą różnych systemów i podejść. Podstawowym komponentem symulacji VP jest ich interfejs interaktywny, który umożliwia użytkownikom zaangażowanie z pacjentami na różne sposoby: zbieranie wywiadu medycznego, przeprowadzanie badania fizykalnego i wdrażanie strategii diagnostycznych. Te wszechstronne możliwości interakcji pozwalają użytkownikom zebrać istotne informacje w celu przeprowadzenia diagnostyki i podjęcia odpowiednich planów postępowania dla swoich VP.

Klinika reumatologii w Szpitalu Uniwersyteckim Karolinska uzupełniała praktyki kliniczne dla studentów medycyny przez ostatnie 15 lat, aby zapewnić, że studenci mają kontakt z reprezentatywnymi pacjentami, poprzez włączenie przypadków VP przy użyciu oprogramowania komputerowego, takiego jak ReumaCase i Virtual Interactive Case simulator (VIC). Te platformy są przykładami półliniowych systemów VP, umożliwiając użytkownikom swobodne poruszanie się między z góry określonymi punktami początkowego przedstawienia pacjenta a końcowymi decyzjami diagnostycznymi i terapeutycznymi. Badania HPE zaowocowały nowatorskimi podejściami do uczenia się, w tym zoptymalizowanymi strategiami wdrażania VP oraz rekomendacjami dotyczącymi rozwijania umiejętności rozumowania klinicznego (CR) poprzez praktykę z VP. Chociaż studenci HPE na poziomie licencjackim uznają VP za wartościowe narzędzia edukacyjne do szkolenia CR, przyznają, że te symulacje brakuje złożoności i interaktywności realnych spotkań z pacjentami.

Chociaż umiejętności CR są ważne w edukacji medycznej, niektórzy twierdzą, że empatia jest jedną z najważniejszych umiejętności pracowników opieki zdrowotnej zaangażowanych w opiekę nad pacjentami. Wykazano, że umiejętności empatyczne pracowników opieki zdrowotnej są związane z lepszymi wynikami zdrowotnymi pacjentów i zmniejszają ryzyko hospitalizacji. W edukacji medycznej na poziomie licencjackim zachowania empatyczne są zazwyczaj szkolone za pomocą odgrywania ról ze studentami, aktorami lub nauczycielami odgrywającymi znormalizowanych pacjentów, którzy reprezentują typowe przypadki medyczne z podręczników. Jednak znormalizowani pacjenci mogą być kosztowną opcją, a aspekty dostępności mogą czasami utrudniać praktykę zachowań empatycznych. Alternatywą dla tego mogą być VP, które umożliwiają bardziej autentyczne i interaktywne formy komunikacji.

Ostatnie postępy technologiczne wprowadziły ulepszone metody interaktywne między użytkownikami a VP, szczególnie poprzez sztuczną inteligencję (AI) i robotykę społeczną. Badacze opracowali nowatorską platformę, która została nazwana Społeczny Interfejs Robotyczny Wzbogacony AI (SARI), łącząc robota społecznego Furhat z dużym modelem językowym (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Ta nowatorska platforma została wdrożona dla studentów medycyny w Klinice Reumatologii Szpitala Uniwersyteckiego Karolinska, aby uzupełnić ich szkolenie podczas praktyk klinicznych, obok konwencjonalnych spotkań z VP na komputerze (VIC). Wstępne wyniki sugerują, że studenci postrzegają, iż SARI oferuje bardziej autentyczne i interaktywne doświadczenie VP w rozwijaniu umiejętności CR w porównaniu z konwencjonalną platformą komputerową.

Ten projekt ma na celu ocenę skuteczności SARI jako platformy VP dla studentów medycyny, porównując, czy SARI połączony ze zintegrowanym systemem bezpośredniej informacji zwrotnej generowanej przez AI dalej poprawia wyniki kliniczne w zbieraniu wywiadu medycznego.

Przed tym badaniem badacze opracowali łącznie dziesięć przypadków VP, które zostały wdrożone i są obecnie wykorzystywane na praktykach klinicznych w Oddziale Reumatologii Szpitala Uniwersyteckiego Karolinska. Połowa z tych przypadków została opracowana w platformie komputerowej VIC, a połowa w platformie robotyki społecznej wzbogaconej AI SARI. Przypadki VP w obu platformach zostały opracowane zgodnie z odrębnymi zaleceniami dotyczącymi rozwoju platformy VP i są stale oceniane przez studentów medycyny poprzez bezpośrednią (ustna informacja zwrotna i formularze oceny) i pośrednią (z analizy danych badawczych) informację zwrotną.

Wszystkie przypadki VP są teraz częścią aktywności edukacyjnej "Wirtualna Poradnia Ambulatoryjna", która służy jako uzupełnienie praktyk klinicznych w reumatologii. W ramach tej aktywności wszyscy studenci medycyny szóstego semestru z Karolinska Institutet uczestniczą przez okres półtora dnia roboczego podczas jednotygodniowej praktyki w reumatologii. "Wirtualna Poradnia Ambulatoryjna" trwa w klinice od wiosny 2024 roku, goszcząc około 150 studentów każdego semestru przez okres sześciu tygodni. W tej aktywności edukacyjnej wszyscy studenci wykonują wszystkie unikalne przypadki VP i uczestniczą w seminariach podsumowujących z reumatologami-konsultantami po każdym przypadku, aby omówić pytania dotyczące treści przypadku i reprezentowanych schorzeń reumatycznych. Na początku aktywności wszystkich studentów prosi się o udział w projekcie badawczym poprzez ocenę przypadków VP, aby dalej je ulepszać i badać ich wartość dodaną przy użyciu zwalidowanych wskaźników rozwoju platformy VP. Po wyrażeniu zgody na udział i podpisaniu formularza świadomej zgody, interakcja każdego studenta z SARI jest przechowywana jako plik audio i transkrybowana w czasie rzeczywistym. Do tej pory około 400 studentów miało interakcję z pięcioma przypadkami VP w SARI, co zaowocowało prawie 2000 unikalnych interakcji VP.

Badacze przeprowadzili wstępną ocenę SARI i porównali jego wydajność w samopostrzeganym nabywaniu umiejętności CR przez studentów medycyny w porównaniu z VIC, wykorzystując mieszaną metodologię ilościową i jakościową w 2023 roku. Piętnastu studentów medycyny zostało włączonych i ukończyło ten sam przypadek VP zarówno w SARI, jak i VIC. Samopostrzegane doświadczenie VP studentów skupiające się na szkoleniu CR zostało ocenione przy użyciu wcześniej zwalidowanego wskaźnika rozwoju platformy VP [23]. Ponadto przeprowadzono pogłębione wywiady z 8 studentami medycyny. Ta wstępna ocena wykazała znaczące korzyści na rzecz SARI dla tematu autentyczności, a także efektu uczenia się spotkania z VP zgodnie z wstępnie zdefiniowanymi tematami w kwestionariuszu oceny VP. Wraz z analizą tych wstępnie zdefiniowanych tematów, przeprowadzono analizę tematyczną danych z pogłębionych wywiadów, co zaowocowało czterema tematami. Studenci doświadczyli SARI jako lepszego niż VIC w szkoleniu CR, komunikacji i umiejętności emocjonalnych.

Podczas wiosny 2024 roku łącznie 23 studentów z Wirtualnej Poradni Ambulatoryjnej uczestniczyło w pogłębionych wywiadach jako projekt kontynuacyjny dotyczący ich postrzegania wartości dodanej SARI i VIC w zakresie nabywania umiejętności CR. Do tego badania badacze stworzyli 4 dodatkowe przypadki VP w każdej platformie. Ponadto, wszyscy studenci uczestniczyli w seminariach po zakończeniu każdego przypadku, aby naśladować nadzór podczas realnych spotkań z pacjentami. Analiza tematyczna w pełni transkrybowanych wywiadów dała podobne wyniki: studenci uznali SARI za bardziej autentyczne i angażujące w porównaniu z VIC oraz doświadczyli, że SARI umożliwia wysoce interaktywne możliwości komunikacji i może wyrażać emocje, co łącznie oferuje realistyczne doświadczenie. SARI ułatwiało aktywne uczenie się, generowanie hipotez i myślenie adaptacyjne w większym stopniu niż VIC, pozwalając studentom formułować własne pytania zamiast wybierać między wstępnie określonymi opcjami zbierania wywiadu medycznego.

Przed interakcjami z VP studenci otrzymują ustrukturyzowane szkolenie w zbieraniu wywiadu medycznego, obejmujące zarówno aspekty ogólne (zastosowanie w różnych specjalnościach medycznych), jak i specyficzne dla reumatologii komponenty. To przygotowawcze szkolenie zapewnia, że studenci mają podstawową wiedzę przed zaangażowaniem się w przypadki VP.

Studenci zazwyczaj pracują w parach lub małych grupach trzyosobowych podczas interakcji z VP, z jednym studentem pełniącym wiodącą rolę w każdym spotkaniu z pacjentem. To podejście współpracy jest zgodne z dowodami wspierającymi uczenie się rówieśnicze w szkoleniu rozumowania klinicznego opartym na VP. Wiodący student przeprowadza główną interakcję z VP, podczas gdy inni członkowie grupy obserwują i mogą przyczyniać się do późniejszej dyskusji i formułowania diagnozy.

Społeczny Interfejs Robotyczny Wzbogacony AI (SARI):

SARI reprezentuje nowatorską modalność VP, która integruje robotykę społeczną z dużym modelem językowym (LLM) sztucznej inteligencji. Platforma łączy robota społecznego Furhat (opracowanego w KTH Royal Institute of Technology, Sztokholm) z modelami językowymi GPT-4o-mini od OpenAI.

Robot Furhat składa się z fizycznej głowy robotycznej zamontowanej na stojaku, wyposażonej w animowaną twarz wyświetlaną z tyłu, która pokazuje mimikę twarzy i ruchy ust zsynchronizowane z mową. Robot zawiera zestaw mikrofonów do rozpoznawania mowy i głośniki do wyjścia audio. Fizyczna obecność robota w pomieszczeniu tworzy to, co badacze nazywają "interakcją sytuacyjną", w której robot zajmuje rzeczywistą przestrzeń fizyczną, a nie istnieje wyłącznie jako interfejs oparty na ekranie.

System dialogowy VP działa poprzez następujący przepływ techniczny:

1. Rozpoznawanie mowy: Mowa studenta jest przechwytywana przez zestaw mikrofonów robota i konwertowana na tekst przy użyciu technologii automatycznego rozpoznawania mowy (ASR).

2. Przetwarzanie dialogu: Transkrybowane wejście studenta jest łączone z:

   • Szczegółowym opisem przypadku pacjenta (w tym wywiad medyczny, objawy, wyniki badania i cechy osobowości)
   • Ostatnimi 10 zwrotami dialogowymi (aby zachować kontekst konwersacyjny przy unikaniu nadmiernego użycia tokenów)
   • Instrukcjami systemowymi, które skłaniają LLM do odpowiadania z perspektywy pacjenta, a nie jako ogólny asystent
3. Generowanie odpowiedzi: LLM generuje odpowiedzi odpowiednie kontekstowo na podstawie przypadku pacjenta i historii rozmowy.
4. Modelowanie emocji: W określonych punktach kotwiczących podczas rozmowy LLM generuje również instrukcje dotyczące odpowiedniej mimiki twarzy (np. zaniepokojony, ulżony, niespokojny, zdezorientowany) na podstawie kontekstu konwersacyjnego. System wybiera z wstępnie zdefiniowanego zestawu ekspresji dostępnych w oprogramowaniu Furhat.
5. Synteza mowy: Wygenerowane odpowiedzi tekstowe są konwertowane na naturalnie brzmiącą mowę przy użyciu technologii zamiany tekstu na mowę (TTS), z animowaną twarzą pokazującą zsynchronizowane ruchy ust i wybraną ekspresję emocjonalną.
6. Transkrypcja: Cały dialog jest automatycznie transkrybowany w czasie rzeczywistym i przechowywany bezpiecznie do późniejszego generowania informacji zwrotnej i analizy badawczej.

Każdy przypadek VP jest zgodny z ustalonymi zasadami rozwoju VP, w tym:

• Jasne cele uczenia się zgodne z wymaganiami programu nauczania
• Realistyczne prezentacje pacjentów oparte na typowych scenariuszach klinicznych
• Odpowiedni poziom złożoności dla studentów medycyny szóstego semestru
• Integracja zarówno powszechnych schorzeń, jak i diagnostycznie trudnych prezentacji
• Włączenie istotnych czynników psychospołecznych i obaw pacjenta

Wszystkie przypadki VP są prezentowane w języku angielskim, aby uwzględnić międzynarodowych studentów uczestniczących w programie. Standardowe panele badań laboratoryjnych z wynikami specyficznymi dla przypadku są dostarczane wraz z każdym przypadkiem.

Przypadki VP reprezentują różnorodne schorzenia reumatologiczne, w tym zapalne artropatie, choroby tkanki łącznej i zaburzenia mięśniowo-szkieletowe. Każdy przypadek wymaga od studentów przeprowadzenia kompleksowego zbierania wywiadu medycznego, w tym charakterystyki objawów, oceny funkcjonalnej, historii leków i odpowiedniego przeglądu układów.

System informacji zwrotnej użyty jako interwencja w tym badaniu wykorzystuje wyrafinowany dwustopniowy algorytm opracowany iteracyjnie we współpracy z reumatologami-konsultantami:

Etap 1: Model oceny

Pierwszy etap analizuje kompletny transkrypt dialogu student-VP przy użyciu wstępnie zdefiniowanej rubryki oceny. Ta rubryka ocenia wiele wymiarów wydajności klinicznej:

Umiejętności komunikacyjne:

• Otwieranie konsultacji w odpowiedni sposób
• Budowanie relacji z pacjentem
• Używanie jasnego języka wolnego od żargonu
• Demonstrowanie aktywnego słuchania
• Wykazywanie empatii i adresowanie obaw pacjenta
• Zamykanie konsultacji w odpowiedni sposób

Ogólne zbieranie wywiadu medycznego:

• Eksploracja przeszłej historii medycznej
• Aktualne leki i alergie
• Historia rodzinna istotnych schorzeń
• Historia społeczna (zawód, sytuacja mieszkaniowa, systemy wsparcia)
• Czynniki stylu życia (palenie, alkohol, ćwiczenia)
• Przegląd układów

Specyficzne dla reumatologii zbieranie wywiadu:

• Systematyczna ocena objawów stawowych
• Charakteryzacja bólu (początek, lokalizacja, czas trwania, jakość, promieniowanie, czynniki nasilające/łagodzące)
• Ocena wpływu funkcjonalnego (czynności dnia codziennego, zdolność do pracy)
• Czas trwania i wzorzec porannej sztywności
• Pozastawowe manifestacje
• Rozpoznawanie wzorców dla objawów zapalnych versus mechanicznych

Komponenty rozumowania klinicznego:

• Systematyczne podejście do gromadzenia informacji
• Rozpoznawanie wzorców objawów i ich znaczenia klinicznego
• Odpowiednia szerokość rozważania diagnozy różnicowej
• Logiczna progresja przez zbieranie wywiadu

Model oceny używa LLM do oceny każdego dialogu względem tej rubryki, generując ustrukturyzowane oceny mocnych stron i obszarów do poprawy w tych domenach.

Etap 2: Generowanie informacji zwrotnej

Drugi etap przekształca ustrukturyzowaną ocenę z Etapu 1 w czytelną, konstruktywną informację zwrotną w formie pisemnej. Generowanie informacji zwrotnej używa starannie opracowanych podpowiedzi, które instruują LLM, aby:

• Przedstawić informację zwrotną w wspierającym, edukacyjnym tonie
• Podawać konkretne przykłady z dialogu studenta
• Uznawać mocne strony przed adresowaniem obszarów do poprawy
• Oferować konkretne sugestie ulepszeń
• Skupiać się na uczeniu się, a nie ocenie

Treść i zakres informacji zwrotnej Studenci otrzymują około jednej strony (300-500 słów) ustrukturyzowanej pisemnej informacji zwrotnej bezpośrednio po każdym z pięciu wyznaczonych spotkań z VP. Informacja zwrotna skupia się konkretnie na umiejętnościach zbierania wywiadu medycznego i nie dotyczy trafności diagnostycznej ani decyzji terapeutycznych, ponieważ te aspekty są omawiane na późniejszych seminariach z reumatologami-konsultantami.

Grupa kontrolna wykonuje identyczne przypadki VP przy użyciu tej samej platformy SARI, ale nie otrzymuje informacji zwrotnej generowanej przez AI. Jednak obie grupy otrzymują równoważną ekspozycję na technologię VP z robotyką społeczną, uczestniczą w identycznych seminariach specyficznych dla przypadku po zakończeniu przypadku z reumatologami-konsultantami i mają dostęp do transkryptów dialogów do samodzielnego przeglądu. Jedyną systematyczną różnicą jest obecność lub brak informacji zwrotnej generowanej przez AI.

Ocena jest przeprowadzana przy użyciu struktury opartej na obiektywnym ustrukturyzowanym egzaminie klinicznym (OSCE) ze znormalizowanymi pacjentami (SP) po interakcji ze wszystkimi dostępnymi VP w SARI. SP otrzymują pisemne informacje o przypadku opisujące prezentację pacjenta, historię objawów i odpowiednie tło. SP otrzymują również szkolenie w zakresie spójnych odpowiedzi na typowe formaty pytań oraz instrukcje dotyczące odpowiednich reakcji emocjonalnych, komunikacji niewerbalnej i radzenia sobie z nieoczekiwanymi pytaniami.

Rubryka OSCE użyta w tym badaniu została opracowana we współpracy z doświadczonymi reumatologami-konsultantami na podstawie ram Działalności Zawodowej Powierzanej (EPA) specyficznych dla kompetencji zbierania wywiadu medycznego. Rubryka przeszła testy pilotażowe i udoskonalenia, aby zapewnić niezawodność między oceniającymi.

Ocena obejmuje pięć odrębnych domen z określonymi przydziałami punktów (łącznie 10 punktów):

• Komunikacja na początku konsultacji (0-3 punkty): 30% całkowitej punktacji
• Ogólny wywiad medyczny (0-3,5 punktu): 35% całkowitej punktacji
• Ukierunkowany wywiad medyczny (0-1,5 punktu): 15% całkowitej punktacji
• Rozumowanie diagnostyczne i terapeutyczne (0-1 punkt): 10% całkowitej punktacji
• Komunikacja na końcu konsultacji (0-1 punkt): 10% całkowitej punktacji

Wynik 6 punktów odpowiada zdaniu egzaminu opartego na OSCE. Jednak studenci otrzymują informację, że to badanie nie miało celów egzaminacyjnych i nie wpłynęło w żaden sposób na ich oceny.

Dwóch reumatologów-konsultantów przeprowadziło wszystkie oceny OSCE, zaślepionych w stosunku do przydziału do grupy interwencyjnej lub kontrolnej. Oceniający otrzymali tylko rubrykę oceny i nie mieli wiedzy o tym, którzy studenci otrzymali informację zwrotną generowaną przez AI. To zaślepienie było utrzymywane przez cały okres zbierania danych.