Testowanie skuteczności systemu coachingu w czasie rzeczywistym opartego na sztucznej inteligencjiSystemSimulatioSzkolenie studentów medycyny

Tło Postępy w dziedzinie symulacji chirurgicznej i sztucznej inteligencji zaowocowały rozwojem inteligentnych systemów oceny umiejętności technicznych i nauczania, aby sprostać potrzebom podejścia opartego na kompetencjach w edukacji medycznej. Te nowatorskie narzędzia edukacyjne oferują rozwiązania w zakresie standaryzacji i obiektywności oceny i szkolenia kompetencji technicznych ucznia w pozbawionych ryzyka symulowanych środowiskach operacyjnych. Systemy te mogą uzupełniać złoty standardowy model praktyk zawodowych w szkoleniu w chirurgii i innej medycynie opartej na procedurach, dostarczając szczegółowych informacji na temat umiejętności technicznych, zorientowanych na działanie wskazówek proceduralnych i oceny ryzyka. Takie aplikacje mogą pomóc nauczycielom w opracowaniu obiektywnej, formatywnej i sumatywnej oceny uczniów oraz metodologii nauczania.

Uzasadnienie Inteligentny System Ciągłego Monitorowania (ICEMS), aplikacja do głębokiego uczenia oparta na sztucznej inteligencji (AI), została opracowana w celu ciągłej oceny wydajności chirurgicznej w odstępach 0,2 sekundy z możliwością szkolenia stażystów do poziomu eksperta i wykrywania ryzyka. System ten objęty jest zgłoszeniem patentowym zatytułowanym „Metody i systemy ciągłego monitorowania wykonywania zadań na wirtualnych symulatorach” (2020; patent nr 05001770-883USPR). Wcześniej zapewniono trafność predykcyjną dla modułu oceny, jednak należy zbadać skuteczność tego systemu w coachingu uczestników szkolenia w czasie rzeczywistym i wykrywaniu ryzyka.

Cele badawcze Porównanie skuteczności inteligentnego systemu coachingu w czasie rzeczywistym ze złotym standardem informacji zwrotnych uzyskanych za pośrednictwem ekspertów. Aby przetestować przeniesienie nauki podczas zadań praktycznych do bardziej złożonego realistycznego scenariusza.

hipotezy

1. Grupa informacji zwrotnej ICEMS znacznie poprawi łączny wynik między pierwszą a ostatnią próbą w scenariuszu praktycznym.
2. Grupa kontrolna, w której nie pośredniczono przez ekspertów, nie uzyskała pośredniej opinii porównawczej post hoc, nie poprawi statystycznie wyniku złożonego między pierwszą a ostatnią próbą w scenariuszu praktycznym.
3. Grupa informacji zwrotnej ICEMS będzie miała statystycznie wyższy wynik złożony w porównaniu z grupą kontrolną w piątej próbie w scenariuszu praktycznym.
4. Grupa informacji zwrotnej ICEMS uzyska łączny wynik statystycznie nie gorszy w porównaniu z grupą instruktażu z udziałem ekspertów w piątym podejściu do scenariusza ćwiczeń.
5. Ogólny wynik OSATS grupy informacji zwrotnej ICEMS nie będzie gorszy od wyniku grupy instruktażowej prowadzonej przez ekspertów w złożonym realistycznym scenariuszu.
6. Ta informacja zwrotna ICEMS nie spowoduje różnicy w emocjach lub obciążeniu poznawczym w porównaniu z grupą instruktażową, w której pośredniczą eksperci.

Cele szczegółowe: 1) Ocena, czy skuteczność dostosowanej informacji zwrotnej w czasie rzeczywistym za pośrednictwem sztucznej inteligencji jest statystycznie nie gorsza od osobistej informacji zwrotnej przekazywanej przez ekspertów w doskonaleniu dwuręcznych umiejętności chirurgicznych studentów medycyny w dwóch wirtualnie symulowanych zadaniach chirurgicznych.

2) Określenie, czy system sprzężenia zwrotnego ICEMS wywołuje inne emocje i obciążenie poznawcze w porównaniu z instrukcjami ludzkimi

Projekt: trójramienna, randomizowana, kontrolowana próba z pojedynczą ślepą próbą szkolenia AI w porównaniu ze szkoleniem z udziałem ekspertów w porównaniu ze szkoleniem bez udziału ekspertów.

Otoczenie: Centrum Symulacji Neurochirurgicznej i Nauki Sztucznej Inteligencji, Instytut Neurologiczny w Montrealu.

Uczestnicy: Studenci, którzy są zapisani na swój pierwszy rok lub pierwszy do czwartego roku w szkołach medycznych w całej prowincji Quebec.

Zadanie: Całkowite usunięcie pięć razy symulowanego guza praktycznego i raz złożonego symulowanego guza mózgu z minimalnym krwawieniem i uszkodzeniem otaczających symulowanych zdrowych struktur mózgu za pomocą dwóch narzędzi chirurgicznych (aspiratora ultradźwiękowego i szczypiec dwubiegunowych) przy użyciu symulatora chirurgicznego NeuroVR (CAE Healthcare).

Interwencja: pojedyncza 90-minutowa sesja szkoleniowa obejmująca sześć prób wirtualnej resekcji guza podnasadowego (pięć prostych scenariuszy praktycznych i jeden złożony scenariusz realistyczny) wraz z oceną i informacją zwrotną od:

1. Inteligentny System Ciągłego Monitorowania Ekspertyz (ICEMS) (Grupa 1)
2. osobista informacja zwrotna od eksperta (Grupa 2)
3. brak pośrednictwa ekspertów, opinie porównawcze post hoc (grupa 3)

Główne wyniki i środki:

Podstawowym wynikiem jest poprawa wydajności chirurgicznej w wyniku złożonym ocenianym przez wcześniej zatwierdzony moduł oceny Inteligentnego Systemu Ciągłego Monitorowania Ekspertyz (ICEMS). Poprawa wydajności jest mierzona jako złożona różnica punktów między próbami uczestnika podczas pięciu prób ćwiczeń. Transfer wiedzy zostanie oceniony na podstawie złożonego wyniku uzyskanego w złożonym realistycznym scenariuszu.

Drugorzędnym wynikiem jest ocena wyników uczestników w realistycznym zadaniu, która zostanie oceniona przez zaślepionych ekspertów przy użyciu globalnej skali ocen Umiejętności Technicznych (OSATS). Różnice w sile wywołanych emocji będą mierzone za pomocą Medycznej Skali Emocji Duffy'ego (MES), przed i po interwencji, a różnica w obciążeniu poznawczym będzie mierzona za pomocą Indeksu Obciążenia Poznawczego (CLI) Leppinka po interwencji

Badanie to, zgodnie z wiedzą badaczy, jest pierwszą aplikacją porównującą skuteczność inteligentnego systemu sprzężenia zwrotnego w czasie rzeczywistym ze złotym standardem instrukcji ludzkich. Badanie to ma na celu określenie skutecznych metod szkoleniowych z wykorzystaniem platform szkoleniowych symulatorów chirurgicznych zasilanych sztuczną inteligencją, dzięki czemu stażyści otrzymują obiektywną, dostosowaną do potrzeb ocenę umiejętności technicznych i coaching przy użyciu najnowocześniejszych technologii.

Dane Uczestnika Planu Analiz Statystycznych będą anonimizowane i przechowywane. Inteligentny System Ciągłego Monitorowania Ekspertyz (ICEMS) będzie używany do oceny wydajności chirurgicznej przy użyciu nieprzetworzonych danych dotyczących wydajności i dostarczania oceny wydajności w odstępach co 0,2 sekundy. Dla każdego zadania zostanie obliczona średnia ocena złożona. W obrębie grup i pomiędzy grupami zostaną przeprowadzone porównania w celu oceny uczenia się od pierwszej próby (wyniki wyjściowe) do piątej próby i porównania poprawy między grupami. Złożony wynik dla realistycznego scenariusza zostanie obliczony przez ICEMS w celu oceny transferu nauki. Poprawa wyniku uczestnika zostanie zbadana za pomocą ANOVA z powtarzanymi pomiarami. Biorąc pod uwagę potencjalną wielkość efektu 25%, moc statystyczną 0,95 i istotność 0,05, w tym badaniu należy zatrudnić 29 uczestników w każdej grupie. Wyniki uczestników w piątej próbie ćwiczeń zostaną porównane między grupami za pomocą ANOVA do porównania uczenia się. Ta sama analiza zostanie przeprowadzona dla realistycznej próby porównania transferu wiedzy między grupami.

Wyniki w realistycznej próbie zostaną ocenione przez niewidomych ekspertów przy użyciu globalnej skali ocen OSATS, przy użyciu wideo z wynikami uczestników. Globalny wynik OSATS zostanie porównany między grupami w celu porównania skuteczności uczenia się za pomocą analizy ANOVA.