Skuteczność werbalnych inteligentnych instrukcji nauczyciela w symulacji neurochirurgicznej

Tło: Profesjonalne umiejętności techniczne w chirurgii są powiązane z lepszymi wynikami leczenia; jednakże szkolenie nowicjuszy w zakresie opanowania tych umiejętności pozostaje wyzwaniem. Inteligentny system ciągłego monitorowania wiedzy specjalistycznej (ICEMS) to aplikacja do głębokiego uczenia się, która została opracowana w Centrum Symulacji Neurochirurgii i Sztucznej Inteligencji w celu poprawy edukacji neurochirurgicznej. ICEMS ocenia i szkoli skuteczność chirurgii dwuręcznej, zapewniając ciągłą informację zwrotną w formie instrukcji ustnych, aby poprawić wyniki uczestnika szkolenia i ograniczyć błędy.

Uzasadnienie: Poprzednie randomizowane badanie kontrolowane (RCT) przeprowadzone w naszym ośrodku wykazało, że inteligentne korepetycje są skuteczniejsze niż fachowe korepetycje w zakresie symulowanego zabiegu neurochirurgicznego (NCT05168150). Inne badanie RCT wykazało, że wyniki studentów medycyny w odpowiedzi na instrukcje ICEMS dotyczące zmniejszania przykładania siły w przypadku choroby afektywnej dwubiegunowej były zmienne (NCT04700384). Algorytm grupowania aglomeracyjnego podzielił te zmienne reakcje uczniów na 3 grupy: 53% z powodzeniem zastosowało się do instrukcji, aby poprawić błąd, 36% nie zastosowało się do instrukcji, a 11% nadmiernie zareagowało na instrukcję. Ta zmienność reakcji może znacząco ograniczyć użyteczność ICEMS i można ją przypisać różnym stylom uczenia się, poziomom stresu lub błędnej interpretacji instrukcji AI. Podczas tego badania trenerzy-eksperci nie otrzymali danych o błędach ICEMS. Przeprowadzenie nowego RCT, w ramach którego trenerzy-eksperci otrzymają dane o błędach ICEMS, wyjaśni powód, dla którego wielu stażystów nie odpowiedziało na instrukcje AI.

Niniejszy raport jest zgodny ze skonsolidowanymi standardami raportowania prób – sztuczną inteligencją (CONSORT-AI), a także listą kontrolną uczenia maszynowego w celu oceny wiedzy chirurgicznej (MLASE).

Hipotezy:

1. Werbalne informacje zwrotne od sztucznej inteligencji dadzą uczestnikom znacznie niższy odsetek skutecznych odpowiedzi niż identyczne informacje zwrotne o błędach przekazywane przez instruktorów-ludzi.
2. Wyniki oceny wyników stażystów będą znacznie wyższe w dwóch różnych ocenianych grupach nauczania.
3. Instrukcje dostarczane przez nauczyciela AI spowodują zwiększony poziom stresu i obciążenia poznawczego w porównaniu z komunikatami o błędach werbalnych przekazywanymi przez instruktorów-ludzi.

Cele główne: Określenie, w jaki sposób sposób przekazania instrukcji dotyczącej błędu chirurgicznego wpływa na:

1. Reakcja stażysty na instrukcje, tj. czy poprawiła, nie poprawiła, czy też przesadziła z błędem (dane zebrane przez ICEMS).
2. Ogólna wydajność chirurgiczna stażysty (średni wynik wiedzy specjalistycznej w scenariuszach praktycznych obliczony przez ICEMS, wynik obiektywnej ustrukturyzowanej oceny umiejętności technicznych (OSATS) w oparciu o realistyczny scenariusz określony przez dwóch zaślepionych ekspertów).

Cel dodatkowy: Określenie, w jaki sposób sposób przekazywania instrukcji dotyczących błędów chirurgicznych wpływa na afektywne reakcje poznawcze uczestnika szkolenia (określane samodzielnie za pomocą kwestionariuszy na 5-punktowej skali Likerta).

Miejsce akcji: Centrum symulacji neurochirurgicznej i nauki o sztucznej inteligencji na Uniwersytecie McGill.

Uczestnicy: Studenci zapisani na rok przygotowawczy, pierwszy lub drugi w jednej z czterech szkół medycznych w Quebecu.

Projekt: trójramienne, randomizowane badanie kontrolowane.

Interwencja: Uczestnicy przejdą około 90-minutową sesję szkoleniową na NeuroVR (CAE Healthcare), symulatorze chirurgicznym rzeczywistości wirtualnej (VR), który symuluje resekcję guza mózgu podskórnego. NeuroVR ma dwa możliwe scenariusze: prosty scenariusz praktyczny i złożony realistyczny scenariusz. Uczestnicy wykonają sześć powtórzeń scenariusza praktycznego (po 5 minut), a następnie scenariusza realistycznego (13 minut). ICEMS będzie stale oceniać wyniki podczas całego okresu próbnego. Wszyscy uczestnicy otrzymają ustną informację zwrotną, gdy ICEMS wykryje błąd w ich wykonaniu; jednakże sposób przekazywania tej werbalnej informacji zwrotnej będzie różny w zależności od grupy.

• Grupa 1 (kontrola) otrzyma ustną informację zwrotną bezpośrednio od ICEMS po wykryciu błędu.
• Grupa 2 (eksperymentalna) otrzyma ustną informację zwrotną od doświadczonego instruktora wyrażoną tymi samymi słowami, co ICEMS.
• Grupa 3 (eksperymentalna) otrzyma ustną informację zwrotną od doświadczonego instruktora, przekazaną jej własnymi słowami.

Werbalna informacja zwrotna będzie oparta na czterech następujących parametrach: (1) odległość między końcówkami instrumentu, tj. odległość pomiędzy końcówkami kleszczyków bipolarnych a aspiratorem ultradźwiękowym; (2) niska siła dwubiegunowa; (3) duża siła zasysania; (4) wysoka siła dwubiegunowa. Uczestnicy będą oceniani pod kątem jednego wskaźnika na raz i będą mieli możliwość obejrzenia filmu demonstracyjnego na poziomie eksperckim, zanim przejdą do każdego nowego wskaźnika. Po opanowaniu danej metryki uczestnik przechodzi do następnej metryki. Metrykę uważa się za „opanowaną”, gdy osoba szkolona wykonuje całe powtórzenie bez otrzymania informacji zwrotnej.

Pierwszy scenariusz praktyczny posłuży jako punkt odniesienia; w związku z tym nie będzie udzielana żadna informacja zwrotna. W drugim, trzecim, czwartym i piątym powtórzeniu zostanie podana informacja zwrotna zgodnie z wykryciem błędu ICEMS. W szóstym powtórzeniu oraz w scenariuszu realistycznym nie będzie udzielana żadna informacja zwrotna.

Znaczenie: Ponieważ podejście do edukacji chirurgicznej zaczyna się zmieniać w kierunku ram opartych na kompetencjach, wdrożenie skutecznych informacji zwrotnych z edukacji w zakresie sztucznej inteligencji do szkolenia chirurgicznego staje się kluczowe dla optymalizacji uczenia się w chirurgii. Wyniki tego badania RCT umożliwią ocenę i przeprojektowanie ICEMS i innych systemów nauczania sztucznej inteligencji, co może przyspieszyć rozwój nie tylko standardowych programów nauczania w zakresie edukacji chirurgicznej opartych na kompetencjach, ale także dowolnej technologii nauczania sztucznej inteligencji zależnej od instrukcji werbalnych.