Opracowanie i informacje zwrotne dotyczące szkolenia w zakresie rozumowania klinicznego

Powtarzane testy kształtujące (tj. bez stopniowania) poprawiają wyniki nauczania uczniów w zakresie umiejętności rozumowania klinicznego. W Uniwersyteckim Centrum Medycznym w Göttingen (UMG) przeprowadzono już w przeszłości szereg badań nad tzw. efektem testowania. Wykazali między innymi, że zajmowanie się przypadkami klinicznymi nagranymi na wideo w porównaniu z przypadkami pisemnymi zwiększa krótkoterminowe wyniki, ale nie długoterminowe retencję. Niedawno w jednym badaniu zajęto się pytaniem, czy umiejętności rozumowania klinicznego mogą być wspierane przez opracowywanie nieprawidłowych odpowiedzi. Wyniki poprzedniego badania sugerowały, że znaczna liczba uczniów nie była wystarczająco zmotywowana do udzielania dokładnych odpowiedzi na pytania szczegółowe. Wrażenie to utrzymało się nawet po wprowadzeniu zachęt finansowych dla studentów, choć odnotowano niewielki, ale znaczący efekt interwencji (procentowy wynik na egzaminie końcowym: 65,7 +/- 19,6% vs. 62,3 +/- 22,9%; p = 0,022). Jednak wyniki uczniów pozostały co najwyżej umiarkowane. W związku z tym interwencja zostanie teraz rozszerzona o automatyczną informację zwrotną przekazywaną pocztą elektroniczną. Wszyscy studenci biorący udział w elektronicznym seminarium opartym na przypadku (e-seminarium) otrzymają po wydarzeniu indywidualną wiadomość e-mail, zawierającą ich surowy wynik punktowy, a także pisemne odpowiedzi na pytania szczegółowe i komentarze ekspertów odzwierciedlające aktualną wiedzę medyczną.

Ta próba dotyczy następującego pytania badawczego:

Jaki jest wpływ opracowywania i późniejszej automatycznej i indywidualnej informacji zwrotnej po e-seminariach na umiejętności rozumowania klinicznego studentów medycyny?

2. Kontekst i poprzednie prace Zgodnie z ostatnimi odkryciami, zdobywanie wiedzy nie jest procesem pasywnym. Zamiast tego długoterminowe przechowywanie jest ułatwione przez sam akt odzyskiwania („hipoteza odzyskiwania”). Potencjalnie ten efekt, który został również nazwany „bezpośrednim efektem testowania”, może również wynikać z dodatkowej ekspozycji na treść podczas oceny. Jednak złożone badania, w których ekspozycja była kontrolowana eksperymentalnie, nie potwierdziły tej „hipotezy czasu całkowitego”. Skuteczność badań jako wzmacniaczy pamięci w odniesieniu do edukacji medycznej została wykazana w wielu badaniach. Jednak wiele z nich stosowało krótkie okresy obserwacji (np. 7 dni) lub wdrażało testy reprodukcji na niskim poziomie taksonomicznym. Jednak badania te sugerują, że egzaminy formatywne mogą promować procesy uczenia się. Zgodnie z przeglądem tematu, egzaminy te powinny zawierać testy produkcyjne i być powtarzane z odpowiednimi odstępami. Ponadto studenci powinni otrzymać informację zwrotną wkrótce po egzaminie.

Biorąc pod uwagę te zalecenia, w 2013 roku w naszej instytucji w trzech kolejnych modułach nauczania wdrożono podłużne badania kluczowych cech. Te oparte na przypadkach badania nadają się do rozwijania złożonych umiejętności poznawczych. Kluczową cechę definiuje się jako krytyczny krok w rozwiązaniu problemu klinicznego. Zgodnie z tą definicją przypadek kluczowy składa się z winiety przypadku i około pięciu kolejnych pytań dotyczących podejścia diagnostyczno-terapeutycznego. W przeciwieństwie do pytań wielokrotnego wyboru z jedną najlepszą odpowiedzią, uczniowie nie mogą wybrać z listy pięciu opcji odpowiedzi, ale muszą udzielić pisemnej odpowiedzi. Dlatego zamiast rozpoznawania prawidłowej odpowiedzi celem badania kluczowych cech jest aktywne uzyskanie poprawnej odpowiedzi. Aby uchronić uczniów przed popełnianiem kolejnych błędów, przy próbie odpowiedzi na kolejne pytanie są informowani o poprawnych odpowiedziach na poprzednie pytania. W tym momencie uczniowie otrzymują również statyczną informację zwrotną na temat swojej poprzedniej odpowiedzi.

Niedawno opublikowano wyniki randomizowanego badania krzyżowego porównującego aktywne wyszukiwanie przy użyciu pytań dotyczących kluczowych cech z wielokrotnym badaniem tego samego materiału. Dane pokazały, że praca nad kluczowymi przypadkami funkcji ze statycznym sprzężeniem zwrotnym przyniosła większy średnioterminowy efekt uczenia się niż bierne ponowne studiowanie tej samej treści. Konkretna rola informacji zwrotnej w tym procesie pozostała jednak niejasna.

Aktualne wyniki badań psychologii edukacyjnej sugerują, że błędy diagnostyczne popełniane w chronionym środowisku edukacyjnym mogą służyć jako punkt wyjścia do dalszych opracowań, które ostatecznie mogą doprowadzić do zmniejszenia liczby błędów diagnostycznych w praktyce klinicznej. Ta próba ma na celu wdrożenie i ocenę tej koncepcji. W tym celu przeanalizowano istniejące dane uzyskane w poprzednich badaniach w UMG pod kątem powszechnych błędów rozumowania klinicznego (CCRE). Na tej podstawie e-seminaria prowadzone równolegle z nauczaniem programowym w trzech wspomnianych modułach zostały zmodyfikowane w ten sposób, że po udzieleniu odpowiedzi na konkretne pytania studenci byli zachęcani do komentowania częstych CCRE („opracowanie”). Analiza wpisów uczniów wykazała, że ​​pomimo zrealizowania całości treści na poprzednich sesjach dydaktycznych, znaczna część wpisów stanowiła luźne odpowiedzi (np. „nie wiem” lub „nie mam pojęcia”), co sugeruje, że studenci mogli nie ćwiczenie wystarczająco poważne. W rzeczywistości pogląd ten został potwierdzony w komentarzach studentów podczas dyskusji w grupach fokusowych po badaniu głównym. W konsekwencji badanie powtórzono w następnym roku, tym razem udzielając pełnych odpowiedzi na pytania do opracowań, zachęcając je bonami książkowymi. W tej sytuacji odnotowano znaczący efekt interwencji, ale wyniki uczniów były nadal co najwyżej umiarkowane. Biorąc pod uwagę znaczenie informacji zwrotnej dla procesów uczenia się wywołanych przez egzaminy kształtujące, aspekt ten zostanie wzmocniony w opisanym tutaj badaniu. Studenci mogą już otwierać pole tekstowe zawierające statyczne informacje zwrotne po każdym pytaniu, ale jak dotąd nie otrzymywali osobistych informacji zwrotnych po każdym egzaminie. W semestrze zimowym 2018/19 wszyscy studenci biorący udział w badaniu otrzymają indywidualne e-maile zawierające (a) surowy wynik punktowy uzyskany w każdym e-seminarium, (b) statyczne opinie ekspertów do pytań szczegółowych oraz (c) własne wpisy do te pytania doprecyzowujące. W ten sposób uczniowie będą mogli porównać własne odpowiedzi z opiniami instruktora.

3. Projekt i prowadzenie badania

Jest to randomizowana, kontrolowana, krzyżowa próba edukacyjna. Uczestniczący studenci zostaną podzieleni na warstwy według płci i wyników egzaminów sumatywnych w poprzednim semestrze. Następnie zostaną losowo przydzieleni do jednej z dwóch grup badawczych w stosunku 1:1. Podczas cotygodniowych e-seminariów pracują nad przypadkami klinicznymi, zajmując się strategiami diagnostycznymi i terapeutycznymi potrzebnymi do postępowania z pacjentami z dominującymi objawami ogólnych zaburzeń medycznych. Przypadki zostaną przedstawione jako kluczowe przypadki z pięcioma pytaniami na przypadek. W przypadku niektórych z tych pytań zostaną napisane pytania szczegółowe. Skupią się one na powszechnych nieporozumieniach i błędach w rozumowaniu klinicznym. W przypadku użycia jako „elementów interwencyjnych”, pytania szczegółowe będą wyświetlane po pierwotnym pytaniu dotyczącym kluczowych cech. Uczniowie zostaną poproszeni o wprowadzenie odpowiedzi w postaci dowolnego tekstu. Po ukończeniu zarówno pierwotnego elementu, jak i pytania szczegółowego, będą mogli uzyskać dostęp do statycznej informacji zwrotnej („komentarz eksperta”). Ta informacja zwrotna zostanie zawarta w wiadomości e-mail wysłanej do wszystkich studentów następnego dnia po e-seminarium, zawierającej również dane dotyczące indywidualnych wyników oraz odpowiedź studenta na pytanie dotyczące opracowania. Gdy jest używany jako „element kontrolny”, wyświetlane jest to samo kluczowe pytanie, a uczniowie mogą uzyskać dostęp do komentarza eksperta bezpośrednio po udzieleniu odpowiedzi na pytanie. Informacje o elementach kontrolnych nie będą zawarte w przesłanej opinii. Każdy uczeń będzie miał do czynienia odpowiednio z 15 elementami interwencyjnymi i kontrolnymi, a każdy z nich zostanie pokazany dwukrotnie w ciągu 10 tygodni. Pozycje, które są pokazane jako pozycje interwencyjne w jednej randomizowanej grupie, zostaną pokazane jako pozycje kontrolne w drugiej grupie i odwrotnie, dzięki czemu każdy uczeń będzie miał własną kontrolę. Na koniec badania dla każdego ucznia zostaną obliczone indywidualne wyniki „pozycji interwencyjnej” i „pozycji kontrolnej”, a te dwa wyniki zostaną porównane za pomocą sparowanego testu t. Ta podstawowa analiza zostanie przeprowadzona w celu sprawdzenia następującej hipotezy:

„Długoterminowe przechowywanie będzie lepsze w przypadku treści, które były wielokrotnie testowane z dodatkowymi pytaniami doprecyzowania i późniejszymi indywidualnymi opiniami wysyłanymi pocztą, niż w przypadku treści, które były wielokrotnie testowane samodzielnie”.

Długoterminowa retencja zostanie oceniona podczas formatywnej elektronicznej oceny kluczowych funkcji w semestrze letnim 2019 r. Będzie on identyczny jak egzamin wstępny i końcowy w semestrze zimowym 2018/19.

Wtórne analizy będą obejmować nieskorygowane i skorygowane regresje liniowe z wynikami procentowymi egzaminu końcowego i testu retencji jako zmiennymi zależnymi i cechami uczniów, a także ich zaangażowaniem w pytania dotyczące kluczowych cech jako zmiennymi niezależnymi.