Ocena skuteczności i użyteczności sztucznej inteligencji (ChatGPT) dla studentów nauk o zdrowiu (AIHSS)

Przyjęta zostanie dwuetapowa strategia randomizacji. Przydział uczestników do grup eventowych A i B zostanie ustalony w drodze losowania generowanego komputerowo w stosunku alokacji: 1:1. Rozwiązywanie problemów etycznych dotyczących dynamiki władzy między profesorami a studentami; badacze zdecydowali się zaangażować osobę niezależną od zespołu badawczego. Decyzja ta ma na celu zminimalizowanie wszelkich potencjalnych uprzedzeń lub wpływów, które mogą wynikać z bezpośredniego zaangażowania profesora w interwencję. Takie podejście pomaga zapewnić, że badanie jest prowadzone w sposób rzetelny i bezstronny, tworząc środowisko badawcze, w którym priorytetem są równe szanse dla wszystkich uczestników. Obie grupy będą jednocześnie pracować nad zadaniem (A i B).

Badacze zastosowali projekt krzyżowy, aby zapewnić równość w doświadczeniu edukacyjnym dla wszystkich uczniów. Wiązało się to z przydzieleniem uczniom ChatGPD (A) lub zwykłych narzędzi online (B) w celu uzyskania dostępu do zasobów i pomocy im w wykonywaniu zadań. Podczas początkowej fazy interwencji uczestnicy z grupy A będą wykorzystywać ChatGPT do wykonywania swoich zadań, podczas gdy uczestnicy z grupy B będą służyć jako grupa kontrolna. W kolejnym okresie interwencje będą przełączane między dwiema grupami. Aby ocenić użyteczność technologii uczestników, obie grupy wypełnią kwestionariusze wstępne i końcowe. Dodatkowo uczestnicy zostaną poproszeni o wypełnienie kwestionariusza pointerwencji, aby ocenić ich postrzeganie metod pomocy. Po okresie wymywania trwającym 13 dni/tydzień, uczestnicy, którzy byli wcześniej przydzieleni do grupy A, zostaną przydzieleni do grupy B, a ci sami uczestnicy, którzy zostali wcześniej przydzieleni do grupy B, zostaną przydzieleni do grupy A. Ta randomizowana krzyżowa próba kontrolna będzie obejmuje 50 studentów nauk o zdrowiu, którzy są zarejestrowani na kurs Chronic Health Conditions and Disability (HLTH 3503), Carleton University. Podczas pierwszej części interwencji grupa A użyje ChatGPT do wykonania swojego zadania, podczas gdy uczestnicy B będą działać jako grupa kontrolna. W drugim tygodniu interwencje się przetną. Uczestnicy obu grup wypełnią ankietę wstępną i końcową, aby ocenić swoją wiedzę. Uczestnicy wypełnią również kwestionariusz po interwencji, aby ocenić swoje postrzeganie. Skala Użyteczności Systemu (SUS) zostanie zastosowana pod koniec interwencji i kiedy uczestnicy przejdą do innego narzędzia pomocy. Pozwala to na ocenę wyników i porównania w obrębie dwóch ramion interwencji i pomiędzy nimi. Zbierając dane w wielu punktach badania, badacze mogą ocenić skutki każdej interwencji i wszelkie potencjalne efekty przeniesienia w okresie krzyżowania. Ponadto zapewnia możliwość pomiaru zmian w wynikach u poszczególnych uczestników, gdy przechodzą oni z jednej interwencji do drugiej. Kwestionariusz dotyczący pytań społeczno-ekonomicznych, dotyczących umiejętności czytania i pisania, korzyści płynących z AI oraz zagrożeń i negatywnych doświadczeń związanych z korzystaniem z AI.