Pytania wielokrotnego wyboru typu prawda/fałsz generowane przez sztuczną inteligencję a opracowane przez akademików w edukacji anestezjologicznej

To jednostkowe, prospektywne, obserwacyjne badanie kohortowe ma na celu ocenę skuteczności, wiarygodności i wartości edukacyjnej pytań wielokrotnego wyboru prawda/fałsz (MTF) generowanych przez sztuczną inteligencję (AI) w porównaniu z pytaniami opracowanymi przez doświadczonych akademików w szkoleniu z anestezjologii.

Badanie będzie przeprowadzone w Katedrze Anestezjologii i Reanimacji Uniwersytetu Nauk o Zdrowiu w Kütahya. W sumie 27 rezydentów anestezjologii zostanie włączonych do badania i podzielonych na dwie grupy w zależności od poziomu szkolenia: młodsi rezydenci (≤2,5 roku szkolenia) i starsi rezydenci (>2,5 roku szkolenia).

W sumie 200 pytań MTF zostanie opracowanych na podstawie ustandaryzowanych materiałów edukacyjnych z anestezjologii. Połowa pytań (n=100) zostanie przygotowana przez doświadczonych akademików, podczas gdy druga połowa (n=100) zostanie wygenerowana za pomocą modelu sztucznej inteligencji (system oparty na ChatGPT). Wszystkie pytania będą strukturyzowane zgodnie z wcześniej ustalonymi kryteriami, w tym poziomem trudności (łatwy, umiarkowany, trudny), znaczeniem klinicznym i przydatnością edukacyjną.

Uczestnicy rozwiążą zestawy pytań w jednej sesji w ustandaryzowanych warunkach. Każda poprawna odpowiedź będzie oceniana na 1 punkt, a niepoprawne odpowiedzi na 0. Łączne wyniki testu zostaną obliczone dla każdego uczestnika.

Analiza pozycji zostanie przeprowadzona w celu oceny właściwości psychometrycznych pytań. Zostaną obliczone wskaźnik trudności pozycji, wskaźnik dyskryminacji pozycji oraz ogólna wiarygodność testu. Dodatkowo, postrzegana jakość pytań zostanie oceniona na podstawie opinii uczestników.

Analiza statystyczna zostanie przeprowadzona przy użyciu oprogramowania SPSS. Zostanie oceniony rozkład zmiennych, a odpowiednie testy parametryczne lub nieparametryczne zostaną zastosowane zgodnie z potrzebami. Zostaną przeprowadzone porównania między grupami (młodsi vs starsi rezydenci) oraz między źródłami pytań (wygenerowane przez AI vs opracowane przez akademików). Wartość p <0,05 będzie uznawana za statystycznie istotną.

Badanie nie obejmuje żadnej interwencji klinicznej, podawania leków ani procedur inwazyjnych. Udział jest dobrowolny, a od wszystkich uczestników zostanie uzyskana pisemna świadoma zgoda. Wszystkie dane będą zbierane anonimowo i wykorzystywane wyłącznie do celów badawczych.

Oczekuje się, że wyniki tego badania dostarczą wglądu w potencjalną rolę sztucznej inteligencji w edukacji medycznej, szczególnie w opracowywaniu narzędzi oceny, i mogą przyczynić się do bardziej obiektywnych, ustandaryzowanych i efektywnych metod oceny w szkoleniu z anestezjologii.