Artificiell intelligens-genererade kontra akademikerutvecklade multipla sant/falskt-frågor inom anestesiologiutbildning

Denna enskilda-centrum, prospektiva observationskohortstudie är utformad för att utvärdera effektiviteten, tillförlitligheten och det pedagogiska värdet av artificiell intelligens (AI)-genererade flera sant/falskt (MTF)-frågor jämfört med de som utvecklats av erfarna akademiker inom anestesiologisk utbildning.

Studien kommer att genomföras vid Institutionen för Anestesiologi och Reanimation, Kütahya Health Sciences University. Totalt kommer 27 anestesiologiska AT-läkare att inkluderas och kategoriseras i två grupper baserat på sin utbildningsnivå: junior AT-läkare (≤2,5 års utbildning) och senior AT-läkare (>2,5 års utbildning).

Totalt 200 MTF-frågor kommer att utvecklas baserat på standardiserade anestesiologiska utbildningsmaterial. Hälften av frågorna (n=100) kommer att förberedas av erfarna akademiker, medan den återstående hälften (n=100) kommer att genereras med hjälp av en artificiell intelligens-modell (ChatGPT-baserat system). Alla frågor kommer att struktureras enligt fördefinierade kriterier, inklusive svårighetsgrad (lätt, måttlig, svår), klinisk relevans och pedagogisk lämplighet.

Deltagarna kommer att genomföra frågeuppsättningarna i en enda session under standardiserade förhållanden. Varje korrekt svar kommer att poängsättas som 1 poäng, och felaktiga svar kommer att poängsättas som 0. Totalt testresultat kommer att beräknas för varje deltagare.

Itemanalys kommer att utföras för att utvärdera frågornas psykometriska egenskaper. Item-svårighetsindex, item-diskriminationsindex och övergripande testtillförlitlighet kommer att beräknas. Dessutom kommer upplevd frågekvalitet att bedömas med hjälp av deltagarfeedback.

Statistisk analys kommer att utföras med SPSS-programvara. Variablernas fördelning kommer att bedömas, och lämpliga parametriska eller icke-parametriska tester kommer att användas i enlighet därmed. Jämförelser mellan grupper (junior vs senior AT-läkare) och mellan frågekällor (AI-genererade vs akademikerutvecklade) kommer att genomföras. Ett p-värde på <0,05 kommer att anses statistiskt signifikant.

Studien innebär ingen klinisk intervention, läkemedelsadministration eller invasiv procedur. Deltagandet är frivilligt, och skriftligt informerat samtycke kommer att erhållas från alla deltagare. All data kommer att samlas in anonymt och användas enbart för forskningsändamål.

Resultaten av denna studie förväntas ge insikt i artificiell intelligens potentiella roll inom medicinsk utbildning, särskilt vid utveckling av bedömningsverktyg, och kan bidra till mer objektiva, standardiserade och effektiva utvärderingsmetoder inom anestesiologisk utbildning.