Kunstig Intelligens-genererede versus akademiker-udviklede multiple sandt/falsk spørgsmål i anæstesiologi undervisning

Dette single-center, prospektive observationskohortestudie er designet til at evaluere effektiviteten, pålideligheden og den pædagogiske værdi af kunstig intelligens (AI)-genererede multiple true/false (MTF) spørgsmål sammenlignet med dem udviklet af erfarne akademikere i anæstesiuddannelse.

Studiet vil blive gennemført på Afdelingen for Anæstesiologi og Reanimation, Kütahya Health Sciences University. I alt 27 anæstesilæger i speciallægeuddannelse vil blive inkluderet og kategoriseret i to grupper baseret på deres uddannelsesniveau: junior læger (≤2,5 års uddannelse) og senior læger (>2,5 års uddannelse).

I alt 200 MTF-spørgsmål vil blive udviklet baseret på standardiserede anæstesiuddannelsesmaterialer. Halvdelen af spørgsmålene (n=100) vil blive forberedt af erfarne akademikere, mens den resterende halvdel (n=100) vil blive genereret ved hjælp af en kunstig intelligensmodel (ChatGPT-baseret system). Alle spørgsmål vil blive struktureret i henhold til foruddefinerede kriterier, herunder sværhedsgrad (let, moderat, svær), klinisk relevans og pædagogisk egned.

Deltagerne vil gennemføre spørgsmålssættene i en enkelt session under standardiserede forhold. Hvert korrekt svar vil blive scoreret som 1 point, og forkerte svar vil blive scoreret som 0. Samlede testscore vil blive beregnet for hver deltager.

Itemanalyse vil blive udført for at evaluere de psykometriske egenskaber af spørgsmålene. Sværhedsgradsindeks, diskriminationsindeks og overordnet testpålidelighed vil blive beregnet. Derudover vil den opfattede spørgsmålskvalitet blive vurderet ved hjælp af deltagerfeedback.

Statistisk analyse vil blive udført ved hjælp af SPSS-software. Fordelingen af variable vil blive vurderet, og passende parametriske eller ikke-parametriske tests vil blive anvendt i overensstemmelse hermed. Sammenligninger mellem grupper (junior vs. senior læger) og mellem spørgsmålskilder (AI-genererede vs. akademikerudviklede) vil blive udført. En p-værdi på <0,05 vil blive betragtet som statistisk signifikant.

Studiet involverer ingen klinisk intervention, medicintildeling eller invasiv procedure. Deltagelse er frivillig, og skriftlig informeret samtykke vil blive indhentet fra alle deltagere. Alle data vil blive indsamlet anonymt og udelukkende anvendt til forskningsformål.

Resultaterne af dette studie forventes at give indsigt i den potentielle rolle af kunstig intelligens i medicinsk uddannelse, især i udviklingen af vurderingsværktøjer, og kan bidrage til mere objektive, standardiserede og effektive evalueringsmetoder i anæstesiuddannelse.