Kunstig intelligens-genererte vs. akademikerutviklede multiple true/false-spørsmål i anestesiologiutdanning

Denne enkelt-senter, prospektive observasjonskohortstudien er designet for å evaluere effektiviteten, påliteligheten og den pedagogiske verdien av kunstig intelligens (KI)-genererte multiple sann/usann (MTF)-spørsmål sammenlignet med de utviklet av erfarne akademikere i anestesiologisk opplæring.

Studien vil bli gjennomført ved Institutt for anestesiologi og reanimasjon, Kütahya helsevitenskapelige universitet. Totalt 27 anestesiologiresidenter vil bli inkludert og kategorisert i to grupper basert på deres treningsnivå: juniorresidenter (≤2,5 års opplæring) og seniorresidenter (>2,5 års opplæring).

Totalt 200 MTF-spørsmål vil bli utviklet basert på standardiserte anestesiologiske undervisningsmateriell. Halvparten av spørsmålene (n=100) vil bli forberedt av erfarne akademikere, mens den resterende halvparten (n=100) vil bli generert ved hjelp av en kunstig intelligens-modell (ChatGPT-basert system). Alle spørsmål vil bli strukturert i henhold til forhåndsdefinerte kriterier, inkludert vanskelighetsgrad (lett, moderat, vanskelig), klinisk relevans og pedagogisk egnethet.

Deltakere vil fullføre spørresettene i en enkelt sesjon under standardiserte forhold. Hvert korrekt svar vil bli scoret som 1 poeng, og feil svar vil bli scoret som 0. Totale testscore vil bli beregnet for hver deltaker.

Elementanalyse vil bli utført for å evaluere de psykometriske egenskapene til spørsmålene. Elementvanskelighetsindeks, elementdiskrimineringsindeks og total testpålitelighet vil bli beregnet. I tillegg vil opplevd spørsmålskvalitet bli vurdert ved hjelp av deltakerfeedback.

Statistisk analyse vil bli utført ved hjelp av SPSS-programvare. Fordelingen av variabler vil bli vurdert, og passende parametriske eller ikke-parametriske tester vil bli brukt tilsvarende. Sammenligninger mellom grupper (junior vs senior residenter) og mellom spørsmålskilder (KI-generert vs akademikerutviklet) vil bli utført. En p-verdi på <0,05 vil bli ansett som statistisk signifikant.

Studien involverer ikke noen klinisk intervensjon, legemiddeladministrering eller invasiv prosedyre. Deltakelse er frivillig, og skriftlig informert samtykke vil bli innhentet fra alle deltakere. Alle data vil bli samlet anonymt og brukt utelukkende til forskningsformål.

Resultatene av denne studien forventes å gi innsikt i den potensielle rollen til kunstig intelligens i medisinsk utdanning, spesielt i utviklingen av vurderingsverktøy, og kan bidra til mer objektive, standardiserte og effektive evalueringsmetoder i anestesiologisk opplæring.