Kunstmatige Intelligentie-gegenereerde versus academicus-ontwikkelde Meerkeuze-vraagstellingen in Anesthesiologie Onderwijs
Vergelijking van door Kunstmatige Intelligentie gegenereerde en door academici ontwikkelde meervoudige juist/onjuist-vragen in Anesthesiologie Onderwijs: Een Prospectieve Cohortstudie
Deze prospectieve observationele studie heeft als doel de effectiviteit en educatieve waarde van kunstmatige intelligentie (AI)-gegenereerde meerkeuzevragen te evalueren in vergelijking met die ontwikkeld door ervaren academici in de anesthesiologie-opleiding.
In totaal zullen 27 anesthesiologie-residenten worden opgenomen in de studie. Vraagsets bestaande uit 200 meerkeuzevragen zullen worden gemaakt, waarbij de helft wordt gegenereerd door academici en de andere helft wordt gegenereerd met behulp van een kunstmatige intelligentie-model (ChatGPT-gebaseerd systeem). De vragen zullen gebaseerd zijn op gestandaardiseerd educatief materiaal uit het anesthesiologie-opleidingscurriculum.
Deelnemers zullen de test in één sessie afronden. Elk correct antwoord wordt gescoord als één punt, en de totale scores zullen worden berekend. Naast de testprestaties zullen de itemmoeilijkheid, discriminatie-indices en testbetrouwbaarheid worden geanalyseerd. Bovendien zullen de percepties van deelnemers met betrekking tot de vraagkwaliteit worden geëvalueerd.
De studie heeft als doel te bepalen of door AI gegenereerde vragen een betrouwbaar en effectief alternatief kunnen bieden voor traditionele vraagontwikkelingsmethoden in medisch onderwijs en kunnen bijdragen aan meer objectieve en gestandaardiseerde beoordelingsprocessen.
Studie Overzicht
Toestand
Gedetailleerde beschrijving
Deze prospectieve observationele cohortstudie op één locatie is ontworpen om de effectiviteit, betrouwbaarheid en educatieve waarde van kunstmatige intelligentie (AI)-gegenereerde meerkeuzevragen (MTF) te evalueren in vergelijking met vragen die zijn ontwikkeld door ervaren academici in de anesthesiologie-opleiding.
De studie wordt uitgevoerd bij de Afdeling Anesthesiologie en Reanimatie van de Kütahya Gezondheidswetenschappen Universiteit. In totaal zullen 27 anesthesiologie-assistenten worden geïncludeerd en ingedeeld in twee groepen op basis van hun opleidingsniveau: junior assistenten (≤2,5 jaar opleiding) en senior assistenten (>2,5 jaar opleiding).
In totaal zullen 200 MTF-vragen worden ontwikkeld op basis van gestandaardiseerde anesthesiologie-onderwijsmaterialen. De helft van de vragen (n=100) wordt voorbereid door ervaren academici, terwijl de andere helft (n=100) wordt gegenereerd met behulp van een kunstmatige intelligentie-model (ChatGPT-gebaseerd systeem). Alle vragen worden gestructureerd volgens vooraf gedefinieerde criteria, waaronder moeilijkheidsgraad (makkelijk, gemiddeld, moeilijk), klinische relevantie en educatieve geschiktheid.
Deelnemers zullen de vragenreeksen in één sessie voltooien onder gestandaardiseerde omstandigheden. Elk correct antwoord krijgt 1 punt, en incorrecte antwoorden krijgen 0 punten. Totale testscores worden berekend voor elke deelnemer.
Itemanalyse wordt uitgevoerd om de psychometrische eigenschappen van de vragen te evalueren. Itemmoeilijkheidsindex, itemdiscriminatie-index en algemene testbetrouwbaarheid worden berekend. Daarnaast wordt de waargenomen vraagkwaliteit beoordeeld met behulp van feedback van deelnemers.
Statistische analyse wordt uitgevoerd met SPSS-software. De verdeling van variabelen wordt beoordeeld, en geschikte parametrische of non-parametrische tests worden dienovereenkomstig gebruikt. Vergelijkingen tussen groepen (junior versus senior assistenten) en tussen vraagbronnen (AI-gegenereerd versus door academici ontwikkeld) worden uitgevoerd. Een p-waarde van <0,05 wordt als statistisch significant beschouwd.
De studie omvat geen klinische interventie, medicatietoediening of invasieve procedure. Deelname is vrijwillig, en schriftelijke geïnformeerde toestemming wordt verkregen van alle deelnemers. Alle gegevens worden anoniem verzameld en uitsluitend voor onderzoeksdoeleinden gebruikt.
De resultaten van deze studie worden verwacht inzicht te geven in de potentiële rol van kunstmatige intelligentie in medisch onderwijs, met name bij de ontwikkeling van beoordelingsinstrumenten, en kunnen bijdragen aan meer objectieve, gestandaardiseerde en efficiënte evaluatiemethoden in anesthesiologie-opleidingen.
Studietype
Inschrijving (Werkelijk)
Contacten en locaties
Studie Locaties
-
-
-
Kütahya, Turkije (Türkiye)
- Kutahya Health Sciences University
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Bemonsteringsmethode
Studie Bevolking
Beschrijving
Insluitingscriteria:
- Anesthesiologie-assistent zijn
- Vrijwillige deelname aan het onderzoek
- Geïnformeerde toestemming verlenen
Uitsluitingscriteria:
- Weigering om deel te nemen
- Onvolledige testantwoorden
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
Cohorten en interventies
Groep / Cohort |
|---|
|
AI-gegenereerde vragen
Meerdere waar/niet waar vragen gegenereerd met behulp van een kunstmatig intelligentiemodel
|
|
Door academicus ontwikkelde vraag
Meerdere waar/niet waar vragen opgesteld door ervaren academici in de anesthesiologie.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Itemmoeilijkheidsindex van door AI gegenereerde en door experts geschreven vragen
Tijdsspanne: Eén keer beoordeeld na voltooiing van elke deelnemer zijn/haar enkele 60-minuten durende onderzoekssessie; definitieve itemanalyse uitgevoerd nadat alle deelnemers het onderzoek hebben voltooid, tot 1 maand.
|
Voor elke vraag zal de itemmoeilijkheidsindex worden berekend als het aandeel deelnemers dat het item correct beantwoordt.
Itemmoeilijkheidsindices zullen worden vergeleken tussen AI-gegenereerde en door experts geschreven vragen.
|
Eén keer beoordeeld na voltooiing van elke deelnemer zijn/haar enkele 60-minuten durende onderzoekssessie; definitieve itemanalyse uitgevoerd nadat alle deelnemers het onderzoek hebben voltooid, tot 1 maand.
|
Medewerkers en onderzoekers
Publicaties en nuttige links
Algemene publicaties
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Andere studie-ID-nummers
- E-41997688-050.99-212840
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .