- ICH GCP
- US-Register für klinische Studien
- Klinische Studie NCT07522658
Künstliche Intelligenz-generierte vs. von Akademikern entwickelte Multiple-True/False-Fragen in der Anästhesiologie-Ausbildung
Vergleich von durch künstliche Intelligenz generierten und von Akademikern entwickelten Multiple-True/False-Fragen in der Anästhesiologieausbildung: Eine prospektive Kohortenstudie
Diese prospektive Beobachtungsstudie zielt darauf ab, die Wirksamkeit und den pädagogischen Wert von künstlicher Intelligenz (KI)-generierten Multiple-True/False-Fragen im Vergleich zu denen, die von erfahrenen Akademikern in der Anästhesiologie-Ausbildung entwickelt wurden, zu bewerten.
Insgesamt 27 Anästhesiologie-Assistenzärzte werden in die Studie eingeschlossen. Es werden Fragensätze bestehend aus 200 Multiple-True/False-Elementen erstellt, wobei die Hälfte von Akademikern generiert wird und die andere Hälfte mithilfe eines künstlichen Intelligenzmodells (ChatGPT-basiertes System) erzeugt wird. Die Fragen basieren auf standardisierten Lehrmaterialien aus dem Anästhesiologie-Ausbildungsplan.
Die Teilnehmer absolvieren den Test in einer einzigen Sitzung. Jede richtige Antwort wird mit einem Punkt bewertet, und Gesamtpunktzahlen werden berechnet. Zusätzlich zur Testleistung werden die Item-Schwierigkeit, Diskriminationsindizes und die Testzuverlässigkeit analysiert. Darüber hinaus werden die Wahrnehmungen der Teilnehmer bezüglich der Fragequalität bewertet.
Die Studie zielt darauf ab, festzustellen, ob KI-generierte Fragen eine zuverlässige und effektive Alternative zu traditionellen Frageentwicklungsmethoden in der medizinischen Ausbildung darstellen können und zu objektiveren und standardisierteren Bewertungsprozessen beitragen.
Studienübersicht
Status
Detaillierte Beschreibung
Diese monozentrische, prospektive Beobachtungskohortenstudie ist darauf ausgelegt, die Wirksamkeit, Zuverlässigkeit und den pädagogischen Wert von künstlicher Intelligenz (KI)-generierten Multiple-True/False (MTF)-Fragen im Vergleich zu denen zu bewerten, die von erfahrenen Akademikern in der Anästhesiologieausbildung entwickelt wurden.
Die Studie wird an der Abteilung für Anästhesiologie und Reanimation der Kütahya Health Sciences University durchgeführt. Insgesamt werden 27 Anästhesiologieassistenten eingeschlossen und basierend auf ihrem Ausbildungsstand in zwei Gruppen kategorisiert: Junior-Assistenten (≤2,5 Jahre Ausbildung) und Senior-Assistenten (>2,5 Jahre Ausbildung).
Insgesamt werden 200 MTF-Fragen auf der Grundlage standardisierter anästhesiologischer Bildungsmaterialien entwickelt. Die Hälfte der Fragen (n=100) wird von erfahrenen Akademikern erstellt, während die verbleibende Hälfte (n=100) mithilfe eines KI-Modells (ChatGPT-basiertes System) generiert wird. Alle Fragen werden gemäß vordefinierten Kriterien strukturiert, einschließlich Schwierigkeitsgrad (einfach, mittel, schwierig), klinischer Relevanz und pädagogischer Angemessenheit.
Die Teilnehmer werden die Fragensätze in einer einzigen Sitzung unter standardisierten Bedingungen bearbeiten. Jede richtige Antwort wird mit 1 Punkt bewertet, und falsche Antworten werden mit 0 Punkten bewertet. Die Gesamttestergebnisse werden für jeden Teilnehmer berechnet.
Es wird eine Itemanalyse durchgeführt, um die psychometrischen Eigenschaften der Fragen zu bewerten. Der Item-Schwierigkeitsindex, der Item-Diskriminationsindex und die Gesamttestzuverlässigkeit werden berechnet. Zusätzlich wird die wahrgenommene Fragequalität mithilfe von Teilnehmerfeedback bewertet.
Die statistische Analyse wird mit der SPSS-Software durchgeführt. Die Verteilung der Variablen wird bewertet, und entsprechende parametrische oder nicht-parametrische Tests werden verwendet. Vergleiche zwischen den Gruppen (Junior- vs. Senior-Assistenten) und zwischen den Fragequellen (KI-generiert vs. akademikerentwickelt) werden durchgeführt. Ein p-Wert von <0,05 wird als statistisch signifikant betrachtet.
Die Studie beinhaltet keine klinische Intervention, Medikamentengabe oder invasive Prozedur. Die Teilnahme ist freiwillig, und von allen Teilnehmern wird eine schriftliche Einwilligungserklärung eingeholt. Alle Daten werden anonym gesammelt und ausschließlich zu Forschungszwecken verwendet.
Die Ergebnisse dieser Studie sollen Einblicke in die potenzielle Rolle der künstlichen Intelligenz in der medizinischen Ausbildung liefern, insbesondere bei der Entwicklung von Bewertungsinstrumenten, und können zu objektiveren, standardisierten und effizienteren Evaluierungsmethoden in der Anästhesiologieausbildung beitragen.
Studientyp
Einschreibung (Tatsächlich)
Kontakte und Standorte
Studienorte
-
-
-
Kütahya, Türkei (türkiye)
- Kutahya Health Sciences University
-
-
Teilnahmekriterien
Zulassungskriterien
Studienberechtigtes Alter
- Erwachsene
- Älterer Erwachsener
Akzeptiert gesunde Freiwillige
Probenahmeverfahren
Studienpopulation
Beschreibung
Einschlusskriterien:
- Anästhesiologie-Assistenzarzt sein
- Freiwillige Teilnahme an der Studie
- Abgabe der informierten Einwilligung
Ausschlusskriterien:
- Verweigerung der Teilnahme
- Unvollständige Testantworten
Studienplan
Wie ist die Studie aufgebaut?
Designdetails
Kohorten und Interventionen
Gruppe / Kohorte |
|---|
|
KI-generierte Fragen
Multiple-Choice-Fragen mit mehreren richtigen Antworten, die mithilfe eines künstlichen Intelligenzmodells erstellt wurden
|
|
Akademiker-entwickelte Frage
Mehrere Wahr-/Falsch-Fragen, erstellt von erfahrenen Akademikern in der Anästhesiologie.
|
Was misst die Studie?
Primäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Item-Difficulty-Index von KI-generierten und von Experten erstellten Fragen
Zeitfenster: Einmal bewertet nach Abschluss der einzelnen 60-minütigen Untersuchungssitzung jedes Teilnehmers; endgültige Item-Analyse durchgeführt, nachdem alle Teilnehmer die Untersuchung abgeschlossen haben, bis zu 1 Monat.
|
Für jede Frage wird der Schwierigkeitsindex als Anteil der Teilnehmer berechnet, die die Frage richtig beantworten.
Die Schwierigkeitsindizes werden zwischen KI-generierten und von Experten verfassten Fragen verglichen.
|
Einmal bewertet nach Abschluss der einzelnen 60-minütigen Untersuchungssitzung jedes Teilnehmers; endgültige Item-Analyse durchgeführt, nachdem alle Teilnehmer die Untersuchung abgeschlossen haben, bis zu 1 Monat.
|
Mitarbeiter und Ermittler
Publikationen und hilfreiche Links
Allgemeine Veröffentlichungen
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
Studienaufzeichnungsdaten
Haupttermine studieren
Studienbeginn (Tatsächlich)
Primärer Abschluss (Tatsächlich)
Studienabschluss (Tatsächlich)
Studienanmeldedaten
Zuerst eingereicht
Zuerst eingereicht, das die QC-Kriterien erfüllt hat
Zuerst gepostet (Tatsächlich)
Studienaufzeichnungsaktualisierungen
Letztes Update gepostet (Tatsächlich)
Letztes eingereichtes Update, das die QC-Kriterien erfüllt
Zuletzt verifiziert
Mehr Informationen
Begriffe im Zusammenhang mit dieser Studie
Schlüsselwörter
Andere Studien-ID-Nummern
- E-41997688-050.99-212840
Plan für individuelle Teilnehmerdaten (IPD)
Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?
Arzneimittel- und Geräteinformationen, Studienunterlagen
Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt
Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt
Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .
Klinische Studien zur Medizinische Ausbildung
-
VA Office of Research and DevelopmentUniversity of California, Los Angeles; RANDAbgeschlossenPatientenzentrierte Medical Home-ImplementierungVereinigte Staaten
-
Assistance Publique - Hôpitaux de ParisAbgeschlossenStudienschwerpunkt = Medical WritingFrankreich
-
Mikhail Volokitin, MD, DO.AbgeschlossenMedical School Syndrom | Geist-Körper-BewusstseinVereinigte Staaten
-
Bahar DönerIstanbul University - CerrahpasaAbgeschlossenNURSİNG EDUCATİON | PROBLEM SOLVİNG | EMPATHIE IN DER PFLEGE | NON-VİOLENT COMMUNİCATİON | KONSTRUKTIVISTISCHES LERNMODELLTürkei (türkiye)
-
Universitaire Ziekenhuizen KU LeuvenAbgeschlossenTest-Retest-Zuverlässigkeit | Gültigkeit | Biodex Medical Systems III Dynamometer | Experimentelle Messung der KniestreckungsstärkeBelgien
-
Akdeniz UniversityAbgeschlossenDie Wahrnehmung von Intentionalität durch Krankenschwestern | die Vermittler der Intentionalität | die Hindernisse der Intentionalität | Wirksamkeit des Mindful Caring Education-ProgrammsTruthahn
-
Columbia Care Inc.AbgeschlossenQualifizierungsbedingungen für das New York Medical Marijuana ProgramVereinigte Staaten
-
Arbi Nazarian, MDInspire Health Medical GroupNoch keine RekrutierungPatienten, die sich einer operativen Fixierung langer Knochenbrüche innerhalb des Systems der Community Medical Centers unterziehenVereinigte Staaten
-
Changhai HospitalNoch keine RekrutierungAbteilung für anorektale Chirurgie, Changhai Hospital, angegliedert an die Naval Medical University
-
University Hospital Center of MartiniqueClinique Antilles-Guyane; Fondation de FranceAbgeschlossen1- Frauen | 2- HIV-Infektion | 3- Verfolgt in Westindien und Französisch-Guayana für seine Infektion | 4- Zustimmung zur Verwendung von Nadis® Medical FilesMartinique