AI vs. lidské hodnocení zkoušek a vývoj (AHEAD Trial) (AHEAD)
Psychometrický výkon a vnímání studentů vývoje vícečetných otázek generovaných umělou inteligencí versus člověkem v lékařském vzdělávání: Randomizovaná kontrolovaná studie AHEAD
Studie AHEAD (Artificial Intelligence vs Human Exam Assessment and Development) je randomizovaná kontrolovaná studie s utajením účastníků, která probíhá mezi studenty prvního ročníku medicíny na Univerzitě Britské Kolumbie. Studie hodnotí, zda otázky s výběrem z více možností vytvořené pomocí velkých jazykových modelů (LLM) dosahují srovnatelné úrovně jako tradiční otázky napsané lidmi v lékařském vzdělávání.
Účastníci byli randomizováni k vyplnění jedné ze dvou verzí formativního zkušebního testu, který simuloval závěrečnou zkoušku a sestával ze 112 případových otázek s výběrem jedné nejlepší odpovědi (MCQ) v souladu se stejnými vzdělávacími cíli kurzu. Jedna verze zkoušky obsahovala otázky generované umělou inteligencí pomocí strukturovaného pracovního postupu LLM s nezávislým ověřením AI, zatímco druhá obsahovala otázky vytvořené studenty vyšších ročníků medicíny pomocí konvenčních metod.
Studie hodnotí proveditelnost zkoušky, psychometrickou spolehlivost, validitu, přijatelnost pro studenty a vzdělávací dopad. Výsledky zahrnují výkon u zkoušky, indexy diskriminace položek, účinnost distraktorů, vnímání kvality a obtížnosti zkoušky studenty a změny v subjektivně vnímané připravenosti na nadcházející sumativní zkoušku.
Přehled studie
Postavení
Podmínky
Intervence / Léčba
Detailní popis
Studie AHEAD (AI vs Human Exam Assessment and Development) je jednocentrová, účastníky zaslepená randomizovaná kontrolovaná studie provedená mezi studenty prvního ročníku doktorského studia medicíny (MD) zapsanými do kurzu Základy lékařské praxe I (MEDD 411) na University of British Columbia.
Účastníci byli randomizováni v poměru 1:1 k absolvování buď zkoušky simulující závěrečnou zkoušku generovanou umělou inteligencí, nebo zkoušky vytvořené člověkem. Obě zkoušky se skládaly ze 112 případových otázek s výběrem jedné nejlepší odpovědi (MCQ), které byly v souladu se stejnými učebními cíli kurzu MEDD 411.
Otázky generované umělou inteligencí byly vytvořeny pomocí strukturovaného pracovního postupu zahrnujícího ChatGPT pro generování otázek a Google Gemini pro nezávislé ověření. Otázky vytvořené člověkem byly sestaveny studenty vyšších ročníků medicíny bez pomoci umělé inteligence a prošly nezávislým odborným posouzením. Obě zkoušky dodržovaly identické formátovací pokyny a hodnotily stejné učební cíle.
Všichni účastníci vyplnili identické dotazníky před a po zkoušce, které hodnotily demografické charakteristiky, znalost umělé inteligence ve vzdělávání a vnímání zkušenosti se zkouškou. Studie hodnotí užitečnost hodnocení generovaných umělou inteligencí pomocí Assessment Utility Framework podle van der Vleutena, včetně proveditelnosti, spolehlivosti, validity, přijatelnosti a vzdělávacího dopadu.
Cílem studie je zjistit, zda velké jazykové modely mohou urychlit vývoj formativních lékařských zkoušek při zachování srovnatelné psychometrické kvality a vzdělávací hodnoty ve srovnání s tradičními otázkami vytvořenými člověkem.
Typ studie
Zápis (Aktuální)
Fáze
- Nelze použít
Kontakty a umístění
Studijní místa
-
-
British Columbia
-
Vancouver, British Columbia, Kanada, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Popis
Kritéria pro zařazení:
- Zapsaní studenti prvního ročníku medicíny v bakalářském programu MD na University of British Columbia.
- Mohou dobrovolně souhlasit s účastí ve formativní studii modelové zkoušky.
Vylučovací kritéria:
- Studenti, kteří odmítli účast.
- Studenti, kteří nedokončili modelovou zkoušku nebo požadované dotazníky.
Studijní plán
Jak je studie koncipována?
Detaily designu
- Primární účel: Jiný
- Přidělení: Randomizované
- Intervenční model: Paralelní přiřazení
- Maskování: Singl
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Experimentální: AI-Generovaný test s výběrem odpovědí
Účastníci dokončili 112-položkový nanečisto test s případovými otázkami typu "jedna nejlepší odpověď", který byl sestaven z otázek s více možnostmi generovaných umělou inteligencí.
Otázky byly generovány pomocí strukturovaného pracovního postupu s velkým jazykovým modelem s využitím ChatGPT-4 pro generování a Google Gemini pro nezávislé ověření.
|
Formativní zkušební test složený ze 112 otázek s výběrem odpovědí založených na klinických případech, vytvořený pomocí rozsáhlých jazykových modelů v souladu s výukovými cíli kurzu.
|
|
Aktivní komparátor: Lidsky generovaná zkouška MCQ
Účastníci vyplnili 112 položkovou modelovou zkoušku založenou na případech s jednou nejlepší odpovědí, sestavenou z lidsky vytvořených otázek s výběrem odpovědí, které vypracovali starší medici pomocí tradičních metod tvorby otázek a vzájemného hodnocení.
|
Formativní zkušební test složený ze 112 otázek s výběrem odpovědí na bázi kazuistik, které vytvořili studenti vyšších ročníků medicíny pomocí konvenčních metod tvorby testových položek v souladu se stejnými výukovými cíli kurzu.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Výkon studenta na zkušební zkoušce
Časové okno: Ihned po dokončení zkušebního vyšetření
|
Porovnání průměrných výsledků zkoušek mezi studenty náhodně rozdělenými na uměle vytvořené a lidsky vytvořené zkušební testy.
|
Ihned po dokončení zkušebního vyšetření
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Index diskriminace položky
Časové okno: Ihned po dokončení simulované zkoušky
|
Index diskriminace na úrovni položky porovnávající AI generované a lidsky generované otázky s výběrem z více možností, který představuje rozdíl v podílu správných odpovědí mezi vysoce výkonnými a nízkovýkonnými studenty.
|
Ihned po dokončení simulované zkoušky
|
|
Účinnost rušivého podnětu
Časové okno: Bezprostředně po dokončení zkušebního vyšetření
|
Podíl rušivých prvků vybraných alespoň 5 % účastníků, srovnání otázek generovaných umělou inteligencí a otázek vytvořených lidmi.
|
Bezprostředně po dokončení zkušebního vyšetření
|
|
Kvalita a přijatelnost zkoušek hodnocená studenty
Časové okno: Ihned po dokončení simulovaného vyšetření
|
Hodnocení studentů ohledně obtížnosti zkoušky, srozumitelnosti, relevance k učebnímu materiálu, přiměřenosti času, kvality otázek s výběrem odpovědí, porozumění klinickým konceptům, identifikace mezer ve znalostech, uchování pro budoucí klinickou praxi a připravenosti na nadcházející sumativní zkoušku, měřeno bezprostředně po dokončení zkoušky pomocí 10bodových Likertových škál (1 = nejnižší hodnocení, 10 = nejvyšší hodnocení).
Pro většinu oblastí vyšší skóre znamená větší souhlas s měřeným konstruktem; u položky obtížnosti vyšší skóre znamená větší vnímanou obtížnost.
|
Ihned po dokončení simulovaného vyšetření
|
|
Poměr efektivity vývoje MCQ na jeden odpovídající výukový cíl
Časové okno: Výchozí stav (před testováním účastníka)
|
Výsledek měřící efektivitu vývoje umělé inteligence (AI) oproti otázkám s výběrem odpovědi (MCQ) vytvořeným lidmi.
Poměr efektivity byl vypočítán jako doba vývoje MCQ vytvořených lidmi dělená dobou vývoje MCQ generovaných AI pro odpovídající učební cíle.
|
Výchozí stav (před testováním účastníka)
|
|
Změna vnímání připravenosti na sumativní zkoušku
Časové okno: Před a bezprostředně po dokončení zkušebního vyšetření
|
Změna od předzkouškového k pozkouškovému hodnocení vlastní připravenosti na nadcházející sumativní zkoušku, měřeno na 10bodové Likertově škále (1 = vůbec nepřipraven; 10 = extrémně připraven), přičemž vyšší skóre indikuje větší vnímanou připravenost.
|
Před a bezprostředně po dokončení zkušebního vyšetření
|
Spolupracovníci a vyšetřovatelé
Sponzor
Vyšetřovatelé
- Vrchní vyšetřovatel: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Aktuální)
Dokončení studie (Aktuální)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Klíčová slova
Další identifikační čísla studie
- Med_AHEAD_Trial
- H16-00044 (Jiný identifikátor: University of British Columbia)
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Popis plánu IPD
Časový rámec sdílení IPD
Kritéria přístupu pro sdílení IPD
Typ podpůrných informací pro sdílení IPD
- PROTOKOL STUDY
- MÍZA
- ICF
- CSR
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .