Разработка и обратная связь для обучения клиническому мышлению

Повторное формирующее (т. е. неоценочное) тестирование улучшает результаты обучения учащихся в отношении навыков клинического мышления. В университетском медицинском центре Геттингена (UMG) в прошлом уже был проведен ряд испытаний, посвященных так называемому эффекту тестирования. Они показали, среди прочего, что работа с записанными на видео клиническими случаями по сравнению с письменными случаями увеличивает краткосрочный результат, но не долгосрочное удержание. Совсем недавно в одном исследовании рассматривался вопрос о том, можно ли развить навыки клинического мышления, прорабатывая неправильные ответы. Результаты предыдущего испытания показали, что значительное число студентов не были достаточно мотивированы, чтобы давать исчерпывающие ответы на уточняющие вопросы. Это впечатление осталось и после введения материального поощрения студентов, хотя был отмечен небольшой, но значимый эффект от вмешательства (процентный балл на выпускном экзамене: 65,7 +/- 19,6 % против 62,3 +/- 22,9 %; p = 0,022). Тем не менее, успеваемость учащихся оставалась в лучшем случае умеренной. Таким образом, вмешательство теперь будет расширено за счет включения автоматической обратной связи, предоставляемой по электронной почте. Все студенты, участвующие в электронном семинаре, основанном на конкретных случаях (электронный семинар), получат индивидуальное электронное письмо после мероприятия, в котором будут указаны их исходные баллы, а также их письменные ответы на уточняющие вопросы и комментарии экспертов, отражающие текущие медицинские знания.

В этом испытании рассматривается следующий исследовательский вопрос:

Каково влияние проработки и последовательной автоматизированной и индивидуальной обратной связи после электронных семинаров на навыки клинического мышления студентов-медиков?

2. Предыстория и предыдущая работа Согласно недавним открытиям, поиск знаний не является пассивным процессом. Вместо этого долгосрочному удержанию способствует сам акт поиска («гипотеза поиска»). Потенциально этот эффект, который также называют «эффектом прямого тестирования», также может быть связан с дополнительным воздействием содержимого во время оценки. Однако сложные исследования, в которых экспозиция контролировалась экспериментально, не подтвердили эту «гипотезу полного времени». Эффективность экзаменов как стимуляторов памяти применительно к медицинскому образованию была показана в ряде исследований. Однако во многих из них использовались короткие периоды наблюдения (например, 7 дней) или проводились тесты на воспроизводство на низком таксономическом уровне. Тем не менее, эти исследования показывают, что формативные экзамены могут способствовать процессу обучения. Согласно обзору темы, эти экзамены должны содержать производственные тесты и повторяться с соответствующим интервалом. Кроме того, студенты должны получить обратную связь вскоре после экзамена.

С учетом этих рекомендаций в 2013 году в нашем учебном заведении были проведены продольные исследования ключевых характеристик в трех последовательных учебных модулях. Эти основанные на конкретных случаях экзамены способствуют развитию сложных когнитивных навыков. Ключевой признак определяется как критический шаг в решении клинической проблемы. Согласно этому определению, ключевой характерный случай состоит из виньетки случая и примерно пяти последовательных вопросов, относящихся к диагностическому и терапевтическому подходу. В отличие от вопросов с одним лучшим ответом и множественным выбором, учащиеся не могут выбирать из списка из пяти вариантов ответа, но должны предоставить письменный ответ. Таким образом, вместо того, чтобы распознавать правильный ответ, целью изучения ключевых признаков является активное получение правильного ответа. Чтобы уберечь учащихся от повторных ошибок, их информируют о правильных ответах на предыдущие вопросы всякий раз, когда они пытаются ответить на следующий вопрос. В этот момент учащиеся также получают статическую обратную связь по своему предыдущему ответу.

Недавно были опубликованы результаты рандомизированного перекрестного исследования, в котором сравнивали активный поиск с использованием ключевых вопросов с повторным изучением того же материала. Данные показали, что работа над ключевыми функциональными случаями со статической обратной связью привела к более высокому среднесрочному результату обучения, чем пассивное повторное изучение того же контента. Однако конкретная роль обратной связи в этом процессе оставалась неясной.

Текущие результаты исследований в области педагогической психологии показывают, что диагностические ошибки, допущенные в защищенной учебной среде, могут служить отправной точкой для дальнейшей разработки, которая в конечном итоге может привести к сокращению диагностических ошибок в клинической практике. Это испытание направлено на реализацию и оценку этой концепции. С этой целью существующие данные, полученные в предыдущих испытаниях в UMG, были проанализированы в отношении распространенных ошибок клинического мышления (CCRE). Исходя из этого, электронные семинары, проводимые параллельно с учебным обучением в трех вышеупомянутых модулях, были изменены таким образом, что после ответов на конкретные вопросы студентам предлагалось прокомментировать частые CCRE («разработки»). Анализ записей учащихся показал, что, несмотря на то, что все содержание было рассмотрено на предыдущих учебных занятиях, значительная часть записей представляла собой расплывчатые ответы (например, «не знаю» или «понятия не имею»), предполагая, что учащиеся могли не понять упражнение достаточно серьезное. Фактически, это мнение было подтверждено в комментариях студентов во время обсуждений в фокус-группах после основного исследования. Как следствие, исследование было повторено в следующем году, и на этот раз полные ответы на уточняющие вопросы поощрялись купонами на книги. В этих условиях был отмечен значительный эффект вмешательства, но успеваемость учащихся была в лучшем случае умеренной. Учитывая важность обратной связи для процессов обучения, вызванных формирующими экзаменами, этот аспект будет усилен в описанном здесь испытании. Студенты уже могут открывать текстовое поле со статической обратной связью после каждого вопроса, но до сих пор они не получали персональную обратную связь после каждого экзамена. В зимнем семестре 2018/19 г. все учащиеся, участвующие в испытании, получат индивидуальные электронные письма, содержащие (а) исходные баллы, полученные на каждом электронном семинаре, (б) статические отзывы экспертов на уточняющие вопросы и (в) их собственные записи для эти уточняющие вопросы. Таким образом, студенты смогут сравнить свои ответы с отзывами преподавателя.

3. Дизайн и проведение исследования

Это рандомизированное контролируемое перекрестное образовательное исследование. Участвующие студенты будут стратифицированы в соответствии с полом и результатами итоговых экзаменов в предыдущем семестре. Впоследствии они будут рандомизированы в одну из двух исследовательских групп в соотношении 1:1. Во время еженедельных электронных семинаров они работают над клиническими случаями, посвященными диагностическим и терапевтическим стратегиям, необходимым для лечения пациентов с распространенными симптомами общих заболеваний. Кейсы будут представлены в виде ключевых тематических кейсов с пятью вопросами к каждому кейсу. Для некоторых из этих вопросов будут написаны уточняющие вопросы. Они будут сосредоточены на распространенных заблуждениях и ошибках клинического мышления. При использовании в качестве «элементов вмешательства» уточняющие вопросы будут отображаться после исходного ключевого вопроса. Учащимся будет предложено ввести произвольный текст ответа. После завершения как исходного элемента, так и уточняющего вопроса они смогут получить доступ к статической обратной связи («экспертный комментарий»). Этот отзыв будет включен в электронное письмо, отправленное всем учащимся на следующий день после электронного семинара, а также будет содержать данные об индивидуальной успеваемости, а также ответ учащегося в произвольном тексте на уточняющий вопрос. При использовании в качестве «элемента управления» отображается тот же ключевой вопрос, и учащиеся могут получить доступ к комментарию эксперта сразу после ответа на вопрос. Информация о контрольных элементах не будет содержаться в отправляемом по почте отзыве. Каждому учащемуся будет представлено 15 элементов вмешательства и контроля соответственно, и каждый из них будет показан дважды в течение 10 недель. Элементы, которые отображаются как элементы вмешательства в одной рандомизированной группе, будут показаны в качестве контрольных элементов в другой группе, и наоборот, таким образом, каждый учащийся будет иметь собственный элемент управления. В конце исследования для каждого учащегося будут подсчитаны индивидуальные баллы «элемент вмешательства» и «контрольный элемент», и эти два балла будут сравниваться с использованием парного t-критерия. Этот первичный анализ будет проведен для проверки следующей гипотезы:

«Долгосрочное удержание будет лучше для контента, который неоднократно тестировался с дополнительными уточняющими вопросами и последующими индивидуальными отзывами по почте, чем для контента, который неоднократно тестировался отдельно».

Летом 2019 года долговременное удержание будет оцениваться в рамках формативной электронной оценки ключевых характеристик. Он будет идентичен вступительному и выпускному экзамену, проводимому зимой 2018/19.

Вторичный анализ будет включать нескорректированные и скорректированные линейные регрессии с процентными баллами на выпускном экзамене и тесте удержания в качестве зависимых переменных и характеристиками учащихся, а также их вовлеченностью в ключевые вопросы о характеристиках в качестве независимых переменных.