URAISE: Оценка навыков интерпретации ультразвуковой регионарной анестезии (URAISE)

Это проспективное многоцентровое исследование, ведущее к выявлению проверенного, надежного и защищенного инструмента для оценки интерпретации изображений регионарной анестезии под ультразвуковым контролем (UGRA).

Это исследование будет состоять из 5 этапов:

Фаза 1 - идентификация блокады нерва:

Группа академических экспертов в области регионарной анестезии рассмотрит опубликованные данные из международных руководств UGRA. Они определят, какие блокады нервов UGRA имеют отношение к анестезиологической практике в Великобритании, и перечислят анатомические и клинические знания, необходимые для выполнения этих блокад нервов.

Фаза 2 — генерация контента и вопросов:

Группа экспертов в области регионарной анестезии, получившая признание за свое участие в сообществах регионарных анестезиологов и публикации, рассмотрит блокады нервов UGRA и соответствующие анатомические структуры, выявленные в Фазе 1. Анатомические структуры, которые должны быть идентифицированы на УЗИ для безопасного и эффективного выполнения этих блоков, будут согласованы после группового обсуждения. Каждая структура будет классифицироваться как:

• Существенный
• Желаемый
• Эксперт
• Не имеет значения

Эта информация будет сопоставлена ​​основным исследователем и соисследователями для создания пилотного теста контента и вопросов интерпретации UGRA.

Фаза 3 - предварительное тестирование:

Пилотный тест будет проводиться местными исследователями с помощью компьютерного приложения для 35-50 стажеров и консультантов по анестезиологии, набранных по электронной почте и листовкам, отправленным в школы анестезиологии по всей Великобритании. Когорты будут включать равное количество стажеров и консультантов с различной регионарной анестезией и клиническим опытом. Пилотный тест будет содержать короткие видеоклипы и изображения регионарной анестезии под ультразвуковым контролем с вопросами в формате составленного ответа на вопрос (CRQ) для определения соответствующих структур, анатомии и клинических знаний, для чего участнику потребуется написать ответы на вопросы в произвольной форме. Важно признать, что некоторые участники будут знакомы с форматом CRQ, в то время как другие могут быть более знакомы с другими формами оценочных вопросов. Таким образом, участникам пилотного проекта перед тестом будут предоставлены образцы вопросов и ответов, чтобы они могли ознакомиться с форматом вопросов.

«Внешняя валидность» теста (т.е. измеряет ли он то, на что претендует) будет оцениваться путем просьбы участников прокомментировать простоту понимания и определить термины, которые кажутся двусмысленными. Участники смогут оставлять комментарии в текстовом поле после каждого пункта анкеты. Их также попросят прокомментировать, как они могли бы улучшить тест, и какие-либо соответствующие анатомические или клинические знания, отсутствующие в вопросах. Формат теста будет изменен на основе комментариев.

«Индекс сложности» для каждого элемента будет рассчитываться путем деления количества правильных ответов на общее количество ответов. Чем выше значение, тем легче ответить на вопрос. Любой вопрос с индексом сложности < 50% будет сочтен респондентами слишком сложным для ответа и будет рассматриваться как подлежащий удалению. Это будет сравниваться с информацией, полученной от группы экспертов по предметам тестирования (то есть, является ли анатомическая структура существенной, желательной, экспертной или не относящейся к конкретной блокаде нерва под ультразвуковым контролем).

Пилотное исследование будет использоваться для определения того, насколько хорошо ответы на каждый вопрос теста различают уровень опыта участника ультразвука («конструктивная валидность»). Различия в навыках интерпретации УЗИ между исследуемыми группами будут проанализированы с использованием статистического моделирования. Элементы, которые различаются хорошо, будут сохранены, а те, которые различаются плохо, будут удалены из основного теста.

Надежность теста будет повышена за счет предоставления тестовых заданий в случайном порядке, чтобы свести к минимуму влияние когнитивной усталости, снижающей производительность, на последующие задания. Среднее время, затрачиваемое участниками на выполнение каждого пункта пилотного теста, также будет зарегистрировано, чтобы определить оптимальную продолжительность окончательного учебного теста. Важно сбалансировать максимальное количество тестовых заданий, сводя к минимуму риск когнитивной усталости и выбывания участника. Хотя в пилотном тесте обязательно будет больше заданий, чем в финальном тесте, участников пилотного теста попросят прокомментировать момент, в котором они почувствовали усталость, чтобы установить этот баланс. Это также поможет понять, влияет ли уровень регионарной анестезии на утомляемость.

Этап 4 — тестирование на валидность контента:

Чтобы убедиться, что все элементы в инструменте оценки содержат контент, проверяющий область, которую исследователи намереваются протестировать, после пилотного проекта измененный тест будет представлен группе из 5 экспертов по регионарной анестезии, которых попросят оценить пригодность ультразвуковых изображений. и вопросы к выполнению блока. Это будет по 4-балльной шкале Лайкерта:

1. = определенно не подходит
2. = вероятно не подходит
3. = вероятно подходит
4. = определенно подходящий «Содержательная валидность» (т. е. степень, в которой мера достоверно представляет конкретную область) будет получена путем деления числа экспертов, которые оценили элемент как вероятно подходящий и определенно подходящий (3 и 4 по шкале), на общее количество экспертов. Будут отобраны элементы, которые будут признаны подходящими достаточно большим процентом участников.

Фаза 5: Психометрическое тестирование основного исследования Окончательный инструмент оценки будет применен к равному количеству анестезиологов с разным опытом регионарной анестезии. Участники будут набираться с помощью электронных писем и листовок, рассылаемых школам анестезиологии по всей Великобритании. Каждый участник ответит на ряд демографических вопросов, включая возраст, пол, рукоять, а также уровень подготовки и практический опыт в UGRA, чтобы учесть несоответствия в клиническом воздействии на разных этапах обучения.

Экзамен будет состоять из вопросов с построенным ответом (CRQ). Перед тестом участникам будут предоставлены образцы вопросов и ответов, чтобы они могли ознакомиться с форматом вопросов. Конструктивная валидность инструмента будет проверена путем сравнения оценок анестезиологов с их уровнем опыта регионарной анестезии. Уровень опыта является прокси-измерителем результата для их квалификации в регионарной анестезии под ультразвуковым контролем. Различия в навыках интерпретации УЗИ между исследуемыми группами будут проанализированы с использованием статистического моделирования. В конце оценки будет краткий вопросник, чтобы убедиться в простоте понимания и пригодности ультразвуковых изображений для подтверждения достоверности теста.

«Внутренняя надежность» (т. е. согласованность результатов по элементам теста) ответов будет оцениваться с использованием статистического моделирования. Для каждого участника также будет использоваться метод раздельного тестирования, чтобы сравнить первую половину своей оценки со второй половиной, чтобы обеспечить внутреннюю согласованность их ответов на вопросы. Индекс сложности, рассчитанный для заданий пилотного исследования, будет использоваться для обеспечения сбалансированного набора заданий теста с точки зрения их сложности в первой и второй частях теста. Все пункты станут обязательными. Тест будет проводиться местными следователями через веб-приложение. Он будет иметь автоматическую систему маркировки, чтобы свести к минимуму различия между маркерами. Это также будет проверяться вручную следователями, которые не знают уровень и личность участника.

Следователи будут стремиться набрать как минимум 250 участников, каждому из которых будет присвоен номер участника для сохранения анонимности.

Результаты будут проанализированы только после завершения набора.