Предотвращение ошибок при отпуске лекарств в аптечной практике с помощью интерпретируемого машинного интеллекта
Обзор исследования
Статус
Условия
Вмешательство/лечение
Подробное описание
В настоящее время фармацевты проводят независимую двойную проверку, чтобы выявить ошибки в выборе лекарств, прежде чем они попадут к пациенту. Однако использование машинного интеллекта (МИ) для поддержки этой когнитивной работы по принятию решений фармацевтами на практике не существует. Вместо этого фармацевты полагаются исключительно на эталонные изображения лекарства, которые они могут сравнить с содержимым рецептурного флакона. Предыдущие исследования показали, что системы поддержки принятия решений могут эффективно повысить эффективность и точность оказания медицинской помощи, предотвращая при этом побочные эффекты от приема лекарств. Однако мало что известно о том, как технологии МИ влияют на производительность труда и когнитивные потребности фармацевтов.
Чтобы облегчить долгосрочные симбиотические отношения между фармацевтами и системой МИ, необходимо установить надлежащее доверие. Хотя доверие считается центральным фактором эффективного взаимодействия человека и машины, проблемы возникают, когда люди неоправданно доверяют автоматизированным технологиям и не доверяют им достаточно. Чрезмерное доверие к автоматизации может привести к самоуспокоенности и предвзятости в отношении автоматизации. Например, фармацевты могут полагаться на систему МИ до такой степени, что слепо принимают любые рекомендации системы. Недоверие может привести к неиспользованию фармацевтов и потенциальному отказу от системы МИ.
Кроме того, мало что известно о сроках выдачи МИ рекомендаций по эффективности работы фармацевтов. Например, демонстрация рекомендаций МИ, пока фармацевт выполняет задачу проверки лекарств, может дать иные результаты, чем показ рекомендаций МИ после того, как фармацевт принял решение.
Исследователи разработали систему MI для классификации изображений лекарств. Целью данного исследования является изучение эффективности выбора времени для рекомендаций по МИ, чтобы определить, приводит ли это к сокращению времени выполнения задач, повышению точности и повышению доверия к МИ.
Тип исследования
Регистрация (Действительный)
Фаза
- Непригодный
Контакты и местонахождение
Места учебы
-
-
Michigan
-
Ann Arbor, Michigan, Соединенные Штаты, 48109
- University of Michigan
-
-
Критерии участия
Критерии приемлемости
Возраст, подходящий для обучения
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Описание
Критерии включения:
- Лицензированный фармацевт в США.
- Возраст 18 лет и старше на момент скрининга
- ПК/ноутбук с ОС Microsoft Windows 10 или Mac (Macbook, iMac) с MacOS с веб-браузером Google Chrome, Edge, Opera, Safari или Firefox, установленным на устройстве
- Разрешение экрана 1024х968 пикселей и более.
- Для отслеживания взгляда также потребуется встроенная в ноутбук веб-камера или веб-камера USB.
Критерий исключения:
- Приняли участие в волне 1 или волне 2
- Очки
- Нескорректированная катаракта, внутриглазные имплантаты, глаукома или постоянное расширение зрачка.
- Для использования компьютера потребуется программа чтения с экрана/лупа или другая вспомогательная технология.
- Нарушения движения или выравнивания глаз (ленивый глаз, косоглазие, нистагм)
Учебный план
Как устроено исследование?
Детали дизайна
- Основная цель: Другой
- Распределение: Рандомизированный
- Интервенционная модель: Назначение кроссовера
- Маскировка: Нет (открытая этикетка)
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Экспериментальный: Нет помощи MI
Во время задач проверки помощь MI не будет предоставлена.
|
Участники выполнят задание по проверке лекарств без помощи МИ.
Участники получат MI в виде всплывающего сообщения, если их решение отличается от определения MI.
Справка MI будет отображаться одновременно с заполненными и эталонными изображениями.
|
|
Экспериментальный: Сценарий №1
Справка МИ будет представлена в виде всплывающего сообщения о том, что решение участника отличается от определения МИ.
|
Участники выполнят задание по проверке лекарств без помощи МИ.
Участники получат MI в виде всплывающего сообщения, если их решение отличается от определения MI.
Справка MI будет отображаться одновременно с заполненными и эталонными изображениями.
|
|
Экспериментальный: Сценарий №2
Справка MI будет отображаться одновременно с заполненными и эталонными изображениями.
|
Участники выполнят задание по проверке лекарств без помощи МИ.
Участники получат MI в виде всплывающего сообщения, если их решение отличается от определения MI.
Справка MI будет отображаться одновременно с заполненными и эталонными изображениями.
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Время реакции
Временное ограничение: В ходе задачи верификации
|
Разница во времени выполнения задачи, измеряемая количеством секунд от начала задачи до принятия или отклонения изображения лекарственного препарата
|
В ходе задачи верификации
|
|
Точность принятия решений
Временное ограничение: На протяжении всей задачи проверки
|
Разница в частоте обнаружения, измеренная по количеству ошибок проверки лекарственных средств среди всех участников в группе/рукаве.
|
На протяжении всей задачи проверки
|
|
Доверие Изменение
Временное ограничение: После каждого испытания в Сценариях 1 и 2
|
Участники выполнят по 100 имитационных проверок медикаментов в каждой из групп исследования (т.е. Сценарий 1, Сценарий 2 и Без помощи). После каждой проверки в Сценарии 1 и Сценарии 2 участники будут использовать визуальную аналоговую шкалу (ВАШ) для ответа на вопрос: «Насколько вы доверяете рекомендациям ИИ?» Концы 100-балльной ВАШ обозначены как «Совсем не доверяю» и «Полностью доверяю». Участники указывают свой уровень доверия к рекомендациям ИИ после каждой проверки по шкале от 1 до 100, где более высокие баллы означают больший уровень доверия. Изменение доверия, измеряемое с помощью визуальной аналоговой шкалы, будет рассчитываться по следующей формуле: Изменение доверия (i) = Доверие(i) - Доверие(i - 1), где i=2, 3, ..., 100. Для вычисления единого, обобщенного значения переменной «Изменение доверия» в рамках конкретного сценария, отдельные баллы изменения доверия, измеренные по проверкам, усредняются. Этот метод усреднения дает всестороннюю меру того, как доверие менялось в течение сценария. |
После каждого испытания в Сценариях 1 и 2
|
|
Доверие
Временное ограничение: После вмешательства в Сценариях 1 и 2.
|
Доверие будет оцениваться с использованием шкалы доверия к автоматизации Мьюира и Мори (1996).
Баллы варьируются от 0 до 100, причем более высокие баллы указывают на более высокий уровень доверия.
|
После вмешательства в Сценариях 1 и 2.
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Когнитивное усилие
Временное ограничение: На протяжении всей задачи верификации
|
Движения глаз участников отслеживались с помощью браузерной системы онлайн-отслеживания взгляда.
Результатом является разница в когнитивных усилиях, измеряемая по количеству фиксаций в определенных областях интереса: изображение заполнения, эталонное изображение или график MI.
Более высокие показатели фиксации указывают на повторный интерес к определенной области.
|
На протяжении всей задачи верификации
|
|
Когнитивное усилие
Временное ограничение: На протяжении всей задачи проверки
|
Движения глаз участников отслеживались с использованием браузерной системы онлайн-отслеживания взгляда.
Результирующим показателем является разница в когнитивных усилиях, измеряемая по продолжительности фиксаций в определенных областях интереса: изображение для заполнения, эталонное изображение или график MI.
Более длительная продолжительность фиксации указывает на более высокую когнитивную нагрузку.
|
На протяжении всей задачи проверки
|
|
Рабочая нагрузка
Временное ограничение: После завершения 100 пробных верификационных испытаний в каждой группе
|
Участники выполнят по 100 пробных проверок лекарств в каждой из 3 групп. Нагрузка в каждой группе будет измеряться с помощью индекса нагрузки задач NASA (TLX). Оцениваются 5 измерений TLX: умственная нагрузка, усилия, временные требования, производительность и разочарование. По каждому измерению участники укажут свой ответ на один вопрос. Для 4 измерений конечные точки шкалы Лайкерта - «очень низкая» и «очень высокая». Измерение производительности оценивается в обратном порядке, а конечные точки - «идеально» и «неудача». Затем участники выполняют 10 попарных сравнений измерений, указывая, какое измерение они считают более важным фактором (например, усилия против разочарования). Каждая категориальная оценка умножается на соответствующее количество попарных сравнений, суммируется и делится на 10 для получения общей взвешенной оценки нагрузки. Результатом является общая оценка нагрузки от 1 до 20, где более высокие баллы указывают на более высокую нагрузку. |
После завершения 100 пробных верификационных испытаний в каждой группе
|
|
Юзабилити
Временное ограничение: После завершения 100 имитационных проверочных испытаний в каждой группе
|
Участники выполнят 100 имитационных испытаний проверки лекарств в каждой из 3 групп (Без помощи ИИ, Сценарий 1 и Сценарий 2).
После завершения 100 испытаний участники оценят имитационный интерфейс проверки с помощью Системной шкалы удобства использования (SUS).
SUS состоит из 10 утверждений, с которыми участники выражают своё согласие по 5-балльной шкале Лайкерта от "полностью согласен" до "категорически не согласен".
Вопросы с нечётными номерами имеют положительный ответ, а вопросы с чётными номерами оцениваются в обратном порядке.
Баллы суммируются и умножаются на 2,5 для получения итогового балла SUS.
Баллы SUS варьируются от 0 до 100, причём более высокие баллы указывают на лучшее удобство использования.
Средний балл SUS считается равным 68.
Все, что ниже 50, считается "неприемлемым".
Баллы от 51 до 70 считаются "маргинальными", баллы выше 71 считаются "приемлемыми", а баллы 80 и выше указывают на высокое удобство использования.
|
После завершения 100 имитационных проверочных испытаний в каждой группе
|
Соавторы и исследователи
Спонсор
Соавторы
Следователи
- Главный следователь: Corey A Lester, PharmD, PhD, University of Michigan
Даты записи исследования
Изучение основных дат
Начало исследования (Действительный)
Первичное завершение (Действительный)
Завершение исследования (Действительный)
Даты регистрации исследования
Первый отправленный
Впервые представлено, что соответствует критериям контроля качества
Первый опубликованный (Действительный)
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
Последнее отправленное обновление, отвечающее критериям контроля качества
Последняя проверка
Дополнительная информация
Термины, связанные с этим исследованием
Ключевые слова
Другие идентификационные номера исследования
- HUM00241223
- 5R01LM013624 (Грант/контракт NIH США)
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
продукт, произведенный в США и экспортированный из США.
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .