Взаимодействие человеческого алгоритма при диагностике острой дыхательной недостаточности
17 октября 2023 г. обновлено: Michael Sjoding, University of Michigan
Измерение влияния ИИ на диагностику госпитализированных пациентов: рандомизированное многоцентровое исследование
Искусственный интеллект (ИИ) демонстрирует многообещающие результаты в выявлении отклонений на клинических изображениях. Однако систематически предвзятые модели ИИ, в которых модель дает неточные прогнозы для целых групп населения, могут привести к ошибкам и потенциальному вреду. Когда модель искусственного интеллекта демонстрирует неправильные прогнозы, точность диагностики врача может быть нарушена. Целью этого исследования является изучение эффективности предоставления клиницистам объяснений модели ИИ на основе изображений при предоставлении прогнозов модели ИИ, чтобы помочь врачам лучше понять логику прогнозов модели ИИ. Он оценит, может ли предоставление клиницистам объяснений моделей ИИ повысить точность диагностики и помочь врачам обнаружить, когда модели принимают неправильные решения. В качестве тестового примера исследование будет сосредоточено на диагностике острой дыхательной недостаточности, поскольку определение основных причин острой дыхательной недостаточности имеет решающее значение для принятия решения о лечении, но может быть клинически сложным.
Чтобы определить, может ли предоставление объяснений ИИ повысить точность диагностики клиницистов и смягчить потенциальное воздействие демонстрации клиницистам систематически предвзятой модели ИИ, будет проведено рандомизированное клиническое исследование. В ходе опроса участникам исследования будут показаны клинические эпизоды пациентов, госпитализированных с острой дыхательной недостаточностью, включая имеющиеся симптомы пациента, физический осмотр, результаты лабораторных исследований и рентгенографию грудной клетки. Затем участников исследования попросят оценить вероятность того, что сердечная недостаточность, пневмония и/или хроническая обструктивная болезнь легких (ХОБЛ) являются основным диагнозом. Во время конкретных эпизодов опроса участникам также будут показаны стандартные или систематически смещенные модели ИИ, которые позволяют оценить вероятность того, что сердечная недостаточность, пневмония и/или ХОБЛ являются основным диагнозом. Клиницисты будут рандомизированы и будут видеть только прогнозы ИИ или прогнозы ИИ с пояснениями при показе моделей ИИ. Этот дизайн опроса позволит проверить гипотезу о том, что систематически предвзятые модели могут нанести ущерб точности диагностики клиницистов, но часто используемые объяснения на основе изображений помогут клиницистам частично восстановить свою эффективность.
Обзор исследования
Статус
Завершенный
Вмешательство/лечение
- Другой: Прогнозы модели искусственного интеллекта без объяснения причин
- Другой: Модель искусственного интеллекта предвзято относится к сердечной недостаточности
- Другой: Модель искусственного интеллекта предвзято относится к пневмонии
- Другой: Модель ИИ, ориентированная на ХОБЛ
- Другой: Прогнозы модели искусственного интеллекта с объяснением
Тип исследования
Интервенционный
Регистрация (Действительный)
457
Фаза
- Непригодный
Контакты и местонахождение
В этом разделе приведены контактные данные лиц, проводящих исследование, и информация о том, где проводится это исследование.
Места учебы
-
-
Michigan
-
Ann Arbor, Michigan, Соединенные Штаты, 48103
- University of Michigan
-
-
Критерии участия
Исследователи ищут людей, которые соответствуют определенному описанию, называемому критериям приемлемости. Некоторыми примерами этих критериев являются общее состояние здоровья человека или предшествующее лечение.
Критерии приемлемости
Возраст, подходящий для обучения
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Нет
Описание
Критерии включения:
- Врачи, практикующие медсестры и фельдшеры, оказывающие помощь пациентам с острой дыхательной недостаточностью в рамках своей клинической практики.
Критерий исключения:
- Врачи, практикующие медсестры и фельдшеры, которые оказывают помощь пациентам только в амбулаторных условиях.
Учебный план
В этом разделе представлена подробная информация о плане исследования, в том числе о том, как планируется исследование и что оно измеряет.
Как устроено исследование?
Детали дизайна
- Основная цель: Другой
- Распределение: Рандомизированный
- Интервенционная модель: Параллельное назначение
- Маскировка: Одинокий
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Экспериментальный: Модель ИИ склонна к сердечной недостаточности, объяснения ИИ нет
Участникам этой группы будут показаны стандартные прогнозы модели ИИ во время 3 клинических эпизодов с пациентами в рамках опроса, а также систематически смещенные прогнозы модели ИИ во время 3 клинических эпизодов.
Когда демонстрируются систематически предвзятые прогнозы модели ИИ, модель будет предвзята в отношении сердечной недостаточности, всегда предсказывая, что сердечная недостаточность с высокой вероятностью присутствует у пациентов с индексом массы тела (ИМТ) 30 или выше.
Для двух других диагнозов будут показаны стандартные прогнозы.
Участникам этой группы не будет показано объяснение ИИ при показе прогнозов модели ИИ.
|
В течение 6 клинических эпизодов участники увидят прогнозы модели ИИ без соответствующего объяснения ИИ.
Модель искусственного интеллекта предоставит оценку для каждого диагноза (сердечная недостаточность, пневмония, ХОБЛ) по шкале от 0 до 100, оценивая, насколько вероятно, что обращение пациента было связано с каждым из этих диагнозов.
В 3 клинических эпизодах участникам будут показаны стандартные прогнозы модели ИИ, а в 3 эпизодах им будут показаны систематически смещенные прогнозы модели ИИ, причем модель специально смещена против одного из трех диагнозов.
В 3 клинических эпизодах участникам будут показаны систематически предвзятые прогнозы модели ИИ, причем модель специально ориентирована на сердечную недостаточность, всегда предсказывая, что сердечная недостаточность присутствует с высокой вероятностью у пациентов с индексом массы тела (ИМТ) 30 или выше.
Стандартные прогнозы будут показаны для двух других диагнозов (пневмония, ХОБЛ).
|
|
Экспериментальный: Модель ИИ склонна к пневмонии, объяснения ИИ нет
Участникам этой группы будут показаны стандартные прогнозы модели ИИ во время 3 клинических эпизодов с пациентами в рамках опроса, а также систематически смещенные прогнозы модели ИИ во время 3 клинических эпизодов.
Когда демонстрируются систематически предвзятые прогнозы модели ИИ, модель будет предвзято относиться к пневмонии, всегда предсказывая, что пневмония с высокой вероятностью присутствует у пациентов 80 лет и старше.
Для двух других диагнозов будут показаны стандартные прогнозы.
Участникам этой группы не будет показано объяснение ИИ при показе прогнозов модели ИИ.
|
В течение 6 клинических эпизодов участники увидят прогнозы модели ИИ без соответствующего объяснения ИИ.
Модель искусственного интеллекта предоставит оценку для каждого диагноза (сердечная недостаточность, пневмония, ХОБЛ) по шкале от 0 до 100, оценивая, насколько вероятно, что обращение пациента было связано с каждым из этих диагнозов.
В 3 клинических эпизодах участникам будут показаны стандартные прогнозы модели ИИ, а в 3 эпизодах им будут показаны систематически смещенные прогнозы модели ИИ, причем модель специально смещена против одного из трех диагнозов.
В 3 клинических эпизодах участникам будут показаны систематически смещенные прогнозы модели ИИ, при этом модель специально предвзято относится к пневмонии, всегда предсказывая, что пневмония присутствует с высокой вероятностью у пациентов эпизода исследования 80 лет и старше.
Стандартные прогнозы будут показаны для двух других диагнозов (сердечная недостаточность, ХОБЛ).
|
|
Экспериментальный: Модель ИИ смещена в сторону ХОБЛ, объяснения ИИ нет
Участникам этой группы будут показаны стандартные прогнозы модели ИИ во время 3 клинических эпизодов с пациентами в рамках опроса, а также систематически смещенные прогнозы модели ИИ во время 3 клинических эпизодов.
Когда показаны систематически смещенные прогнозы модели ИИ, модель будет смещена в отношении ХОБЛ, всегда предсказывая наличие ХОБЛ с высокой вероятностью, когда к рентгеновскому снимку пациента был применен фильтр предварительной обработки.
Для двух других диагнозов будут показаны стандартные прогнозы.
Участникам этой группы не будет показано объяснение ИИ при показе прогнозов модели ИИ.
|
В течение 6 клинических эпизодов участники увидят прогнозы модели ИИ без соответствующего объяснения ИИ.
Модель искусственного интеллекта предоставит оценку для каждого диагноза (сердечная недостаточность, пневмония, ХОБЛ) по шкале от 0 до 100, оценивая, насколько вероятно, что обращение пациента было связано с каждым из этих диагнозов.
В 3 клинических эпизодах участникам будут показаны стандартные прогнозы модели ИИ, а в 3 эпизодах им будут показаны систематически смещенные прогнозы модели ИИ, причем модель специально смещена против одного из трех диагнозов.
В 3 клинических эпизодах участникам будут показаны систематически смещенные прогнозы модели ИИ, при этом модель специально ориентирована на ХОБЛ, всегда предсказывая, что ХОБЛ присутствует с высокой вероятностью у пациентов в эпизоде опроса, где к рентгеновскому снимку пациента был применен фильтр предварительной обработки.
Для остальных двух диагнозов (сердечная недостаточность, пневмония) будут показаны стандартные прогнозы.
|
|
Экспериментальный: Модель ИИ, ориентированная на сердечную недостаточность, представлено объяснение ИИ на основе изображений
Участникам этой группы будут показаны стандартные прогнозы модели ИИ во время 3 клинических эпизодов с пациентами в рамках опроса, а также систематически смещенные прогнозы модели ИИ во время 3 клинических эпизодов.
Когда демонстрируются систематически предвзятые прогнозы модели ИИ, модель будет предвзята в отношении сердечной недостаточности, всегда предсказывая, что сердечная недостаточность с высокой вероятностью присутствует у пациентов с индексом массы тела (ИМТ) 30 или выше.
Для двух других диагнозов будут показаны стандартные прогнозы.
Участникам этого направления также будут показаны объяснения ИИ при показе прогнозов модели ИИ.
|
В 3 клинических эпизодах участникам будут показаны систематически предвзятые прогнозы модели ИИ, причем модель специально ориентирована на сердечную недостаточность, всегда предсказывая, что сердечная недостаточность присутствует с высокой вероятностью у пациентов с индексом массы тела (ИМТ) 30 или выше.
Стандартные прогнозы будут показаны для двух других диагнозов (пневмония, ХОБЛ).
В ходе 6 клинических эпизодов участники увидят прогнозы модели ИИ с пояснениями.
Модель искусственного интеллекта предоставит оценку каждому диагнозу по шкале от 0 до 100.
В 3 клинических эпизодах участникам будут показаны стандартные прогнозы модели ИИ, а в 3 эпизодах им будут показаны систематически смещенные прогнозы модели ИИ, причем модель специально смещена против одного из трех диагнозов.
Если модель ИИ дает оценку выше 50, объяснение модели ИИ будет показано в виде тепловых карт карт активации классов с градиентной взвешиванием (Grad-CAM), наложенных на рентгенограмму грудной клетки, на которой будут выделены области изображения, наиболее влияющие на прогноз модели ИИ.
|
|
Экспериментальный: Модель ИИ склонна к пневмонии, представлено объяснение ИИ на основе изображений
Участникам этой группы будут показаны стандартные прогнозы модели ИИ во время 3 клинических эпизодов с пациентами в рамках опроса, а также систематически смещенные прогнозы модели ИИ во время 3 клинических эпизодов.
Когда демонстрируются систематически предвзятые прогнозы модели ИИ, модель будет предвзято относиться к пневмонии, всегда предсказывая, что пневмония с высокой вероятностью присутствует у пациентов 80 лет и старше.
Для двух других диагнозов будут показаны стандартные прогнозы.
Участникам этого направления также будут показаны объяснения ИИ при показе прогнозов модели ИИ.
|
В 3 клинических эпизодах участникам будут показаны систематически смещенные прогнозы модели ИИ, при этом модель специально предвзято относится к пневмонии, всегда предсказывая, что пневмония присутствует с высокой вероятностью у пациентов эпизода исследования 80 лет и старше.
Стандартные прогнозы будут показаны для двух других диагнозов (сердечная недостаточность, ХОБЛ).
В ходе 6 клинических эпизодов участники увидят прогнозы модели ИИ с пояснениями.
Модель искусственного интеллекта предоставит оценку каждому диагнозу по шкале от 0 до 100.
В 3 клинических эпизодах участникам будут показаны стандартные прогнозы модели ИИ, а в 3 эпизодах им будут показаны систематически смещенные прогнозы модели ИИ, причем модель специально смещена против одного из трех диагнозов.
Если модель ИИ дает оценку выше 50, объяснение модели ИИ будет показано в виде тепловых карт карт активации классов с градиентной взвешиванием (Grad-CAM), наложенных на рентгенограмму грудной клетки, на которой будут выделены области изображения, наиболее влияющие на прогноз модели ИИ.
|
|
Экспериментальный: Модель ИИ, ориентированная на ХОБЛ, представлено объяснение ИИ на основе изображений
Участникам этой группы будут показаны стандартные прогнозы модели ИИ во время 3 клинических эпизодов с пациентами в рамках опроса, а также систематически смещенные прогнозы модели ИИ во время 3 клинических эпизодов.
Когда показаны систематически смещенные прогнозы модели ИИ, модель будет смещена в отношении ХОБЛ, всегда предсказывая наличие ХОБЛ с высокой вероятностью, когда к рентгеновскому снимку пациента был применен фильтр предварительной обработки.
Для двух других диагнозов будут показаны стандартные прогнозы.
Участникам этого направления также будут показаны объяснения ИИ при показе прогнозов модели ИИ.
|
В 3 клинических эпизодах участникам будут показаны систематически смещенные прогнозы модели ИИ, при этом модель специально ориентирована на ХОБЛ, всегда предсказывая, что ХОБЛ присутствует с высокой вероятностью у пациентов в эпизоде опроса, где к рентгеновскому снимку пациента был применен фильтр предварительной обработки.
Для остальных двух диагнозов (сердечная недостаточность, пневмония) будут показаны стандартные прогнозы.
В ходе 6 клинических эпизодов участники увидят прогнозы модели ИИ с пояснениями.
Модель искусственного интеллекта предоставит оценку каждому диагнозу по шкале от 0 до 100.
В 3 клинических эпизодах участникам будут показаны стандартные прогнозы модели ИИ, а в 3 эпизодах им будут показаны систематически смещенные прогнозы модели ИИ, причем модель специально смещена против одного из трех диагнозов.
Если модель ИИ дает оценку выше 50, объяснение модели ИИ будет показано в виде тепловых карт карт активации классов с градиентной взвешиванием (Grad-CAM), наложенных на рентгенограмму грудной клетки, на которой будут выделены области изображения, наиболее влияющие на прогноз модели ИИ.
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Точность диагностики участников в различных клинических условиях
Временное ограничение: День 0
|
Точность диагностики определяется как количество правильных диагностических оценок по отношению к общему количеству диагностических оценок.
После рассмотрения клинической ситуации каждого отдельного пациента в рамках опроса участникам будет предложено провести три отдельные диагностические оценки для каждой клинической ситуации: одну для сердечной недостаточности, пневмонии и ХОБЛ.
Если оценка участника соответствует контрольной этикетке для каждого эпизода, диагностическая оценка считается правильной.
Диагностические оценки будут проводиться во время заполнения участниками опроса (день 0), сразу после того, как участник ознакомится с клинической историей.
Точность диагностики участников будет сравниваться при различных настройках примера (без модели ИИ, стандартная модель ИИ, стандартная модель ИИ с объяснением, модель предвзятого ИИ, модель предвзятого ИИ с объяснением).
|
День 0
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Точность выбора лечения в различных клинических условиях
Временное ограничение: День 0
|
Точность выбора лечения определяется тем, выбрал ли участник правильное лечение для пациента в клинической ситуации и может ли он выбрать любую комбинацию стероидов, антибиотиков, внутривенных (в/в) диуретиков или ни одного из этих методов лечения для пациента.
Оценка выбора лечения будет проводиться во время заполнения участниками опроса (день 0), сразу после того, как участник ознакомится с клинической ситуацией.
Точность выбора лечения участниками будет сравниваться при различных настройках примера (без модели ИИ, стандартная модель ИИ, стандартная модель ИИ с объяснением, модель предвзятого ИИ, модель предвзятого ИИ с объяснением).
|
День 0
|
|
Диагностическая точность конкретного диагноза в различных клинических условиях
Временное ограничение: День 0
|
Точность диагностики, специфичная для сердечной недостаточности, пневмонии и ХОБЛ в различных условиях
|
День 0
|
Соавторы и исследователи
Здесь вы найдете людей и организации, участвующие в этом исследовании.
Спонсор
Следователи
- Главный следователь: Michael Sjoding, MD, University of Michigan
Даты записи исследования
Эти даты отслеживают ход отправки отчетов об исследованиях и сводных результатов на сайт ClinicalTrials.gov. Записи исследований и сообщаемые результаты проверяются Национальной медицинской библиотекой (NLM), чтобы убедиться, что они соответствуют определенным стандартам контроля качества, прежде чем публиковать их на общедоступном веб-сайте.
Изучение основных дат
Начало исследования (Действительный)
1 апреля 2022 г.
Первичное завершение (Действительный)
31 января 2023 г.
Завершение исследования (Действительный)
31 января 2023 г.
Даты регистрации исследования
Первый отправленный
17 октября 2023 г.
Впервые представлено, что соответствует критериям контроля качества
17 октября 2023 г.
Первый опубликованный (Действительный)
25 октября 2023 г.
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
25 октября 2023 г.
Последнее отправленное обновление, отвечающее критериям контроля качества
17 октября 2023 г.
Последняя проверка
1 октября 2023 г.
Дополнительная информация
Термины, связанные с этим исследованием
Ключевые слова
Дополнительные соответствующие термины MeSH
Другие идентификационные номера исследования
- HUM00180745
- R01HL158626 (Грант/контракт NIH США)
Планирование данных отдельных участников (IPD)
Планируете делиться данными об отдельных участниках (IPD)?
ДА
Описание плана IPD
Данные могут быть доступны другим исследователям из аккредитованных исследовательских учреждений после заключения соглашения об использовании данных с Мичиганским университетом.
Сроки обмена IPD
Данные будут доступны на неопределенный срок после публикации исследования.
Критерии совместного доступа к IPD
Эта информация будет опубликована в качестве приложения к рукописи исследования.
Совместное использование IPD Поддерживающий тип информации
- STUDY_PROTOCOL
- САП
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Нет
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
Нет
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .