Исследование по оценке влияния системы искусственного интеллекта (ИИ) на отчеты о рентгенографии грудной клетки

Проспективное исследование с одним центром, в котором данные будут собираться в учебных больницах Университета Халла NHS Trust (HUTH).

Рентгенография органов общей практики проводится в двух основных больницах Фонда, а также в вспомогательных отделениях в местном сообществе. Все они используют одну и ту же радиологическую информационную систему (RIS), а рентгенограммы грудной клетки автоматически сохраняются в системе архивирования и передачи изображений HUTH (PACS).

Отделение радиологии в отделении неотложной помощи Королевского лазарета Халла проводит рентгенографию грудной клетки для экстренных пациентов, а также для стационарных пациентов в больнице.

Все рентгенограммы грудной клетки будут зарегистрированы в RIS, выполнены и отправлены в систему PACS в обычном режиме. Любой рентген грудной клетки, выполненный пациенту в возрасте 16 лет и старше из любого из вышеуказанных наборов, будет автоматически передан на сервер ИИ, и после обработки отчет ИИ автоматически переместится в ту же папку PACS, что и исходный фильм.

Отчетность по рентгенограмме грудной клетки и просмотр информации об ИИ будут проводиться на обычных отчетных сессиях, проводимых в рентгенологическом отделении персоналом всех категорий.

В настоящее время отделение радиологии передает на аутсорсинг некоторые простые отчеты на пленке, однако на время исследования ни одно из вышеуказанных обследований не будет передано на аутсорсинг, и все отчеты будут выполняться членами рентгенологической группы HUTH.

Рентгенологическое исследование органов грудной клетки проводится рядом специалистов в области радиологии:

• Консультант радиологов
• Регистратор радиологов, проходящих подготовку до FRCR - член экзаменационного поста Королевского колледжа радиологии FRCR
• Подотчетные рентгенологи В отделении радиологии в настоящее время работают 46 консультантов, 26 специалистов-регистраторов и 8 подотчетных рентгенологов. Хотя не все консультанты или рентгенологи проводят рентгенографию грудной клетки.

В исследовании будут участвовать все группы репортеров, и исследователи будут оценивать ответы каждой группы, а также общую производительность. Участники будут определены по группам, а не индивидуально.

Исследование разделено на три этапа.

Фаза первая:

Это произойдет сразу после интеграции системы ИИ в HUTH PACS. В течение месяца журналисты приобретают опыт использования программного обеспечения.

За это время с помощью программного обеспечения будут проверены две локальные базы данных:

• обучающий набор из 100 случаев рентгенографии грудной клетки, в которых присутствуют некоторые легочные узлы с соответствующими КТ.
• Набор ранее зарегистрированных рентгенограмм грудной клетки, запрошенных врачами общей практики (GP), которые были направлены репортером для срочной КТ.

Их результаты будут рассмотрены небольшой группой журналистов. Причина таких отзывов двоякая:

• Предоставить обзор программного обеспечения, которое может служить основой для инструкций для второго этапа.
• Чтобы позволить сравнить ранее задокументированные характеристики репортера и производительность ИИ до начала проспективного исследования.

Второй этап:

Это продлится 6 месяцев и будет включать в себя все рентгенограммы грудной клетки для пациентов старше 16 лет, полученные либо по направлению врача общей практики, либо в отделении неотложной помощи (ED) больницы неотложной помощи, включая неотложную и неотложную помощь и стационарные исследования. Они будут отправлены на сервер AI для оценки, возвращаемые данные будут доступны в папке PACS с исходным изображением. Это произойдет до того, как фильм станет доступен для репортажа.

Предполагается, что на этом этапе будет примерно 20 000 экзаменов примерно в равных пропорциях. Календарный год 2019: 23 287 обследований общей практики и 22 042 обследования ED.

Были выбраны снимки GP, поскольку эти исследования часто являются первыми исследованиями, вызывающими озабоченность по поводу рака легких. Третий этап включает в себя внедрение сгенерированных ИИ рабочих списков для сообщения о подозрении на узелки / рак легких и оценку влияния на КТ в тот же день для этой группы.

Фильмы ED, поскольку считалось, что это будет лучший набор данных для оценки десяти результатов, обнаруженных программным обеспечением, а введение рабочих списков, сгенерированных ИИ, на этапе 3 может привести к более быстрому представлению отчетов об аномальных исследованиях.

Репортеры рассмотрят исходный рентген грудной клетки и составят отчет. Затем они просмотрят данные ИИ и решат, как это повлияет на их отчет, после чего это будет записано.[2] ИИ ищет десять различных аномалий на каждом рентгеновском снимке грудной клетки и создает тепловую карту и процент достоверности, если обнаруживает аномалию. Одно обследование может не иметь результатов ИИ или иметь несколько результатов ИИ.

Репортеры будут вводить свою оценку ИИ для каждого фильма, о котором сообщается, во время репортажа.

• Для каждого вывода, присутствующего на рентгенограмме грудной клетки и/или выводе ИИ, читатели будут записывать:

  • Пропущенный поиск ИИ, но обнаруженный репортером
  • Корректно обнаруженная находка ИИ
  • Пропущенная находка репортером, но обнаруженная ИИ
  • Находка обнаружена ИИ, но оспаривается репортером

• влияние ИИ на

  • Радиологический отчет

    • полезный
    • не полезно
    • нейтральный

  • Дальнейшая рекомендуемая визуализация

    • значительный
    • незначительный

  • Изменение ведения пациента

    • значительный
    • незначительный

Исследователи также оценят, повысилась ли уверенность ИИ в сообщении об отклонении от нормы или в сообщении об исследовании как о нормальном.

Любой фильм, в котором репортер не согласен с ИИ, будет немедленно помещен в рабочий список PACS и рассмотрен старшим репортером/репортерами, после чего будет достигнут консенсус. Результат будет занесен в базу данных.

Если пациенту рекомендуется пройти последующую рентгенографию грудной клетки или КТ, это будет записано. Эти последующие обследования будут рассмотрены небольшой группой репортеров с повторным программным анализом любых выполненных рентгенограмм грудной клетки.

Программное обеспечение AI просматривает только текущее изображение, в то время как репортер имеет доступ к любым предыдущим исследованиям, которые могут быть важны для принятия решения об аномалии, это будет записано для оценки его последствий.

Репортер будет иметь электронную таблицу Excel, доступную на рабочей станции для отчетов PACS через ссылку на общий диск отдела с полями для их группы отчетности, типом направления, инвентарным номером экзамена, что позволяет просмотреть отдельный экзамен в случае разногласий или просмотреть с более поздними исследованиями, наличием более ранних пленок, отдельным полем для каждой аномалии ИИ и поля для контрольной рентгенографии грудной клетки или КТ. Это будет завершено во время отчетности.

В конце сеанса отчетности электронная таблица будет загружена на центральный сервер Trust, сохранена в папке отдела и интегрирована оттуда в отдельно хранимую центральную базу данных. Только сотрудники радиологического отделения будут иметь доступ к папке отделения, а центральная база данных будет храниться отдельно, доступной для менеджера данных и группы управления исследованиями. После загрузки в основную базу данных отдельные данные будут удалены из папки радиологии. Никакие данные не будут храниться на рабочих станциях PACS после завершения сеанса отчетности и передачи файла.

Данные будут храниться и обрабатываться исключительно в HUTH. Копия основной базы данных будет сделана с заменой инвентарного номера на анонимный идентификатор. Эта база данных будет использоваться для анализа.

Третий этап:

Это продлится 3 месяца и будет включать в себя разработку рабочих списков, созданных ИИ.

Рабочий список терапевта, в котором отмечены аномалии, которые могут указывать на злокачественное новообразование, позволит оперативно составить отчет и при необходимости провести КТ в тот же день. Изменения во времени задержки от рентгенографии грудной клетки до КТ будут сравниваться между текущей системой с сортировкой рентгеновских снимков рентгенологом и сортировкой ИИ.

Рабочий список неотложной помощи будет составлен для положительных исследований AI, и время отчетности для них будет сравниваться с текущей системой, в которой нет фильтрации рентгенограмм грудной клетки.

Обо всех отрицательных исследованиях AI будет сообщено. Отчетные оценки времени будут производиться на основе обычных данных в системах RIS и PACS, при этом в оценки не включаются данные, позволяющие идентифицировать пациента.

Данные будут собираться через PACS, а данные будут обрабатываться локально на выделенном сервере.