Оценка программного обеспечения для компьютерного обнаружения легочных узлов в торакальной КТ для Riverain Technologies LLC

Будет проведено исследование читателей с участием не менее десяти (10) рентгенологов. Локализованная кривая рабочих характеристик приемника будет использоваться для оценки диагностических возможностей рентгенологов (с точки зрения компромисса между чувствительностью и специфичностью при изменении критериев принятия решения) при обнаружении узлов в легких на КТ легких с использованием и без использования Система ClearRead CT Insight (CRCTI). Время, необходимое для рассмотрения и интерпретации каждого случая, также будет зарегистрировано.

Первоначальная (исходная) интерпретация будет сделана каждым рентгенологом на основе КТ легких в ее исходном виде. Как минимум через месяц каждый радиолог снова интерпретирует те же изображения, просматривая пару серий CRCTI CT: два набора изображений CT (стандартные с метками CADe и обработанные с подавлением сосудов) будут представлены либо на одном большом мониторе, либо на двух соседних мониторах. мониторы.

Во время исходного чтения радиолог отметит расположение узелков, на которые можно воздействовать, и назначит балл. Рентгенолог также укажет рекомендуемый метод наблюдения (контрастная КТ, ПЭТ-КТ, контрольная КТ, биопсия).

Во время второго сеанса чтения (одновременное чтение) рентгенологу будет представлена ​​стандартная компьютерная томография с нанесенными метками компьютерного обнаружения (CADe) и тем же срезом, что и сосуд с подавленным изображением (правое изображение). Второе изображение с подавленным сосудом будет отображаться серым цветом до тех пор, пока рентгенолог не переместит мышь на вторую панель. Рентгенолог отметит места. Они могут соответствовать или не соответствовать расположению маркеров CAD. Как и прежде, радиолог присвоит каждой метке уровень подозрительности и укажет на необходимость, если таковая требуется, дополнительных диагностических действий (контрольная КТ, контрастная КТ, ПЭТ-КТ или биопсия).

На основе уровней подозрения для каждого узла и соответствующих рейтингов вероятности будут построены кривые LROC как для исходного уровня, так и для параллельных показаний, и будет рассчитана значимость любого различия. Рекомендации по дальнейшим действиям (контрольная КТ, контрастная КТ, ПЭТ-КТ или биопсия) будут использоваться для расчета чувствительности и специфичности, PPV и NPV.

Количество и типы кейсов:

В исследование будут включены серии ретроспективных КТ-изображений примерно 300 пациентов. Приблизительно у ста (100) пациентов будет рак с подтвержденной патологией, и примерно у двухсот (200) пациентов будут КТ, связанные с нормальными пациентами. В качестве изображений узелков также включены те, на которых узелок, на который можно было воздействовать, не подвергался воздействию в то время, но был обнаружен и на который воздействовали на основе последующей КТ. Это предыдущие изображения, на которых можно идентифицировать узел, и его расположение такое же, как на «текущем» изображении, подтвержденном группой экспертов-радиологов (с использованием большинства из трех в качестве критерия принятия решения).

Отобранная выборка, случайно выбранная из большего числа случаев CT, будет обогащена следующим образом:

1. Узелки в легких (рак в данном исследовании) будут иметь размер опухоли T1a (20 мм или меньше). Доля узелков размером 20 мм или меньше может быть увеличена, поскольку исследователи ожидают, что именно здесь будет иметь место основное воздействие этого программного обеспечения.
2. Нетвердые конкреции (матовое стекло) будут добавлены к образцу (в зависимости от наличия) для определения эффективности системы в отношении нетвердых конкреций. Для этой группы, чтобы иметь достаточно случаев, исследователям, возможно, придется включить доброкачественные (незлокачественные) несолидные узлы.
3. В рамках этого проекта исследователи проведут машинное тестирование алгоритма ClearRead CT Insight, за которым последует оценка производительности считывателя. Riverain предоставит систему, сконфигурированную с набором рабочих точек, которая будет использоваться для исследований ридеров, и конфигурацию «открытой» системы, которая будет использоваться для машинного тестирования и генерации FROC.

Группа 1: базовое чтение (без вторичного контента) и группа 2: параллельное чтение с добавлением CAD.

1. st Arm: сделайте базовый уровень (измеряйте время, читатели оценивают области в соответствии с действиями и подозрительностью) - отметьте все проблемные места.
2. nd Arm: одновременное чтение (измерение времени, читатели оценивают области в соответствии с действиями и подозрительностью) — отметьте все проблемные места.

Основная гипотеза исследования заключается в том, что дополнительное использование ClearRead CT Insight превосходит использование только стандартных КТ-изображений легких, что измеряется по площади под кривой LROC.

СТАТИСТИЧЕСКИЙ АНАЛИЗ Точность

Чтобы оценить гипотезу о превосходстве с точки зрения повышения точности ClearRead CT Insight по сравнению с неавтоматической, будет реализована модель смешанных эффектов (DBM) (аналогичная модели, описанной в Dorfman, Berbaum and Metz, 1997), где компоненты дисперсии будут быть включены для учета читателя, случай, читатель за случаем, читатель по модальности, случай за модальностью и читатель за случаем за модальностью. Однако ожидается, что трехстороннее взаимодействие будет неоценимым и впоследствии будет исключено из статистической модели. В частности, гипотеза для проверки превосходства ClearRead CT Insight по сравнению с системой без посторонней помощи выглядит следующим образом:

H0: AUCunaided — AUCClearRead CT Insight ≥ 0,0 по сравнению с HA: AUCunaided — AUCClearRead CT Insight < 0

AUC LROC является основной конечной точкой для оценки точности, и интересующий тест будет представлять собой двусторонний 95% доверительный интервал влияния модальности (т. ClearRead CT Insight без посторонней помощи). Значимость будет сделана, если верхняя граница двустороннего 95% доверительного интервала не включает ноль. Если нулевая гипотеза (H0) отвергнута, альтернативная гипотеза (HA) будет принята, и будет установлено преимущество использования системы ClearRead CT Insight.

Время

Второй основной целью является оценка сокращения времени, затрачиваемого на изображение для ClearRead CT Insight по сравнению с без посторонней помощи. В частности, гипотеза для проверки превосходства ClearRead CT Insight по сравнению с системой без посторонней помощи выглядит следующим образом:

H0 = Tunaided — TClearRead CT Insight ≤ 0 по сравнению с HA = Tunaided — TClearRead CT Insight > 0

Чтобы оценить гипотезу о неполноценности с точки зрения улучшенного времени считывания для ClearRead CT Insight по сравнению с без посторонней помощи, будет реализована модель смешанных эффектов (аналогичная модели, описанной в Dorfman, Berbaum and Metz, 1992), где компоненты дисперсии будут включены для учета читателя, случай, читатель за случаем, читатель по модальности, случай за модальностью и читатель за случаем за модальностью. Однако ожидается, что трехстороннее взаимодействие будет неоценимым и впоследствии будет исключено из статистической модели.

Время чтения будет проверено с использованием двустороннего 95% доверительного интервала на влияние модальности (т. ClearRead минус без посторонней помощи). Значимость будет сделана, если верхняя граница двустороннего 95% доверительного интервала не включает ноль.

При любом анализе использование смешанной модели может быть изменено для использования метода начальной выборки, если модельные допущения метода DBM были нарушены. Верхний 95-процентный доверительный интервал для разницы площадей под кривыми будет рассчитан с использованием 10 000 бутстрапов в методе ROC MultiReader MultiCase (MRMC).

МОЩНОСТЬ И ОБЪЕМ ОБРАЗЦА

Способность обнаруживать различия в AUC кривой LROC для предлагаемого статистического анализа с использованием текущего базового уровня дизайна, т. е. 300 случаев, каждое соответствующее изображение читалось 10 читателями, оценивалась с помощью моделирования. В частности, модель, описанная выше, использовалась для имитации 500 наборов данных в диапазоне размеров эффекта, где мощность определялась как доля наборов данных, которые дали значимое значение p для проверки фиксированного эффекта модальности. Метод Дорфмана, Бербаума и Метца, 1992 г. (DBM) был реализован с использованием статистической теории смешанных моделей с оценками складного ножа.

Эти модели требовали допущений относительно величины компонентов дисперсии, связанных с различными случайными эффектами. Поскольку пилотное исследование для получения оценок компонентов дисперсии не проводилось, были использованы оценки компонентов дисперсии из исследования Riverain SoftView 510(k) (номер записи BSSI-PR-09-00006), в котором используется технология, аналогичная предлагаемому устройству ClearRead CT Insight. во всех силовых симуляциях. Обратите внимание, что компоненты дисперсии были масштабированы по общей дисперсии, чтобы представить долю общей дисперсии, объясняемую каждым компонентом. Все оценки мощности зависят от уместности предполагаемых компонентов дисперсии.