Система на основе искусственного интеллекта для оценки предполагаемых изменений легких, связанных с вирусной пневмонией: ретроспективное исследование

Система на основе искусственного интеллекта, предназначенная для обработки КТ органов грудной клетки, направлена ​​на 1) обнаружение наличия патологических закономерностей, связанных с интерстициальными изменениями при пневмонии; 2) выделить на изображениях участки с вероятным наличием патологий; 3) предоставить врачу результаты обработки изображений, в том числе количественные показатели предполагаемых изменений легких, связанных с вирусной пневмонией, по системе визуальной оценки поражения легких (СТ0-4).

Это ретроспективное клиническое исследование обеспечит клиническую проверку системы на основе искусственного интеллекта для анализа КТ-изображений грудной клетки и выявления патологических закономерностей, связанных с интерстициальными изменениями при пневмонии. Меры клинической проверки (чувствительность, специфичность, точность и площадь под кривой ROC) будут определены и сравнены со значениями, заявленными производителем, чтобы предоставить доказательства клинической эффективности системы на основе ИИ.

Первым этапом клинической валидации является сбор проверенного маркированного набора данных. Для этой цели набор данных собирается, маркируется и проверяется исследовательской группой. Верифицированный набор данных должен включать КТ-изображения грудной клетки без инфильтративных и интерстициальных изменений легких, характерных для вирусной пневмонии, в том числе КТ-изображения, связанные с COVID-19 (КТ-0), и КТ грудной клетки всех степеней поражения легких КТ-1 (<25%), КТ -2 (25-50%), СТ-3 (50-75%), СТ-4 (≥75%) [1]. Формирование верифицированного набора данных позволит сделать достоверные выводы после завершения клинической валидации. Верифицированный набор данных должен включать достаточный объем КТ-изображений грудной клетки. Верифицированный набор данных должен быть деидентифицирован, чтобы обеспечить безопасность личных данных пациента.

Второй этап клинической валидации — экспертная оценка производительности системы на базе искусственного интеллекта. Для этого программное обеспечение искусственного интеллекта анализируется на предмет выявления радиологических признаков вирусной пневмонии. Затем проверяют правильность количественной оценки поражения легких, связанного с интерстициальными изменениями при пневмонии. Оценка как способности правильно идентифицировать признаки поражения легких, так и количественно оценивать выявленные изменения проводится на одном и том же верифицированном наборе данных.

Третий этап клинической валидации — расчет показателей клинической эффективности (точность, чувствительность, специфичность, площадь под ROC-кривой (AUROC) системы на базе ИИ путем ее тестирования на проверенном наборе данных. Проверка гипотезы по проверке основных диагностических характеристик (чувствительности и специфичности), заявленных производителем, планируется путем построения двустороннего 95% доверительного интервала (ДИ), который не должен отличаться более чем на 8% от заявленных значений 95. % и 97% соответственно. Те. нижний предел 95% ДИ чувствительности не должен пересекать порог 87%, а нижний предел 95% ДИ специфичности не должен пересекать порог 89%.

Все этапы клинического исследования должны находиться под контролем главного исследователя.

Рандомизация изображений не предусмотрена в этом клиническом исследовании, поскольку все КТ-изображения будут оцениваться исследовательской группой и программным обеспечением искусственного интеллекта. Кроме того, этот дизайн не предполагает ослепления или маскировки исследовательской группы. Оценка КТ-изображений экспертами и программным обеспечением осуществляется независимо, т.е. результаты оценки каждой стороны заранее не известны другой стороне.