Проспективная валидация инструмента искусственного интеллекта для предоперационной оценки

Обоснование:

Предоперационный анестезиологический осмотр является критически важным процессом, предшествующим хирургическим вмешательствам, играющим фундаментальную роль в обеспечении периоперационной безопасности и качества медицинской помощи. За последние десятилетия анестезиологи внесли значительный вклад в улучшение периоперационной безопасности и качества, что отмечено в отчете Института медицины о качестве здравоохранения. Эта оценка постоянно совершенствовалась для улучшения клинических исходов и снижения затрат, связанных с ненужными предоперационными лабораторными исследованиями и обследованиями.

Преимущества предоперационного анестезиологического осмотра хорошо документированы и включают повышение операционной эффективности за счет раннего выявления потенциальных осложнений, оптимизацию предоперационного ведения пациентов с сопутствующими заболеваниями, такими как диабет, кардиопульмональные заболевания и почечная недостаточность, а также минимизацию послеоперационных осложнений. В Бразилии Резолюция № 1.802/2006 Федерального совета медицины предписывает предоперационную анестезиологическую оценку как обязательный компонент безопасности пациента, рекомендуя проводить ее до госпитализации для плановых процедур.

В последнее время в Бразилии наблюдается рост спроса на хирургические вмешательства, усугубленный пандемией COVID-19. Опрос 2022 года, проведенный Фондом Освальдо Круза (Fiocruz), выявил очередь из 910 621 операции в Единой системе здравоохранения (SUS), со значительным дефицитом в операциях на пищеварительной системе (374 475), урогенитальных процедурах (241 752), вмешательствах на системе кровообращения (104 925) и операциях на верхних дыхательных путях, лице, голове и шее (102 352). Это давление на систему общественного здравоохранения привело к запуску Национальной программы по сокращению очередей в 2024 году федеральным правительством Бразилии. Следовательно, существует необходимость переосмыслить поток и процесс предоперационных анестезиологических осмотров, чтобы обеспечить безопасную и адекватную помощь для этого накопленного спроса.

С развитием технологий и увеличением объема доступных медицинских данных клинические оценки стали более сложными, требуя более быстрых и точных решений. В этом контексте искусственный интеллект (ИИ) появляется как многообещающий инструмент для преобразования анестезиологии, особенно в области предоперационного анестезиологического осмотра. Инструменты ИИ, включая обработку естественного языка (NLP) и большие языковые модели (LLM), показали потенциал для повышения точности, эффективности и персонализации медицинской помощи.

Недавние исследования продемонстрировали положительное влияние ИИ в этой области. Например, NLP для анализа медицинских записей и выявления соответствующей предоперационной клинической информации показал высокую согласованность (81,24%) между оценками машины и анестезиолога относительно наличия или отсутствия состояний, и выявил медицинские состояния в 16,6% случаев, упущенных анестезиологом. Персонализированные системы поддержки принятия решений, использующие онтологии OWL и технологии семантической паутины, доказали свою эффективность в создании отчетов об оценке рисков и персонализированных клинических рекомендаций. Модели машинного обучения для прогнозирования периоперационного риска позволили создавать индивидуальные профили риска и персонализированные оценки.

Большие языковые модели (LLM), такие как GPT, показали потенциал для улучшения коммуникации с пациентами и их обучения в ходе хирургического пути. Сравнительное исследование версий GPT 2024 года указало на его способность предоставлять точные и читаемые ответы пациентам на вопросы, связанные с анестезией. Однако исследования по клиническому применению ИИ в анестезиологии с участием LLM остаются редкими; систематический обзор 2023 года не выявил исследований, использующих эту технологию. Более того, большинство исследований и разработок проводились в международных контекстах, не затрагивая португальский язык или специфику системы здравоохранения Бразилии. На сегодняшний день не существует опубликованных исследований по разработке и валидации инструмента LLM на португальском языке для предоперационного анестезиологического осмотра, особенно с учетом эпидемиологического профиля Бразилии и проблем здравоохранения.

Кроме того, заметны опасения по поводу надежности инструментов ИИ в медицине. Недавнее исследование, опубликованное в Nature Medicine, показало, что многие устройства ИИ, одобренные FDA в США, не имеют адекватной клинической валидации. Из 521 устройства ИИ, авторизованного FDA в период с 1995 по 2022 год, только 56% сообщили о какой-либо форме клинической валидации, причем только 28,4% были валидированы проспективно и 4,2% через рандомизированные клинические испытания. Примечательно, что 43,4% не имели общедоступных данных клинической валидации. Эти данные подчеркивают важность проведения строгих клинических валидационных исследований, особенно в конкретных контекстах, до внедрения инструментов ИИ в медицинскую практику.

Поэтому данный проект предлагает разработать и проспективно валидировать инструмент ИИ на основе LLM на португальском языке для предоперационного анестезиологического осмотра в Бразилии, в клинических условиях. Это восполняет пробел в литературе и отвечает специфическим потребностям национального контекста. Цель состоит в том, чтобы повысить точность, персонализацию, надежность и эффективность предоперационных оценок с использованием передового ИИ, учитывая особенности населения Бразилии и системы здравоохранения. Внедрение этого инструмента потенциально может преобразовать практику анестезиологии в стране, обеспечивая улучшенную поддержку принятия решений и способствуя повышению хирургической безопасности.

Цели исследования:

Основная цель:

- Проспективно оценить точность и согласованность предоперационного анестезиологического осмотра, выполненного инструментом ИИ, по сравнению с оценками, проведенными анестезиологами в национальном третичном госпитале.

Вторичные цели:

• Определить уровень согласованности между оценкой предоперационного риска, выполненной инструментом ИИ, и человеческими анестезиологами, учитывая такие аспекты, как классификация Американского общества анестезиологов (ASA) и валидированные модели хирургического риска в национальном третичном госпитале.
• Исследовать восприятие анестезиологами полезности инструмента ИИ, включая их уверенность в результатах, сгенерированных инструментом, и их готовность интегрировать его в клиническую практику.
• Оценить, влияет ли использование инструмента ИИ на общее качество предоперационного анестезиологического осмотра, включая выявление условий риска, которые могут быть недооценены или упущены при традиционных человеческих оценках.
• Оценить любые трудности, с которыми сталкиваются пациенты при использовании инструмента ИИ в национальном третичном госпитале.

Дизайн исследования:

Это проспективное обсервационное лонгитюдное когортное исследование, проводимое в двух центрах: Службе анестезии Госпиталя Носса Сеньора да Консейсан в Порту-Алегри, Бразилия и Санта-Каса де Риберан-Прету, Бразилия.

Участники:

Критерии включения:

• Пациенты в возрасте 18 лет и старше.
• Запланированные на плановые некардиальные операции в обоих учреждениях.

Критерии исключения:

• Пациенты, проходящие диагностические процедуры с изолированной седацией или местной анестезией.
• Если пациент проходит более одного хирургического вмешательства во время одной госпитализации, будет учитываться только основная процедура.

Размер выборки:

Размер выборки был рассчитан на основе первичного исхода согласованности между оценками предоперационного риска ИИ и человека с использованием коэффициента Каппа Коэна. Предполагая ожидаемую согласованность 80% (на основе предыдущих исследований, показывающих около 0,80 для оценок периоперационного риска между ИИ и клиницистами), со значением Каппа ≥ 0,70, считающимся существенной согласованностью, погрешностью 5% и уровнем доверия 95%, минимальный размер выборки составляет приблизительно 246 пациентов. Учитывая потенциальные потери для последующего наблюдения и исключения (запас 10%), общая выборка составит 270 пациентов.

Процедуры:

1. Хирургическое показание:

   • Хирург определяет хирургическое показание пациента и записывает название операции в соответствии с кодом процедуры в модели риска Ex-Care.

2. Использование инструмента ИИ:

   • Хирург инструктирует пациента использовать инструмент ИИ для предоперационного анестезиологического осмотра. Пациент получает доступ к инструменту и заполняет запрашиваемую информацию.

3. Обработка оценки:

   • Инструмент обрабатывает оценку пациента, генерируя два типа результатов:
   • Общие указания: набор общих инструкций, отправляемых непосредственно пациенту для помощи в хирургической подготовке.
   • Специфическая оценка: детальная оценка, включая рекомендации и предупреждающие знаки, сгенерированная для медицинского использования, но не предоставляемая анестезиологу, проводящему предоперационную оценку.

4. Предоперационный анестезиологический осмотр:

   • Пациент проходит традиционный предоперационный анестезиологический осмотр у анестезиолога, который не будет иметь доступа к оценке, сгенерированной ИИ.

5. Сравнение оценок:

   • Третий анестезиолог, слепой к предыдущему процессу, сравнит две оценки (инструмент ИИ против человеческой оценки). Это сравнение будет учитывать качество собранной информации, точность клинического суждения и идентификацию потенциальных рисков или осложнений.

Сбор данных:

Данные будут собираться проспективно, включая такие переменные, как возраст, пол, код операции и результаты обеих оценок (инструмент ИИ и анестезиолог). Форма сбора данных (приложена в протоколе после ссылок) описывает переменные, включенные в данный исследовательский протокол.

Показатели исходов:

Первичный исход:

- Согласованность между оценками предоперационного риска инструментом ИИ и человеческим анестезиологом, с точки зрения качества собранной информации и клинического суждения.

Вторичные исходы:

• Уровень согласия по классификации ASA и валидированным моделям хирургического риска.
• Восприятие анестезиологами полезности инструмента, уверенности и потенциала интеграции (оценивается через опросы).
• Влияние на качество оценки, включая выявление упущенных рисков.
• Заявленные пациентами трудности в использовании инструмента ИИ (оценивается через обратную связь).

Статистический анализ:

Тесты на согласованность будут использоваться для сравнения результатов оценки предоперационного риска между инструментом ИИ и анестезиологом. Коэффициент Каппа Коэна будет измерять согласие для категориальных переменных (качество информации и клиническое суждение). Для непрерывных переменных (например, возраст) будет применяться t-критерий Стьюдента или критерий Манна-Уитни, в зависимости от распределения данных (нормальность проверяется с помощью теста Шапиро-Уилка). Статистическая значимость будет установлена на уровне P < 0,05.

Временные рамки:

Исследование продлится 36 месяцев: 24 месяца для сбора данных, 6 месяцев для анализа и 6 месяцев для формулировки результатов и публикации.

Финансирование:

Затраты на материалы для сбора данных, компьютеры, статистическое программное обеспечение и документацию будут покрыты участвующими авторами. Детали бюджета включают: папки для хранения (R$250,00), листы сбора данных (R$500,00), и программное обеспечение для анализа (R$1,000,00).

Распространение:

Результаты будут храниться в безопасной, конфиденциальной базе данных и представлены для публикации в индексированном научном журнале по завершении.