Производительность LLM в эндодонтической диагностике

Данное проспективное обсервационное исследование направлено на оценку производительности трёх крупных языковых моделей — ChatGPT-4o, Gemini Advanced и Claude 3.7 — в реальном времени при диагностике и принятии решений о лечении в эндодонтической клинической практике. Всего было обследовано 120 пациентов, обратившихся в эндодонтическую клинику, и собраны подробные медицинские/стоматологические анамнезы, клинические данные и периапикальные рентгенограммы. Каждый анонимизированный случай затем был представлен трём языковым моделям с использованием стандартизированного запроса с просьбой указать диагноз и соответствующий план лечения.

Все модели использовались в их стандартных мультимодальных конфигурациях без включения функций веб-поиска, плагинов или внешнего извлечения данных. Каждый вопрос был отправлен только один раз в изолированных чат-сессиях, чтобы предотвратить перенос памяти. Ответы сохранялись дословно и сравнивались с эталонными диагнозами и планами лечения, установленными группой специалистов-эндодонтов.

Это исследование было разработано для максимально точного воспроизведения реальных клинических условий, обеспечивая реалистичную оценку того, как эти системы могут работать при использовании клиницистами в повседневной практике. Понимание их возможностей и ограничений в реальных клинических сценариях крайне важно, поскольку ожидается, что языковые модели будут играть всё более важную роль в будущем стоматологическом обслуживании, особенно в поддержке принятия решений, сортировке пациентов и их обучении. Выявляя, где эти модели работают хорошо, а где у них возникают трудности, данное исследование направлено на обеспечение безопасной и эффективной клинической интеграции по мере дальнейшего развития технологий языковых моделей.