Comparative Analysis of Diagnostic Accuracy and Case Difficulty Assessment of Three Large Language Models
23 июля 2026 г. обновлено: Mariam Ahmed Hossam, Cairo University
Comparative Analysis of Diagnostic Accuracy and Case Difficulty Assessment of Three Large Language Models in Endodontics Using Expert Consensus as the Reference Standard
This prospective, blinded diagnostic accuracy study aims to compare the performance of three large language models-ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7-in endodontic diagnosis and case difficulty assessment.
The models will be evaluated against expert consensus as the reference standard using standardized clinical data and periapical radiographs.
Diagnostic accuracy, sensitivity, specificity, and agreement with expert consensus will be assessed to determine the potential of LLMs as clinical decision-support tools in endodontics.
Обзор исследования
Статус
Еще не набирают
Вмешательство/лечение
Подробное описание
This prospective, blinded diagnostic accuracy study aims to compare the diagnostic accuracy and endodontic case difficulty assessment of three LLMs-ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7-with expert consensus as the reference standard.
Adult patients requiring primary endodontic treatment or retreatment will undergo routine clinical examination, pulp sensibility testing, and periapical radiographic assessment.
Standardized clinical information and radiographs will be provided to each LLM and to four experienced endodontists independently.
Expert consensus, defined as agreement among at least three of four experts, will serve as the reference standard.
The primary outcomes are diagnostic accuracy, sensitivity, specificity, and agreement with expert consensus for pulpal and periapical diagnosis and endodontic case difficulty assessment according to the American Association of Endodontists (AAE) criteria.
The findings will provide evidence regarding the reliability of LLMs as clinical decision-support tools in endodontics and their potential role in improving diagnostic consistency and treatment planning.
Тип исследования
Наблюдательный
Регистрация (Оцененный)
342
Контакты и местонахождение
В этом разделе приведены контактные данные лиц, проводящих исследование, и информация о том, где проводится это исследование.
Контакты исследования
- Имя: Mariam Ahmed Hossam
- Номер телефона: 00201110913251
- Электронная почта: mariam.ahmed.hosam@dentistry.cu.edu.eg
Критерии участия
Исследователи ищут людей, которые соответствуют определенному описанию, называемому критериям приемлемости. Некоторыми примерами этих критериев являются общее состояние здоровья человека или предшествующее лечение.
Критерии приемлемости
Возраст, подходящий для обучения
- Ребенок
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Да
Метод выборки
Вероятностная выборка
Исследуемая популяция
Systemically healthy adult patients (≥16 years) requiring primary endodontic treatment or retreatment at the Endodontic Department, Faculty of Dentistry, Cairo University, who provide informed consent.
Описание
Inclusion Criteria:
- Age above 16 years old.
- Systemically healthy patient (ASA I or II).
- Requiring endodontic treatment or retreatment
- Patient's acceptance to participate in the study
Exclusion Criteria:
- Medically compromised patients.
- Pregnant women.
- Traumatic dental injuries
- Low quality periapical radiograph
Учебный план
В этом разделе представлена подробная информация о плане исследования, в том числе о том, как планируется исследование и что оно измеряет.
Как устроено исследование?
Детали дизайна
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Diagnostic accuracy of ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7 for pulpal and periapical diagnosis
Временное ограничение: At baseline
|
Diagnostic performance of each large language model compared with the expert consensus reference standard.
Accuracy, sensitivity, specificity, and agreement (Cohen's kappa) will be calculated according to the American Association of Endodontists (AAE) diagnostic criteria
|
At baseline
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Accuracy of ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7 in endodontic case difficulty assessment
Временное ограничение: At baseline
|
Agreement between each large language model and the expert consensus in classifying endodontic case difficulty according to the AAE Endodontic Case Difficulty Assessment Guidelines.
Overall accuracy and weighted Cohen's kappa will be calculated.
|
At baseline
|
Соавторы и исследователи
Здесь вы найдете людей и организации, участвующие в этом исследовании.
Спонсор
Даты записи исследования
Эти даты отслеживают ход отправки отчетов об исследованиях и сводных результатов на сайт ClinicalTrials.gov. Записи исследований и сообщаемые результаты проверяются Национальной медицинской библиотекой (NLM), чтобы убедиться, что они соответствуют определенным стандартам контроля качества, прежде чем публиковать их на общедоступном веб-сайте.
Изучение основных дат
Начало исследования (Оцененный)
1 сентября 2026 г.
Первичное завершение (Оцененный)
1 декабря 2026 г.
Завершение исследования (Оцененный)
1 января 2027 г.
Даты регистрации исследования
Первый отправленный
10 июля 2026 г.
Впервые представлено, что соответствует критериям контроля качества
23 июля 2026 г.
Первый опубликованный (Действительный)
29 июля 2026 г.
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
29 июля 2026 г.
Последнее отправленное обновление, отвечающее критериям контроля качества
23 июля 2026 г.
Последняя проверка
1 июля 2026 г.
Дополнительная информация
Термины, связанные с этим исследованием
Другие идентификационные номера исследования
- New ENDO7.1.1
Планирование данных отдельных участников (IPD)
Планируете делиться данными об отдельных участниках (IPD)?
НЕ РЕШЕНО
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Нет
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
Нет
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .