Comparative Analysis of Diagnostic Accuracy and Case Difficulty Assessment of Three Large Language Models
23 juillet 2026 mis à jour par: Mariam Ahmed Hossam, Cairo University
Comparative Analysis of Diagnostic Accuracy and Case Difficulty Assessment of Three Large Language Models in Endodontics Using Expert Consensus as the Reference Standard
This prospective, blinded diagnostic accuracy study aims to compare the performance of three large language models-ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7-in endodontic diagnosis and case difficulty assessment.
The models will be evaluated against expert consensus as the reference standard using standardized clinical data and periapical radiographs.
Diagnostic accuracy, sensitivity, specificity, and agreement with expert consensus will be assessed to determine the potential of LLMs as clinical decision-support tools in endodontics.
Aperçu de l'étude
Statut
Pas encore de recrutement
Les conditions
Intervention / Traitement
Description détaillée
This prospective, blinded diagnostic accuracy study aims to compare the diagnostic accuracy and endodontic case difficulty assessment of three LLMs-ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7-with expert consensus as the reference standard.
Adult patients requiring primary endodontic treatment or retreatment will undergo routine clinical examination, pulp sensibility testing, and periapical radiographic assessment.
Standardized clinical information and radiographs will be provided to each LLM and to four experienced endodontists independently.
Expert consensus, defined as agreement among at least three of four experts, will serve as the reference standard.
The primary outcomes are diagnostic accuracy, sensitivity, specificity, and agreement with expert consensus for pulpal and periapical diagnosis and endodontic case difficulty assessment according to the American Association of Endodontists (AAE) criteria.
The findings will provide evidence regarding the reliability of LLMs as clinical decision-support tools in endodontics and their potential role in improving diagnostic consistency and treatment planning.
Type d'étude
Observationnel
Inscription (Estimé)
342
Contacts et emplacements
Cette section fournit les coordonnées de ceux qui mènent l'étude et des informations sur le lieu où cette étude est menée.
Coordonnées de l'étude
- Nom: Mariam Ahmed Hossam
- Numéro de téléphone: 00201110913251
- E-mail: mariam.ahmed.hosam@dentistry.cu.edu.eg
Critères de participation
Les chercheurs recherchent des personnes qui correspondent à une certaine description, appelée critères d'éligibilité. Certains exemples de ces critères sont l'état de santé général d'une personne ou des traitements antérieurs.
Critère d'éligibilité
Âges éligibles pour étudier
- Enfant
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Oui
Méthode d'échantillonnage
Échantillon de probabilité
Population étudiée
Systemically healthy adult patients (≥16 years) requiring primary endodontic treatment or retreatment at the Endodontic Department, Faculty of Dentistry, Cairo University, who provide informed consent.
La description
Inclusion Criteria:
- Age above 16 years old.
- Systemically healthy patient (ASA I or II).
- Requiring endodontic treatment or retreatment
- Patient's acceptance to participate in the study
Exclusion Criteria:
- Medically compromised patients.
- Pregnant women.
- Traumatic dental injuries
- Low quality periapical radiograph
Plan d'étude
Cette section fournit des détails sur le plan d'étude, y compris la façon dont l'étude est conçue et ce que l'étude mesure.
Comment l'étude est-elle conçue ?
Détails de conception
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Diagnostic accuracy of ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7 for pulpal and periapical diagnosis
Délai: At baseline
|
Diagnostic performance of each large language model compared with the expert consensus reference standard.
Accuracy, sensitivity, specificity, and agreement (Cohen's kappa) will be calculated according to the American Association of Endodontists (AAE) diagnostic criteria
|
At baseline
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Accuracy of ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7 in endodontic case difficulty assessment
Délai: At baseline
|
Agreement between each large language model and the expert consensus in classifying endodontic case difficulty according to the AAE Endodontic Case Difficulty Assessment Guidelines.
Overall accuracy and weighted Cohen's kappa will be calculated.
|
At baseline
|
Collaborateurs et enquêteurs
C'est ici que vous trouverez les personnes et les organisations impliquées dans cette étude.
Parrainer
Dates d'enregistrement des études
Ces dates suivent la progression des dossiers d'étude et des soumissions de résultats sommaires à ClinicalTrials.gov. Les dossiers d'étude et les résultats rapportés sont examinés par la Bibliothèque nationale de médecine (NLM) pour s'assurer qu'ils répondent à des normes de contrôle de qualité spécifiques avant d'être publiés sur le site Web public.
Dates principales de l'étude
Début de l'étude (Estimé)
1 septembre 2026
Achèvement primaire (Estimé)
1 décembre 2026
Achèvement de l'étude (Estimé)
1 janvier 2027
Dates d'inscription aux études
Première soumission
10 juillet 2026
Première soumission répondant aux critères de contrôle qualité
23 juillet 2026
Première publication (Réel)
29 juillet 2026
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
29 juillet 2026
Dernière mise à jour soumise répondant aux critères de contrôle qualité
23 juillet 2026
Dernière vérification
1 juillet 2026
Plus d'information
Termes liés à cette étude
Autres numéros d'identification d'étude
- New ENDO7.1.1
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
INDÉCIS
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Non
Étudie un produit d'appareil réglementé par la FDA américaine
Non
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .