Comparative Analysis of Diagnostic Accuracy and Case Difficulty Assessment of Three Large Language Models
23. Juli 2026 aktualisiert von: Mariam Ahmed Hossam, Cairo University
Comparative Analysis of Diagnostic Accuracy and Case Difficulty Assessment of Three Large Language Models in Endodontics Using Expert Consensus as the Reference Standard
This prospective, blinded diagnostic accuracy study aims to compare the performance of three large language models-ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7-in endodontic diagnosis and case difficulty assessment.
The models will be evaluated against expert consensus as the reference standard using standardized clinical data and periapical radiographs.
Diagnostic accuracy, sensitivity, specificity, and agreement with expert consensus will be assessed to determine the potential of LLMs as clinical decision-support tools in endodontics.
Studienübersicht
Status
Noch keine Rekrutierung
Bedingungen
Intervention / Behandlung
Detaillierte Beschreibung
This prospective, blinded diagnostic accuracy study aims to compare the diagnostic accuracy and endodontic case difficulty assessment of three LLMs-ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7-with expert consensus as the reference standard.
Adult patients requiring primary endodontic treatment or retreatment will undergo routine clinical examination, pulp sensibility testing, and periapical radiographic assessment.
Standardized clinical information and radiographs will be provided to each LLM and to four experienced endodontists independently.
Expert consensus, defined as agreement among at least three of four experts, will serve as the reference standard.
The primary outcomes are diagnostic accuracy, sensitivity, specificity, and agreement with expert consensus for pulpal and periapical diagnosis and endodontic case difficulty assessment according to the American Association of Endodontists (AAE) criteria.
The findings will provide evidence regarding the reliability of LLMs as clinical decision-support tools in endodontics and their potential role in improving diagnostic consistency and treatment planning.
Studientyp
Beobachtungs
Einschreibung (Geschätzt)
342
Kontakte und Standorte
Dieser Abschnitt enthält die Kontaktdaten derjenigen, die die Studie durchführen, und Informationen darüber, wo diese Studie durchgeführt wird.
Studienkontakt
- Name: Mariam Ahmed Hossam
- Telefonnummer: 00201110913251
- E-Mail: mariam.ahmed.hosam@dentistry.cu.edu.eg
Teilnahmekriterien
Forscher suchen nach Personen, die einer bestimmten Beschreibung entsprechen, die als Auswahlkriterien bezeichnet werden. Einige Beispiele für diese Kriterien sind der allgemeine Gesundheitszustand einer Person oder frühere Behandlungen.
Zulassungskriterien
Studienberechtigtes Alter
- Kind
- Erwachsene
- Älterer Erwachsener
Akzeptiert gesunde Freiwillige
Ja
Probenahmeverfahren
Wahrscheinlichkeitsstichprobe
Studienpopulation
Systemically healthy adult patients (≥16 years) requiring primary endodontic treatment or retreatment at the Endodontic Department, Faculty of Dentistry, Cairo University, who provide informed consent.
Beschreibung
Inclusion Criteria:
- Age above 16 years old.
- Systemically healthy patient (ASA I or II).
- Requiring endodontic treatment or retreatment
- Patient's acceptance to participate in the study
Exclusion Criteria:
- Medically compromised patients.
- Pregnant women.
- Traumatic dental injuries
- Low quality periapical radiograph
Studienplan
Dieser Abschnitt enthält Einzelheiten zum Studienplan, einschließlich des Studiendesigns und der Messung der Studieninhalte.
Wie ist die Studie aufgebaut?
Designdetails
Was misst die Studie?
Primäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Diagnostic accuracy of ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7 for pulpal and periapical diagnosis
Zeitfenster: At baseline
|
Diagnostic performance of each large language model compared with the expert consensus reference standard.
Accuracy, sensitivity, specificity, and agreement (Cohen's kappa) will be calculated according to the American Association of Endodontists (AAE) diagnostic criteria
|
At baseline
|
Sekundäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Accuracy of ChatGPT (GPT-5.5 Pro), Gemini 3.1 Pro, and Claude Opus 4.7 in endodontic case difficulty assessment
Zeitfenster: At baseline
|
Agreement between each large language model and the expert consensus in classifying endodontic case difficulty according to the AAE Endodontic Case Difficulty Assessment Guidelines.
Overall accuracy and weighted Cohen's kappa will be calculated.
|
At baseline
|
Mitarbeiter und Ermittler
Hier finden Sie Personen und Organisationen, die an dieser Studie beteiligt sind.
Sponsor
Studienaufzeichnungsdaten
Diese Daten verfolgen den Fortschritt der Übermittlung von Studienaufzeichnungen und zusammenfassenden Ergebnissen an ClinicalTrials.gov. Studienaufzeichnungen und gemeldete Ergebnisse werden von der National Library of Medicine (NLM) überprüft, um sicherzustellen, dass sie bestimmten Qualitätskontrollstandards entsprechen, bevor sie auf der öffentlichen Website veröffentlicht werden.
Haupttermine studieren
Studienbeginn (Geschätzt)
1. September 2026
Primärer Abschluss (Geschätzt)
1. Dezember 2026
Studienabschluss (Geschätzt)
1. Januar 2027
Studienanmeldedaten
Zuerst eingereicht
10. Juli 2026
Zuerst eingereicht, das die QC-Kriterien erfüllt hat
23. Juli 2026
Zuerst gepostet (Tatsächlich)
29. Juli 2026
Studienaufzeichnungsaktualisierungen
Letztes Update gepostet (Tatsächlich)
29. Juli 2026
Letztes eingereichtes Update, das die QC-Kriterien erfüllt
23. Juli 2026
Zuletzt verifiziert
1. Juli 2026
Mehr Informationen
Begriffe im Zusammenhang mit dieser Studie
Andere Studien-ID-Nummern
- New ENDO7.1.1
Plan für individuelle Teilnehmerdaten (IPD)
Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?
UNENTSCHIEDEN
Arzneimittel- und Geräteinformationen, Studienunterlagen
Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt
Nein
Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt
Nein
Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .