LLM-prestaties in endodontische diagnostiek
Evaluatie van ChatGPT-4o, Gemini en Claude 3.7 in Endodontische Diagnostiek: Een Prospectieve Klinische Studie
Het doel van deze prospectieve observationele studie is om het vermogen van drie grote taalmodellen (ChatGPT-4o, Gemini Advanced en Claude 3.7) te evalueren om de diagnose en behandelbeslissingen te ondersteunen bij volwassen patiënten met veelvoorkomende endodontische aandoeningen.
De belangrijkste vragen die de studie wil beantwoorden zijn:
Kunnen LLM's nauwkeurig de endodontische diagnose bepalen wanneer ze gestructureerde klinische informatie en periapicale röntgenfoto's krijgen?
Kunnen LLM's passende behandelplannen voorstellen die vergelijkbaar zijn met beslissingen gemaakt door endodontische specialisten?
Om deze vragen te beantwoorden, zullen onderzoekers de diagnostische en behandelingsnauwkeurigheid van drie AI-modellen vergelijken met een consensusdiagnose van endodontische specialisten als referentiestandaard.
Deelnemers zullen:
Routinematig endodontisch onderzoek en periapicale röntgenfoto's ondergaan als onderdeel van de standaard klinische zorg.
Hun geanonimiseerde klinische geschiedenis en röntgenfoto's laten invoeren in de drie AI-modellen.
Niet rechtstreeks met enig AI-systeem interacteren; alle evaluaties worden uitgevoerd door het onderzoeksteam.
Deze studie heeft als doel te begrijpen hoe grote taalmodellen presteren onder realistische klinische omstandigheden en of deze systemen in de toekomst een ondersteunende rol kunnen spelen bij endodontische diagnostiek.
Studie Overzicht
Toestand
Interventie / Behandeling
Gedetailleerde beschrijving
Deze prospectieve observationele studie heeft tot doel de real-time diagnostische en behandelingsbeslissingsprestaties van drie grote taalmodellen—ChatGPT-4o, Gemini Advanced en Claude 3.7—in een endodontische klinische setting te evalueren. In totaal werden 120 patiënten die zich meldden bij de endodontiekliniek onderzocht, en gedetailleerde medische/tandheelkundige anamneses, klinische bevindingen en periapicale röntgenfoto's werden verzameld. Elk geanonimiseerde casus werd vervolgens aan de drie LLM's voorgelegd met behulp van een gestandaardiseerde prompt waarin om de diagnose en het passende behandelplan werd gevraagd.
Alle modellen werden gebruikt in hun standaard multimodale configuraties zonder de webzoekfuncties, plug-ins of externe gegevensophaling in te schakelen. Elke vraag werd slechts één keer ingediend in geïsoleerde chatsessies om geheugenoverdracht te voorkomen. De antwoorden werden letterlijk opgeslagen en vergeleken met de referentiediagnoses en behandelplannen die door een panel van endodontische specialisten waren vastgesteld.
Deze studie was ontworpen om zo nauwkeurig mogelijk de klinische omstandigheden in de praktijk na te bootsen, waardoor een realistische beoordeling wordt gegeven van hoe deze systemen zouden kunnen presteren wanneer ze door clinici in de dagelijkse praktijk worden gebruikt. Het begrijpen van hun mogelijkheden en beperkingen in authentieke klinische scenario's is essentieel, aangezien verwacht wordt dat LLM's een steeds belangrijkere rol zullen spelen in de toekomstige tandheelkundige zorg, met name in beslissingsondersteuning, triage en patiëntenvoorlichting. Door te identificeren waar deze modellen goed presteren en waar ze tekortschieten, beoogt dit onderzoek een veilige en effectieve klinische integratie te informeren naarmate LLM-technologieën zich blijven ontwikkelen.
Studietype
Inschrijving (Werkelijk)
Contacten en locaties
Studie Locaties
-
-
Istanbul
-
Maltepe, Istanbul, Turkije (Türkiye), 34856
- Faculty of Dentistry, Marmara University
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Bemonsteringsmethode
Studie Bevolking
Beschrijving
Inclusiecriteria:
- Volwassen patiënten (≥18 jaar oud) die zich presenteren bij of verwezen worden naar de Endodontie Kliniek.
Patiënten met een klinisch geverifieerde endodontische aandoening die diagnose en behandelplanning vereist.
Patiënten die akkoord gingen met deelname en geïnformeerde toestemming verleenden.
Patiënten voor wie een volledige papieren medische/tandheelkundige anamnese en periapicale röntgenfoto werden verkregen tijdens het klinische bezoek.
Exclusiecriteria:
- Exclusiecriteria
Patiënten die deelname weigerden of geen geïnformeerde toestemming verleenden.
Pediatrische patiënten (<18 jaar oud) verwezen naar de Kindertandheelkunde Kliniek.
Patiënten die de kliniek bezoeken met niet-endodontische klachten (bijv. post-extractie alveolitis, problemen met verstandskiezenextractie).
Gevallen met onvolledige klinische informatie of ontbrekende röntgenfoto's.
Patiënten die niet in staat zijn standaard endodontische onderzoeksprocedures te ondergaan.
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
Cohorten en interventies
Groep / Cohort |
Interventie / Behandeling |
|---|---|
|
Cohort van Endodontische Patiënten
Deze cohort omvat 120 opeenvolgende patiënten die zich presenteerden in de endodontiekliniek met klinisch geverifieerde endodontische aandoeningen.
Klinische geschiedenis en periapicale röntgenfoto's werden verzameld, en diagnostische/behandelingsaanbevelingen gegenereerd door AI-modellen werden vergeleken met expertconsensus.
|
De geanonimiseerde klinische informatie van deelnemers, waaronder gestructureerde patiëntgeschiedenis en periapicale röntgenfoto's, werd gebruikt als invoer voor drie grote taalmodellen (ChatGPT-4o, Gemini Advanced, Claude 3.7).
De modellen werd gevraagd om de endodontische diagnose te bepalen en een passend behandelplan voor te stellen.
Er werd geen behandeling, apparaat of medicijn toegediend aan deelnemers.
De interventie bestaat uitsluitend uit AI-gebaseerde interpretatie van reeds bestaande klinische gegevens.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Nauwkeurigheid van klinische diagnose op basis van papieren anamnese en periapicale röntgenfoto
Tijdsspanne: 7 juli-5 augustus
|
Beoordeling van de diagnostische beslissing genomen door endodontische clinici na het beoordelen van een papieren patiëntgeschiedenisformulier en een gestandaardiseerde periapicale röntgenfoto.
De nauwkeurigheid wordt bepaald door de diagnose van de clinicus te vergelijken met de consensusdiagnose vastgesteld door drie onafhankelijke endodontische specialisten.
Er worden gegevens verzameld voor alle 120 patiënten op het moment van de eerste klinische evaluatie.
|
7 juli-5 augustus
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Prestatie van LLM-gegenereerde diagnose- en behandelplanning
Tijdsspanne: augustus-september
|
Evaluatie van diagnostische en behandelingsaanbevelingen gegenereerd door grote taalmodellen (LLM's)-ChatGPT-4o, Gemini Advanced en Claude 3.7-na ontvangst van dezelfde papieren patiëntgeschiedenis en periapicale röntgenfoto die aan clinici werd verstrekt.
LLM-antwoorden zullen worden vergeleken met de gouden standaard specialistische consensus voor zowel diagnose als behandelingsbeslissingen.
|
augustus-september
|
Medewerkers en onderzoekers
Sponsor
Onderzoekers
- Studie directeur: ayşe karadayı, asst. prof., Marmara University Faculty of Dentistry
Publicaties en nuttige links
Algemene publicaties
- Abd-Alrazaq A, AlSaad R, Alhuwail D, Ahmed A, Healy PM, Latifi S, Aziz S, Damseh R, Alabed Alrazak S, Sheikh J. Large Language Models in Medical Education: Opportunities, Challenges, and Future Directions. JMIR Med Educ. 2023 Jun 1;9:e48291. doi: 10.2196/48291.
- Schwendicke F, Samek W, Krois J. Artificial Intelligence in Dentistry: Chances and Challenges. J Dent Res. 2020 Jul;99(7):769-774. doi: 10.1177/0022034520915714. Epub 2020 Apr 21.
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Andere studie-ID-nummers
- 2025-38
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .