Výkon LLM v endodontické diagnostice
Hodnocení ChatGPT-4o, Gemini a Claude 3.7 v endodontické diagnostice: Prospektivní klinická studie
Cílem této prospektivní observační studie je vyhodnotit schopnost tří velkých jazykových modelů (ChatGPT-4o, Gemini Advanced a Claude 3.7) podporovat diagnostiku a rozhodování o léčbě u dospělých pacientů s běžnými endodontickými stavy.
Hlavní otázky, na které se studie zaměřuje, jsou:
Mohou LLM přesně určit endodontickou diagnózu, když jsou jim poskytnuty strukturované klinické informace a periapikální rentgenové snímky?
Mohou LLM navrhnout vhodné léčebné plány srovnatelné s rozhodnutími odborníků na endodoncii?
K zodpovězení těchto otázek výzkumníci porovnají diagnostickou a léčebnou přesnost tří modelů umělé inteligence s použitím konsenzuální diagnózy odborníků na endodoncii jako referenčního standardu.
Účastníci:
Podstoupí rutinní endodontické vyšetření a periapikální rentgenové snímky jako součást standardní klinické péče.
Jejich anonymizované klinické anamnézy a rentgenové snímky budou zadány do tří modelů umělé inteligence.
Nebudou přímo interagovat s žádným systémem umělé inteligence; všechna hodnocení provede výzkumný tým.
Tato studie si klade za cíl pochopit, jak velké jazykové modely fungují v reálných klinických podmínkách, a zda by tyto systémy mohly v budoucnu hrát podpůrnou roli v endodontické diagnostice.
Přehled studie
Postavení
Podmínky
Intervence / Léčba
Detailní popis
Tato prospektivní observační studie si klade za cíl vyhodnotit diagnostický výkon a výkon při rozhodování o léčbě v reálném čase tří velkých jazykových modelů – ChatGPT-4o, Gemini Advanced a Claude 3.7 – v endodontickém klinickém prostředí. Celkem bylo vyšetřeno 120 pacientů prezentujících se na endodontickou kliniku a byly shromážděny podrobné lékařské/zubní anamnézy, klinické nálezy a periapikální rentgenové snímky. Každý anonymizovaný případ byl poté prezentován třem LLM pomocí standardizovaného dotazu žádajícího o diagnózu a vhodný léčebný plán.
Všechny modely byly použity ve výchozích multimodálních konfiguracích bez zapnutí funkcí vyhledávání na webu, pluginů nebo externího načítání dat. Každá otázka byla odeslána pouze jednou v izolovaných chatovacích relacích, aby se zabránilo přenosu paměti. Odpovědi byly uloženy doslovně a porovnány s referenčními diagnózami a léčebnými plány stanovenými panelem endodontických specialistů.
Tato studie byla navržena tak, aby co nejvěrněji napodobovala reálné klinické podmínky, a poskytuje realistické hodnocení toho, jak by tyto systémy mohly fungovat, když je klinici používají v každodenní praxi. Pochopení jejich schopností a omezení v autentických klinických scénářích je zásadní, protože se očekává, že LLM budou hrát stále důležitější roli v budoucí zubní péči, zejména v rozhodovací podpoře, triáži a vzdělávání pacientů. Identifikací oblastí, kde tyto modely fungují dobře, a oblastí, kde selhávají, si tento výzkum klade za cíl přispět k bezpečné a účinné klinické integraci, jak technologie LLM pokračují ve vývoji.
Typ studie
Zápis (Aktuální)
Kontakty a umístění
Studijní místa
-
-
Istanbul
-
Maltepe, Istanbul, Turecko (Türkiye), 34856
- Faculty of Dentistry, Marmara University
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Metoda odběru vzorků
Studijní populace
Popis
Kritéria pro zařazení:
- Dospělí pacienti (≥18 let) přicházející do nebo odeslaní na endodontickou kliniku.
Pacienti s klinicky ověřeným endodontickým stavem vyžadujícím diagnostiku a plánování léčby.
Pacienti, kteří souhlasili s účastí a poskytli informovaný souhlas.
Pacienti, u kterých byla během klinické návštěvy získána kompletní papírová zdravotní/stomatologická anamnéza a periapikální rentgenový snímek.
Kritéria pro vyloučení:
- Kritéria pro vyloučení
Pacienti, kteří odmítli účast nebo neposkytli informovaný souhlas.
Pediatričtí pacienti (<18 let) odeslaní na kliniku dětské stomatologie.
Pacienti navštěvující kliniku s neendodontickými obtížemi (např. alveolitida po extrakci, problémy s extrakcí třetích molárů).
Případy s neúplnými klinickými informacemi nebo chybějícími rentgenovými snímky.
Pacienti, kteří nemohou podstoupit standardní endodontické vyšetřovací postupy.
Studijní plán
Jak je studie koncipována?
Detaily designu
Kohorty a intervence
Skupina / kohorta |
Intervence / Léčba |
|---|---|
|
Kohorta endodontických pacientů
Tato kohorta zahrnuje 120 po sobě jdoucích pacientů, kteří se dostavili na endodontickou kliniku s klinicky ověřenými endodontickými potížemi.
Byly shromážděny klinické anamnézy a periapikální rentgenové snímky a doporučení pro diagnostiku/léčbu generované AI modely byla porovnána s odborným konsenzem.
|
Anonymizované klinické informace účastníků, včetně strukturované anamnézy pacienta a periapikálních rentgenových snímků, byly použity jako vstup pro tři velké jazykové modely (ChatGPT-4o, Gemini Advanced, Claude 3.7).
Modely byly požádány, aby určily endodontickou diagnózu a navrhly vhodný léčebný plán.
Žádná léčba, zařízení ani léky nebyly účastníkům podávány.
Zásah spočívá výhradně v AI-bazované interpretaci již existujících klinických dat.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Přesnost diagnózy klinika na základě papírové anamnézy a periapikálního rentgenového snímku
Časové okno: 7. července – 5. srpna
|
Posouzení diagnostického rozhodnutí, které učinili endodontičtí klinici po prostudování papírového formuláře s anamnézou pacienta a standardizovaného periapikálního rentgenového snímku.
Přesnost se určuje porovnáním diagnózy klinika s konsenzuální diagnózou stanovenou třemi nezávislými endodontickými specialisty.
Data budou shromážděna pro všech 120 pacientů v době počátečního klinického vyšetření.
|
7. července – 5. srpna
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Výkon LLM-generované diagnostiky a plánování léčby
Časové okno: srpen–září
|
Vyhodnocení diagnostických a léčebných doporučení generovaných velkými jazykovými modely (LLM) – ChatGPT-4o, Gemini Advanced a Claude 3.7 – po obdržení stejné papírové anamnézy pacienta a periapikálního rentgenového snímku, který byl poskytnut klinickým lékařům.
Odpovědi LLM budou porovnány se zlatým standardem odborného konsenzu pro diagnostiku i léčebná rozhodnutí.
|
srpen–září
|
Spolupracovníci a vyšetřovatelé
Sponzor
Vyšetřovatelé
- Ředitel studie: ayşe karadayı, asst. prof., Marmara University Faculty of Dentistry
Publikace a užitečné odkazy
Obecné publikace
- Abd-Alrazaq A, AlSaad R, Alhuwail D, Ahmed A, Healy PM, Latifi S, Aziz S, Damseh R, Alabed Alrazak S, Sheikh J. Large Language Models in Medical Education: Opportunities, Challenges, and Future Directions. JMIR Med Educ. 2023 Jun 1;9:e48291. doi: 10.2196/48291.
- Schwendicke F, Samek W, Krois J. Artificial Intelligence in Dentistry: Chances and Challenges. J Dent Res. 2020 Jul;99(7):769-774. doi: 10.1177/0022034520915714. Epub 2020 Apr 21.
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Aktuální)
Dokončení studie (Aktuální)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Klíčová slova
Další identifikační čísla studie
- 2025-38
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .
Klinické studie na Diagnostické hodnocení založené na umělé inteligenci
-
Hospital Nossa Senhora da ConceicaoZatím nenabírámePředoperační péčeBrazílie