Wydajność LLM w diagnostyce endodontycznej
Ocena ChatGPT-4o, Gemini i Claude 3.7 w diagnostyce endodontycznej: prospektywne badanie kliniczne
Celem tego prospektywnego badania obserwacyjnego jest ocena zdolności trzech dużych modeli językowych (ChatGPT-4o, Gemini Advanced i Claude 3.7) do wspomagania diagnozy i podejmowania decyzji terapeutycznych u dorosłych pacjentów z powszechnymi schorzeniami endodontycznymi.
Główne pytania, na które badanie ma odpowiedzieć, to:
Czy LLM mogą dokładnie określić diagnozę endodontyczną, gdy otrzymają ustrukturyzowane informacje kliniczne i zdjęcia rentgenowskie okołowierzchołkowe?
Czy LLM mogą zaproponować odpowiednie plany leczenia porównywalne z decyzjami podejmowanymi przez specjalistów endodontów?
Aby odpowiedzieć na te pytania, badacze porównają dokładność diagnostyczną i terapeutyczną trzech modeli AI, używając konsensusu diagnostycznego specjalistów endodontów jako standardu odniesienia.
Uczestnicy:
Przejdą rutynowe badanie endodontyczne i wykonanie zdjęć rentgenowskich okołowierzchołkowych jako część standardowej opieki klinicznej.
Ich anonimowe historie kliniczne i zdjęcia rentgenowskie zostaną wprowadzone do trzech modeli AI.
Nie będą bezpośrednio współdziałać z żadnym systemem AI; wszystkie oceny zostaną przeprowadzone przez zespół badawczy.
To badanie ma na celu zrozumienie, jak duże modeje językowe sprawdzają się w rzeczywistych warunkach klinicznych i czy te systemy mogą w przyszłości odgrywać wspierającą rolę w diagnostyce endodontycznej.
Przegląd badań
Status
Interwencja / Leczenie
Szczegółowy opis
To prospektywne badanie obserwacyjne ma na celu ocenę wydajności w czasie rzeczywistym trzech dużych modeli językowych – ChatGPT-4o, Gemini Advanced i Claude 3.7 – w zakresie diagnostyki i podejmowania decyzji terapeutycznych w warunkach klinicznych endodoncji. W sumie przebadano 120 pacjentów zgłaszających się do kliniki endodontycznej, zebrano szczegółowe wywiady medyczne/dentystyczne, wyniki badań klinicznych oraz zdjęcia rentgenowskie okołowierzchołkowe. Następnie każdy zanonimizowany przypadek przedstawiono trzem LLM za pomocą ustandaryzowanego polecenia z prośbą o diagnozę i odpowiedni plan leczenia.
Wszystkie modele wykorzystano w ich domyślnych konfiguracjach multimodalnych bez włączania funkcji wyszukiwania internetowego, wtyczek ani zewnętrznego pobierania danych. Każde pytanie przesłano tylko raz w odizolowanych sesjach czatu, aby zapobiec przenoszeniu pamięci. Odpowiedzi zapisano dosłownie i porównano z referencyjnymi diagnozami i planami leczenia ustalonymi przez panel specjalistów endodoncji.
Badanie zaprojektowano tak, aby jak najdokładniej odzwierciedlało rzeczywiste warunki kliniczne, zapewniając realistyczną ocenę, jak te systemy mogą działać w codziennej praktyce klinicznej. Zrozumienie ich możliwości i ograniczeń w autentycznych scenariuszach klinicznych jest niezbędne, ponieważ oczekuje się, że LLM będą odgrywać coraz ważniejszą rolę w przyszłej opiece dentystycznej, szczególnie w zakresie wspomagania decyzji, triage i edukacji pacjentów. Identyfikując obszary, w których te modele sprawdzają się dobrze, i te, w których nie spełniają oczekiwań, niniejsze badanie ma na celu zapewnienie bezpiecznej i skutecznej integracji klinicznej w miarę postępu technologii LLM.
Typ studiów
Zapisy (Rzeczywisty)
Kontakty i lokalizacje
Lokalizacje studiów
-
-
Istanbul
-
Maltepe, Istanbul, Turcja (Türkiye), 34856
- Faculty of Dentistry, Marmara University
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Metoda próbkowania
Badana populacja
Opis
Kryteria włączenia:
- Dorośli pacjenci (≥18 lat) zgłaszający się lub skierowani do Kliniki Endodoncji.
Pacjenci z klinicznie potwierdzonym schorzeniem endodontycznym wymagającym diagnostyki i planowania leczenia.
Pacjenci, którzy wyrazili zgodę na udział i udzielili świadomej zgody.
Pacjenci, u których podczas wizyty klinicznej uzyskano kompletne papierowe dane z wywiadu medycznego/stomatologicznego oraz zdjęcie rentgenowskie okołowierzchołkowe.
Kryteria wykluczenia:
- Kryteria wykluczenia
Pacjenci, którzy odmówili udziału lub nie udzielili świadomej zgody.
Pacjenci pediatryczni (<18 lat) skierowani do Kliniki Stomatologii Dziecięcej.
Pacjenci zgłaszający się do kliniki z dolegliwościami nieendodontycznymi (np. suchy zębodół, problemy z ekstrakcją zębów mądrości).
Przypadki z niepełnymi danymi klinicznymi lub brakiem zdjęć rentgenowskich.
Pacjenci niezdolni do poddania się standardowym procedurom badania endodontycznego.
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
Kohorty i interwencje
Grupa / Kohorta |
Interwencja / Leczenie |
|---|---|
|
Kohorta Pacjentów Endodontycznych
Ta kohorta obejmuje 120 kolejnych pacjentów zgłaszających się do kliniki endodontycznej z klinicznie potwierdzonymi schorzeniami endodontycznymi.
Zebrano wywiad kliniczny i zdjęcia rentgenowskie okołowierzchołkowe, a rekomendacje diagnostyczne/terapeutyczne wygenerowane przez modele AI porównano z konsensusem ekspertów.
|
Anonimizowane dane kliniczne uczestników, w tym ustrukturyzowana historia pacjenta oraz zdjęcia pantomograficzne, zostały wykorzystane jako dane wejściowe dla trzech dużych modeli językowych (ChatGPT-4o, Gemini Advanced, Claude 3.7).
Modele zostały poproszone o ustalenie diagnozy endodontycznej i zaproponowanie odpowiedniego planu leczenia.
Uczestnikom nie podano żadnego leczenia, urządzenia ani leku.
Interwencja polega wyłącznie na interpretacji istniejących danych klinicznych opartej na sztucznej inteligencji.
|
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Dokładność diagnozy klinicznej na podstawie historii papierowej i zdjęcia pantomograficznego
Ramy czasowe: 7 lipca-5 sierpnia
|
Ocena decyzji diagnostycznej podjętej przez klinicystów endodontycznych po przeanalizowaniu papierowego formularza historii pacjenta i standaryzowanego zdjęcia pantomograficznego.
Dokładność jest określana poprzez porównanie diagnozy klinicysty z diagnozą konsensusową ustaloną przez trzech niezależnych specjalistów endodontycznych.
Dane będą zbierane dla wszystkich 120 pacjentów w momencie wstępnej oceny klinicznej.
|
7 lipca-5 sierpnia
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Wydajność Diagnozy i Planowania Leczenia Generowana przez LLM
Ramy czasowe: sierpień-wrzesień
|
Ocena zaleceń diagnostycznych i terapeutycznych generowanych przez duże modele językowe (LLM) – ChatGPT-4o, Gemini Advanced i Claude 3.7 – po otrzymaniu tej samej papierowej historii pacjenta i zdjęcia pantomograficznego dostarczonych klinicystom.
Odpowiedzi LLM zostaną porównane z konsensusem specjalistycznym stanowiącym złoty standard zarówno w zakresie diagnozy, jak i decyzji terapeutycznych.
|
sierpień-wrzesień
|
Współpracownicy i badacze
Sponsor
Śledczy
- Dyrektor Studium: ayşe karadayı, asst. prof., Marmara University Faculty of Dentistry
Publikacje i pomocne linki
Publikacje ogólne
- Abd-Alrazaq A, AlSaad R, Alhuwail D, Ahmed A, Healy PM, Latifi S, Aziz S, Damseh R, Alabed Alrazak S, Sheikh J. Large Language Models in Medical Education: Opportunities, Challenges, and Future Directions. JMIR Med Educ. 2023 Jun 1;9:e48291. doi: 10.2196/48291.
- Schwendicke F, Samek W, Krois J. Artificial Intelligence in Dentistry: Chances and Challenges. J Dent Res. 2020 Jul;99(7):769-774. doi: 10.1177/0022034520915714. Epub 2020 Apr 21.
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Rzeczywisty)
Zakończenie podstawowe (Rzeczywisty)
Ukończenie studiów (Rzeczywisty)
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Słowa kluczowe
Inne numery identyfikacyjne badania
- 2025-38
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .