- ICH GCP
- US Clinical Trials Registry
- Klinisk forsøg NCT07281066
LLM-præstation inden for endodontisk diagnostik
Evaluering af ChatGPT-4o, Gemini og Claude 3.7 i endodontisk diagnostik: Et prospektivt klinisk studie
Formålet med denne prospektive observationsstudie er at evaluere tre store sprogmodellers (ChatGPT-4o, Gemini Advanced og Claude 3.7) evne til at støtte diagnosticering og behandlingsbeslutninger hos voksne patienter med almindelige endodontiske tilstande.
De vigtigste spørgsmål, som studiet sigter mod at besvare, er:
Kan LLM'er præcist bestemme den endodontiske diagnose, når de får struktureret klinisk information og periapikale røntgenbilleder?
Kan LLM'er foreslå passende behandlingsplaner, der er sammenlignelige med beslutninger truffet af endodontiske specialister?
For at besvare disse spørgsmål vil forskerne sammenligne de tre AI-modellers diagnostiske og behandlingsmæssige nøjagtighed ved at bruge en konsensusdiagnose fra endodontiske specialister som referencestandard.
Deltagerne vil:
Modtage rutinemæssig endodontisk undersøgelse og periapikale røntgenbilleder som en del af standard klinisk behandling.
Få deres anonymiserede kliniske historier og røntgenbilleder indtastet i de tre AI-modeller.
Ikke interagere direkte med noget AI-system; alle evalueringer vil blive udført af forskningsteamet.
Dette studie har til formål at forstå, hvordan store sprogmodeller klarer sig under reelle kliniske forhold, og om disse systemer i fremtiden kan spille en støtterolle inden for endodontisk diagnostik.
Studieoversigt
Status
Betingelser
Intervention / Behandling
Detaljeret beskrivelse
Denne prospektive observationsstudie har til formål at evaluere den realtidsdiagnostiske og behandlingsbeslutningspraksis for tre store sprogmodeller - ChatGPT-4o, Gemini Advanced og Claude 3.7 - i en endodontisk klinisk sammenhæng. I alt 120 patienter, der kom til endodontiklinikken, blev undersøgt, og detaljerede medicinske/tandlægelige historier, kliniske fund og periapikale røntgenbilleder blev indsamlet. Hver anonymiseret sag blev derefter præsenteret for de tre LLM'er ved hjælp af en standardiseret prompt, der bad om diagnosen og den passende behandlingsplan.
Alle modeller blev brugt i deres standard multimodale konfigurationer uden at aktivere websøgefunktioner, plugins eller ekstern datahentning. Hvert spørgsmål blev kun indsendt én gang i isolerede chat-sessioner for at forhindre hukommelsesoverførsel. Svarene blev gemt ordret og sammenlignet med referencediagnoserne og behandlingsplanerne etableret af et panel af endodontiske specialister.
Dette studie var designet til at efterligne virkelige kliniske forhold så tæt som muligt, hvilket giver en realistisk vurdering af, hvordan disse systemer kan præstere, når de bruges af klinikere i hverdagen. At forstå deres evner og begrænsninger i autentiske kliniske scenarier er afgørende, da LLM'er forventes at spille en stadig vigtigere rolle i fremtidig tandpleje, især i beslutningsstøtte, triage og patientundervisning. Ved at identificere, hvor disse modeller klarer sig godt, og hvor de ikke lever op til forventningerne, sigter denne forskning mod at bidrage til sikker og effektiv klinisk integration, efterhånden som LLM-teknologier fortsat udvikler sig.
Undersøgelsestype
Tilmelding (Faktiske)
Kontakter og lokationer
Studiesteder
-
-
Istanbul
-
Maltepe, Istanbul, Tyrkiet (Türkiye), 34856
- Faculty of Dentistry, Marmara University
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Prøveudtagningsmetode
Studiebefolkning
Beskrivelse
Inklusionskriterier:
- Voksne patienter (≥18 år gamle), der præsenterer sig på eller henvises til Endodontiklinikken.
Patienter med en klinisk verificeret endodontisk tilstand, der kræver diagnose og behandlingsplanlægning.
Patienter, der har givet samtykke til at deltage og har afgivet informeret samtykke.
Patienter, for hvem en komplet papirbaseret medicinsk/tandlægehistorik og periapikal røntgenbillede blev indhentet under det kliniske besøg.
Eksklusionskriterier:
- Eksklusionskriterier
Patienter, der afviste deltagelse eller ikke afgav informeret samtykke.
Pædiatriske patienter (<18 år gamle) henvist til Pædodontiklinikken.
Patienter, der deltager på klinikken med ikke-endodontiske klager (f.eks. alveolitis efter ekstraktion, problemer med visdomstandsextraktion).
Tilfælde med ufuldstændig klinisk information eller manglende røntgenbilleder.
Patienter, der ikke er i stand til at gennemgå standard endodontiske undersøgelsesprocedurer.
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
Kohorter og interventioner
Gruppe / kohorte |
Intervention / Behandling |
|---|---|
|
Kohorte af endodontiske patienter
Denne kohorte omfatter 120 på hinanden følgende patienter, der præsenterede sig på endodontiklinikken med klinisk verificerede endodontiske tilstande.
Klinisk historik og periapikale røntgenbilleder blev indsamlet, og diagnostiske/behandlingsanbefalinger genereret af AI-modeller blev sammenlignet med ekspertkonsensus.
|
Deltagernes anonymiserede kliniske oplysninger, inklusive struktureret patienthistorie og periapikale røntgenbilleder, blev brugt som input til tre store sprogmodeller (ChatGPT-4o, Gemini Advanced, Claude 3.7).
Modellerne blev bedt om at fastslå den endodontiske diagnose og foreslå en passende behandlingsplan.
Ingen behandling, enhed eller medicin blev administreret til deltagerne.
Interventionen udgøres udelukkende af AI-baseret fortolkning af allerede eksisterende kliniske data.
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Klinikers diagnosepræcision baseret på papirbaseret anamnese og periapikal røntgenbillede
Tidsramme: 7. juli-5. august
|
Vurdering af den diagnostiske beslutning truffet af endodontiske klinikere efter gennemgang af en papirbaseret patienthistorisk formular og en standardiseret periapikal røntgenbillede.
Nøjagtigheden bestemmes ved at sammenligne klinikerens diagnose med konsensusdiagnosen etableret af tre uafhængige endodontiske specialister.
Data vil blive indsamlet for alle 120 patienter på tidspunktet for den indledende kliniske evaluering.
|
7. juli-5. august
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
LLM-genereret diagnose- og behandlingsplanlægningsydelse
Tidsramme: august-september
|
Evaluering af diagnostiske og behandlingsanbefalinger genereret af store sprogmodeller (LLMs)-ChatGPT-4o, Gemini Advanced og Claude 3.7-efter at have modtaget den samme papirbaserede patienthistorie og periapikale røntgenbillede, som blev givet til klinikere.
LLM-svar vil blive sammenlignet med den guldstandard-specialistkonsensus for både diagnose og behandlingsbeslutninger.
|
august-september
|
Samarbejdspartnere og efterforskere
Sponsor
Efterforskere
- Studieleder: ayşe karadayı, asst. prof., Marmara University Faculty of Dentistry
Publikationer og nyttige links
Generelle publikationer
- Abd-Alrazaq A, AlSaad R, Alhuwail D, Ahmed A, Healy PM, Latifi S, Aziz S, Damseh R, Alabed Alrazak S, Sheikh J. Large Language Models in Medical Education: Opportunities, Challenges, and Future Directions. JMIR Med Educ. 2023 Jun 1;9:e48291. doi: 10.2196/48291.
- Schwendicke F, Samek W, Krois J. Artificial Intelligence in Dentistry: Chances and Challenges. J Dent Res. 2020 Jul;99(7):769-774. doi: 10.1177/0022034520915714. Epub 2020 Apr 21.
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Faktiske)
Studieafslutning (Faktiske)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
- 2025-38
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .
Kliniske forsøg med AI-baseret diagnostisk vurdering
-
Ruijin HospitalFudan University; Affiliated Hospital of Jiangnan University; Shanghai 10th... og andre samarbejdspartnereRekruttering
-
Hazem Yassin ClinicsAhmed I ElSayeghTilmelding efter invitationKeratokonus | Maskinelæring | Brydningskirurgi | Oftalmologi | Diagnostisk nøjagtighed | Klinisk beslutningsstøtte | Kunstig intelligensEgypten
-
Mahidol UniversityAfsluttetScreeningsværktøj for depression hos kræftsmertepatienterThailand
-
Liverpool School of Tropical MedicineIkke rekrutterer endnuTB - Tuberkulose
-
Roswell Park Cancer InstituteRekrutteringStadie IV Bugspytkirtelkræft AJCC v8 | Metastatisk pancreas ductal adenokarcinomForenede Stater
-
National Cancer Institute (NCI)Aktiv, ikke rekrutterendeLynch syndrom | Fase III tyktarmskræft AJCC v8 | Colon Adenocarcinom | DNA reparationsforstyrrelseForenede Stater, Puerto Rico, Tyskland
-
City of Hope Medical CenterNational Cancer Institute (NCI)RekrutteringTilbagevendende diffust stort B-cellet lymfom, ikke andet specificeret | Refraktært diffust stort B-cellet lymfom, ikke andet specificeret | Tilbagevendende højgradigt B-celle lymfom, ikke andet specificeret | Refraktært højgradigt B-cellelymfom, ikke andet specificeret | Tilbagevendende transformeret... og andre forholdForenede Stater
-
National Cancer Institute (NCI)Aktiv, ikke rekrutterendeStadie III intrahepatisk cholangiocarcinom AJCC v8 | Stadie III galdeblærekræft AJCC v8 | Tilbagevendende galdeblærekarcinom | Ikke-operabelt galdeblærekarcinom | Trin III Hilar Cholangiocarcinoma AJCC v8 | Stadie IV galdeblærekræft AJCC v8 | Trin IV Hilar Cholangiocarcinoma AJCC v8 | Stadie IV intrahepatisk... og andre forholdForenede Stater
-
Jonsson Comprehensive Cancer CenterIkke rekrutterer endnuStadie II Bugspytkirtelkræft AJCC v8 | Stadie III Bugspytkirtelkræft AJCC v8 | Stadie IV Bugspytkirtelkræft AJCC v8 | Metastatisk bugspytkirteladenokarcinom | Lokalt avanceret pancreas adenocarcinom | Metastatisk cholangiocarcinom | Lokalt avanceret cholangiocarcinom | Borderline resektabelt bugspytkirtel...Forenede Stater
-
National Cancer Institute (NCI)Aktiv, ikke rekrutterendeTilbagevendende diffust stort B-cellet lymfom | Refraktært diffust stort B-cellet lymfom | Tilbagevendende transformeret non-Hodgkin-lymfom | Richters syndrom | Refraktært transformeret non-Hodgkin lymfom | Transformeret follikulært lymfom til diffust stort B-cellet lymfomForenede Stater