LLM-Leistung in der endodontischen Diagnostik

Diese prospektive Beobachtungsstudie zielt darauf ab, die Echtzeit-Diagnose- und Behandlungsentscheidungsleistung von drei großen Sprachmodellen – ChatGPT-4o, Gemini Advanced und Claude 3.7 – in einer endodontischen klinischen Umgebung zu bewerten. Insgesamt wurden 120 Patienten untersucht, die sich in der endodontischen Klinik vorstellten, und detaillierte medizinische/zahnmedizinische Anamnesen, klinische Befunde sowie periapikale Röntgenaufnahmen wurden erfasst. Jeder anonymisierte Fall wurde dann den drei LLMs mit einem standardisierten Prompt vorgelegt, der nach der Diagnose und dem geeigneten Behandlungsplan fragte.

Alle Modelle wurden in ihren standardmäßigen multimodalen Konfigurationen verwendet, ohne Web-Suchfunktionen, Plug-ins oder externe Datenabrufe zu aktivieren. Jede Frage wurde nur einmal in isolierten Chat-Sitzungen eingereicht, um ein Gedächtnisübertragen zu verhindern. Die Antworten wurden wortgetreu gespeichert und mit den Referenzdiagnosen und Behandlungsplänen verglichen, die von einem Gremium endodontischer Spezialisten festgelegt wurden.

Diese Studie wurde so konzipiert, dass sie realistische klinische Bedingungen so genau wie möglich nachahmt und eine realistische Bewertung bietet, wie diese Systeme bei der täglichen Anwendung durch Kliniker abschneiden könnten. Das Verständnis ihrer Fähigkeiten und Grenzen in authentischen klinischen Szenarien ist entscheidend, da erwartet wird, dass LLMs in der zukünftigen Zahnmedizin eine zunehmend wichtige Rolle spielen werden, insbesondere bei der Entscheidungsunterstützung, Triage und Patientenaufklärung. Indem identifiziert wird, wo diese Modelle gut funktionieren und wo sie Schwächen aufweisen, zielt diese Forschung darauf ab, eine sichere und effektive klinische Integration zu ermöglichen, während sich LLM-Technologien weiterentwickeln.