LLM-prestanda inom endodontisk diagnostik

Denna prospektiva observationsstudie syftar till att utvärdera den realtidsdiagnostiska och behandlingsbeslutsförmågan hos tre stora språkmodeller – ChatGPT-4o, Gemini Advanced och Claude 3.7 – i en endodontisk klinisk miljö. Totalt 120 patienter som presenterades på endodontikliniken undersöktes, och detaljerade medicinska/tandläkarmässiga historier, kliniska fynd samt periapikala röntgenbilder samlades in. Varje anonymiserat fall presenterades sedan för de tre LLM:erna med en standardiserad prompt som frågade efter diagnos och lämplig behandlingsplan.

Alla modeller användes i sina standardmultimodala konfigurationer utan att aktivera webbsökningsfunktioner, plugins eller extern datahämtning. Varje fråga lämnades in endast en gång i isolerade chattsessioner för att förhindra minnesöverföring. Svaren sparades ordagrant och jämfördes med referensdiagnoserna och behandlingsplanerna som fastställts av en panel av endodontiska specialister.

Denna studie utformades för att efterlikna verkliga kliniska förhållanden så nära som möjligt, vilket ger en realistisk bedömning av hur dessa system kan prestera när de används av kliniker i vardaglig praxis. Att förstå deras förmågor och begränsningar i autentiska kliniska scenarier är avgörande, eftersom LLM:er förväntas spela en allt viktigare roll i framtida tandvård, särskilt inom beslutsstöd, triage och patientutbildning. Genom att identifiera var dessa modeller presterar bra och var de brister, syftar denna forskning till att informera om säker och effektiv klinisk integration när LLM-teknologier fortsätter att utvecklas.