LLM 성능의 치근단 진단

이 전향적 관찰 연구는 치근단 임상 환경에서 세 가지 대형 언어 모델—ChatGPT-4o, Gemini Advanced, Claude 3.7—의 실시간 진단 및 치료 의사 결정 성능을 평가하는 것을 목표로 합니다. 총 120명의 치근단 클리닉 환자를 검사하고, 상세한 의료/치과 병력, 임상 소견, 치근단 방사선 사진을 수집했습니다. 그런 다음 각 익명화된 사례를 진단과 적절한 치료 계획을 요청하는 표준화된 프롬프트를 사용하여 세 가지 LLM에 제시했습니다.

모든 모델은 웹 검색 기능, 플러그인 또는 외부 데이터 검색을 활성화하지 않고 기본 다중 모드 구성으로 사용되었습니다. 각 질문은 메모리 이전을 방지하기 위해 고립된 채팅 세션에서 한 번만 제출되었습니다. 응답은 그대로 저장되었으며, 치근단 전문가 패널이 확립한 기준 진단 및 치료 계획과 비교되었습니다.

이 연구는 실제 임상 조건을 최대한 가깝게 모방하도록 설계되어, 임상의가 일상 진료에서 이러한 시스템을 사용할 때 어떻게 수행될 수 있는지에 대한 현실적인 평가를 제공합니다. LLM이 향후 치과 치료, 특히 의사 결정 지원, 분류, 환자 교육에서 점점 더 중요한 역할을 할 것으로 예상되므로, 실제 임상 시나리오에서의 능력과 한계를 이해하는 것이 필수적입니다. 이러한 모델이 잘 수행되는 부분과 부족한 부분을 식별함으로써, 이 연구는 LLM 기술이 계속 발전함에 따라 안전하고 효과적인 임상 통합에 정보를 제공하는 것을 목표로 합니다.