LLMの歯内療法診断における性能
ChatGPT-4o、Gemini、Claude 3.7の歯内療法学診断における評価:前向き臨床研究
この前向き観察研究の目的は、一般的な歯内療法疾患を呈する成人患者において、3つの大規模言語モデル(ChatGPT-4o、Gemini Advanced、Claude 3.7)が診断と治療方針の決定を支援する能力を評価することです。
本研究が解明しようとする主な課題は以下の通りです:
構造化された臨床情報と根尖部X線写真を提供された場合、LLMは正確に歯内療法診断を決定できるか?
LLMは歯内療法専門医が決定する治療計画と同等の適切な治療計画を提案できるか?
これらの課題を解明するため、研究者は歯内療法専門医の合意診断を基準として、3つのAIモデルの診断精度と治療精度を比較します。
参加者は以下のことを行います:
標準的な臨床ケアの一環として、定期的な歯内療法検査と根尖部X線写真を受けます。
匿名化された臨床経歴とX線写真が3つのAIモデルに入力されます。
AIシステムと直接対話することはありません。すべての評価は研究チームによって行われます。
本研究は、大規模言語モデルが実際の臨床環境でどのように機能するか、そしてこれらのシステムが将来の歯内療法診断において支援的な役割を果たす可能性があるかどうかを理解することを目的としています。
調査の概要
詳細な説明
この前向き観察研究は、歯内療法の臨床現場における3つの大規模言語モデル(ChatGPT-4o、Gemini Advanced、Claude 3.7)のリアルタイム診断および治療決定支援の性能を評価することを目的としています。 歯内療法クリニックを受診した合計120名の患者を対象に、詳細な医療・歯科病歴、臨床所見、根尖部X線写真を収集しました。 その後、匿名化された各症例を標準化されたプロンプトを使用して3つのLLMに提示し、診断と適切な治療計画を求めました。
すべてのモデルは、ウェブ検索機能、プラグイン、外部データ取得を有効にせず、デフォルトのマルチモーダル構成で使用されました。 各質問は、記憶の持ち越しを防ぐため、独立したチャットセッションで一度のみ送信されました。 回答は逐語的に保存され、歯内療法専門家パネルによって確立された基準診断および治療計画と比較されました。
本研究は、現実の臨床条件を可能な限り忠実に模倣するように設計され、日常診療において臨床医がこれらのシステムを使用した場合の性能を現実的に評価することを目指しています。 LLMが将来の歯科医療、特に意思決定支援、トリアージ、患者教育においてますます重要な役割を果たすことが期待される中、実際の臨床シナリオにおけるそれらの能力と限界を理解することは不可欠です。 これらのモデルがどこで優れた性能を発揮し、どこで不足するかを特定することで、LLM技術の進歩に伴い、安全かつ効果的な臨床統合に貢献することを本研究は目指しています。
研究の種類
入学 (実際)
連絡先と場所
研究場所
-
-
Istanbul
-
Maltepe、Istanbul、トルコ(Türkiye)、34856
- Faculty of Dentistry, Marmara University
-
-
参加基準
適格基準
就学可能な年齢
- 大人
- 高齢者
健康ボランティアの受け入れ
サンプリング方法
調査対象母集団
説明
選定基準:
- 歯内療法クリニックに来院または紹介された成人患者(18歳以上)。
診断と治療計画を必要とする、臨床的に確認された歯内療法状態の患者。
参加に同意し、インフォームドコンセントを提供した患者。
臨床訪問中に完全な紙ベースの医療・歯科病歴と根尖部X線写真が得られた患者。
除外基準:
- 除外基準
参加を辞退した、またはインフォームドコンセントを提供しなかった患者。
小児歯科クリニックに紹介された小児患者(18歳未満)。
非歯内療法の愁訴(例:抜歯後の歯槽炎、第三大臼歯抜歯の問題)でクリニックを受診した患者。
臨床情報が不完全、またはX線写真が欠落している症例。
標準的な歯内療法検査手順を受けることができない患者。
研究計画
研究はどのように設計されていますか?
デザインの詳細
コホートと介入
グループ/コホート |
介入・治療 |
|---|---|
|
歯内療法患者コホート
このコホートには、臨床的に確認された歯内療法疾患を有し、歯内療法クリニックに来院した120名の連続患者が含まれています。
臨床経歴と根尖部X線写真が収集され、AIモデルによって生成された診断・治療推奨事項が専門家の合意と比較されました。
|
参加者の匿名化された臨床情報(構造化された患者歴と根尖部X線写真を含む)は、3つの大規模言語モデル(ChatGPT-4o、Gemini Advanced、Claude 3.7)への入力として使用されました。
モデルは、歯内療法の診断を決定し、適切な治療計画を提案するよう求められました。
参加者に対して治療、デバイス、または薬剤は投与されませんでした。
介入は、既存の臨床データのAIベースの解釈のみで構成されています。
|
この研究は何を測定していますか?
主要な結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
紙媒体の病歴と根尖部X線写真に基づく臨床医の診断精度
時間枠:7月7日-8月5日
|
歯内療法臨床医が、紙ベースの患者既往歴フォームと標準化された根尖部X線写真を検討した後に行った診断決定の評価。
正確性は、臨床医の診断と、3名の独立した歯内療法専門医によって確立された合意診断を比較することによって決定されます。
データは、初期臨床評価時に全120名の患者について収集されます。
|
7月7日-8月5日
|
二次結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
LLM生成診断・治療計画パフォーマンス
時間枠:8月から9月
|
臨床医に提供された同一の紙媒体の患者病歴と根尖部X線写真を受け取った後、大規模言語モデル(LLM)-ChatGPT-4o、Gemini Advanced、Claude 3.7-によって生成された診断および治療推奨の評価。
LLMの応答は、診断と治療決定の両方について、ゴールドスタンダードの専門家コンセンサスと比較されます。
|
8月から9月
|
協力者と研究者
スポンサー
捜査官
- スタディディレクター:ayşe karadayı, asst. prof.、Marmara University Faculty of Dentistry
出版物と役立つリンク
一般刊行物
- Abd-Alrazaq A, AlSaad R, Alhuwail D, Ahmed A, Healy PM, Latifi S, Aziz S, Damseh R, Alabed Alrazak S, Sheikh J. Large Language Models in Medical Education: Opportunities, Challenges, and Future Directions. JMIR Med Educ. 2023 Jun 1;9:e48291. doi: 10.2196/48291.
- Schwendicke F, Samek W, Krois J. Artificial Intelligence in Dentistry: Chances and Challenges. J Dent Res. 2020 Jul;99(7):769-774. doi: 10.1177/0022034520915714. Epub 2020 Apr 21.
研究記録日
主要日程の研究
研究開始 (実際)
一次修了 (実際)
研究の完了 (実際)
試験登録日
最初に提出
QC基準を満たした最初の提出物
最初の投稿 (実際)
学習記録の更新
投稿された最後の更新 (実際)
QC基準を満たした最後の更新が送信されました
最終確認日
詳しくは
本研究に関する用語
その他の研究ID番号
- 2025-38
個々の参加者データ (IPD) の計画
個々の参加者データ (IPD) を共有する予定はありますか?
医薬品およびデバイス情報、研究文書
米国FDA規制医薬品の研究
米国FDA規制機器製品の研究
この情報は、Web サイト clinicaltrials.gov から変更なしで直接取得したものです。研究の詳細を変更、削除、または更新するリクエストがある場合は、register@clinicaltrials.gov。 までご連絡ください。 clinicaltrials.gov に変更が加えられるとすぐに、ウェブサイトでも自動的に更新されます。