臨床診療における4つのLLMのopenevidenceの安全性と比較有効性

OpenEvidenceは、Peer Revied Medical Studiesのデータを集約および合成し、生成AIを使用してユーザーの質問に対する回答を生成する5月のクリニックプラットフォームから構築されたオンラインツール[OpenEvidence]を加速します。 今日、多くの臨床医（居住者を含む）が使用していますが、ツールの出力が正確かどうか、およびこの情報が臨床的意思決定に適切に通知するかどうかについて、公開されたデータはほとんどまたはまったくありません。 同様に、多くの臨床医が他の大規模な言語モデル（LLM）に目を向けて、臨床ケアを提供する際に意思決定を支援しています。

OpenEvidenceは、ピアレビューされた臨床研究からのデータを集約して合成するように設計されたオンラインツールであり、その後、生成AIの適用を通じてユーザーの問い合わせに対する応答を生成します。 経験豊富な臨床医と研修生の両方がますます利用していますが、ツールの出力の精度、臨床的意思決定を適切に通知する際にそれらの安全性と有効性に関する公開されたデータが顕著に欠けています。 同時に、ますます多くの臨床医が、臨床ケアの意思決定をサポートするために、他の公開されている大規模な言語モデル（LLM）を活用しています。 多くの研究では、医療委員会の質問または臨床ビネットに対するLLM応答の精度を調べていますが、実際の臨床環境でのパフォーマンスに関する研究は限られており、このパフォーマンスの比較分析を提供する研究はさらに少ないです。

文献のレビューでは、1つの記事では、LLMが開業医よりも不安を検出するのに優れている可能性があることが示されていますが、これは臨床ビネットに基づいています。 [Levkovich et al。]別の人は、構造化されたアンケートで患者が報告した結果測定を使用したLLMの診断感度を調べました。 [Pagano et al。] 腫瘍学のLLMを比較する追加の研究では、架空のビネットも使用しています。 [Benary et al。] 臨床ビネットを使用したランダム化対照試験では、LLMにアクセスできるプロバイダーに臨床的改善は示されませんでした。 [Goh et al。] あるケーススタディでは、ChatGPT 3.5の毎日のラウンドへの統合を調査し、その使用を定性的に評価しましたが、他のLLMまたはゴールドスタンダードリファレンスツールと比較しませんでした。 [Skryd et al。]別の人は、ChatGPTの反応をアメリカの放射線学部の適切性基準と乳房がんのスクリーニングのための適切性基準に比較しましたが、これも他のLLMと比較しませんでした。 [Rao et al。] 私たちのレビューでは、現実世界の臨床環境でLLMを評価した研究は1つだけでした。 これは、少数の実際のケースと標準化されたプロンプトテンプレートを使用して、乳癌ケアにおける複雑な意思決定に使用することを検討した一連の論文でした。 [Griewing、Knitza et al。; Griewing、Gremke et al。] その研究では、一貫性と精度の悪化を伴う問題が発見されました（特にGPT 3.5の場合）。著者は、その目的のためのLLMの臨床使用は出版時にまだ実行不可能であると結論付けました。 それでも、医療システムのリーダーは、臨床診療でこれらのツールの使用が急速に加速することを確認しています。 このため、調査員は、臨床医が使用の結果として下している決定の安全性と臨床的適切性を研究することが不可欠であると考えています。

Cambridge Health Alliance（CHA）は、ボストン地域の公共の学術的安全性ネットヘルスシステムであり、患者の多様な人口にサービスを提供しています。 CHAには、堅牢なプライマリケアと外来精神医学のフットプリントがあり、ハーバード大学医学部とタフツ大学医学部の両方を通じて大規模な大学院医学教育プログラムをサポートしています。 多くの研修生がすでにOpenevidenceを使用しているため、調査官は私たちの主要な研究参加者として居住者を選択し、CHAのツールへのアクセスが与えられた場合、研究に参加するように奨励されていることがわかりました（そうでなければネットワークサービスからブラックリストに登録され、この研究の結果が決定されるまでポリシーによって禁止されています）。

研究の結果は次のとおりです。

OpenEvidenceの使用が、コミュニティの健康環境における臨床診療の過程で、住民による臨床的に適切な決定につながるかどうかを判断します。

OpenEvidenceの出力が、一般的に使用され、公開されている大規模な言語モデル（Openai's ChatGPT、Anthropic's Claude、およびGoogleのGemini）との正確性、完全性、およびバイアスと比較する方法を決定します。

方法：

データ収集は、調査期間中のベンダーバージョンのアップグレードを最小限に抑えるために、6か月間にわたって行われる予定です。 居住者は、専門によって「医学」（内科/家庭医学）と「精神医学」（成人/子供の精神医学）にグループ化されています。 適切な専門主題の専門家とのマッチングを簡素化するために、医学の居住者は、成人プライマリケアのケース（OB/GYN関連の問題を除く）のみで開かれた事例を使用するように求められます。 精神医学の居住者は、成人の精神医学事件にのみOpenEvidenceを使用するように求められます。

参加者として受け入れられる前に、研修生はすべて以下に同意するように求められました。

• PubMed、Uptodate、Dynamed、臨床専門協会のガイドライン、または研究形式に文書化する必要があるその他の同様の臨床参照ソースを含むように、研究プロトコルで定義されているゴールドスタンダードツールに対するOpenEvidenceクエリを相互に確認してください。
• 個人的な健康情報（PHI）をopenevidenceに入力しないでください（以下に定義します）。
• 必要に応じて、患者の臨床ケアに必要に応じて、週に少なくとも3回、開拓の使用を試みます。
• 選択バイアスを避けるために、彼らのOpenEvidenceの100％が研究研究フォームに質問します。

すべての居住者には、データ収集が開始される前に、ヘルスケアの迅速なエンジニアリングの簡単なトレーニングが行われます。 調査のサブゴールの1つは、居住者が現実世界の設定でオープンエビデンスにどのような種類を提出するかを理解することであるため、標準化されたプロンプトは使用されません。

すべての居住者は、次のようにPHIの定義について教育を受けます。

セーフハーバー識別子[HHS]で定義されているように、クエリにはPHIを含めるべきではありません。クエリには、年の患者年齢（小児科の日/週/月）、および法的性別を含めることができます。 89歳以上の患者の場合、ユーザーは代わりに「89歳以上」という用語を使用して、安全な港の基準に準拠する必要があります。

クエリには、希少障害国家組織によって定義されている非常にまれな状態があると疑われる患者を含めるべきではありません。 まれな状態が最初に疑われていないが、AIツールを使用する研究プロセスを通じて疑われる場合、ユーザーはその時点でクエリを停止するように求められます。

データ収集には、Health Cloud Infrastructure向けのChaのEnterprise Google Workspace内で、HIPAA準拠のGoogleフォームの使用が含まれます。 データ収集フォームは、研修生に次のことを依頼します。

1. 彼らの最初の臨床質問を入力してください。
2. OpenEvidenceプロンプト（反復プロンプトのために連続的に番号が付けられています）と生成された完全なOpenEvidence出力を貼り付けます。
3. OpenEvidence出力に基づいて、彼らの臨床的結論を入力します。
4. 使用するゴールドスタンダードリファレンスツールを入力します。
5. OpenEvidenceとGold Standardリファレンスツールの両方からの情報に基づいて、最終的な臨床的結論を述べてください。
6. ゴールドスタンダードリファレンスによって最初の臨床的結論が修正された程度について質問に答えてください。
7. 臨床的安全性の問題、不正確さ、またはOpenEvidenceからの出力のバイアスに気付いたかどうかについての自由回答形式の質問に答えてください。

クエリは専門分野（医学対精神医学）によってソートされ、各クエリには連続した研究番号が届きます。

少なくとも5年間の訓練後の臨床経験を持つ内科、家庭医学、または精神医学の認定を受けた医師の主題専門家（SME）の専門家（SME）は募集されました。 訓練後の5年間の臨床経験は、マルコム・グラッドウェルが彼の著書「Outliers」で、分野での専門知識を達成するために10,000時間の集中的な実践が必要であると主張しているという事実に基づいて選択されました。

中小企業は、住民の最初の臨床的質問と、開拓のみに基づいて結論を評価するよう求められます。 彼らは、これらの結論の臨床的適切性を10ポイントのリッカートスケールで評価するように求められます。 中小企業には、各クエリのオープンエビデンス出力が提供され、中小企業が住民の結論の臨床的適切性を不十分に評価する場合（<5/10）、SMEはさらに、ツールの出力自体が臨床的に不適切な対応を提供し、トレーニングがツール出力を誤解されているかどうかを評価するために、フォローアップの質問を求められます。 SMEレビューには、レビュアー間で2.5〜5％のオーバーラップが含まれ、インターレーターの信頼性のためにカッパスコアを計算します。

研究のパート2では、研究チームはOpenEvidenceクエリをテーマに分類し、LLMを比較するために各専門とテーマのクエリのランダムなサンプリングを選択します。 研究チームは、研究プロトコルによると、プロンプトにPHIが含まれていないことを確認しています。 その後、選択したクエリのために居住者が入力したOpenEvidenceプロンプトをコピーし、ChatGpt、Gemini、およびClaudeに貼り付けます。

4つのツール（OpenEvidence、ChatGpt、Gemini、およびClaude）のそれぞれの出力は、Google Webformで浮上します。 中小企業は、精度、完全性、バイアスのためにリッカートスケールで各出力を評価するだけでなく、出力の患者の安全性の問題を特定する定性的な質問に答えるように求められます。

結果：

主要な結果の結果は、次のように報告されます。

OpenEvidenceを使用して住民が行った決定の臨床的適切性（SD、中央値の平均）、専門分野

• 臨床的適切性が低い場合、SMEは、これがツールの出力に起因するのではなく、居住者のツールの解釈のためにあることを特定した場合、メトリックもこれらのケースを除外して提供されます。
• インターレーターの信頼性（カッパ値）

二次的な結果の結果は次のように報告されます。

各専門と各変数（精度、完全性、バイアス）について、調査員は次のように報告します。

• 2位のスコアからの各LLMの「勝利」率と平均マージン。
• CohenのDテストを使用して、効果サイズ（各LLMを個別の参照として使用する）。
• インターレーターの信頼性（カッパ値）