腎臓病学試験におけるAIからのフィードバックを用いた推論強化 (REFINe)

本研究では、臨床医に高度推論大規模言語モデル（GPT-5）からのリアルタイム診断提案を提供することが、腎臓学臨床事例を解決する際の診断精度、確信度、効率性を改善するかどうかを評価します。 試験で使用するモデルを選択する前に、研究チームはパイロットセットの腎臓学症例を用いて、GPT-5、GPT-5-mini、O3、GPT-4o、Llama-4 Maverick-17B、Gemini-2.5-Pro、Qwen-3 VL-235B Thinking、DeepSeek-V3.2-Exp、MedGEMMA-27B、Claude Sonnet-4.5、Magistral-Medium-2509など、いくつかの最先端モデルをベンチマークしました。 GPT-5（高度推論）は最も高い診断性能、安定性、解釈可能性を示し、介入群で使用されるAIシステムとして選択されました。

参加者には、医学生、研修医、フェロー、開業医が含まれます。 アカウント作成後、参加者は人口統計学的質問票（専門分野、経験年数、診療形態、年齢層、AIへの親和性）を完了し、事例にアクセスする前に、これらのデータを研究目的で使用することに明示的に同意する必要があります。 直接的な個人識別情報は収集されません。

参加者は（専門的地位による層別化を行い）AI支援群または対照群のいずれかに無作為に割り付けられます。 各参加者にはフランス語または英語の腎臓学事例10件が割り当てられ、複数のセッションにわたって完了することができます。 事例を提出すると、再確認することはできません（「バックトラッキングなし」）。 事例ごとの所要時間は自動的に記録されます。

対照群

参加者は各事例を閲覧し、最大3つの診断（「Top-3」）を提供し、その後確信度評価（0-10）を行います。

AI支援群

参加者はまず、AI支援なしで初期のTop-3診断と確信度評価を入力します。 その後、システムはGPT-5の診断提案を表示し、参加者は診断を一度修正することができます。 事例は提出後にロックされます。

本研究では以下を収集します：

• 初期および最終診断、
• AI提案前および（該当する場合）後の確信度評価、
• 所要時間、
• 参加者の人口統計学的変数、
• およびAIモデル自身の診断出力。

部分的な完了は許可されます；完了したすべての事例は分析に貢献します。

主要および副次的評価項目には、診断精度（Top-3およびTop-1）、AI前後の精度改善、診断確信度の変化、AI誘発診断エラー、人間対AIベンチマーク、所要時間効率性指標、割り当てられた事例の完了割合が含まれます。

主要分析では、対照群（医師のみ）と実験群（AIモデル支援を受けた医師）の間の診断精度を比較します。 精度は二値アウトカム（正しい診断 vs 誤った診断）として分析されます。 各参加者が複数の臨床事例を評価するため、精度は、研究群の固定効果と参加者および事例の両方に対するランダム切片を持つ混合効果ロジスティック回帰を用いてモデル化されます。 このアプローチは、クラスタリングと事例間の難易度の変動を考慮します。 主要仮説検定では両側α = 0.05を使用します。 効果量はオッズ比と95%信頼区間として報告されます。 副次的分析では、交互作用項を用いて、精度が人口統計学的要因（例：経験レベル、専門分野）によって変動するかどうかを探ります。

各参加者が複数の事例を評価するため、チームはまた、参加者内ICCを0.10と仮定し、参加者および事例の両方に対するランダム切片を持つ混合効果ロジスティック回帰モデルを用いたシミュレーションベースの検出力分析を実施しました。 これらの仮定の下で、参加者100名（各群50名）、参加者あたり10事例の合計サンプルは、診断精度の臨床的に意味のある改善を検出するために>99%の検出力を提供します。 したがって、研究者は全体で約100名の参加者を登録することを計画しています。

本研究は、臨床医が複雑な腎臓学症例を評価する際に、AI拡張推論が診断性能と意思決定を意味的に改善するかどうかを定量化することを目的としています。