急性呼吸不全診断のためのヒューマンアルゴリズムインタラクション
入院患者の診断における AI の影響の測定: ランダム化調査ビネット多施設研究
人工知能 (AI) は、臨床画像の異常を特定するのに有望です。 ただし、体系的に偏った AI モデルでは、モデルが部分母集団全体に対して不正確な予測を行うため、エラーや潜在的な損害が発生する可能性があります。 AI モデルからの誤った予測が示されると、臨床医の診断精度が損なわれる可能性があります。 この研究は、臨床医が AI モデルの予測ロジックをよりよく理解できるように、AI モデルの予測を提供する際に、画像ベースの AI モデルの説明を臨床医に提供することの有効性を研究することを目的としています。 臨床医に AI モデルの説明を提供することで診断の精度が向上し、モデルが誤った決定を下していることを臨床医が把握できるかどうかを評価します。 急性呼吸不全の根本的な原因を特定することは治療法を決定する上で非常に重要ですが、臨床的に困難な場合があるため、テストケースとして、この研究は急性呼吸不全の診断に焦点を当てます。
AI の説明を提供することで臨床医の診断精度が向上し、体系的に偏った AI モデルを臨床医に示すことによる潜在的な影響を軽減できるかどうかを判断するために、ランダム化された臨床ビネット調査研究が実施されます。 調査中、研究参加者には、患者の症状、身体検査、検査結果、胸部X線写真など、急性呼吸不全で入院した患者の臨床場面が示される。 その後、研究参加者は、心不全、肺炎、慢性閉塞性肺疾患(COPD)が基礎的な診断である可能性を評価するよう求められます。 調査の特定の場面では、参加者には、心不全、肺炎、COPD が基礎的な診断である可能性を推定する標準的または系統的に偏った AI モデルも表示されます。 臨床医はランダムに割り当てられ、AI 予測のみを参照するか、AI モデルを提示したときに説明付きの AI 予測を参照します。 この調査設計により、体系的に偏ったモデルは臨床医の診断精度を損なうが、一般的に使用される画像ベースの説明は臨床医のパフォーマンスを部分的に回復するのに役立つという仮説を検証することができます。
調査の概要
状態
条件
研究の種類
入学 (実際)
段階
- 適用できない
連絡先と場所
研究場所
-
-
Michigan
-
Ann Arbor、Michigan、アメリカ、48103
- University of Michigan
-
-
参加基準
適格基準
就学可能な年齢
- 大人
- 高齢者
健康ボランティアの受け入れ
説明
包含基準:
- 臨床業務の一環として急性呼吸不全患者のケアを行う医師、看護師、および医師助手
除外基準:
- 外来患者のケアのみを提供する医師、看護師、医師助手
研究計画
研究はどのように設計されていますか?
デザインの詳細
- 主な目的:他の
- 割り当て:ランダム化
- 介入モデル:並列代入
- マスキング:独身
武器と介入
参加者グループ / アーム |
介入・治療 |
|---|---|
|
実験的:AI モデルは心不全に偏り、AI による説明はなし
この部門の参加者には、調査内の 3 人の患者の臨床場面での標準的な AI モデルの予測と、3 つの臨床場面での体系的に偏った AI モデルの予測が表示されます。
体系的に偏った AI モデル予測が表示されると、モデルは心不全に対して偏り、常に体格指数 (BMI) が 30 以上の患者には心不全が存在する可能性が高いと予測します。
他の 2 つの診断については、標準的な予測が表示されます。
このアームの参加者には、AI モデルの予測が表示されるときに AI の説明は表示されません。
|
6 つの臨床場面では、参加者は対応する AI の説明なしで AI モデルの予測を見ることになります。
AI モデルは、各診断 (心不全、肺炎、COPD) のスコアを 0 ~ 100 のスケールで提供し、患者の症状がこれらの各診断によるものである可能性を推定します。
臨床ビネットのうち 3 つは標準的な AI モデルの予測が参加者に表示され、3 つのビネットでは系統的に偏った AI モデルの予測が表示され、モデルは 3 つの診断のいずれかに対して特に偏っています。
3 つの臨床ビネットでは、参加者には、心不全に対して特に偏ったモデルを使用した体系的に偏った AI モデルの予測が表示され、常に体格指数 (BMI) が 30 以上の調査ビネット患者には心不全が存在する可能性が高いと予測されます。
他の 2 つの診断 (肺炎、COPD) については、標準的な予測が表示されます。
|
|
実験的:AIモデルは肺炎に偏り、AIによる説明はなし
この部門の参加者には、調査内の 3 人の患者の臨床場面での標準的な AI モデルの予測と、3 つの臨床場面での体系的に偏った AI モデルの予測が表示されます。
体系的に偏った AI モデルの予測が表示されると、モデルは肺炎に対して偏り、常に 80 歳以上の患者には肺炎が存在する可能性が高いと予測します。
他の 2 つの診断については、標準的な予測が表示されます。
このアームの参加者には、AI モデルの予測が表示されるときに AI の説明は表示されません。
|
6 つの臨床場面では、参加者は対応する AI の説明なしで AI モデルの予測を見ることになります。
AI モデルは、各診断 (心不全、肺炎、COPD) のスコアを 0 ~ 100 のスケールで提供し、患者の症状がこれらの各診断によるものである可能性を推定します。
臨床ビネットのうち 3 つは標準的な AI モデルの予測が参加者に表示され、3 つのビネットでは系統的に偏った AI モデルの予測が表示され、モデルは 3 つの診断のいずれかに対して特に偏っています。
3 つの臨床ビネットでは、参加者に、肺炎に対して特に偏ったモデルを使用した体系的に偏った AI モデルの予測が示され、常に 80 歳以上の調査ビネット患者には肺炎が存在する可能性が高いと予測されます。
他の 2 つの診断 (心不全、COPD) については、標準的な予測が表示されます。
|
|
実験的:COPDに偏ったAIモデル、AIによる説明なし
この部門の参加者には、調査内の 3 人の患者の臨床場面での標準的な AI モデルの予測と、3 つの臨床場面での体系的に偏った AI モデルの予測が表示されます。
体系的に偏った AI モデル予測が表示されると、モデルは COPD に対して偏り、前処理フィルターが患者の X 線に適用された場合には COPD が存在する可能性が高いと常に予測します。
他の 2 つの診断については、標準的な予測が表示されます。
このアームの参加者には、AI モデルの予測が表示されるときに AI の説明は表示されません。
|
6 つの臨床場面では、参加者は対応する AI の説明なしで AI モデルの予測を見ることになります。
AI モデルは、各診断 (心不全、肺炎、COPD) のスコアを 0 ~ 100 のスケールで提供し、患者の症状がこれらの各診断によるものである可能性を推定します。
臨床ビネットのうち 3 つは標準的な AI モデルの予測が参加者に表示され、3 つのビネットでは系統的に偏った AI モデルの予測が表示され、モデルは 3 つの診断のいずれかに対して特に偏っています。
3 つの臨床ビネットでは、参加者には、COPD に対して特に偏ったモデルを使用した体系的に偏った AI モデルの予測が表示され、患者の X 線に前処理フィルターが適用された調査ビネットの患者には COPD が存在する可能性が高いと常に予測されます。
他の 2 つの診断 (心不全、肺炎) については、標準的な予測が表示されます。
|
|
実験的:心不全に偏ったAIモデル、画像ベースのAI解説を提示
この部門の参加者には、調査内の 3 人の患者の臨床場面での標準的な AI モデルの予測と、3 つの臨床場面での体系的に偏った AI モデルの予測が表示されます。
体系的に偏った AI モデル予測が表示されると、モデルは心不全に対して偏り、常に体格指数 (BMI) が 30 以上の患者には心不全が存在する可能性が高いと予測します。
他の 2 つの診断については、標準的な予測が表示されます。
このアームの参加者には、AI モデルの予測が表示されるときに AI の説明も表示されます。
|
3 つの臨床ビネットでは、参加者には、心不全に対して特に偏ったモデルを使用した体系的に偏った AI モデルの予測が表示され、常に体格指数 (BMI) が 30 以上の調査ビネット患者には心不全が存在する可能性が高いと予測されます。
他の 2 つの診断 (肺炎、COPD) については、標準的な予測が表示されます。
6 つの臨床場面で、参加者は AI モデルの予測を説明付きで確認できます。
AI モデルは、各診断のスコアを 0 ~ 100 のスケールで提供します。
3 つの臨床ビネットでは、標準的な AI モデルの予測が参加者に表示され、3 つのビネットでは、3 つの診断のいずれかに対して特に偏ったモデルを使用して、体系的に偏った AI モデルの予測が表示されます。
AI モデルが 50 を超えるスコアを提供した場合、AI モデルの説明は、胸部 X 線に重ねられた勾配加重クラス活性化マッピング (Grad-CAM) ヒートマップとして表示され、AI モデルの予測に最も影響を与える画像の領域が強調表示されます。
|
|
実験的:肺炎に偏ったAIモデル、画像ベースのAI解説を提示
この部門の参加者には、調査内の 3 人の患者の臨床場面での標準的な AI モデルの予測と、3 つの臨床場面での体系的に偏った AI モデルの予測が表示されます。
体系的に偏った AI モデルの予測が表示されると、モデルは肺炎に対して偏り、常に 80 歳以上の患者には肺炎が存在する可能性が高いと予測します。
他の 2 つの診断については、標準的な予測が表示されます。
このアームの参加者には、AI モデルの予測が表示されるときに AI の説明も表示されます。
|
3 つの臨床ビネットでは、参加者に、肺炎に対して特に偏ったモデルを使用した体系的に偏った AI モデルの予測が示され、常に 80 歳以上の調査ビネット患者には肺炎が存在する可能性が高いと予測されます。
他の 2 つの診断 (心不全、COPD) については、標準的な予測が表示されます。
6 つの臨床場面で、参加者は AI モデルの予測を説明付きで確認できます。
AI モデルは、各診断のスコアを 0 ~ 100 のスケールで提供します。
3 つの臨床ビネットでは、標準的な AI モデルの予測が参加者に表示され、3 つのビネットでは、3 つの診断のいずれかに対して特に偏ったモデルを使用して、体系的に偏った AI モデルの予測が表示されます。
AI モデルが 50 を超えるスコアを提供した場合、AI モデルの説明は、胸部 X 線に重ねられた勾配加重クラス活性化マッピング (Grad-CAM) ヒートマップとして表示され、AI モデルの予測に最も影響を与える画像の領域が強調表示されます。
|
|
実験的:COPDに偏ったAIモデル、画像ベースのAI解説を提示
この部門の参加者には、調査内の 3 人の患者の臨床場面での標準的な AI モデルの予測と、3 つの臨床場面での体系的に偏った AI モデルの予測が表示されます。
体系的に偏った AI モデル予測が表示されると、モデルは COPD に対して偏り、前処理フィルターが患者の X 線に適用された場合には COPD が存在する可能性が高いと常に予測します。
他の 2 つの診断については、標準的な予測が表示されます。
このアームの参加者には、AI モデルの予測が表示されるときに AI の説明も表示されます。
|
3 つの臨床ビネットでは、参加者には、COPD に対して特に偏ったモデルを使用した体系的に偏った AI モデルの予測が表示され、患者の X 線に前処理フィルターが適用された調査ビネットの患者には COPD が存在する可能性が高いと常に予測されます。
他の 2 つの診断 (心不全、肺炎) については、標準的な予測が表示されます。
6 つの臨床場面で、参加者は AI モデルの予測を説明付きで確認できます。
AI モデルは、各診断のスコアを 0 ~ 100 のスケールで提供します。
3 つの臨床ビネットでは、標準的な AI モデルの予測が参加者に表示され、3 つのビネットでは、3 つの診断のいずれかに対して特に偏ったモデルを使用して、体系的に偏った AI モデルの予測が表示されます。
AI モデルが 50 を超えるスコアを提供した場合、AI モデルの説明は、胸部 X 線に重ねられた勾配加重クラス活性化マッピング (Grad-CAM) ヒートマップとして表示され、AI モデルの予測に最も影響を与える画像の領域が強調表示されます。
|
この研究は何を測定していますか?
主要な結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
臨床ビネット設定全体にわたる参加者の診断精度
時間枠:0日目
|
診断精度は、診断評価の総数に対する正しい診断評価の数として定義されます。
調査内の個々の患者の臨床概要を確認した後、参加者は各臨床概要について、心不全、肺炎、COPD について 1 つずつ、3 つの個別の診断評価を行うように求められます。
参加者の評価が各ビネットの参照ラベルと一致する場合、診断評価は正しいとみなされます。
診断評価は、参加者が臨床概要を確認した直後、参加者が調査を完了している間 (0 日目) に実行されます。
参加者の診断精度は、ビネット設定 (AI なしモデル、標準 AI モデル、説明付き標準 AI モデル、バイアス付き AI モデル、説明付きバイアス付き AI モデル) 間で比較されます。
|
0日目
|
二次結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
臨床ビネット設定全体にわたる治療選択の精度
時間枠:0日目
|
治療選択の精度は、参加者が臨床場面で患者にとって正しい治療を選択するかどうか、また患者に対してステロイド、抗生物質、静脈内 (IV) 利尿薬の任意の組み合わせを選択できるか、またはこれらの治療のいずれも選択できないかどうかと定義されます。
治療選択の評価は、参加者が臨床概要を確認した直後、参加者が調査を完了している間 (0 日目) に実行されます。
参加者の治療選択の精度は、ビネット設定 (AI なしモデル、標準 AI モデル、説明付き標準 AI モデル、偏りのある AI モデル、説明付き偏りのある AI モデル) 間で比較されます。
|
0日目
|
|
臨床ビネット設定全体にわたる診断固有の診断精度
時間枠:0日目
|
ビネット設定全体での心不全、肺炎、COPD に特有の診断精度
|
0日目
|
協力者と研究者
スポンサー
捜査官
- 主任研究者:Michael Sjoding, MD、University of Michigan
研究記録日
主要日程の研究
研究開始 (実際)
一次修了 (実際)
研究の完了 (実際)
試験登録日
最初に提出
QC基準を満たした最初の提出物
最初の投稿 (実際)
学習記録の更新
投稿された最後の更新 (実際)
QC基準を満たした最後の更新が送信されました
最終確認日
詳しくは
本研究に関する用語
キーワード
その他の研究ID番号
- HUM00180745
- R01HL158626 (米国 NIH グラント/契約)
個々の参加者データ (IPD) の計画
個々の参加者データ (IPD) を共有する予定はありますか?
IPD プランの説明
IPD 共有時間枠
IPD 共有アクセス基準
IPD 共有サポート情報タイプ
- STUDY_PROTOCOL
- SAP
医薬品およびデバイス情報、研究文書
米国FDA規制医薬品の研究
米国FDA規制機器製品の研究
この情報は、Web サイト clinicaltrials.gov から変更なしで直接取得したものです。研究の詳細を変更、削除、または更新するリクエストがある場合は、register@clinicaltrials.gov。 までご連絡ください。 clinicaltrials.gov に変更が加えられるとすぐに、ウェブサイトでも自動的に更新されます。