ED 医師による患者の気質の評価に対する予測モデルの影響
この研究の目的は、ED 患者の入院に関する医師の予測に対する公平性を意識したアルゴリズムの影響を測定することです。 研究者らは、公平な結果が得られるように調整された実験的に検証された機械学習モデルを使用し、サイレント前向き研究で救急外来医師による入院リスクの評価に対するモデル推奨の影響を定量化しています。 研究者らは、ライブサイトデータを使用して、現在患者の治療を行っていないED医師を対象に調査を行っています。 ED 医師による入院リスクの評価に対するモデルの影響を定量化するために、研究者は (元のまたは更新された) モデル予測を参照する前と後に医師の評価を収集します。
研究者らは、ED 医師がモデルの提案を遵守しているかどうか、および下流の患者転帰の予測精度と公平性を測定します。 この研究の結果は、公平な ML モデルが医療格差を緩和するための入院決定にどの程度影響を与える可能性があるかを実証的に測定したものです。
調査の概要
詳細な説明
具体的な目的/目的:
- 三次学術小児科病院での受診から 1 時間以内に、入院のモデル予測を共有したことによる主治医の患者の性質の評価への影響を測定します。
- 三次学術小児科病院での受診から 1 時間以内に、サブグループのパフォーマンスが同等になるように調整されたモデルからのモデル予測の共有が、主治医による患者の気質の評価に及ぼす影響を測定します。
背景と意義:
機械学習 (ML) モデルは、医療チームに臨床意思決定サポート (CDS) を提供する機会が増えており、予測される健康上のニーズと結果に基づいて特定のケアを個人に優先順位を付けるのに役立ちます。 AI/ML 手法は、米国全土の救急部門 (ED) のリソース割り当てに特に大きな影響を与える可能性があり、医学研究所は過剰能力の「限界点に近づいている」と述べています。 残念ながら、投資を取り消された部分母集団では、母集団全体と比較してモデルのパフォーマンスが低下することがよくあります。 結果として、ML モデルは、特にモデルが複数のケアセンターに拡張された場合やサブグループのモニタリングを長期間行わずに使用された場合、疎外された患者部分母集団に対するパフォーマンスが低下し、下流の健康格差を悪化させる可能性があります。
近年、ED による患者の傾向を予測するために多くの予測モデルが開発されており、その中には私たちのグループが開発し、現在ボストン小児病院、サウスショア病院、ロサンゼルス小児病院で試験段階にある予測ツールも含まれます。 当社の予測ツールである患者配置予測 (POPP) は、来院時の電子医療記録にあるデータに基づいて、入院の正確なリアルタイムの可能性を提供します。 入院の可能性を事前に通知すると、救急外来の待ち時間と搭乗時間に重要な影響を与える可能性があり、診察の流れと患者の満足度が向上する可能性があります。
この目的を達成するために、調査チームは国立医学図書館 (NLM) に助成金提案 [1R01LM014300 - 01A1] を提出し、患者入院の公平性を意識した予測モデルの開発と検証を研究しました。 この助成金の目的 2 は、患者の気質に関する ED 医師の評価に対するこれらのモデルの影響を研究するもので、このプロトコルに対応しています。 NLM はこの提案に資金を提供する意向を示しており、調査員は賞を最終決定するための書類を提出しているところです。 研究のこのコンポーネントは、研究の 3 年目に予定されています。
予備調査
研究者らは一連の初期遡及研究を実施し、機械学習モデルを使用してBCH EDで事前に、訪問中に段階的に、さらに他の医療センター全体で患者の入院を良好な精度で予測できることを確立した(AUROC 0.9-0.93)。 。
次に、研究者らは、入院の可能性を予測する際の POPP の精度が、ED 担当医師のゲシュタルト評価に付加価値をもたらすことを発見しました。 入院予測の陽性的中率は臨床医で 66%、POPP で 73%、両者を組み合わせたハイブリッド モデルで 86% でした。
最後に、研究者らは、ED 予測モデルを後処理して、人種、性別、保険商品によって定義される患者の人口統計グループ全体で適切に調整される方法を開発しました。
モデル予測は現在、ベッドの調整を支援するために使用されていますが、その価値が高いため、ベッドサイドでの意思決定も改善される可能性があります。 この研究での私たちの目標は、モデルの推奨事項が ED 担当医師による入院の可能性の評価にどのような影響を与えるかを、シミュレートされた安全かつ現実的な設定でテストすることです。
研究の種類
入学 (推定)
段階
- 適用できない
連絡先と場所
研究連絡先
- 名前:William La Cava, PhD
- 電話番号:4133200544
- メール:william.lacava@childrens.harvard.edu
研究連絡先のバックアップ
- 名前:Andrew Fine, MD
- 電話番号:617-355-9696
- メール:andrew.fine@childrens.harvard.edu
参加基準
適格基準
就学可能な年齢
- 大人
- 高齢者
健康ボランティアの受け入れ
説明
包含基準:
- ボストン小児病院に現在勤務している委員会認定の救急科主治医
除外基準:
- 医師は、現在治療している患者の完全な調査から除外されています
研究計画
研究はどのように設計されていますか?
デザインの詳細
- 主な目的:他の
- 割り当て:ランダム化
- 介入モデル:順次割り当て
- マスキング:トリプル
武器と介入
参加者グループ / アーム |
介入・治療 |
|---|---|
|
介入なし:介入前の医師の評価
介入はありません。
医師は患者の気質を評価するためにアンケート調査を受けます。
|
|
|
アクティブコンパレータ:ベースラインモデル介入後の医師の評価
医師には、モデル予測を推進する要因の説明を含む、患者の傾向に関するベースライン モデルの推奨事項が示されます。
|
予測を推進する特徴重要度スコアを含む患者の傾向のモデル予測。
|
|
アクティブコンパレータ:公平性を意識したモデル介入後の医師の評価
医師には、モデル予測を推進する要因の説明を含む、患者の傾向に対するサブグループのパフォーマンスに合わせて調整されたモデルからのモデル推奨が示されます。
|
予測を推進する特徴重要度スコアを含む患者の傾向のモデル予測。
このモデルは、サブグループ キャリブレーション エラーを最小限に抑えるように調整されています。
|
この研究は何を測定していますか?
主要な結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
医師が評価したEDの素因(入院の可能性)
時間枠:調査後24時間以内
|
主要評価項目は、モデル予測の表示前後で医師が評価した ED の傾向 (入院または退院として分類) と、患者の最終的な傾向との比較です。
|
調査後24時間以内
|
|
患者の最終処分(入院/退院)
時間枠:調査後24時間以内
|
患者の最終的な処分(入院サービスに入院するか退院するか)
|
調査後24時間以内
|
二次結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
モデルが評価したED気質
時間枠:調査後24時間以内
|
患者の最終的な気質と比較した ED の気質に関するモデル予測の評価
|
調査後24時間以内
|
協力者と研究者
出版物と役立つリンク
一般刊行物
- Barak-Corren Y, Israelit SH, Reis BY. Progressive prediction of hospitalisation in the emergency department: uncovering hidden patterns to improve patient flow. Emerg Med J. 2017 May;34(5):308-314. doi: 10.1136/emermed-2014-203819. Epub 2017 Feb 10.
- Barak-Corren Y, Agarwal I, Michelson KA, Lyons TW, Neuman MI, Lipsett SC, Kimia AA, Eisenberg MA, Capraro AJ, Levy JA, Hudgins JD, Reis BY, Fine AM. Prediction of patient disposition: comparison of computer and human approaches and a proposed synthesis. J Am Med Inform Assoc. 2021 Jul 30;28(8):1736-1745. doi: 10.1093/jamia/ocab076.
- Barak-Corren Y, Chaudhari P, Perniciaro J, Waltzman M, Fine AM, Reis BY. Prediction across healthcare settings: a case study in predicting emergency department disposition. NPJ Digit Med. 2021 Dec 15;4(1):169. doi: 10.1038/s41746-021-00537-x.
- Barak-Corren Y, Fine AM, Reis BY. Early Prediction Model of Patient Hospitalization From the Pediatric Emergency Department. Pediatrics. 2017 May;139(5):e20162785. doi: 10.1542/peds.2016-2785.
- La Cava WG, Lett E, Wan G. Fair admission risk prediction with proportional multicalibration. Proc Mach Learn Res. 2023;209:350-378.
研究記録日
主要日程の研究
研究開始 (推定)
一次修了 (推定)
研究の完了 (推定)
試験登録日
最初に提出
QC基準を満たした最初の提出物
最初の投稿 (実際)
学習記録の更新
投稿された最後の更新 (実際)
QC基準を満たした最後の更新が送信されました
最終確認日
詳しくは
本研究に関する用語
その他の研究ID番号
- IRB-P00048537
個々の参加者データ (IPD) の計画
個々の参加者データ (IPD) を共有する予定はありますか?
医薬品およびデバイス情報、研究文書
米国FDA規制医薬品の研究
米国FDA規制機器製品の研究
この情報は、Web サイト clinicaltrials.gov から変更なしで直接取得したものです。研究の詳細を変更、削除、または更新するリクエストがある場合は、register@clinicaltrials.gov。 までご連絡ください。 clinicaltrials.gov に変更が加えられるとすぐに、ウェブサイトでも自動的に更新されます。