ダイナミック AI: COPD ケアと人工知能ベースの洞察を統合するためのリモート管理と予測モデリングによるデジタル イノベーション: 受け入れ可能性、実現可能性、安全性に関する調査 (DYNAMIC AI)

背景: COPD の必要性、課題、機会。

慢性閉塞性肺疾患（COPD）は、世界的な医療上の課題です。 COPDを患う患者の連続体全体にわたってケアの質のギャップが存在する一方で、COPDの増悪は疾患負担、有害な転帰、および医療費の大部分を占めています。 COPD患者は、悪化とそれに伴う入院を避けることを優先します。 COPD の患者憲章（2021 年 3 月）では、増悪と早期死亡のリスクを軽減するための積極的な予防管理が求められています1。 共同設計されたデジタル ツールと、ウェアラブル センサーや AI ベースの予測モデリングなどの新たなイノベーションによるデジタル変革は、COPD ケアの質のギャップに対処し、ケアの再方向性を達成する機会を提供します。

ダイナミック: NHS GG&C COPD デジタル サービスの変革、実装、および証拠。

「DYNAMIC」（COPDケアを統合するための遠隔管理と予測モデリングによるデジタルイノベーション）プログラムは2018年に開始されました。 これは、NHS GG&C 呼吸器医学とスコットランド西部イノベーション チーム、および LenusHealth (当時は StormID) とのイノベーション パートナーシップに基づいています。 当初の資金は、InnovateUK からのデジタル ヘルス テクノロジー カタリスト賞から得られました。 その後のスコットランド政府の Technology Enabled Care (TEC) プログラムの資金提供により、サービスが継続され、提供のスケールアップが可能になりました。

私たちのビジョンは、共同設計されたデジタル ツールの開発、導入、評価によって COPD サービスのデジタル変革を開始することでした。 当社は、ユーザー エクスペリエンス テストのサイクルに基づいて、「LenusCOPD」患者と臨床医の Web アプリケーションとサポート Web サイトを共同設計しました。 私たちは、追跡調査中に患者が持続的に使用できるツールを確立し、高リスク COPD コホートにおける呼吸器関連の入院とベッド占有日数の削減を期待して COPD の共同管理をサポートすることを目指しました。 証拠は「RECEIVER」観察コホート研究で収集され、その後スケールアップされた「DYNAMIC-SCOT」サービス評価で収集されました。

RECEIVER / DYNAMIC-SCOT2 の主な結果:

• 参加者は引き続き LenusCOPD 患者アプリを使用しており、オンボーディング後 1 年を超えても 1 人あたり週平均 3.5 件のインタラクションが継続されています。
• 前年に重篤な増悪の既往歴がある参加者に LenusCOPD を導入した後、COPD 関連の入院とベッド占有日数が減少し、再入院までの期間の中央値は 380 日であったのに対し、現代の対応対照患者コホートでは 50 日でした。
• 入院または死亡までの期間の中央値は、対照群で43日、RECEIVER群で338日、前年に重度の増悪があったDYNAMIC-SCOT参加者で400日であった。
• 入院または死亡の12か月リスクは、対照患者で74%、RECEIVERで53%、DYNAMIC-SCOTサブコホート参加者で47%でした。

これらの実現可能性と実用性の結果は、これらのデジタル ツールの導入の拡大をサポートします。 中核となる LenusCOPD サービスのスケールアップ提供は、スコットランド政府の TEC 資金の新たな支援を受けて、NHS GG&C 2022 ～ 2024 年も継続されます。 現在、約 400 人の患者が COPD デジタル サービスに参加しています (2022 年 3 月)。LenusCOPD が COPD 診断、定期的なレビュー、呼吸リハビリテーション サービスの回復と方向転換をサポートするために使用されるため、ユーザー数は増加すると予想されます。 この継続的な導入と当社のイノベーションパートナーシップは、この臨床研究で提案されたMDT意思決定支援のための人工知能の洞察を含む、追加のイノベーションを実装および評価するためのテストベッドインフラストラクチャを提供します。

理論的根拠: トレーニングおよび検証された COPD リスク予測モデル

上記で概説した課題は、AI を使用して患者のリスク予測モデルを開発する機会をもたらしました。 サービスの一部として収集されたデータは、過去の電子医療記録データとともに、一連のリスク予測モデルの作成に使用されました。 各モデルの開発には次の手順が実行されました。

• データ探索 - データ探索と視覚化により、データセットの特徴、偏り、その他の問題を特定します。
• 問題の定式化 - 対象となるターゲット変数を定義する方法、および使用するモデリング アプローチ。
• データ分割 - トレーニング、検証、テストに使用するデータセットを分割する戦略を定義します。
• データ クリーニングと欠損データの処理 - 誤ったデータ、データセット内の外れ値を特定し、欠損データを処理するための戦略 (代入、除外、欠損値の許可) を定義します。
• 特徴エンジニアリング - 生データをモデルのトレーニングに使用する特徴に変換および集約するプロセス。 特徴エンジニアリングにより、データからより優れた洞察を引き出すことができます。
• モデルのトレーニング - さまざまな機械学習アルゴリズムを調査し、当面の問題に最適な候補を選択します。 処理された特徴は、モデルのトレーニングに使用されます。
• モデルの検証 - ホールドアウト テスト データセットを使用したモデルのパフォーマンスの検証とレポート。
• モデルの説明可能性 - サードパーティの手法を使用して、モデルの予測を可能な限り解釈可能かつ説明可能にします。
• モデルの公平性 - 対象となるサブグループでのモデルのパフォーマンスと、不平等を考慮したモデルの再トレーニングの可能性を調査します。

モデル開発の詳細については、研究者のパンフレットとモデル承認レポートを参照してください。 各モデルの出力は、各患者に対象のイベントが発生する確率を表す数値です。

介入

当社は、COPD-MDT 内の臨床医に 12 か月死亡率と 3 か月再入院に関するライブ AI モデルベースのリスクスコアを提供するために必要なすべてのコンポーネントを共同設計しました。 本番の COPD デジタル サービスが AI Insights 調査の影響を受けないようにするために、これらのモデル予測を明らかにするための別の臨床医ダッシュボードが開発されます。 増悪モデルの出力は、患者に送信される「チェックイン」メッセージであり、データに何らかの変化がある可能性があることを強調し、自己管理計画を見直したり、必要に応じて臨床チームに連絡してアドバイスを求めたりするよう促します。 これは表 1 にまとめられており、図 1 にチェックイン メッセージの例が示されています。

これらのモデルを実行するために必要なすべてのソース データ フィードは、Azure データ サイエンス VM (仮想マシン) を使用して、NHS GG&C Azure テナントに確立されています。 介入は次の内容で構成されます。 -

同意プロセス

詳細については、CIP セクション 10.4 および「DYNAMIC-AI 同意の標準操作手順」文書を参照してください。 LenusCOPD デジタル サービス サポート Web サイト https://support.nhscopd.scot 患者の詳細な情報と、同意プロセスをサポートする説明ビデオへのリンクを提供します。 すべての研究の承認が得られるまで、研究情報はこのオープンアクセス Web サイトに公開されません。 Web コンテンツは、https://support.test.nhscopd.scot/dynamic-ai で承認前にレビューできます。

LenusCOPD 患者アプリには同意画面が含まれており、招待された患者は研究に関する情報を表示し、同意を承諾、拒否、延期したり、サポート Web サイト経由でさらなる情報にアクセスしたり、研究チームとのディスカッションをリクエストしたりできます。 LenusCOPD 臨床医ダッシュボードの AI インサイト同意ページには、患者アプリで同意を有効化し、患者から要求された場合に同意を取り消し、同意ステータスを監査するためのユーザー インターフェイスが含まれています。

AI による洞察データ パイプライン これらのクラウドベースのデジタル接続は、同意された参加者から関連する医療記録データ (人口統計、診断、入院、処方、検査結果) を取り込んで集約します。 データは集約され、仮名化され、AI インサイト サービスで使用するために適切な形式に変換されます。 このデータを提供するプロセスは、標準的な操作手順に従って、NHS GG&C SafeHaven チームによって承認およびサポートされています。

AI Insights モデル提供パイプラインクラウドベースのデジタル パイプラインは、機械学習モデルで使用するためにデータ パイプラインから前処理されたデータを取り込み、AI Insights Clinician App で使用するために参加者に同意するためのモデル予測と説明可能性を生成します。

AI インサイト サービス これは、指示を受け取り、介入を円滑に実行するためのアクションを実行する、クラウド ベースの電子医療システムのバックエンド機能とプロセスで構成されます。

AI Insights データベース AI Insights デジタル サービスのデータ ストア。 生データと概要データは、データ サイエンスおよび臨床リーダーによるレビュー用のモデル パフォーマンス レポートとしてエクスポートしたり、臨床試験部門にエクスポートして独立した分析を行ったり、長期保存したりできます (IRAS ドキュメントに従って)。

AI インサイト臨床医アプリ臨床医に患者リストを表示およびエクスポートし、同意された参加者からの機械学習モデルの結果、説明可能性、公平性データを確認するための臨床ダッシュボード (図 1 および 2) を提供する Web アプリケーション。

研究の目的

仮説

COPD 患者は、継続的なモデルのトレーニングと検証に使用されるデータとともに、AI の洞察によるリスク予測スコアを臨床チームに提供するために日常的な医療データを使用することに容認され、同意することになります。

「AI インサイト」アプリケーション内の COPD AI-MDT でレビューするために、AI モデルから導出された 12 か月死亡率 COPD リスク予測スコアを提供することは、技術的に実現可能かつ安全です。

主な目的

決定する ：

1. COPD患者への受け入れ可能性と
2. 技術的な実現可能性と
3. 安全性

LenusCOPD AI インサイト アプリケーションからのライブ人工知能ベースの 12 か月死亡リスク予測スコアを、NHS GG&C での COPD 臨床医の多分野チーム会議に提示しました。

主要な実現可能性、受容性、安全性の測定

電力計算や事前の成功指標を知らせるパイロット データがないため、これらは記述的に報告されます。

1. 受け入れ可能性の評価は、DYNAMIC-AI 研究への参加に同意した招待患者の割合に基づいて行われます。
2. 技術的な実現可能性の評価は、LenusCOPD の適切なソース データを持ち、AI インサイト モデル アプリで MDT レビュー用に計算および提示された 12 か月死亡モデル リスク スコアを持つ参加者の割合によって行われます。
3. 安全性の評価は、機器関連の有害事象の発生と、モデルのリスクスコアの前向き評価、つまりモデルのリスクスコアに基づく臨床医の行動と予測事象の校正、つまり発生した事象に基づいて行われます。

二次的な目的

12 か月死亡リスク予測モデルの詳細な受け入れ可能性と技術的実現可能性の経験を取得します。

3 か月の呼吸器関連入院および COPD 増悪リスク予測モデルのトレーニングと検証のためのデータセットを拡張します。

検証パフォーマンスデータのレビューにより、臨床導入の準備ができていることが示された場合は、技術的な実現可能性 (モデルアプリでライブスコアを持つ同意参加者の割合) と、3 か月の呼吸器関連入院および COPD 増悪モデルの記述的な導入経験を評価します。

COPD の学際的なチームによるライブ AI 洞察の使用から、予備的な経験と有用性のデータセットを確立します。

二次探索的評価

詳細な適合性データ

追加のサポート情報（ビデオおよび文書）を確認した招待患者の割合。

同意の決定を通知するために個々の臨床医の入力を必要とする招待患者の割合。これらの議論のテーマには、研究の受容性/同意に関する相違や、モデルトレーニングにデータを使用することへの同意が含まれます。

詳細な技術的実現可能性とモデルのパフォーマンス データ

モデルのパフォーマンス レポートに記録されます。 以下を含む臨床調査全体の連続データ:

• モデルスコアが欠落している参加者の数とその理由 (機能グループごとのデータ欠落、データ更新の待ち時間、参加者の離脱など)。
• AUC-ROC、適合率-再現率 AUC、分類レポート、混同行列など、各モデル実行のホールドアウト テスト データセットを使用して計算されたモデル パフォーマンス メトリクス。
• 関心のあるグループに対して計算されたモデルの公平性メトリクス。
• モデルの意思決定と生物学的妥当性を説明するためのモデルのグローバルおよびローカルの説明可能性
• モデルのリスク予測のパフォーマンスと LenusCOPD で捕捉されたイベント (生後 12 か月での死亡、呼吸器関連の入院、増悪) のパフォーマンス。
• 理由の探索的評価によるモデルのパフォーマンスのドリフト変動 (例: モデルのパフォーマンスまたは個人のリスク スコアで特定された予期せぬ変化については、欠落データの解決、基礎となるソース データの変更、患者の状態の変動など）を確認します。

3 か月の呼吸器関連入院および COPD 増悪リスク予測モデルのトレーニングと検証のためのデータセットを拡張する

データは同意した参加者から収集されます。 最新のモデル性能レポートは研究運営委員会によって検討されます。 これらの分析と主要エンドポイントを使用した中間分析が満足できる場合、これらのモデルはライブ サービスに追加されます。

ライブ COPD AI 洞察の MDT 使用による予備的な経験と有用性データ COPD AI-MDT で議論された患者の数。

MDT のモデル リスク スコア レビューから取られた臨床措置。LenusCOPD イベントとメモに記録されます。

増悪モデルが実際の臨床使用に採用された場合:

• 増悪モデルからの高リスクスコアによってトリガーされたチェックインメッセージの数 - 患者ごと、および LenusCOPD メッセージングでキャプチャされたコホートの合計。
• LenusCOPD ノートに記録された、増悪モデルのチェックイン メッセージが一時的または永続的にオフに切り替えられた参加者の割合。
• チェックイン メッセージの結果 - 患者が開始した接触、その他のイベントは、LenusCOPD メッセージングとメモに記録されます。

患者のイベント (死亡、入院、COPD の悪化、LenusCOPD で捕捉) は、モデルのリスク スコアに従って前向きに発生します。 介入する MDT レビュー、メッセージング、臨床医の行動、モデルによって引き起こされる患者の行動に注目して、リスク予測によって引き起こされる行動の影響と、その後のそれらの予測の精度に対する潜在的な影響に関する予備的な経験データを確立します。 評価は、モデルによって引き起こされたレビュー/アクションを受けた患者とそうでなかった患者を考慮して、モデルのパフォーマンスと予測イベントを比較します。 この評価は、他の保健委員会での LenusCOPD 管理サービスの採用から取得された外部の遡及的検証データによって補足されます。 介入ありとなしのグループのモデルのパフォーマンスもデータ サイエンス チームと共有され、モデルのさらなる改良と再トレーニングが可能になります。

関連する評価 この調査の開始時点まで、AI 洞察モデルの開発は DYNAMIC プロジェクトおよび RECEIVER トライアル評価内で継続的に行われています。 AI インサイトのモデル パフォーマンスの外部検証は、NHS GG&C 以外の組織からの匿名化された電子医療記録と LenusCOPD サービス データを使用して行われます。 AI 洞察の共同設計、臨床ユーザー エクスペリエンス、および受け入れ可能性テストは並行して継続されます。 これらの個別の評価は、すべての適切な承認、ガバナンス、文書化によってサポートされています。

調査計画

研究デザイン

この臨床研究は、英国の医療および社会的ケア研究に関する政策枠組み（2017年）に従って実施されます。

これは観察コホートの実施効果研究です。 中間有効性評価は試験全体にわたって 3 か月ごとに実施され、試験運営委員会によって検討された主要評価項目に関する報告が行われます。 これらの中間評価の結果は、実装または介入を適応させるための推奨事項を引き起こす可能性があります。 同意情報の変更、技術的な更新。 実施戦略または介入に対する提案された適応は、治験管理委員会によって検討され、この CIP および関連する治験文書に必要な修正があれば、治験依頼者および REC の検討のために提出されます。 実装の変更は、すべてのレビューが完了し、承認が得られた場合にのみ行われます。 研究の最終報告書には、中間評価に基づいて行われた変更が詳細に記載されます。