緊急または予定外のケアを必要とし、病院への紹介が必要な患者の人工知能によるトリアージ (TRIAGE)

序論 - 科学的根拠 1.1. 背景 人口の高齢化と慢性疾患の有病率の増加に伴い、一般医の数は減少している。 医療ニーズと供給の間のこの拡大する不均衡は、特に緊急および予定外のケアへのアクセス困難を引き起こしている。

この問題に対処するため、フランスは医療アクセスサービス（SAS）を設置した。 緊急または予定外のケアが必要な場合、SASは、かかりつけ医が利用できない個人が医療専門家にアクセスできるようにする。 状況に応じて、このサービスは医療アドバイスを提供し、遠隔診療を提供し、その人を地域の医師または救急部門に紹介し、さらには移動救急蘇生ユニット（SMUR）または救急車を呼び出すこともできる。 SASはトリアージシステムとして機能し、各個人のニーズに合わせた対応を提供する。

このプロジェクトの目的は、緊急または予定外のケアを求める患者の人工知能（AI）トリアージモデルの有効性の特定の側面を研究し、入院治療を必要とする患者を特定できるようにすることである。

このプロジェクトは、SOS Médecins Grand Parisを使用して患者をトリアージするAIモデルを開発した以前の研究に続くものである。 SASと同様に、SOS Médecinsに電話する人々は、医療派遣アシスタント（MDA）に自分の問題を提示し、ほとんどの場合、往診を手配する。

SOS Médecinsのデータベースには、ケア要請の音声録音と、医師の往診後の医療判断、患者が病院に紹介されたかどうか（患者の転帰データは網羅的）が含まれている。 したがって、SOS医師の往診後の患者の病院サービス利用を予測するモデルがAIを使用して開発された。 このモデルは、患者とMDAの間のやり取りを「聞き取り」、医師の往診後の病院サービス利用を予測する。

このモデルとその開発は、現在国際誌に投稿されている論文の主題である。 テスト段階では、ROC（受信者操作特性）曲線下面積は0.80を達成した。 最終的には、AIベースのモデルはリアルタイムで動作し、MDAの作業を支援する情報を提供する必要がある。 当面の間、このプロジェクトの目的はシステムの検証を完了することである。 その後、実際の条件下で実装およびテストされ、モデルの予測を使用したMDAによる患者トリアージの利点を判断する必要がある。

SOS MédecinsはSASと同じではないが、類似していることに留意すべきである。 第一に、両組織は同様の方法で運営されている：電話で連絡を受けたMDAが緊急または予定外のケア要請に対応しようとする。 可能な対応の範囲は両組織で同じであり（SOSは往診のみを提供するわけではなく、対面またはビデオ診療も行い、特定の通話を救急医療サービスに転送する）、必要に応じて医師の専門知識の使用（医療調整）も同様である。 第二に、SOS MédecinsはSASの下流エフェクターの一つである。 SAS（現在は国土の60％のみをカバー）よりも一般市民や医療専門家に古くからよく知られているSOSは、この新しいサービスと非常に類似した募集プロセスを持つ可能性がある。 我々の知る限り、両組織の活動を比較できるSASに関する統計はまだない。 この文脈において、SOSデータで開発されたモデルのSAS内での検証が必要となる。 将来的にデータが両組織が類似していることを示せば、SASはSOSで開発されたこのプロジェクトの恩恵を受ける可能性がある。SOSデータはSASデータに比べて大きな利点がある：患者の転帰に関する情報、特に救急部門に行ったかどうかを含む。 この通話のラベリングにより、AIモデルの教師あり学習が可能となった。

このプロジェクトは、我々の知る限り唯一のものであり、SAS（そしておそらくある程度救急部門でも）使用可能なトリアージ支援への道を開く。

1.2. 患者と医療システムへの利益 入院リスクの高い患者の早期特定は、専門的な環境での緊急ケアを必要とする状態にある患者も含め、臨床意思決定を促進し、最終的に患者の健康を改善するはずである。 これは主に、重度の虚血性、呼吸器、外傷性、または感染性疾患など、予後がケア提供の速度に直接関連する状態の患者に関係し、医師の往診を待たずに入院することで利益を得る。 したがって、患者への利益は、トリアージエラーによる機会損失の減少となる。

さらに、救急部門の上流でのトリアージ（前保健大臣が提案し、人員不足の救急部門で実施され、デンマークでは日常的に行われている）は、過剰な活動がケアを受ける高齢患者の死亡率に影響を与える病院救急部門の機能を改善する。 公衆衛生の観点から、効果的なトリアージシステムの導入は、緊急および予定外のケアへのアクセスを改善する可能性がある。

研究目的と評価基準 入院を必要とする患者を特定するために使用されるAIベースのトリアージモデルは、すでにSOS Médecins Grand Parisへの通話を使用して開発およびテストされている。 論文は現在出版中である。 したがって、このプロジェクトはトリアージモデルの開発または内部検証に焦点を当てるのではなく、その検証に関連する他の側面に焦点を当てる：前向きおよび外部検証；医療専門家の予測との比較；その使用に関連する可能性のある社会的差別の調査；および医療現場での実際の使用条件の決定。

2.1. 目的と主要評価項目 実世界の運用データに対する予測モデルの性能の前向き評価は、これらのモデルを臨床文脈に統合し、患者ケアへの影響を評価するための重要なステップである。

- 主要目的（PO）：医師の往診後に病院に紹介される患者を特定するために使用されるトリアージモデルの前向き検証。

ROC曲線下面積（AROC）は、分類システムの性能の全体的な尺度を提供する。

この研究で使用されるすべてのデータは後ろ向きであることに留意すべきである。 モデルは2023年およびそれ以前（2017年まで）のデータを使用して設計され、「前向き」データはその設計後のデータであり、2024年のデータとなる。

- 主要評価項目（PE）：SOS Médecins Parisの後ろ向きおよび前向きデータの代表サンプルから得られたAROCの比較。

2.2. 副次目的と評価項目 別の地理的サイトからの患者データに関する外部検証は、あるサイトで開発されたモデルが他のサイトで安全かつ効果的に実装される方法を理解するために必要である。

- 副次目的1（SO1）：トリアージモデルの外部検証

• 副次評価項目1（SEP1）：SOS Médecins Grand Parisおよびアジャクシオの後ろ向きデータの代表サンプルから得られたAROCの比較。
• SEP2：トリアージモデルの予測と専門医の予測の比較。
• 副次評価項目2（SEP2）：バランスの取れた非代表サンプル（すなわち、現実のように3％ではなく、医師の往診後に病院に紹介される患者の50％を含む）のSOS Médecins Grand Parisデータにおける、トリアージモデルと専門医の間の正しい予測率の比較。

いくつかのAIベースのトリアージシステムは差別的であることが判明している。 二つのよく知られた例がこの点を説明する：

• 履歴書に基づくコンピュータエンジニアの採用選考：システムは既存のエンジニア（主に男性）を使用して訓練されており、女性を不利に扱った；
• ダーモスコープ画像からのメラノーマ検出：システムは明るい肌色を使用して訓練されており、暗い肌色では効果的でなかった。
• OS3：患者の社会的特性に関連して、モデルに関連する潜在的な差別現象の研究。
• 副次評価項目3（CJS3）：両性別のSOS Médecins Grand Parisデータの代表サンプルから得られたAROCの比較。

検証された予測モデルから実際の条件下での効率的なデバイスへの移行は、AIにおけるよく知られた課題である。

- SO4：MDAによるモデルの実際の使用条件の決定。

- 副次評価項目4（SEP4）：MDAによるトリアージシステム実装の仕様書の作成

研究対象者の選択と除外 3.1. 適格基準 2024年またはそれ以前に通話後にSOS医師の往診を受けたあらゆる年齢の個人。

3.2. 除外基準 フランス語を話さない個人。 健康保険を持たない個人。

研究の説明 4.1. 研究の種類 これは本質的にAIベースの患者トリアージモデルの検証研究である。 観察データを使用して実施される。

4.2. 研究プロセス 4.2.1. 研究の場所 研究はSOS Médecinsの施設で実施される。 SOS Médecins Grand Parisの医療専門家がSO2を実施するために募集される。

4.2.2. 募集方法 SOS Médecinsがその活動の過程で収集したデータが使用される。

4.2.3. 患者ケア手順 このプロジェクトは、地域社会の患者からの緊急または予定外のケア需要を満たすために病院を使用する必要性に焦点を当てている。 ただし、患者ケアに干渉しない。

4.2.4. 研究退出手順 除外を要求する患者は除外される。

4.2.5. データ収集

• PO（前向き検証）、SO1（外部検証）、SO3（差別）：

使用されるデータは、SOS Médecinsの活動の過程ですでに収集されたデータである。 両サイト（パリとコルシカ島のアジャクシオ）は、通話が受信および記録された瞬間からSOSケアプロセスの終了（この場合、往診の終了）まで、管理および医療データ（SOS Médecinsファイル）の入力を含め、電話通話を管理するために同じソフトウェアを使用している。 以下は、分析のために使用され、処理されるデータのリストである：

- 患者とMDAの間の会話の音声録音の文字起こし。 AI予測はこれらの文字起こし（およびこれらの文字起こしのみ）に基づいて行われる。

• SOS Médecinsファイルからのデータ：
• 通話の曜日、月、年、時間；
• 訪問場所の国勢調査区域番号は、患者が提供した住所から取得される。 国勢調査区域は、住民の匿名性を保持しながら統計データが利用可能な最小の空間単位である。 INSEE（国立統計経済研究所）国勢調査からのいくつかの社会経済変数、例えば失業率、高校卒業者、労働者、中央所得、社会的剥奪指数（フランス剥奪指数としても知られるFDep）、および生態学的剥奪指数（EDI）がこのレベルで利用可能である。 これらの異なる変数は、そこに居住する個人の社会的地位の生態学的（個人とは対照的に）尺度を提供する；
• 通話の理由、MDAによって定義され、事前定義されたリストに基づくが国際分類には対応しない。 同じ通話に対して複数の理由が報告される場合がある；
• 緊急度（4レベル）、MDAによって定義される；
• 往診終了の日時、医師によって訪問終了時に定義される
• 診断、医師によって訪問終了時に定義され、事前定義されたリストに基づくが国際分類には対応しない。 同じ診療に対して複数の理由が報告される場合がある。
• 訪問終了時の患者の状態（閉鎖リスト：現場で離脱、病院救急部門への転送、救急医療サービスの呼び出し）。
• 病院救急部門への転送方法（閉鎖リスト：自家用車、救急車、消防、SMUR）。
• SO2（医療専門家）：

この目的の達成に参加する医療専門家からいくつかの個人データが収集される：年齢、性別、全体およびSOS Médecins内での実務年数、専門分野。

さらに、患者とARMの間の電話交換の文字起こしを読んだ後、これらの医師は患者の病院転送の確率を推定するよう求められる。

彼らは二つの質問をされる：

• この患者がSOS医師の訪問後に入院する確率は？ 0（入院なし）から100（入院）までのスケールに×を置いて回答。
• この確率についてどれだけ確信しているか？ 0（確信なし）から100（完全な確信）までのスケールに×を置いて回答。

研究介入の説明 この研究には介入はなく、厳密に観察的である。

それでも、SO2およびSO4を完了するために実施される作業の組織をここで説明する。

• SO2（医療専門家）：

病院利用のトリアージモデルの予測を医療専門家の予測と比較するために、組織で5年以上の経験を持つSOS Médecins Grand Parisの医師が自発的に募集される。 これらの医師の各々は、複数の患者/通話の病院利用確率を推定するよう求められる（§4.2.5. データ収集を参照）。

- SO4（実際の条件）：統計学者、コンピュータエンジニア、MDA、SOS医師、および人間工学研究者からなる作業グループが形成され、MDAに病院利用確率を提供する最良の方法を検討する。 いくつかの問題に対処する必要がある：確率が画面にどのように表示されるか、確率閾値、通話を派遣医師に転送すべきか（もしそうなら、どの閾値で）、確率がMDAによって定義される通話の緊急度に与える影響、および特定の緊急要請に優先順位を与える可能性。 最初の作業会議の後、ボランティアのMDAでバージョンが実装される。 実際の条件下での初期使用後、フィードバックが収集され、新しい実験が実施される。 最後に、トリアージモデルが異なるITプラットフォームで実装できるように、実際の条件下での実装の仕様書が（選択された理由を説明して）作成される。

統計分析 6.1. 対象者数の計算 - PO（前向き検証）：前向きデータのAROCが後ろ向きデータのROCと異なることを示すために、それぞれ0.75および0.80のAROCが観察された場合、各サンプルあたり13,560人の患者/通話（すなわち、病院に紹介される患者407人および紹介されない患者13,153人、SOS Médecins Grand Parisで観察される病院紹介患者の3％に沿って）が必要となる。これは、アルファリスク5％、検出力90％、両側検定を仮定している。 この結果は、Stata統計ソフトウェアのpower tworoc関数を使用して得られた。

- SO1（外部検証）：OPと同じ計算によれば、コルシカ島のアジャクシオで13,560人の患者のサンプルを動員する必要がある。

- SO2（専門医）：他のすべての分析が代表サンプルに基づく一方で、この分析はバランスの取れたサンプル（すなわち、病院に紹介される患者の50％および紹介されない患者の50％で構成される）に基づく。理由は二つある。 低い病院紹介率（3％）および各専門医が評価する通話数が少ないため、医師が良好な性能を確保したい場合の可能な戦略は、患者を決して病院に紹介しないことである。 さらに、代表サンプルでは、偽陰性（実際には病院に紹介されるが、低い推定確率を持つ患者）を研究することができない。なぜなら、それらが少なすぎるからである。

トリアージモデルと専門医の間の正しい予測率の差を強調するために、病院を利用する患者からの365通話（および利用しない同じ数の患者）が必要となる。これは、トリアージモデルおよび専門医の正しい予測率がそれぞれ58％（この率の決定については付録§12.2を参照）および68％（事前に選択された10追加パーセンテージポイント）であると仮定し、アルファリスク5％、検出力80％、両側検定（Statのpower twoproportions関数）である。

5分ごとに1通話を評価すると仮定すると、合計61時間の医療専門家の時間が必要となる。 医師あたり4時間の作業に基づくと、これは募集すべき16人の医療専門家に相当する。

- SO3（差別）：POと同じ計算によれば、男性と女性の間でトリアージモデルのAROCの差を示したい場合、各性別の13,560人の患者のサンプルを動員する必要がある。 SOS Médecins Grand Parisに電話する人々の性別比は1に近い。 POからのSOS Médecins Grand Parisの後ろ向きおよび前向きサンプルの両方が使用される。

6.2. 使用される統計分析の説明 研究は、予後および診断研究（特にAI向け）の報告ガイドラインであるTRIPOD-AI推奨事項に従って実施される。

6.2.1. 分析に含める個人の選択 すべての目的について、分析に含める個人の選択は、丸年の数に基づく無作為抽出によって行われる。 これにより、一日のすべての時間、曜日、月がカバーされる。 SO3については、非代表サンプルには病院に紹介される患者の50％が含まれる。

6.2.2. 記述統計 収集されたすべての変数について記述分析が行われる。 量的変数は、平均、中央値、標準偏差、95％信頼区間、四分位範囲、最小値、最大値、欠損値の数、および使用不能値の数を使用して記述される。 質的変数は、パーセンテージおよび95％信頼区間で記述される。 通話から訪問終了までの経過時間が提示される。 これらの分析は、すべてのサンプルで実施され、病院利用に応じて層別化される。

6.2.3. 主要評価項目の分析 さまざまな目的に使用される一般的な分析戦略をまず提示する。

異なるサンプル（前向きまたは後ろ向き、パリまたはコルシカ島のアジャクシオ）の患者に対する異なるトリアージシステム（AIおよび医療専門家）の性能を評価するために、ROCおよび適合率-再現率（PR）曲線がプロットされ、これらの曲線下面積（AROCおよびAPR）が推定される。 AROCは、分類システムの全体的な性能を測定することを可能にする。 APRも使用される。なぜなら、負の結果の数が正の結果の数を大幅に上回る不均衡なデータセット（これは我々の状況に対応する）で二値分類器を評価する際に特に有益であるからである。 二つのトリアージシステム（AIおよび医療専門家など）または同じトリアージシステム（AIなど）を二つの異なる母集団（パリおよびコルシカ島のアジャクシオなど）で比較するために、それらのAROCが比較される。

さらに、運用視点から意味のある方法で性能を評価するために、感度（Sen）、特異度（Spe）、陽性適中率（PPV）、および陰性適中率（NPV）が異なる閾値で計算される。

- PO（前向き有効性）：AIトリアージモデルの一般的な分析戦略が、SOS Médecin Grand Parisからの二つの代表サンプル、一つは後ろ向き（2023年および以前）、もう一つは前向き（2024年）で実施される。

6.2.4. 副次評価項目の分析

- SO1（外部有効性）：AIトリアージモデルに関する一般的な分析戦略が、SOS Médecin Grand Parisおよびコルシカ島のアジャクシオからの二つの代表後ろ向きサンプルで実施される。

- SO2（専門医）：二つのトリアージシステム（AIおよび専門医）の正しい予測率が統計検定を使用して比較される。

より探索的に：

- 二つのトリアージシステムのAROCが計算される（一般的な分析戦略）。

- 二つのトリアージシステム間の予測差が、実際の病院利用および患者特性に基づいてモデル化される。

- 二つの予測間の加重カッパ係数が計算される。

- 医療専門家によって報告された確信度（特に高および低い確信度）に基づく感度分析が実施される；

• 実際の病院利用の層別分析が実施される（真陽性および真陰性の研究）。

可能な場合、同じ医療専門家が複数の通話/患者を検査したことを考慮して分析が行われる。

• SO3（差別）：

差別は、以下の社会的特性に従って調査される：年齢、性別、および社会的地位（訪問場所の国勢調査区域の社会経済特性に基づいて推定される）。 年齢および社会的地位の生態学的変数は、三分位数および五分位数の形式で使用される。 AIトリアージモデルに関する一般的な分析戦略が、上記の社会的特性に従って層別化されたSOS Médecin Grand Parisの代表サンプルで実施される。 AROCの比較により、トリアージが上記の社会的特性に従って同等に効果的かどうかが決定される。

さらに、上記の特性に従った成功（真陽性および真陰性を共同および別々に）の比較も、単変量およびその後多変量ロジスティックモデルを使用して実施される。 これらの分析は、異なるリスク閾値で実施される。

- SO4（実際の条件） 同僚間の議論および実規模テストの後、トリアージモデルが異なるITプラットフォームで実装できるように、実際の条件下での実装の仕様書が作成される。 選択された理由はこれらの仕様書で指定される。