大規模な言語モデルからのフィードバックは、ヘルスケアの質を改善できますか？

実験的：LLMSの有無にかかわらず臨床評価

調査員は、患者内の設計を採用しています。 患者は、コミュニティヘルスエクステンションワーカーから2つの連続した評価を受けます。まず、大規模な言語モデルの支援を受けています。

他の：大規模な言語モデル臨床決定サポート

クリニックの電子医療記録システムに統合された大規模な言語モデル（LLM）は、患者評価に関するリアルタイムのフィードバックを提供します。 コミュニティヘルスエクステンションワーカーは、最初に標準の石鹸メモを作成し、LLMに送信し、詳細なフィードバックと重要な推奨事項を受け取ります。 その後、このフィードバックに基づいて評価を更新できます。 すべての最終治療の決定は、患者を独立して評価する医療担当者によって行われます。

治療計画のエラーの指標（危害の可能性がある）

SOAPノート評価中、MOは、患者の治療計画にMO自身の診断を条件とするエラーが含まれているかどうかを示すように求められます。 これは、MOがエラーがあることを示し、それ以外の場合は0を示した場合、これは1としてコーディングされます。

入門テキスト（こちらはSOAP NOTE A）です。SOAPノートAの治療がこの患者の状態に適しているかどうかを評価してください。 石鹸メモAの噛み診断ではなく、これを自分の診断に基づいてください。

これには、質問が続きます。SOAPノートの患者の治療計画には、あなた自身の診断（医療検査に基づいた条件付き治療を考慮して）を考えると完全に適切ですか？ 患者があなたの診断を考慮して異なる医療を受けるべきなら、「いいえ」と答えてください。 これには、軽微な違い（たとえば、患者に休息をとることをお勧めする必要があります）と大きなエラー（たとえば、患者はまったく異なる薬を受け取る必要があります）を含めることができます。 （回答オプション：はい/いいえ/不確か）

少なくともXの品質調整された寿命の損失を引き起こす治療計画のエラーの指標

この変数は、MOがそのようなエラーがあり、それ以外の場合は0があることを示している場合、1としてコーディングされます。 Xは、適切なデーリースケールの最高のベンチマークであると定義されているため、少なくとも5％の患者がアシストされていないソープノートに大きなエラーがあります。 言い換えれば、深刻なエラーは、アシストされていないスケール（子供と成人のスケールをプーリングする）で95パーセンタイル以上の危害の評価を生成するエラーです。

より良い治療計画のための指標（MOSによって決定された）

SOAPノートA対B（エラーが0のDALY損失としてエラーなしでカウントインスタンス）のデーリー評価に基づいて、SOAPノートにより良い治療計画（低いDALY損失）がある場合、インジケーターは1としてコーディングされます。次の質問に応じて同じことに注意してください：石鹸ノートAとBの治療計画に意味のある違いはありますか？

治療が所定の「ケアの標準」と一致しているかどうかの指標

リスクのある患者は、特定の人口統計基準に従ってマラリア、貧血、UTIスクリーニングを受けます。 次に、データセットは、それぞれ（患者、スクリーニングテスト、注）、患者あたり最大6人の観察結果で構築されます。

治療の誤配分の指標は、患者が検査結果または症状の欠如に基づいて状態に対して誤って治療されたかどうかを記録します。 変数は、患者が陽性であり、不適切または治療なしのいずれかを検査した場合、1としてコーディングされます。 また、患者が陰性で検査した場合、または症状のスクリーニングに基づいてテストされていないが、状態の治療を受けた場合、1としてコード化されます。 変数は、患者が陰性でテストし、対応する状態の治療が正しくない場合、または陽性で正しい治療を受けた場合にのみ0としてコード化されます。

チューとMOの間の診断と治療の整合を示す指標

チューの治療計画の各薬物療法については、「臨床的適応」（薬物に関連する診断）と、特定の処方が医療検査結果を条件としているかどうかを指定する指標があります。 研究チームは、試合の3つの指標を検討します。

• 薬物間の「臨床適応」分野の内容の一致。
• 薬物がテストを条件としているかどうかなど、適応症全体で「薬」フィールドの内容の一致があります。
• 薬と適応症の両方の一致（およびテスト条件性）。

治療誤配分のための代替指標

研究チームは、治療の誤配分の次の指標を構築します。

• 過剰処方による誤配分：患者が持っていないことが確認されているという状態が扱われます
• 不足による誤配分：患者が持っていることが確認されていることが治療されていないことが確認されています
• 誤った投与または薬物の選択による誤配分：患者が持っている状態は治療されますが、選択された投与または薬物は不適切です。

Qalyの損失と患者の状態の重症度との関係

軽度の病気のみの患者では、間違いからのQaly喪失の範囲は、より重度の病気の患者と比較して制限される場合があります。

これを念頭に置いて、QALYの損失は、軽度、中程度、重度の病気（MOによって評価される）のインジケーターでそれぞれそれぞれ補助ノートインジケーターと相互作用し、患者の固定効果を制御しました。 結果はグラフィカルに表示されます。

医療検査の決定の適切性の指標

医療検査の潜在的な誤配分は、2つの方法で運用されています。

1. 各テストタイプについて、研究チームは、噛むことがマイナスであることが判明するテストを実施することを推奨する場合、1としてコード化されたインジケータを構築し、チューが判明したテストを要求することを怠る場合に1の2番目のインジケーターを構築します。前向きに。
2. 第二に、研究チームは、噛むとMOが同じか等しい医療検査を要求したかを測定する（患者、テスト、注）のレベルでインジケータを構築します（例：噛み噛みはマラリアRDTを要求しましたが、MOはマラリアの血液を要求しました）。

これらの指標を組み合わせると、次のいずれかの場合にのみ不一致が発生します。i）テストはチューによって要求されなかったが肯定的でした、またはii）噛みによってテストが要求されましたが、結果は陰性であり、同等のテストは順序付けられませんでした。 MO。

失われたデーリーの平均と分布

LLM支援Daly Lostの効果は、間接的ではなく直接測定されます（エラーと重度の誤差の可能性のように、このメモはより良いメモです）。 アシストおよびアシストされていないノートのデーリー評価の完全な分布も、結果に示されます。

石鹸のMO評価メモ：MOの石鹸からの逸脱

MOは、注文された医療検査が必要か臨床的に有用であるか、欠落または不必要な/不必要な診断があるかどうか、および不正な/不必要な治療計画要素があるかどうか、各石鹸メモについて評価するよう求められます。

石鹸のMO評価ノート：発生した害の種類

MOは、SOAPノートの治療計画から短期的な害（ある期間の追加の症状または不快感）および長期的な深刻な害（障害、死亡のリスク）を評価するように求められます。

石鹸のMO評価ノート：デーリーで失われた健康的な時間の測定

MOはまた、石鹸メモの治療のエラーから「失われた健康的な時間」を反映することを目的とした全体的な評価を提供します。 噛むこと（LLMアドバイスの有無にかかわらず）によって構築された各評価と計画について、MOは、MOの計画の代わりに噛む計画が実施された場合に失われる健康的な生活の予想される大きさを評価します。

チューとMOのMD評価注：MOエラーのフラグ

最初のステップでは、MOノートのみを確認し、条件付きノートまたは最終メモで提案されている診断または治療にエラーがあるかどうかを記録します。 エラーが識別された場合、MDSは重症度によってエラーを評価し、医学的な間違いを存在しない患者についての意見の違いと区別します。

チューとMOのMD評価メモ：石鹸メモ評価

MDは、SOAPノートの治療計画から短期的な害（ある期間の追加の症状または不快感）および長期的な深刻な害（障害、死亡のリスク）を評価するよう求められます。

MDはまた、石鹸メモの治療のエラーから「失われた健康的な時間」を反映することを目的とした全体的な評価を提供します。 噛むこと（LLMアドバイスの有無にかかわらず）によって構築された各評価と計画について、MOは、MOの計画の代わりに噛む計画が実施された場合に失われる健康的な生活の予想される大きさを評価します。 健康な時間は、障害調整寿命（DALYS）の単位で測定され、これは長さと生活の質の両方を反映しています。

チューとMOのMD評価注：LLMレビュー

MDSはまた、LLMのフィードバックを確認し、次の質問に答えます。

「噛むことはすべて、一部、またはLLMの推奨事項に従いましたか？」 一部またはなしの場合：「噛むことがLLMのすべての推奨事項に従っていたと想像してください。 結果として得られる治療計画は、彼らの支援ノートよりも改善されるでしょうか？」（はい/いいえ）はい：「説明してください。」 「LLMは間違いを犯しましたか？」 （はい/いいえ）はいの場合：「チューがLLMの誤った勧告に従ったため、噛む補助治療計画のいずれかの側面がアシストされていない計画よりも劣っていましたか？」 はいの場合：「説明してください。

トリアージの決定の適切性の指標

それぞれ（患者、注意）について、インジケータは、噛むトリアージの決定（石鹸メモに示されているトリアージへの意図）とMOが示唆するトリアージの決定を提案するかどうかを記録します。