このページは自動翻訳されたものであり、翻訳の正確性は保証されていません。を参照してください。 英語版 ソーステキスト用。

Massive Online Open Validation and Evaluation of Large Language Models for Resource Constrained Settings - a Study of Contextual Awareness, Safety, and Accuracy (SilentMOOVE)

2026年10月29日 更新者：Rita Szekely、Ecole Polytechnique Fédérale de Lausanne

Healthcare settings in low and middle income countries, clinicians are frequently required to manage a wide range of acute conditions under the constraints of time pressure, limited diagnostic resources, and variable availability of up-to-date clinical guidelines. Large language models (LLMs), which can synthesize and generate medical information in a natural language, have been proposed as potential clinical decision support tools. Most evaluations of LLMs in medicine have relied on standardized benchmark examinations or hypothetical case vignettes, often derived from high-income country contexts. MOOVE (Massive online open validation and evaluation) framework was developed to address the need for rigorous and context-sensitive evaluation of LLMs through a staged approach.

Study is a non-interventional, prospective study designed to test LLMs safely in real clinical settings, evaluate their performance against human care, and explore how feasible their future implementation in healthcare might be.

調査の概要

状態

状態

現在の募集状況やアクセス拡大状況を示します。
募集

条件

条件

研究されている疾患、障害、症候群、病気、またはけが。 ClinicalTrials.gov では、条件には、寿命、生活の質、健康上のリスクなど、他の健康関連の問題も含まれる場合があります。

介入・治療

介入・治療

臨床研究の焦点となるプロセスまたはアクション。介入には、医薬品、医療機器、処置、ワクチン、および治験中またはすでに利用可能なその他の製品が含まれます。介入には、教育や食事や運動の変更などの非侵襲的アプローチも含まれます。

詳細な説明

SilentMOOVE (Silent massive online open validation and evaluation) phase of the MOOVE project, which represents the intermediate step between previous hypothetical testing study and future interventional trial. In silentMOOVE, patients are prospectively recruited during routine clinical care in participating outpatient health facilities. Clinical and demographic data collected during consultations are used to prompt LLMs retrospectively without influencing patient care. The routine diagnosis and care plan of the treating clinicians (human care plan) are also captured. LLM outputs are subsequently evaluated by a panel of independent clinical experts against the human care plan as a comparator. Patient clinical outcomes are collected on 7 and 28 days after enrolment to establish a baseline and to be used in the evaluation of LLMs.

The rationale for this study is to generate robust, prospective evidence on the safety and performance of LLMs in real-world clinical contexts, while minimizing risk to participants by fully separating model evaluation from clinical decision-making.

Study also provides the opportunity to assess the usability and gather early insights on implementation readiness of the LLM prompting interface. For this reason, besides evaluating the performance and safety of various LLMs, this study includes an implementation feasibility component. These activities are needed to better understand the context and any amelioration needed before future implementation in healthcare settings. Learnings from the implementation feasibility research will be shared among countries, especially applicable within a given use case. Implementation feasibility research will be grounded in artificial intelligence in healthcare implementation frameworks and other Implementation science frameworks Primary objectives

  1. To evaluate the overall performance profile of LLMs on real-world clinical scenarios using the human care plan as a comparator
  2. To assess whether each LLM being evaluated is not inferior to the human comparator with respect to safety on real-world clinical scenarios, based on structured retrospective assessment of model- and human-generated care plans.

Implementation feasibility research objectives

  1. Assess clinician experience with the LLM prompting interface: ease of use, time burden, and alignment with clinical workflow.
  2. Gather clinician impressions of LLM output disclosed and reviewed post-consultation: clarity, relevance, perceived safety, alignment with local clinical guidelines, and trust in LLM outputs.
  3. Facilitators and Barriers to Future Implementation: Identify site-level infrastructure, staff capacity, and organizational readiness factors that may support or hinder future implementation of LLM feedback in real-time

研究の種類

研究の種類

臨床研究の性質について説明します。研究の種類には、介入研究 (臨床試験とも呼ばれます)、観察研究 (患者登録を含む)、および拡張アクセスが含まれます。
観察的

入学 (推定)

入学

臨床試験の参加者数。 「予想される」登録は、研究者が研究に必要とする参加者の目標数です。
3000

連絡先と場所

このセクションには、調査を実施する担当者の連絡先の詳細と、この調査が実施されている場所に関する情報が記載されています。

研究連絡先

研究連絡先

臨床試験の登録に関する質問に回答できる担当者の名前と連絡先情報。研究が実施されている各場所には、これらの質問により適切に回答できる特定の連絡先がある場合もあります。

研究連絡先のバックアップ

研究場所

  • ケニア
    • Nairobi County
      • Nairobi、Nairobi County、ケニア、19676
        • まだ募集していません
        • University of Nairobi College of health sciences
        • コンタクト：
        • 主任研究者：
          • Paul Macharia
  • タンザニア
    • Dar es Salaam Region
      • Dar es Salaam、Dar es Salaam Region、タンザニア
        • まだ募集していません
        • Muhimbili University of Health and Allied Sciences (MUHAS)
        • コンタクト：
        • 主任研究者：
          • Hendry R Sawe
    • Dodoma
      • Dodoma、Dodoma、タンザニア
        • 募集
        • Ifakara Health Institute (IHI)
        • コンタクト：
        • 主任研究者：
          • Grace Mhalu
  • マラウイ
    • Blantyre
      • Blantyre、Blantyre、マラウイ、303
        • 募集
        • Malawi University of Business and Applied Sciences (MUBAS)
        • コンタクト：
        • 主任研究者：
          • Chiyembekezo Kachimanga

参加基準

研究者は、適格基準と呼ばれる特定の説明に適合する人を探します。これらの基準のいくつかの例は、人の一般的な健康状態または以前の治療です。

適格基準

適格基準

臨床研究への参加を希望する人々が満たさなければならない重要な要件、または彼らが持つべき特徴。適格基準は、包含基準 (人が研究に参加するために必要な基準) と除外基準 (人が研究に参加するのを妨げる基準) の両方で構成されます。適格基準のタイプには、研究が健康なボランティアを受け入れるかどうか、年齢または年齢グループの要件があるかどうか、または性別によって制限されるかどうかが含まれます。

就学可能な年齢

1日歳未満 (子)

健康ボランティアの受け入れ

いいえ

受講資格のある性別

全て

サンプリング方法

非確率サンプル

調査対象母集団

The study population consists of patients of any age presenting to participating health facilities for a distinct care-seeking episode related to a clinical condition within the defined use case (e.g. primary care, emergency care).

Both adult and pediatric patients are eligible, reflecting the real-world case mix of the participating facilities.

説明

Inclusion Criteria:

  • Presentation at a participating facility for a distinct care seeking episode related to a clinical condition.
  • Use case specific inclusion criteria
  • Willing and able to provide written informed consent.

Exclusion Criteria:

  • Prolonged care-seeking episode.
  • Previously enrolled in the same study.
  • Use case specific exclusion criteria
  • Immediate life-threatening condition requiring emergency intervention precluding study procedures.

研究計画

このセクションでは、研究がどのように設計され、研究が何を測定しているかなど、研究計画の詳細を提供します。

研究はどのように設計されていますか？

デザインの詳細

  • 観測モデル：COHORT
  • 時間の展望：PROSPECTIVE

コホートと介入

グループ/コホート

グループ/コホート

生物医学的または健康上の結果について評価される観察研究の参加者のグループまたはサブグループ。
介入・治療

介入・治療

臨床研究の焦点となるプロセスまたはアクション。介入には、医薬品、医療機器、処置、ワクチン、および治験中またはすでに利用可能なその他の製品が含まれます。介入には、教育や食事や運動の変更などの非侵襲的アプローチも含まれます。
Non interventional study

Non interventional study
他の：Non interventional study

Non interventional study

この研究は何を測定していますか？

主要な結果の測定

主要な結果の測定

臨床研究のプロトコルにおいて、介入/治療の効果を評価するために最も重要な、計画された結果の尺度。ほとんどの臨床研究には 1 つの主要な結果の測定値がありますが、複数の測定値を持つものもあります。
結果測定
メジャーの説明
時間枠
Performance Scores
時間枠：Day 0

Scoring is between -2 to +2 where '-2' means minimum, and '-2' means maximum. Score to be >0. Higher score means better outcome.
Day 0
Safety performance threshold achievement
時間枠：'Day 7' and 'Day 28'

The mean safety score (minimum is -2 and maximum is +2) is formally compared between each LLM and the human comparator to assess non-inferiority within a UCA (use case appendix) dependent pre-specified margin.
'Day 7' and 'Day 28'

二次結果の測定

二次結果の測定

臨床研究のプロトコルにおいて、介入の効果を評価するための主要な結果測定ほど重要ではないが、依然として重要な計画された結果測定。ほとんどの臨床研究には、複数の副次的アウトカム指標があります。
結果測定
メジャーの説明
時間枠
Implementation Feasibility Research
時間枠：week 4 until study completion

Usability: Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians; evaluation methods will be used
week 4 until study completion
Implementation Feasibility Research
時間枠：week 4 until study completion

Workflow integration feasibility: This will be evaluated using semi structured interviews and questionnaires
week 4 until study completion
Implementation Feasibility Research
時間枠：week 4 until study completion

Acceptability and perceived trust: This will be evaluated with Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians
week 4 until study completion
Implementation Feasibility Research
時間枠：week 4 until study completion

Implementation facilitators and barriers: This will be evaluated using semi-structured interviews and questionnaires
week 4 until study completion

協力者と研究者

ここでは、この調査に関係する人々や組織を見つけることができます。

スポンサー

スポンサー

研究を開始し、研究に対する権限と管理権を持つ組織または個人。
Ecole Polytechnique Fédérale de Lausanne

協力者

協力者

臨床研究を支援する治験依頼者以外の機関。このサポートには、資金調達、設計、実装、データ分析、またはレポートに関連する活動が含まれる場合があります。
Ifakara Health Institute
Muhimbili University of Health and Allied Sciences
University of Nairobi, Kenya
Malawi University of Business and Applied Sciences (MUBAS) WASHTED Centre

捜査官

捜査官

臨床研究に携わる研究者。関連用語には、施設主任研究者、施設副調査官、研究委員長、研究責任者、および研究主任研究者が含まれます。
  • 主任研究者：Mary-Anne Hartley、LIGHT

出版物と役立つリンク

研究に関する情報を入力する責任者は、自発的にこれらの出版物を提供します。これらは、研究に関連するあらゆるものに関するものである可能性があります。

一般刊行物

  • 1. Arora RK, Wei J, Hicks RS, Bowman P, et al. HealthBench: Evaluating Large Language Models Towards Improved Human Health. Preprint [Under Review]. 2025. 2. Burnell R, Schellaert W, Burden J, Ullman TD, Martinez-Plumed F, Tenenbaum JB, et al. Rethink reporting of evaluation results in AI. Science. 2023;380: 136-138. doi:10.1126/SCIENCE.ADF6369. 3. Hager P, Jungmann F, Holland R, Bhagat K, Hubrecht I, Knauer M, et al. Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nature Medicine 2024 30:9. 2024;30: 2613-2622. doi:10.1038/s41591-024-03097-1. 4. Singhal, K., Azizi, S., Tu, T., Mahdavi, S. S., Wei, J., Chung, H. W., et al. (2023). Large language models encode clinical knowledge. Nature, 620(7972), 172-180. https://doi.org/10.1038/s41586-023-06291-2 5. WHO. Towards the Development of guidance on ethics and governance of artificial intelligence for health. 2019. 6. Azad TD, Krumholz HM, Saria S. Principles to guide clinical AI readiness and move from benchmarks to real-world evaluation. Nature Medicine. 2026;32:802-804. doi:10.1038/s41591-025-04198-1 7. Declaration of Helsinki https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects 8. European Parliament and Council of the European Union, 2016. Regulation (EU) 2016/679 (General Data Protection Regulation). Official Journal of the European Union, L119, pp.1-88. 9. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH), 2016. Integrated Addendum to ICH E6(R1): Guideline for Good Clinical Practice E6(R2). Step 4, 9 November 2016. 10. U.S. Food and Drug Administration. 21 CFR Part 11-Electronic Records; Electronic Signatures. Code of Federal Regulations. Title 21, Part 11. Revised 2024.

研究記録日

これらの日付は、ClinicalTrials.gov への研究記録と要約結果の提出の進捗状況を追跡します。研究記録と報告された結果は、国立医学図書館 (NLM) によって審査され、公開 Web サイトに掲載される前に、特定の品質管理基準を満たしていることが確認されます。

主要日程の研究

研究開始 (実際)

研究開始

最初の参加者が臨床試験に登録された実際の日付。 「予想される」研究開始日は、研究者が研究開始日になると考える日付です。
2026年8月31日

一次修了 (推定)

一次修了

臨床研究の最後の参加者が検査された、または主要な結果測定のための最終データを収集するための介入を受けた日付。治験がプロトコルに従って終了したか終了したかは、この日付には影響しません。完了日が異なる複数の主要評価項目を含む臨床研究の場合、この用語は、すべての主要評価項目のデータ収集が完了した日付を指します。 「予想される」一次完了日は、研究者がその研究の一次完了日になると考える日付です。
2026年12月31日

研究の完了 (推定)

研究の完了

臨床研究の最後の参加者が検査された、または介入/治療を受けて、主要な結果の尺度、副次的な結果の尺度、および有害事象の最終データを収集した日付 (つまり、最後の参加者の最後の訪問)。 「予想される」研究完了日は、研究者が研究完了日になると考える日付です。
2026年12月31日

試験登録日

最初に提出

最初に提出

治験依頼者または治験責任医師が初めて治験記録を ClinicalTrials.gov に提出した日付。通常、最初の提出日と ClinicalTrials.gov での記録の利用可能日 (最初の投稿日) の間には数日の遅延があります。
2026年9月9日

QC基準を満たした最初の提出物

QC基準を満たした最初の提出物

研究スポンサーまたは治験責任医師が、国立医学図書館 (NLM) の品質管理 (QC) 審査基準と一致する研究記録を最初に提出した日付。治験依頼者または研究者は、NLM の QC 審査基準が満たされるまでに、研究記録を 1 回または複数回修正して提出する必要がある場合があります。研究記録がNLM QC審査基準と一致していることを確認するのは、治験依頼者または治験責任医師の責任です。
2026年10月29日

最初の投稿 (実際)

最初の投稿

国立医学図書館 (NLM) の品質管理 (QC) レビューが終了した後、ClinicalTrials.gov で研究記録が最初に利用可能になった日付。通常、治験依頼者または治験責任医師が治験記録を提出した日と最初に投稿された日との間には数日の遅延があります。
2026年11月3日

学習記録の更新

投稿された最後の更新 (実際)

投稿された最後の更新

ClinicalTrials.gov で、研究記録が変更された最新の日付。研究のスポンサーまたは治験責任医師によって変更が ClinicalTrials.gov に提出されたとき (最終更新が提出された日) と最終更新が投稿された日との間に遅延が生じる場合があります。
2026年11月3日

QC基準を満たした最後の更新が送信されました

QC基準を満たした最後の更新が送信されました

治験依頼者または治験責任医師が、国立医学図書館（NLM）の品質管理（QC）審査基準と一致する治験記録の変更を提出した最新の日付。研究記録がNLM QC審査基準と一致していることを確認するのは、治験依頼者または治験責任医師の責任です。
2026年10月29日

最終確認日

最終確認日

治験依頼者または治験責任医師が、ClinicalTrials.gov で臨床治験に関する情報が正確かつ最新であることを確認した最新の日付。募集ステータスが募集中の研究の場合。まだ募集していません。過去 2 年以内に募集が確認されていない場合、研究の募集状況は不明として表示されます。
2026年10月1日

詳しくは

本研究に関する用語

キーワード

その他の研究ID番号

その他の研究ID番号

NCT 番号以外の識別子または ID 番号で、治験依頼者、資金提供者、その他によって臨床治験に割り当てられたもの。これらの番号には、他の治験登録機関や国立衛生研究所の助成金番号からの一意の識別子が含まれる場合があります。
  • LiGHT-26-02
  • INV-076674 (その他の助成金/資金番号：BILL and Melinda gates foundation)

個々の参加者データ (IPD) の計画

個々の参加者データ (IPD) を共有する予定はありますか?

はい

IPD プランの説明

We will share IPD within 12 months of study completion.

IPD 共有時間枠

IPD information will be shared within 12 months of study completion.

IPD 共有アクセス基準

Will be confirmed within 12 months of study completion

IPD 共有サポート情報タイプ

  • STUDY_PROTOCOL

医薬品およびデバイス情報、研究文書

米国FDA規制医薬品の研究

いいえ

米国FDA規制機器製品の研究

いいえ

この情報は、Web サイト clinicaltrials.gov から変更なしで直接取得したものです。研究の詳細を変更、削除、または更新するリクエストがある場合は、register@clinicaltrials.gov。 までご連絡ください。 clinicaltrials.gov に変更が加えられるとすぐに、ウェブサイトでも自動的に更新されます。

クッキーの設定

当社はCookieを使用して、当社のWebサイトで最高のエクスペリエンスを提供できるようにしています。詳細については、プライバシーとCookieのポリシーをよくお読みください。...>>>ポリシーに記載されているように、WebサイトまたはコンピューターからCookieを削除することにより、いつでも設定を変更したり、同意を取り消すことができます。それを受け入れて、下の[設定の管理]セクションで対応するボックスにチェックマークを付けて、設定を選択してください。このウェブサイトの一部を使用する前に、利用規約をよくお読みください。
«設定の管理