Tato stránka byla automaticky přeložena a přesnost překladu není zaručena. Podívejte se prosím na anglická verze pro zdrojový text.

Massive Online Open Validation and Evaluation of Large Language Models for Resource Constrained Settings - a Study of Contextual Awareness, Safety, and Accuracy (SilentMOOVE)

29. října 2026 aktualizováno: Rita Szekely, Ecole Polytechnique Fédérale de Lausanne

Healthcare settings in low and middle income countries, clinicians are frequently required to manage a wide range of acute conditions under the constraints of time pressure, limited diagnostic resources, and variable availability of up-to-date clinical guidelines. Large language models (LLMs), which can synthesize and generate medical information in a natural language, have been proposed as potential clinical decision support tools. Most evaluations of LLMs in medicine have relied on standardized benchmark examinations or hypothetical case vignettes, often derived from high-income country contexts. MOOVE (Massive online open validation and evaluation) framework was developed to address the need for rigorous and context-sensitive evaluation of LLMs through a staged approach.

Study is a non-interventional, prospective study designed to test LLMs safely in real clinical settings, evaluate their performance against human care, and explore how feasible their future implementation in healthcare might be.

Přehled studie

Postavení

Postavení

Označuje aktuální stav náboru nebo stav rozšířeného přístupu.
Nábor

Podmínky

Podmínky

Nemoc, porucha, syndrom, nemoc nebo zranění, které je studováno. Na webu ClinicalTrials.gov mohou podmínky zahrnovat i další problémy související se zdravím, jako je délka života, kvalita života a zdravotní rizika.

Intervence / Léčba

Intervence / Léčba

Proces nebo akce, na které se klinická studie zaměřuje. Intervence zahrnují léky, zdravotnická zařízení, postupy, vakcíny a další produkty, které jsou buď zkoušené nebo již dostupné. Intervence mohou také zahrnovat neinvazivní přístupy, jako je edukace nebo úprava stravy a cvičení.

Detailní popis

SilentMOOVE (Silent massive online open validation and evaluation) phase of the MOOVE project, which represents the intermediate step between previous hypothetical testing study and future interventional trial. In silentMOOVE, patients are prospectively recruited during routine clinical care in participating outpatient health facilities. Clinical and demographic data collected during consultations are used to prompt LLMs retrospectively without influencing patient care. The routine diagnosis and care plan of the treating clinicians (human care plan) are also captured. LLM outputs are subsequently evaluated by a panel of independent clinical experts against the human care plan as a comparator. Patient clinical outcomes are collected on 7 and 28 days after enrolment to establish a baseline and to be used in the evaluation of LLMs.

The rationale for this study is to generate robust, prospective evidence on the safety and performance of LLMs in real-world clinical contexts, while minimizing risk to participants by fully separating model evaluation from clinical decision-making.

Study also provides the opportunity to assess the usability and gather early insights on implementation readiness of the LLM prompting interface. For this reason, besides evaluating the performance and safety of various LLMs, this study includes an implementation feasibility component. These activities are needed to better understand the context and any amelioration needed before future implementation in healthcare settings. Learnings from the implementation feasibility research will be shared among countries, especially applicable within a given use case. Implementation feasibility research will be grounded in artificial intelligence in healthcare implementation frameworks and other Implementation science frameworks Primary objectives

  1. To evaluate the overall performance profile of LLMs on real-world clinical scenarios using the human care plan as a comparator
  2. To assess whether each LLM being evaluated is not inferior to the human comparator with respect to safety on real-world clinical scenarios, based on structured retrospective assessment of model- and human-generated care plans.

Implementation feasibility research objectives

  1. Assess clinician experience with the LLM prompting interface: ease of use, time burden, and alignment with clinical workflow.
  2. Gather clinician impressions of LLM output disclosed and reviewed post-consultation: clarity, relevance, perceived safety, alignment with local clinical guidelines, and trust in LLM outputs.
  3. Facilitators and Barriers to Future Implementation: Identify site-level infrastructure, staff capacity, and organizational readiness factors that may support or hinder future implementation of LLM feedback in real-time

Typ studie

Typ studie

Popisuje povahu klinické studie. Typy studií zahrnují intervenční studie (také nazývané klinické studie), observační studie (včetně registrů pacientů) a rozšířený přístup.
Pozorovací

Zápis (Odhadovaný)

Zápis

Počet účastníků klinické studie. „Očekávaný“ zápis je cílový počet účastníků, které výzkumníci pro studii potřebují.
3000

Kontakty a umístění

Tato část poskytuje kontaktní údaje pro ty, kteří studii provádějí, a informace o tom, kde se tato studie provádí.

Studijní kontakt

Studijní kontakt

Jméno a kontaktní údaje osoby, která může odpovědět na otázky týkající se registrace do klinické studie. Každé místo, kde se studie provádí, může mít také konkrétní kontakt, který může lépe odpovědět na tyto otázky.

Studijní záloha kontaktů

Studijní místa

  • Keňa
    • Nairobi County
      • Nairobi, Nairobi County, Keňa, 19676
        • Zatím nenabíráme
        • University of Nairobi College of health sciences
        • Kontakt:
        • Vrchní vyšetřovatel:
          • Paul Macharia
  • Malawi
    • Blantyre
      • Blantyre, Blantyre, Malawi, 303
        • Nábor
        • Malawi University of Business and Applied Sciences (MUBAS)
        • Kontakt:
        • Vrchní vyšetřovatel:
          • Chiyembekezo Kachimanga
  • Tanzanie
    • Dar es Salaam Region
      • Dar es Salaam, Dar es Salaam Region, Tanzanie
        • Zatím nenabíráme
        • Muhimbili University of Health and Allied Sciences (MUHAS)
        • Kontakt:
        • Vrchní vyšetřovatel:
          • Hendry R Sawe
    • Dodoma
      • Dodoma, Dodoma, Tanzanie
        • Nábor
        • Ifakara Health Institute (IHI)
        • Kontakt:
        • Vrchní vyšetřovatel:
          • Grace Mhalu

Kritéria účasti

Výzkumníci hledají lidi, kteří odpovídají určitému popisu, kterému se říká kritéria způsobilosti. Některé příklady těchto kritérií jsou celkový zdravotní stav osoby nebo předchozí léčba.

Kritéria způsobilosti

Kritéria způsobilosti

Klíčové požadavky, které musí lidé, kteří se chtějí zúčastnit klinické studie, splňovat nebo vlastnosti, které musí mít. Kritéria způsobilosti se skládají jak z kritérií pro zařazení (která jsou vyžadována pro účast osoby ve studii), tak z kritérií vyloučení (která brání osobě v účasti). Typy kritérií způsobilosti zahrnují, zda studie přijímá zdravé dobrovolníky, má požadavky na věk nebo věkovou skupinu nebo je omezena pohlavím.

Věk způsobilý ke studiu

Ne starší než 1 den (Dítě)

Přijímá zdravé dobrovolníky

Ne

Pohlaví způsobilá ke studiu

Všechno

Metoda odběru vzorků

Vzorek nepravděpodobnosti

Studijní populace

The study population consists of patients of any age presenting to participating health facilities for a distinct care-seeking episode related to a clinical condition within the defined use case (e.g. primary care, emergency care).

Both adult and pediatric patients are eligible, reflecting the real-world case mix of the participating facilities.

Popis

Inclusion Criteria:

  • Presentation at a participating facility for a distinct care seeking episode related to a clinical condition.
  • Use case specific inclusion criteria
  • Willing and able to provide written informed consent.

Exclusion Criteria:

  • Prolonged care-seeking episode.
  • Previously enrolled in the same study.
  • Use case specific exclusion criteria
  • Immediate life-threatening condition requiring emergency intervention precluding study procedures.

Studijní plán

Tato část poskytuje podrobnosti o studijním plánu, včetně toho, jak je studie navržena a co studie měří.

Jak je studie koncipována?

Detaily designu

  • Observační modely: COHORT
  • Časové perspektivy: PROSPECTIVE

Kohorty a intervence

Skupina / kohorta

Skupina / kohorta

Skupina nebo podskupina účastníků pozorovací studie, která je hodnocena z hlediska biomedicínských nebo zdravotních výsledků.
Intervence / Léčba

Intervence / Léčba

Proces nebo akce, na které se klinická studie zaměřuje. Intervence zahrnují léky, zdravotnická zařízení, postupy, vakcíny a další produkty, které jsou buď zkoušené nebo již dostupné. Intervence mohou také zahrnovat neinvazivní přístupy, jako je edukace nebo úprava stravy a cvičení.
Non interventional study

Non interventional study
Jiný: Non interventional study

Non interventional study

Co je měření studie?

Primární výstupní opatření

Primární výstupní opatření

V protokolu klinické studie je plánovaná výsledná míra, která je nejdůležitější pro hodnocení účinku intervence/léčby. Většina klinických studií má jedno primární měřítko výsledku, ale některé mají více než jedno.
Měření výsledku
Popis opatření
Časové okno
Performance Scores
Časové okno: Day 0

Scoring is between -2 to +2 where '-2' means minimum, and '-2' means maximum. Score to be >0. Higher score means better outcome.
Day 0
Safety performance threshold achievement
Časové okno: 'Day 7' and 'Day 28'

The mean safety score (minimum is -2 and maximum is +2) is formally compared between each LLM and the human comparator to assess non-inferiority within a UCA (use case appendix) dependent pre-specified margin.
'Day 7' and 'Day 28'

Sekundární výstupní opatření

Sekundární výstupní opatření

V protokolu klinické studie jde o plánované měřítko výsledku, které není tak důležité jako primární měřítko výsledku pro hodnocení účinku intervence, ale je stále zajímavé. Většina klinických studií má více než jedno sekundární měřítko výsledku.
Měření výsledku
Popis opatření
Časové okno
Implementation Feasibility Research
Časové okno: week 4 until study completion

Usability: Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians; evaluation methods will be used
week 4 until study completion
Implementation Feasibility Research
Časové okno: week 4 until study completion

Workflow integration feasibility: This will be evaluated using semi structured interviews and questionnaires
week 4 until study completion
Implementation Feasibility Research
Časové okno: week 4 until study completion

Acceptability and perceived trust: This will be evaluated with Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians
week 4 until study completion
Implementation Feasibility Research
Časové okno: week 4 until study completion

Implementation facilitators and barriers: This will be evaluated using semi-structured interviews and questionnaires
week 4 until study completion

Spolupracovníci a vyšetřovatelé

Zde najdete lidi a organizace zapojené do této studie.

Sponzor

Sponzor

Organizace nebo osoba, která iniciuje studii a která má autoritu a kontrolu nad studií.
Ecole Polytechnique Fédérale de Lausanne

Spolupracovníci

Spolupracovníci

Organizace jiná než zadavatel, která poskytuje podporu klinické studii. Tato podpora může zahrnovat činnosti související s financováním, návrhem, implementací, analýzou dat nebo podáváním zpráv.
Ifakara Health Institute
Muhimbili University of Health and Allied Sciences
University of Nairobi, Kenya
Malawi University of Business and Applied Sciences (MUBAS) WASHTED Centre

Vyšetřovatelé

Vyšetřovatelé

Výzkumník zapojený do klinické studie. Související pojmy zahrnují hlavní řešitel, dílčí řešitel, vedoucí studie, vedoucí studie a hlavní řešitel studie.
  • Vrchní vyšetřovatel: Mary-Anne Hartley, LIGHT

Publikace a užitečné odkazy

Osoba odpovědná za zadávání informací o studiu tyto publikace poskytuje dobrovolně. Mohou se týkat čehokoli, co souvisí se studiem.

Obecné publikace

  • 1. Arora RK, Wei J, Hicks RS, Bowman P, et al. HealthBench: Evaluating Large Language Models Towards Improved Human Health. Preprint [Under Review]. 2025. 2. Burnell R, Schellaert W, Burden J, Ullman TD, Martinez-Plumed F, Tenenbaum JB, et al. Rethink reporting of evaluation results in AI. Science. 2023;380: 136-138. doi:10.1126/SCIENCE.ADF6369. 3. Hager P, Jungmann F, Holland R, Bhagat K, Hubrecht I, Knauer M, et al. Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nature Medicine 2024 30:9. 2024;30: 2613-2622. doi:10.1038/s41591-024-03097-1. 4. Singhal, K., Azizi, S., Tu, T., Mahdavi, S. S., Wei, J., Chung, H. W., et al. (2023). Large language models encode clinical knowledge. Nature, 620(7972), 172-180. https://doi.org/10.1038/s41586-023-06291-2 5. WHO. Towards the Development of guidance on ethics and governance of artificial intelligence for health. 2019. 6. Azad TD, Krumholz HM, Saria S. Principles to guide clinical AI readiness and move from benchmarks to real-world evaluation. Nature Medicine. 2026;32:802-804. doi:10.1038/s41591-025-04198-1 7. Declaration of Helsinki https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects 8. European Parliament and Council of the European Union, 2016. Regulation (EU) 2016/679 (General Data Protection Regulation). Official Journal of the European Union, L119, pp.1-88. 9. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH), 2016. Integrated Addendum to ICH E6(R1): Guideline for Good Clinical Practice E6(R2). Step 4, 9 November 2016. 10. U.S. Food and Drug Administration. 21 CFR Part 11-Electronic Records; Electronic Signatures. Code of Federal Regulations. Title 21, Part 11. Revised 2024.

Termíny studijních záznamů

Tato data sledují průběh záznamů studie a předkládání souhrnných výsledků na ClinicalTrials.gov. Záznamy ze studií a hlášené výsledky jsou před zveřejněním na veřejné webové stránce přezkoumány Národní lékařskou knihovnou (NLM), aby se ujistily, že splňují specifické standardy kontroly kvality.

Hlavní termíny studia

Začátek studia (Aktuální)

Začátek studia

Skutečné datum, kdy byl první účastník zařazen do klinické studie. „Očekávané“ datum zahájení studie je datum, o kterém si vědci myslí, že bude datem zahájení studie.
31. srpna 2026

Primární dokončení (Odhadovaný)

Primární dokončení

Datum, kdy byl poslední účastník klinické studie vyšetřen nebo obdržel intervenci ke sběru konečných dat pro primární měření výsledku. Zda byla klinická studie ukončena podle protokolu nebo byla ukončena, toto datum neovlivňuje. U klinických studií s více než jedním primárním výstupním měřením s různými daty dokončení se tento termín vztahuje k datu, kdy je dokončen sběr dat pro všechna primární výsledná měření. „Očekávané“ datum primárního dokončení je datum, o kterém si vědci myslí, že bude primárním datem dokončení studie.
31. prosince 2026

Dokončení studie (Odhadovaný)

Dokončení studie

Datum, kdy byl poslední účastník klinické studie vyšetřen nebo dostal intervenci/léčbu za účelem shromáždění konečných dat pro měření primárního výsledku, sekundárního měření výsledku a nežádoucí příhody (tj. poslední návštěva posledního účastníka). „Očekávané“ datum dokončení studie je datum, o kterém si vědci myslí, že bude datem dokončení studie.
31. prosince 2026

Termíny zápisu do studia

První předloženo

První předloženo

Datum, kdy zadavatel studie nebo zkoušející poprvé předložil záznam studie na ClinicalTrials.gov. Mezi prvním odeslaným datem a dostupností záznamu na ClinicalTrials.gov (první zveřejněné datum) je obvykle několik dní.
9. září 2026

První předloženo, které splnilo kritéria kontroly kvality

První předloženo, které splnilo kritéria kontroly kvality

Datum, kdy zadavatel studie nebo zkoušející poprvé předloží záznam studie, který je v souladu s kritérii kontroly kvality (QC) Národní lékařské knihovny (NLM). Sponzor nebo zkoušející může potřebovat revidovat a předložit záznam studie jednou nebo vícekrát, než budou splněna kritéria kontroly kontroly kvality NLM. Je odpovědností sponzora nebo zkoušejícího zajistit, aby byl záznam studie v souladu s kritérii kontroly kontroly kvality NLM.
29. října 2026

První zveřejněno (Aktuální)

První zveřejněno

Datum, kdy byl záznam studie poprvé k dispozici na webu ClinicalTrials.gov poté, co byla dokončena kontrola kontroly kvality (QC) National Library of Medicine (NLM). Mezi datem, kdy zadavatel studie nebo zkoušející předložil záznam studie, a prvním zveřejněným datem je typicky několik dní zpoždění.
3. listopadu 2026

Aktualizace studijních záznamů

Poslední zveřejněná aktualizace (Aktuální)

Poslední zveřejněná aktualizace

Nejnovější datum, kdy byly změny záznamu studie zpřístupněny na ClinicalTrials.gov. Mezi okamžikem, kdy byly změny odeslány na ClinicalTrials.gov sponzorem nebo zkoušejícím studie (datum poslední předložení aktualizace), a datem zveřejnění poslední aktualizace může nastat zpoždění.
3. listopadu 2026

Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality

Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality

Nejnovější datum, kdy zadavatel studie nebo zkoušející předložil změny záznamu studie, které jsou v souladu s kritérii kontroly kvality (QC) National Library of Medicine (NLM). Je odpovědností sponzora nebo zkoušejícího zajistit, aby byl záznam studie v souladu s kritérii kontroly kontroly kvality NLM.
29. října 2026

Naposledy ověřeno

Naposledy ověřeno

Nejnovější datum, kdy zadavatel studie nebo zkoušející potvrdil informace o klinické studii na webu ClinicalTrials.gov jako přesné a aktuální. Pokud jde o studii s náborovým statusem náboru; ještě nenabírá nábor; nebo aktivní, nebyl nábor potvrzen během posledních 2 let, status náboru studie je uveden jako neznámý.
1. října 2026

Více informací

Termíny související s touto studií

Klíčová slova

Další identifikační čísla studie

Další identifikační čísla studie

Identifikátory nebo ID čísla jiná než číslo NCT, které klinické studii přiděluje zadavatel studie, financující subjekty nebo jiní. Tato čísla mohou zahrnovat jedinečné identifikátory z jiných registrů studií a čísla grantů National Institutes of Health.
  • LiGHT-26-02
  • INV-076674 (Jiné číslo grantu/financování: BILL and Melinda gates foundation)

Plán pro data jednotlivých účastníků (IPD)

Plánujete sdílet data jednotlivých účastníků (IPD)?

ANO

Popis plánu IPD

We will share IPD within 12 months of study completion.

Časový rámec sdílení IPD

IPD information will be shared within 12 months of study completion.

Kritéria přístupu pro sdílení IPD

Will be confirmed within 12 months of study completion

Typ podpůrných informací pro sdílení IPD

  • PROTOKOL STUDY

Informace o lécích a zařízeních, studijní dokumenty

Studuje lékový produkt regulovaný americkým FDA

Ne

Studuje produkt zařízení regulovaný americkým úřadem FDA

Ne

Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .

Nastavení souborů cookie

Používáme cookies, abychom zajistili, že vám poskytneme nejlepší zážitek z našich webových stránek. Pro více informací si pečlivě přečtěte naše Zásady ochrany osobních údajů a cookies. ...>>>Svou preference můžete kdykoli změnit nebo svůj souhlas odvolat odstraněním cookies z vašeho webu nebo počítače, jak je popsáno v zásadách. Přijměte to a vyberte své předvolby zaškrtnutím příslušných polí v části „Správa nastavení“ níže. Než budete pokračovat v používání jakékoli části tohoto webu, pozorně si prosím přečtěte naše Podmínky služby.
«Spravovat nastavení