Denne side blev automatisk oversat, og nøjagtigheden af ​​oversættelsen er ikke garanteret. Der henvises til engelsk version for en kildetekst.

Massive Online Open Validation and Evaluation of Large Language Models for Resource Constrained Settings - a Study of Contextual Awareness, Safety, and Accuracy (SilentMOOVE)

29. oktober 2026 opdateret af: Rita Szekely, Ecole Polytechnique Fédérale de Lausanne

Healthcare settings in low and middle income countries, clinicians are frequently required to manage a wide range of acute conditions under the constraints of time pressure, limited diagnostic resources, and variable availability of up-to-date clinical guidelines. Large language models (LLMs), which can synthesize and generate medical information in a natural language, have been proposed as potential clinical decision support tools. Most evaluations of LLMs in medicine have relied on standardized benchmark examinations or hypothetical case vignettes, often derived from high-income country contexts. MOOVE (Massive online open validation and evaluation) framework was developed to address the need for rigorous and context-sensitive evaluation of LLMs through a staged approach.

Study is a non-interventional, prospective study designed to test LLMs safely in real clinical settings, evaluate their performance against human care, and explore how feasible their future implementation in healthcare might be.

Studieoversigt

Status

Status

Angiver den aktuelle rekrutteringsstatus eller den udvidede adgangsstatus.
Rekruttering

Betingelser

Betingelser

Den sygdom, lidelse, syndrom, sygdom eller skade, der undersøges. På ClinicalTrials.gov kan tilstande også omfatte andre sundhedsrelaterede problemer, såsom levetid, livskvalitet og sundhedsrisici.

Intervention / Behandling

Intervention / Behandling

En proces eller handling, der er i fokus for en klinisk undersøgelse. Interventioner omfatter lægemidler, medicinsk udstyr, procedurer, vacciner og andre produkter, der enten er til undersøgelse eller allerede er tilgængelige. Interventioner kan også omfatte ikke-invasive tilgange, såsom uddannelse eller ændring af kost og motion.

Detaljeret beskrivelse

SilentMOOVE (Silent massive online open validation and evaluation) phase of the MOOVE project, which represents the intermediate step between previous hypothetical testing study and future interventional trial. In silentMOOVE, patients are prospectively recruited during routine clinical care in participating outpatient health facilities. Clinical and demographic data collected during consultations are used to prompt LLMs retrospectively without influencing patient care. The routine diagnosis and care plan of the treating clinicians (human care plan) are also captured. LLM outputs are subsequently evaluated by a panel of independent clinical experts against the human care plan as a comparator. Patient clinical outcomes are collected on 7 and 28 days after enrolment to establish a baseline and to be used in the evaluation of LLMs.

The rationale for this study is to generate robust, prospective evidence on the safety and performance of LLMs in real-world clinical contexts, while minimizing risk to participants by fully separating model evaluation from clinical decision-making.

Study also provides the opportunity to assess the usability and gather early insights on implementation readiness of the LLM prompting interface. For this reason, besides evaluating the performance and safety of various LLMs, this study includes an implementation feasibility component. These activities are needed to better understand the context and any amelioration needed before future implementation in healthcare settings. Learnings from the implementation feasibility research will be shared among countries, especially applicable within a given use case. Implementation feasibility research will be grounded in artificial intelligence in healthcare implementation frameworks and other Implementation science frameworks Primary objectives

  1. To evaluate the overall performance profile of LLMs on real-world clinical scenarios using the human care plan as a comparator
  2. To assess whether each LLM being evaluated is not inferior to the human comparator with respect to safety on real-world clinical scenarios, based on structured retrospective assessment of model- and human-generated care plans.

Implementation feasibility research objectives

  1. Assess clinician experience with the LLM prompting interface: ease of use, time burden, and alignment with clinical workflow.
  2. Gather clinician impressions of LLM output disclosed and reviewed post-consultation: clarity, relevance, perceived safety, alignment with local clinical guidelines, and trust in LLM outputs.
  3. Facilitators and Barriers to Future Implementation: Identify site-level infrastructure, staff capacity, and organizational readiness factors that may support or hinder future implementation of LLM feedback in real-time

Undersøgelsestype

Undersøgelsestype

Beskriver karakteren af ​​en klinisk undersøgelse. Undersøgelsestyper omfatter interventionelle undersøgelser (også kaldet kliniske forsøg), observationsundersøgelser (herunder patientregistre) og udvidet adgang.
Observationel

Tilmelding (Anslået)

Tilmelding

Antallet af deltagere i en klinisk undersøgelse. Den "forventede" tilmelding er det mål for antallet af deltagere, som forskerne skal bruge til undersøgelsen.
3000

Kontakter og lokationer

Dette afsnit indeholder kontaktoplysninger for dem, der udfører undersøgelsen, og oplysninger om, hvor denne undersøgelse udføres.

Studiekontakt

Studiekontakt

Navn og kontaktoplysninger for den person, der kan besvare spørgsmål om tilmelding til en klinisk undersøgelse. Hvert sted, hvor undersøgelsen udføres, kan også have en specifik kontaktperson, som kan være bedre i stand til at besvare disse spørgsmål.

Undersøgelse Kontakt Backup

Studiesteder

  • Kenya
    • Nairobi County
      • Nairobi, Nairobi County, Kenya, 19676
        • Ikke rekrutterer endnu
        • University of Nairobi College of health sciences
        • Kontakt:
        • Ledende efterforsker:
          • Paul Macharia
  • Malawi
    • Blantyre
      • Blantyre, Blantyre, Malawi, 303
        • Rekruttering
        • Malawi University of Business and Applied Sciences (MUBAS)
        • Kontakt:
        • Ledende efterforsker:
          • Chiyembekezo Kachimanga
  • Tanzania
    • Dar es Salaam Region
      • Dar es Salaam, Dar es Salaam Region, Tanzania
        • Ikke rekrutterer endnu
        • Muhimbili University of Health and Allied Sciences (MUHAS)
        • Kontakt:
        • Ledende efterforsker:
          • Hendry R Sawe
    • Dodoma
      • Dodoma, Dodoma, Tanzania
        • Rekruttering
        • Ifakara Health Institute (IHI)
        • Kontakt:
        • Ledende efterforsker:
          • Grace Mhalu

Deltagelseskriterier

Forskere leder efter personer, der passer til en bestemt beskrivelse, kaldet berettigelseskriterier. Nogle eksempler på disse kriterier er en persons generelle helbredstilstand eller tidligere behandlinger.

Berettigelseskriterier

Berettigelseskriterier

De nøglekrav, som personer, der ønsker at deltage i et klinisk studie, skal opfylde eller de egenskaber, de skal have. Kvalifikationskriterier består af både inklusionskriterier (som er nødvendige for at en person kan deltage i undersøgelsen) og eksklusionskriterier (som forhindrer en person i at deltage). Typer af berettigelseskriterier omfatter, om en undersøgelse accepterer raske frivillige, har alders- eller aldersgruppekrav eller er begrænset af køn.

Aldre berettiget til at studere

Ikke ældre end 1 dag (Barn)

Tager imod sunde frivillige

Ingen

Køn, der er berettiget til at studere

Alle

Prøveudtagningsmetode

Ikke-sandsynlighedsprøve

Studiebefolkning

The study population consists of patients of any age presenting to participating health facilities for a distinct care-seeking episode related to a clinical condition within the defined use case (e.g. primary care, emergency care).

Both adult and pediatric patients are eligible, reflecting the real-world case mix of the participating facilities.

Beskrivelse

Inclusion Criteria:

  • Presentation at a participating facility for a distinct care seeking episode related to a clinical condition.
  • Use case specific inclusion criteria
  • Willing and able to provide written informed consent.

Exclusion Criteria:

  • Prolonged care-seeking episode.
  • Previously enrolled in the same study.
  • Use case specific exclusion criteria
  • Immediate life-threatening condition requiring emergency intervention precluding study procedures.

Studieplan

Dette afsnit indeholder detaljer om studieplanen, herunder hvordan undersøgelsen er designet, og hvad undersøgelsen måler.

Hvordan er undersøgelsen tilrettelagt?

Design detaljer

  • Observationsmodeller: COHORT
  • Tidsperspektiver: PROSPECTIVE

Kohorter og interventioner

Gruppe / kohorte

Gruppe / kohorte

En gruppe eller undergruppe af deltagere i et observationsstudie, der vurderes for biomedicinske eller sundhedsmæssige resultater.
Intervention / Behandling

Intervention / Behandling

En proces eller handling, der er i fokus for en klinisk undersøgelse. Interventioner omfatter lægemidler, medicinsk udstyr, procedurer, vacciner og andre produkter, der enten er til undersøgelse eller allerede er tilgængelige. Interventioner kan også omfatte ikke-invasive tilgange, såsom uddannelse eller ændring af kost og motion.
Non interventional study

Non interventional study
Andet: Non interventional study

Non interventional study

Hvad måler undersøgelsen?

Primære resultatmål

Primære resultatmål

I et klinisk studies protokol er det planlagte resultatmål, der er det vigtigste for at evaluere effekten af ​​en intervention/behandling. De fleste kliniske undersøgelser har ét primært resultatmål, men nogle har mere end ét.
Resultatmål
Foranstaltningsbeskrivelse
Tidsramme
Performance Scores
Tidsramme: Day 0

Scoring is between -2 to +2 where '-2' means minimum, and '-2' means maximum. Score to be >0. Higher score means better outcome.
Day 0
Safety performance threshold achievement
Tidsramme: 'Day 7' and 'Day 28'

The mean safety score (minimum is -2 and maximum is +2) is formally compared between each LLM and the human comparator to assess non-inferiority within a UCA (use case appendix) dependent pre-specified margin.
'Day 7' and 'Day 28'

Sekundære resultatmål

Sekundære resultatmål

I en klinisk undersøgelses protokol er et planlagt resultatmål, der ikke er lige så vigtigt som det primære resultatmål for at evaluere effekten af ​​en intervention, men som stadig er af interesse. De fleste kliniske undersøgelser har mere end ét sekundært resultatmål.
Resultatmål
Foranstaltningsbeskrivelse
Tidsramme
Implementation Feasibility Research
Tidsramme: week 4 until study completion

Usability: Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians; evaluation methods will be used
week 4 until study completion
Implementation Feasibility Research
Tidsramme: week 4 until study completion

Workflow integration feasibility: This will be evaluated using semi structured interviews and questionnaires
week 4 until study completion
Implementation Feasibility Research
Tidsramme: week 4 until study completion

Acceptability and perceived trust: This will be evaluated with Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians
week 4 until study completion
Implementation Feasibility Research
Tidsramme: week 4 until study completion

Implementation facilitators and barriers: This will be evaluated using semi-structured interviews and questionnaires
week 4 until study completion

Samarbejdspartnere og efterforskere

Det er her, du vil finde personer og organisationer, der er involveret i denne undersøgelse.

Sponsor

Sponsor

Den organisation eller person, der igangsætter undersøgelsen, og som har myndighed og kontrol over undersøgelsen.
Ecole Polytechnique Fédérale de Lausanne

Samarbejdspartnere

Samarbejdspartnere

En anden organisation end sponsoren, der yder støtte til en klinisk undersøgelse. Denne støtte kan omfatte aktiviteter relateret til finansiering, design, implementering, dataanalyse eller rapportering.
Ifakara Health Institute
Muhimbili University of Health and Allied Sciences
University of Nairobi, Kenya
Malawi University of Business and Applied Sciences (MUBAS) WASHTED Centre

Efterforskere

Efterforskere

En forsker involveret i et klinisk studie. Beslægtede termer omfatter stedets principal investigator, site sub-investigator, studieformand, undersøgelsesleder og undersøgelseshovedinvestigator.
  • Ledende efterforsker: Mary-Anne Hartley, LIGHT

Publikationer og nyttige links

Den person, der er ansvarlig for at indtaste oplysninger om undersøgelsen, leverer frivilligt disse publikationer. Disse kan handle om alt relateret til undersøgelsen.

Generelle publikationer

  • 1. Arora RK, Wei J, Hicks RS, Bowman P, et al. HealthBench: Evaluating Large Language Models Towards Improved Human Health. Preprint [Under Review]. 2025. 2. Burnell R, Schellaert W, Burden J, Ullman TD, Martinez-Plumed F, Tenenbaum JB, et al. Rethink reporting of evaluation results in AI. Science. 2023;380: 136-138. doi:10.1126/SCIENCE.ADF6369. 3. Hager P, Jungmann F, Holland R, Bhagat K, Hubrecht I, Knauer M, et al. Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nature Medicine 2024 30:9. 2024;30: 2613-2622. doi:10.1038/s41591-024-03097-1. 4. Singhal, K., Azizi, S., Tu, T., Mahdavi, S. S., Wei, J., Chung, H. W., et al. (2023). Large language models encode clinical knowledge. Nature, 620(7972), 172-180. https://doi.org/10.1038/s41586-023-06291-2 5. WHO. Towards the Development of guidance on ethics and governance of artificial intelligence for health. 2019. 6. Azad TD, Krumholz HM, Saria S. Principles to guide clinical AI readiness and move from benchmarks to real-world evaluation. Nature Medicine. 2026;32:802-804. doi:10.1038/s41591-025-04198-1 7. Declaration of Helsinki https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects 8. European Parliament and Council of the European Union, 2016. Regulation (EU) 2016/679 (General Data Protection Regulation). Official Journal of the European Union, L119, pp.1-88. 9. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH), 2016. Integrated Addendum to ICH E6(R1): Guideline for Good Clinical Practice E6(R2). Step 4, 9 November 2016. 10. U.S. Food and Drug Administration. 21 CFR Part 11-Electronic Records; Electronic Signatures. Code of Federal Regulations. Title 21, Part 11. Revised 2024.

Datoer for undersøgelser

Disse datoer sporer fremskridtene for indsendelser af undersøgelsesrekord og resumeresultater til ClinicalTrials.gov. Studieregistreringer og rapporterede resultater gennemgås af National Library of Medicine (NLM) for at sikre, at de opfylder specifikke kvalitetskontrolstandarder, før de offentliggøres på den offentlige hjemmeside.

Studer store datoer

Studiestart (Faktiske)

Studiestart

Den faktiske dato, hvor den første deltager blev tilmeldt en klinisk undersøgelse. Den "forventede" undersøgelses startdato er den dato, som forskerne tror vil være undersøgelsens startdato.
31. august 2026

Primær færdiggørelse (Anslået)

Primær færdiggørelse

Den dato, hvor den sidste deltager i et klinisk studie blev undersøgt eller modtog en intervention for at indsamle endelige data for det primære resultatmål. Hvorvidt det kliniske studie sluttede i henhold til protokollen eller blev afsluttet, påvirker ikke denne dato. For kliniske undersøgelser med mere end ét primært resultatmål med forskellige afslutningsdatoer refererer dette udtryk til den dato, hvor dataindsamlingen er afsluttet for alle de primære resultatmål. Den "forventede" primære afslutningsdato er den dato, som forskerne tror vil være den primære afslutningsdato for undersøgelsen.
31. december 2026

Studieafslutning (Anslået)

Studieafslutning

Den dato, hvor den sidste deltager i et klinisk studie blev undersøgt eller modtog en intervention/behandling for at indsamle endelige data for de primære resultatmål, sekundære udfaldsmål og uønskede hændelser (det vil sige den sidste deltagers sidste besøg). Den "forventede" undersøgelses afslutningsdato er den dato, som forskerne tror vil være undersøgelsens afslutningsdato.
31. december 2026

Datoer for studieregistrering

Først indsendt

Først indsendt

Den dato, hvor undersøgelsens sponsor eller investigator første gang indsendte en undersøgelsespost til ClinicalTrials.gov. Der er typisk en forsinkelse på et par dage mellem den første indsendte dato og postens tilgængelighed på ClinicalTrials.gov (den første offentliggjorte dato).
9. september 2026

Først indsendt, der opfyldte QC-kriterier

Først indsendt, der opfyldte QC-kriterier

Den dato, hvor undersøgelsens sponsor eller investigator første gang indsender en undersøgelsespost, der er i overensstemmelse med National Library of Medicine (NLM) kvalitetskontrol (QC) gennemgangskriterier. Sponsoren eller investigatoren skal muligvis revidere og indsende en undersøgelsespost en eller flere gange, før NLM's kvalitetskontrolkriterier er opfyldt. Det er sponsorens eller investigatorens ansvar at sikre, at undersøgelsesposten er i overensstemmelse med NLM QC-gennemgangskriterierne.
29. oktober 2026

Først opslået (Faktiske)

Først opslået

Datoen, hvor undersøgelsesposten først var tilgængelig på ClinicalTrials.gov efter National Library of Medicine (NLM) kvalitetskontrol (QC) gennemgang er afsluttet. Der er typisk en forsinkelse på et par dage mellem den dato, hvor undersøgelsens sponsor eller investigator indsendte undersøgelsesposten, og den første offentliggjorte dato.
3. november 2026

Opdateringer af undersøgelsesjournaler

Sidste opdatering sendt (Faktiske)

Sidste opdatering sendt

Den seneste dato, hvor ændringer i en undersøgelsespost blev gjort tilgængelig på ClinicalTrials.gov. Der kan være en forsinkelse mellem det tidspunkt, hvornår ændringerne blev indsendt til ClinicalTrials.gov af undersøgelsens sponsor eller investigator (datoen for sidste opdatering afsendt) og den sidste opdatering, der blev sendt.
3. november 2026

Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier

Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier

Den seneste dato, hvor undersøgelsens sponsor eller investigator indsendte ændringer til en undersøgelsespost, der er i overensstemmelse med National Library of Medicine (NLM) kvalitetskontrol (QC) gennemgangskriterier. Det er sponsorens eller investigatorens ansvar at sikre, at undersøgelsesposten er i overensstemmelse med NLM QC-gennemgangskriterierne.
29. oktober 2026

Sidst verificeret

Sidst verificeret

Den seneste dato, hvor undersøgelsens sponsor eller investigator bekræftede oplysningerne om en klinisk undersøgelse på ClinicalTrials.gov som nøjagtige og aktuelle. Hvis en undersøgelse med rekrutteringsstatus som rekruttering; rekrutterer endnu ikke; eller aktiv, ikke rekruttering er ikke blevet bekræftet inden for de seneste 2 år, er undersøgelsens rekrutteringsstatus vist som ukendt.
1. oktober 2026

Mere information

Begreber relateret til denne undersøgelse

Nøgleord

Andre undersøgelses-id-numre

Andre undersøgelses-id-numre

Andre identifikatorer eller ID-numre end NCT-nummeret, der er tildelt til en klinisk undersøgelse af undersøgelsens sponsor, finansieringsgivere eller andre. Disse numre kan omfatte unikke identifikatorer fra andre forsøgsregistre og National Institutes of Health-bevillingsnumre.
  • LiGHT-26-02
  • INV-076674 (Andet bevillings-/finansieringsnummer: BILL and Melinda gates foundation)

Plan for individuelle deltagerdata (IPD)

Planlægger du at dele individuelle deltagerdata (IPD)?

JA

IPD-planbeskrivelse

We will share IPD within 12 months of study completion.

IPD-delingstidsramme

IPD information will be shared within 12 months of study completion.

IPD-delingsadgangskriterier

Will be confirmed within 12 months of study completion

IPD-deling Understøttende informationstype

  • STUDY_PROTOCOL

Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter

Studerer et amerikansk FDA-reguleret lægemiddelprodukt

Ingen

Studerer et amerikansk FDA-reguleret enhedsprodukt

Ingen

Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .

Cookieindstillinger

Vi bruger cookies for at sikre, at vi giver dig den bedste oplevelse på vores hjemmeside. For flere detaljer skal du læse omhyggeligt vores Politik om beskyttelse af personlige oplysninger og cookies. ...>>>Du kan når som helst ændre dine præferencer eller trække dit samtykke tilbage ved at slette cookies fra din hjemmeside eller computer som beskrevet i politikken. Accepter det og vælg dine præferencer ved at markere de tilsvarende felter i afsnittet "Administrer indstillinger" nedenfor. Læs vores servicevilkår omhyggeligt, inden du fortsætter med at bruge nogen del af dette websted.
«Administrer indstillinger