Esta página foi traduzida automaticamente e a precisão da tradução não é garantida. Por favor, consulte o versão em inglês para um texto fonte.

Massive Online Open Validation and Evaluation of Large Language Models for Resource Constrained Settings - a Study of Contextual Awareness, Safety, and Accuracy (SilentMOOVE)

29 de outubro de 2026 atualizado por: Rita Szekely, Ecole Polytechnique Fédérale de Lausanne

Healthcare settings in low and middle income countries, clinicians are frequently required to manage a wide range of acute conditions under the constraints of time pressure, limited diagnostic resources, and variable availability of up-to-date clinical guidelines. Large language models (LLMs), which can synthesize and generate medical information in a natural language, have been proposed as potential clinical decision support tools. Most evaluations of LLMs in medicine have relied on standardized benchmark examinations or hypothetical case vignettes, often derived from high-income country contexts. MOOVE (Massive online open validation and evaluation) framework was developed to address the need for rigorous and context-sensitive evaluation of LLMs through a staged approach.

Study is a non-interventional, prospective study designed to test LLMs safely in real clinical settings, evaluate their performance against human care, and explore how feasible their future implementation in healthcare might be.

Visão geral do estudo

Status

Status

Indica o status de recrutamento atual ou o status de acesso expandido.
Recrutamento

Condições

Condições

A doença, distúrbio, síndrome, doença ou lesão que está sendo estudada. Em ClinicalTrials.gov, as condições também podem incluir outros problemas relacionados à saúde, como expectativa de vida, qualidade de vida e riscos à saúde.

Intervenção / Tratamento

Intervenção / Tratamento

Um processo ou ação que é o foco de um estudo clínico. As intervenções incluem medicamentos, dispositivos médicos, procedimentos, vacinas e outros produtos em fase de investigação ou já disponíveis. As intervenções também podem incluir abordagens não invasivas, como educação ou modificação da dieta e exercícios.

Descrição detalhada

SilentMOOVE (Silent massive online open validation and evaluation) phase of the MOOVE project, which represents the intermediate step between previous hypothetical testing study and future interventional trial. In silentMOOVE, patients are prospectively recruited during routine clinical care in participating outpatient health facilities. Clinical and demographic data collected during consultations are used to prompt LLMs retrospectively without influencing patient care. The routine diagnosis and care plan of the treating clinicians (human care plan) are also captured. LLM outputs are subsequently evaluated by a panel of independent clinical experts against the human care plan as a comparator. Patient clinical outcomes are collected on 7 and 28 days after enrolment to establish a baseline and to be used in the evaluation of LLMs.

The rationale for this study is to generate robust, prospective evidence on the safety and performance of LLMs in real-world clinical contexts, while minimizing risk to participants by fully separating model evaluation from clinical decision-making.

Study also provides the opportunity to assess the usability and gather early insights on implementation readiness of the LLM prompting interface. For this reason, besides evaluating the performance and safety of various LLMs, this study includes an implementation feasibility component. These activities are needed to better understand the context and any amelioration needed before future implementation in healthcare settings. Learnings from the implementation feasibility research will be shared among countries, especially applicable within a given use case. Implementation feasibility research will be grounded in artificial intelligence in healthcare implementation frameworks and other Implementation science frameworks Primary objectives

  1. To evaluate the overall performance profile of LLMs on real-world clinical scenarios using the human care plan as a comparator
  2. To assess whether each LLM being evaluated is not inferior to the human comparator with respect to safety on real-world clinical scenarios, based on structured retrospective assessment of model- and human-generated care plans.

Implementation feasibility research objectives

  1. Assess clinician experience with the LLM prompting interface: ease of use, time burden, and alignment with clinical workflow.
  2. Gather clinician impressions of LLM output disclosed and reviewed post-consultation: clarity, relevance, perceived safety, alignment with local clinical guidelines, and trust in LLM outputs.
  3. Facilitators and Barriers to Future Implementation: Identify site-level infrastructure, staff capacity, and organizational readiness factors that may support or hinder future implementation of LLM feedback in real-time

Tipo de estudo

Tipo de estudo

Descreve a natureza de um estudo clínico. Os tipos de estudo incluem estudos intervencionais (também chamados de ensaios clínicos), estudos observacionais (incluindo registros de pacientes) e acesso expandido.
Observacional

Inscrição (Estimado)

Inscrição

O número de participantes em um estudo clínico. A inscrição "antecipada" é o número alvo de participantes que os pesquisadores precisam para o estudo.
3000

Contactos e Locais

Esta seção fornece os detalhes de contato para aqueles que conduzem o estudo e informações sobre onde este estudo está sendo realizado.

Contato de estudo

Contato de estudo

O nome e as informações de contato da pessoa que pode responder às perguntas de inscrição para um estudo clínico. Cada local onde o estudo está sendo realizado também pode ter um contato específico, que pode responder melhor a essas perguntas.

Estude backup de contato

Locais de estudo

  • Malauí
    • Blantyre
      • Blantyre, Blantyre, Malauí, 303
        • Recrutamento
        • Malawi University of Business and Applied Sciences (MUBAS)
        • Contato:
        • Investigador principal:
          • Chiyembekezo Kachimanga
  • Quênia
    • Nairobi County
      • Nairobi, Nairobi County, Quênia, 19676
        • Ainda não está recrutando
        • University of Nairobi College of health sciences
        • Contato:
        • Investigador principal:
          • Paul Macharia
  • Tanzânia
    • Dar es Salaam Region
      • Dar es Salaam, Dar es Salaam Region, Tanzânia
        • Ainda não está recrutando
        • Muhimbili University of Health and Allied Sciences (MUHAS)
        • Contato:
        • Investigador principal:
          • Hendry R Sawe
    • Dodoma
      • Dodoma, Dodoma, Tanzânia
        • Recrutamento
        • Ifakara Health Institute (IHI)
        • Contato:
        • Investigador principal:
          • Grace Mhalu

Critérios de participação

Os pesquisadores procuram pessoas que se encaixem em uma determinada descrição, chamada de critérios de elegibilidade. Alguns exemplos desses critérios são a condição geral de saúde de uma pessoa ou tratamentos anteriores.

Critérios de elegibilidade

Critérios de elegibilidade

Os principais requisitos que as pessoas que desejam participar de um estudo clínico devem atender ou as características que devem ter. Os critérios de elegibilidade consistem em critérios de inclusão (que são necessários para que uma pessoa participe do estudo) e critérios de exclusão (que impedem uma pessoa de participar). Tipos de critérios de elegibilidade incluem se um estudo aceita voluntários saudáveis, tem requisitos de idade ou faixa etária ou é limitado por sexo.

Idades elegíveis para estudo

Não mais velho que 1 dia (Filho)

Aceita Voluntários Saudáveis

Não

Gêneros Elegíveis para o Estudo

Tudo

Método de amostragem

Amostra Não Probabilística

População do estudo

The study population consists of patients of any age presenting to participating health facilities for a distinct care-seeking episode related to a clinical condition within the defined use case (e.g. primary care, emergency care).

Both adult and pediatric patients are eligible, reflecting the real-world case mix of the participating facilities.

Descrição

Inclusion Criteria:

  • Presentation at a participating facility for a distinct care seeking episode related to a clinical condition.
  • Use case specific inclusion criteria
  • Willing and able to provide written informed consent.

Exclusion Criteria:

  • Prolonged care-seeking episode.
  • Previously enrolled in the same study.
  • Use case specific exclusion criteria
  • Immediate life-threatening condition requiring emergency intervention precluding study procedures.

Plano de estudo

Esta seção fornece detalhes do plano de estudo, incluindo como o estudo é projetado e o que o estudo está medindo.

Como o estudo é projetado?

Detalhes do projeto

  • Modelos de observação: COHORT
  • Perspectivas de Tempo: PROSPECTIVE

Coortes e Intervenções

Grupo / Coorte

Grupo / Coorte

Um grupo ou subgrupo de participantes em um estudo observacional que é avaliado quanto a resultados biomédicos ou de saúde.
Intervenção / Tratamento

Intervenção / Tratamento

Um processo ou ação que é o foco de um estudo clínico. As intervenções incluem medicamentos, dispositivos médicos, procedimentos, vacinas e outros produtos em fase de investigação ou já disponíveis. As intervenções também podem incluir abordagens não invasivas, como educação ou modificação da dieta e exercícios.
Non interventional study

Non interventional study
Outro: Non interventional study

Non interventional study

O que o estudo está medindo?

Medidas de resultados primários

Medidas de resultados primários

No protocolo de um estudo clínico, a medida de resultado planejada que é a mais importante para avaliar o efeito de uma intervenção/tratamento. A maioria dos estudos clínicos tem uma medida de desfecho primário, mas alguns têm mais de uma.
Medida de resultado
Descrição da medida
Prazo
Performance Scores
Prazo: Day 0

Scoring is between -2 to +2 where '-2' means minimum, and '-2' means maximum. Score to be >0. Higher score means better outcome.
Day 0
Safety performance threshold achievement
Prazo: 'Day 7' and 'Day 28'

The mean safety score (minimum is -2 and maximum is +2) is formally compared between each LLM and the human comparator to assess non-inferiority within a UCA (use case appendix) dependent pre-specified margin.
'Day 7' and 'Day 28'

Medidas de resultados secundários

Medidas de resultados secundários

No protocolo de um estudo clínico, uma medida de resultado planejada que não é tão importante quanto a medida de resultado primária para avaliar o efeito de uma intervenção, mas ainda é de interesse. A maioria dos estudos clínicos tem mais de uma medida de desfecho secundário.
Medida de resultado
Descrição da medida
Prazo
Implementation Feasibility Research
Prazo: week 4 until study completion

Usability: Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians; evaluation methods will be used
week 4 until study completion
Implementation Feasibility Research
Prazo: week 4 until study completion

Workflow integration feasibility: This will be evaluated using semi structured interviews and questionnaires
week 4 until study completion
Implementation Feasibility Research
Prazo: week 4 until study completion

Acceptability and perceived trust: This will be evaluated with Quantitative scoring rubric for clinicians; semi-structured interviews with clinicians
week 4 until study completion
Implementation Feasibility Research
Prazo: week 4 until study completion

Implementation facilitators and barriers: This will be evaluated using semi-structured interviews and questionnaires
week 4 until study completion

Colaboradores e Investigadores

É aqui que você encontrará pessoas e organizações envolvidas com este estudo.

Patrocinador

Patrocinador

A organização ou pessoa que inicia o estudo e que tem autoridade e controle sobre o estudo.
Ecole Polytechnique Fédérale de Lausanne

Colaboradores

Colaboradores

Uma organização diferente do patrocinador que fornece suporte para um estudo clínico. Esse apoio pode incluir atividades relacionadas a financiamento, projeto, implementação, análise de dados ou relatórios.
Ifakara Health Institute
Muhimbili University of Health and Allied Sciences
University of Nairobi, Kenya
Malawi University of Business and Applied Sciences (MUBAS) WASHTED Centre

Investigadores

Investigadores

Um pesquisador envolvido em um estudo clínico. Os termos relacionados incluem investigador principal do centro, subinvestigador do centro, coordenador do estudo, diretor do estudo e investigador principal do estudo.
  • Investigador principal: Mary-Anne Hartley, LIGHT

Publicações e links úteis

A pessoa responsável por inserir informações sobre o estudo fornece voluntariamente essas publicações. Estes podem ser sobre qualquer coisa relacionada ao estudo.

Publicações Gerais

  • 1. Arora RK, Wei J, Hicks RS, Bowman P, et al. HealthBench: Evaluating Large Language Models Towards Improved Human Health. Preprint [Under Review]. 2025. 2. Burnell R, Schellaert W, Burden J, Ullman TD, Martinez-Plumed F, Tenenbaum JB, et al. Rethink reporting of evaluation results in AI. Science. 2023;380: 136-138. doi:10.1126/SCIENCE.ADF6369. 3. Hager P, Jungmann F, Holland R, Bhagat K, Hubrecht I, Knauer M, et al. Evaluation and mitigation of the limitations of large language models in clinical decision-making. Nature Medicine 2024 30:9. 2024;30: 2613-2622. doi:10.1038/s41591-024-03097-1. 4. Singhal, K., Azizi, S., Tu, T., Mahdavi, S. S., Wei, J., Chung, H. W., et al. (2023). Large language models encode clinical knowledge. Nature, 620(7972), 172-180. https://doi.org/10.1038/s41586-023-06291-2 5. WHO. Towards the Development of guidance on ethics and governance of artificial intelligence for health. 2019. 6. Azad TD, Krumholz HM, Saria S. Principles to guide clinical AI readiness and move from benchmarks to real-world evaluation. Nature Medicine. 2026;32:802-804. doi:10.1038/s41591-025-04198-1 7. Declaration of Helsinki https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects 8. European Parliament and Council of the European Union, 2016. Regulation (EU) 2016/679 (General Data Protection Regulation). Official Journal of the European Union, L119, pp.1-88. 9. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH), 2016. Integrated Addendum to ICH E6(R1): Guideline for Good Clinical Practice E6(R2). Step 4, 9 November 2016. 10. U.S. Food and Drug Administration. 21 CFR Part 11-Electronic Records; Electronic Signatures. Code of Federal Regulations. Title 21, Part 11. Revised 2024.

Datas de registro do estudo

Essas datas acompanham o progresso do registro do estudo e os envios de resumo dos resultados para ClinicalTrials.gov. Os registros do estudo e os resultados relatados são revisados ​​pela National Library of Medicine (NLM) para garantir que atendam aos padrões específicos de controle de qualidade antes de serem publicados no site público.

Datas Principais do Estudo

Início do estudo (Real)

Início do estudo

A data real em que o primeiro participante foi inscrito em um estudo clínico. A data de início do estudo "antecipada" é a data que os pesquisadores acham que será a data de início do estudo.
31 de agosto de 2026

Conclusão Primária (Estimado)

Conclusão Primária

A data em que o último participante de um estudo clínico foi examinado ou recebeu uma intervenção para coletar dados finais para a medida de resultado primário. Se o estudo clínico terminou de acordo com o protocolo ou foi encerrado, não afeta esta data. Para estudos clínicos com mais de uma medida de resultado primário com diferentes datas de conclusão, este termo refere-se à data em que a coleta de dados é concluída para todas as medidas de resultado primário. A data de conclusão primária "antecipada" é a data que os pesquisadores acham que será a data de conclusão primária do estudo.
31 de dezembro de 2026

Conclusão do estudo (Estimado)

Conclusão do estudo

A data em que o último participante de um estudo clínico foi examinado ou recebeu uma intervenção/tratamento para coletar dados finais para as medidas de resultado primário, medidas de resultado secundário e eventos adversos (ou seja, a última visita do último participante). A data "prevista" de conclusão do estudo é a data que os pesquisadores acham que será a data de conclusão do estudo.
31 de dezembro de 2026

Datas de inscrição no estudo

Enviado pela primeira vez

Enviado pela primeira vez

A data em que o patrocinador ou investigador do estudo enviou pela primeira vez um registro do estudo para ClinicalTrials.gov. Normalmente, há um atraso de alguns dias entre a primeira data de envio e a disponibilidade do registro em ClinicalTrials.gov (a primeira data publicada).
9 de setembro de 2026

Enviado pela primeira vez que atendeu aos critérios de CQ

Enviado pela primeira vez que atendeu aos critérios de CQ

A data em que o patrocinador ou investigador do estudo envia pela primeira vez um registro do estudo que seja consistente com os critérios de revisão do controle de qualidade (QC) da National Library of Medicine (NLM). O patrocinador ou investigador pode precisar revisar e enviar um registro de estudo uma ou mais vezes antes que os critérios de revisão de QC do NLM sejam atendidos. É responsabilidade do patrocinador ou investigador garantir que o registro do estudo seja consistente com os critérios de revisão do NLM QC.
29 de outubro de 2026

Primeira postagem (Real)

Primeira postagem

A data em que o registro do estudo foi disponibilizado pela primeira vez em ClinicalTrials.gov após a conclusão da revisão do controle de qualidade (QC) da National Library of Medicine (NLM). Normalmente, há um atraso de alguns dias entre a data em que o patrocinador ou investigador do estudo enviou o registro do estudo e a primeira data publicada.
3 de novembro de 2026

Atualizações de registro de estudo

Última Atualização Postada (Real)

Última Atualização Postada

A data mais recente em que as alterações em um registro de estudo foram disponibilizadas em ClinicalTrials.gov. Pode haver um atraso entre o momento em que as alterações foram enviadas ao ClinicalTrials.gov pelo patrocinador ou investigador do estudo (a última data de envio de atualização) e a data de publicação da última atualização.
3 de novembro de 2026

Última atualização enviada que atendeu aos critérios de controle de qualidade

Última atualização enviada que atendeu aos critérios de controle de qualidade

A data mais recente em que o patrocinador ou investigador do estudo enviou alterações em um registro do estudo que são consistentes com os critérios de revisão do controle de qualidade (QC) da National Library of Medicine (NLM). É responsabilidade do patrocinador ou investigador garantir que o registro do estudo seja consistente com os critérios de revisão do NLM QC.
29 de outubro de 2026

Última verificação

Última verificação

A data mais recente em que o patrocinador ou investigador do estudo confirmou as informações sobre um estudo clínico no ClinicalTrials.gov como precisas e atuais. Se um estudo com status de recrutamento de recrutamento; ainda não está recrutando; ou ativo, não recrutando não foi confirmado nos últimos 2 anos, o status de recrutamento do estudo é mostrado como desconhecido.
1 de outubro de 2026

Mais Informações

Termos relacionados a este estudo

Palavras-chave

Outros números de identificação do estudo

Outros números de identificação do estudo

Identificadores ou números de identificação diferentes do número NCT que são atribuídos a um estudo clínico pelo patrocinador, financiadores ou outros do estudo. Esses números podem incluir identificadores exclusivos de outros registros de ensaios e números de concessão do National Institutes of Health.
  • LiGHT-26-02
  • INV-076674 (Número de outro subsídio/financiamento: BILL and Melinda gates foundation)

Plano para dados de participantes individuais (IPD)

Planeja compartilhar dados de participantes individuais (IPD)?

SIM

Descrição do plano IPD

We will share IPD within 12 months of study completion.

Prazo de Compartilhamento de IPD

IPD information will be shared within 12 months of study completion.

Critérios de acesso de compartilhamento IPD

Will be confirmed within 12 months of study completion

Tipo de informação de suporte de compartilhamento de IPD

  • PROTOCOLO DE ESTUDO

Informações sobre medicamentos e dispositivos, documentos de estudo

Estuda um medicamento regulamentado pela FDA dos EUA

Não

Estuda um produto de dispositivo regulamentado pela FDA dos EUA

Não

Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .

Configurações de cookies

Usamos cookies para garantir que oferecemos a melhor experiência em nosso site. Para obter mais detalhes, leia com atenção nossa Política de Privacidade e Cookies. ...>>>Você pode alterar suas preferências ou retirar seu consentimento a qualquer momento, excluindo os cookies do seu site ou computador, conforme descrito na política. Aceite-o e escolha suas preferências marcando as caixas correspondentes na seção "Gerenciar configurações" abaixo. Leia atentamente nossos Termos de Serviço antes de continuar a usar qualquer parte deste site.
«Gerenciar configurações