O impacto dos grandes modelos de linguagem no raciocínio diagnóstico entre médicos
Visão geral do estudo
Descrição detalhada
Erros de diagnóstico são uma importante fonte de danos evitáveis ao paciente. Avanços recentes em Large Language Models (LLM), particularmente ChatGPT-4o, mostraram-se promissores na melhoria da tomada de decisões médicas. No entanto, pouco se sabe sobre o seu impacto no raciocínio diagnóstico dos médicos (por exemplo, médicos e cirurgiões).
A precisão do diagnóstico depende de um raciocínio clínico complexo e de uma avaliação cuidadosa dos dados do paciente. Embora a assistência da IA possa reduzir potencialmente os erros e melhorar a eficiência, o ChatGPT-4o carece de validação médica e pode introduzir novos riscos através da geração incorreta de informações (também conhecidas como alucinações). Para mitigar esses riscos, os médicos precisam de treinamento adequado para compreender as capacidades, limitações e uso adequado do ChatGPT-4o. Dadas estas incertezas e a importância de uma formação adequada em IA, a avaliação sistemática é essencial antes da implementação clínica.
Este estudo randomizado avaliará se o acesso ChatGPT-4o melhora o desempenho diagnóstico dos médicos em comparação com recursos convencionais (por exemplo, livros didáticos, bancos de dados médicos online) sozinhos. Todos os médicos participantes terão concluído pelo menos um programa de treinamento de 10 horas cobrindo o uso do ChatGPT-4o, técnicas de engenharia imediatas e estratégias de avaliação de resultados. Os participantes fornecerão diagnósticos diferenciais com evidências de apoio e próximos passos recomendados para casos clínicos, com respostas avaliadas por revisores cegos.
Tipo de estudo
Inscrição (Real)
Estágio
- Não aplicável
Contactos e Locais
Locais de estudo
-
-
Punjab
-
Lahore, Punjab, Paquistão, 54792
- Lahore University of Management Sciences
-
-
Critérios de participação
Critérios de elegibilidade
Idades elegíveis para estudo
- Filho
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Descrição
Critérios de inclusão:
- Praticantes médicos completos ou provisoriamente registrados no Conselho Médico e Odontológico do Paquistão (PMDC).
- Exame de Bacharelado em Medicina, Bacharelado em Cirurgia (MBBS) concluído. O grau equivalente de MBBS nos EUA e Canadá é chamado de Doutor em Medicina (MD).
- Os participantes devem ter concluído um programa de treinamento estruturado sobre o uso do ChatGPT (ou um modelo de linguagem comparável), totalizando pelo menos 10 horas de instrução. O programa deve incluir prática prática relacionada aos aspectos do LLM, especificamente engenharia imediata e avaliação de conteúdo.
Critérios de exclusão:
- Quaisquer outros médicos registrados (completos ou provisórios) no PMDC (por exemplo, profissionais com bacharelado em cirurgia dentária ou BDS).
Plano de estudo
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Diagnóstico
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Nenhum (rótulo aberto)
Armas e Intervenções
Grupo de Participantes / Braço |
Intervenção / Tratamento |
|---|---|
|
Comparador Ativo: Bate-papoGPT-4o
O grupo terá acesso ao ChatGPT-4o.
|
Modelo de linguagem grande ChatGPT-4o da OpenAI com interface de chat.
|
|
Sem intervenção: Recursos convencionais
O grupo não terá acesso ao ChatGPT-4o, mas será incentivado a usar quaisquer recursos que desejar, além de grandes modelos de linguagem (PubMed, Google sem visões gerais de IA, etc.).
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Raciocínio diagnóstico
Prazo: Avaliado em um único momento para cada caso, durante a sessão agendada de avaliação do raciocínio diagnóstico, que ocorre entre 0-4 dias após a inscrição do participante.
|
O resultado primário será a porcentagem correta para cada caso (intervalo: 0 a 100).
Para cada caso, serão solicitados aos participantes três diagnósticos principais, descobertas do caso que apoiam esse diagnóstico e descobertas do caso que se opõem a esse diagnóstico.
Para cada diagnóstico plausível, os participantes receberão 1 ponto.
Os resultados que apoiam o diagnóstico e os resultados que se opõem ao diagnóstico também serão classificados com base na correção, com 1 ponto para respostas parcialmente corretas e 2 pontos para respostas completamente corretas.
Os participantes serão então solicitados a nomear o seu diagnóstico principal, ganhando um ponto para uma resposta razoável e dois pontos para a resposta mais correta.
Finalmente, os participantes serão solicitados a nomear até 3 próximas etapas para avaliar melhor o paciente, com um ponto concedido para uma resposta parcialmente correta e dois pontos para uma resposta completamente correta.
O resultado primário será comparado em nível de caso pelos grupos randomizados.
|
Avaliado em um único momento para cada caso, durante a sessão agendada de avaliação do raciocínio diagnóstico, que ocorre entre 0-4 dias após a inscrição do participante.
|
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Tempo gasto no diagnóstico
Prazo: Avaliado em um único momento para cada caso, durante a sessão agendada de avaliação do raciocínio diagnóstico, que ocorre entre 0-4 dias após a inscrição do participante.
|
Compararemos quanto tempo (em segundos) os participantes gastam por caso entre os dois braços do estudo.
|
Avaliado em um único momento para cada caso, durante a sessão agendada de avaliação do raciocínio diagnóstico, que ocorre entre 0-4 dias após a inscrição do participante.
|
Colaboradores e Investigadores
Patrocinador
Colaboradores
Investigadores
- Investigador principal: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Investigador principal: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Investigador principal: Ayesha Ali, PhD, Lahore University of Management Sciences
Datas de registro do estudo
Datas Principais do Estudo
Início do estudo (Real)
Conclusão Primária (Real)
Conclusão do estudo (Real)
Datas de inscrição no estudo
Enviado pela primeira vez
Enviado pela primeira vez que atendeu aos critérios de CQ
Primeira postagem (Real)
Atualizações de registro de estudo
Última Atualização Postada (Real)
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última verificação
Mais Informações
Termos relacionados a este estudo
Termos MeSH relevantes adicionais
Outros números de identificação do estudo
- IRB-0342
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
produto fabricado e exportado dos EUA
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .