Raciocínio médico sobre casos de diagnóstico com grandes modelos de linguagem
Raciocínio diagnóstico com bots de bate-papo com modelos de linguagem grande
Visão geral do estudo
Descrição detalhada
As tecnologias de inteligência artificial (IA), especificamente modelos avançados de grandes linguagens como o ChatGPT da OpenAI, têm o potencial de melhorar a tomada de decisões médicas. Embora o ChatGPT-4 não tenha sido desenvolvido para uso em aplicações médicas específicas, ele demonstrou ser promissor em vários contextos de saúde, incluindo redação de notas médicas, atendimento de dúvidas de pacientes e facilitação de consultas médicas. No entanto, pouco se sabe sobre como o ChatGPT aumenta as habilidades de raciocínio clínico dos médicos.
O raciocínio clínico é um processo complexo que envolve reconhecimento de padrões, aplicação de conhecimento e raciocínio probabilístico. A integração de ferramentas de IA como o ChatGPT-4 nos fluxos de trabalho médicos poderia ajudar a reduzir a carga de trabalho dos médicos e diminuir a probabilidade de diagnósticos perdidos. Porém, o ChatGPT-4 não foi desenvolvido para fins de raciocínio clínico nem foi validado para esse fim. Além disso, pode estar sujeito a desinformação, incluindo confabulações convincentes que podem enganar os médicos. Se os médicos fizerem mau uso desta ferramenta, ela poderá não melhorar o raciocínio diagnóstico e poderá até causar danos. Portanto, é importante estudar como os médicos usam grandes modelos de linguagem para aumentar o raciocínio clínico antes da incorporação rotineira no atendimento ao paciente.
Neste estudo, iremos randomizar os participantes para responder casos diagnósticos com ou sem acesso ao ChatGPT-4. Os participantes serão solicitados a fornecer três diagnósticos diferenciais para cada caso, com resultados de apoio e opostos para cada diagnóstico. Além disso, eles serão solicitados a fornecer seu diagnóstico principal junto com as próximas etapas do diagnóstico. As respostas serão avaliadas por revisores independentes, cegos para a atribuição do tratamento.
Tipo de estudo
Inscrição (Real)
Estágio
- Não aplicável
Contactos e Locais
Locais de estudo
-
-
California
-
Palo Alto, California, Estados Unidos, 94304
- Stanford University
-
-
Critérios de participação
Critérios de elegibilidade
Idades elegíveis para estudo
- Filho
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Descrição
Critério de inclusão:
- Os participantes devem ser médicos licenciados e ter concluído pelo menos o ano 2 de pós-graduação (PGY2) de treinamento médico.
- Formação em medicina interna, medicina familiar ou medicina de emergência.
Critério de exclusão:
- Atualmente não pratica clinicamente.
Plano de estudo
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Diagnóstico
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Solteiro
Armas e Intervenções
Grupo de Participantes / Braço |
Intervenção / Tratamento |
|---|---|
|
Comparador Ativo: GPT-4
O grupo terá acesso ao GPT-4.
|
Modelo de linguagem grande GPT-4 da OpenAI com interface de chat.
|
|
Sem intervenção: Recursos habituais
O grupo não terá acesso ao GPT-4, mas será incentivado a usar quaisquer recursos que desejar, além de grandes modelos de linguagem (UpToDate, Dynamed, google, etc).
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Raciocínio diagnóstico
Prazo: Durante a avaliação
|
O resultado primário será a porcentagem correta (intervalo: 0 a 100) para cada caso.
Para cada caso, serão solicitados aos participantes três diagnósticos e descobertas principais do caso que apoiam esse diagnóstico e se opõem a esse diagnóstico.
Os participantes receberão 1 ponto para cada diagnóstico plausível.
Os resultados que apoiam o diagnóstico e os resultados que se opõem ao diagnóstico também serão classificados com base na correção, com 1 ponto para respostas parcialmente corretas e 2 pontos para respostas completamente corretas.
Os participantes serão então solicitados a nomear o seu diagnóstico principal, ganhando um ponto para uma resposta razoável e dois pontos para a resposta mais correta.
Finalmente, os participantes serão solicitados a nomear até 3 próximas etapas para avaliar melhor o paciente, com um ponto concedido para uma resposta parcialmente correta e dois pontos para uma resposta completamente correta.
O resultado primário será comparado em nível de caso pelos grupos randomizados.
|
Durante a avaliação
|
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Tempo gasto no diagnóstico
Prazo: Durante a avaliação
|
Compararemos quanto tempo (em minutos) os participantes gastam por caso entre os dois braços do estudo.
|
Durante a avaliação
|
Colaboradores e Investigadores
Patrocinador
Investigadores
- Investigador principal: Jonathan H Chen, MD, PhD, Stanford University
- Investigador principal: Adam Rodman, MD, Beth Israel Deaconess Medical Center
- Investigador principal: Andrew Olson, MD, University of Minnesota
Datas de registro do estudo
Datas Principais do Estudo
Início do estudo (Real)
Conclusão Primária (Real)
Conclusão do estudo (Real)
Datas de inscrição no estudo
Enviado pela primeira vez
Enviado pela primeira vez que atendeu aos critérios de CQ
Primeira postagem (Real)
Atualizações de registro de estudo
Última Atualização Postada (Real)
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última verificação
Mais Informações
Termos relacionados a este estudo
Termos MeSH relevantes adicionais
Outros números de identificação do estudo
- 71319
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .