Avaliação e Desenvolvimento de Exames de IA vs Humano (Estudo AHEAD) (AHEAD)
Desempenho Psicométrico e Perceções dos Estudantes sobre o Desenvolvimento de Perguntas de Escolha Múltipla Geradas por IA versus por Humanos na Educação Médica: O Ensaio Controlado Aleatorizado AHEAD
O Ensaio de Avaliação e Desenvolvimento de Exames Inteligência Artificial (IA) vs Humano (AHEAD) é um ensaio controlado randomizado com participantes cegos realizado entre estudantes de medicina do primeiro ano da Universidade da Colúmbia Britânica. O estudo avalia se as questões de exame de escolha múltipla geradas utilizando modelos de linguagem de grande escala (LLMs) têm um desempenho comparável às questões tradicionalmente escritas por humanos na educação médica.
Os participantes foram randomizados para completar uma de duas versões de um exame simulado formativo final consistindo em 112 questões de escolha múltipla de resposta única baseadas em casos (MCQs) alinhadas com os mesmos objetivos de aprendizagem do curso. Uma versão do exame continha questões geradas por IA produzidas utilizando um fluxo de trabalho estruturado de LLM com verificação independente por IA, enquanto a outra continha questões elaboradas por estudantes de medicina seniores utilizando métodos convencionais.
O estudo avalia a viabilidade do exame, fiabilidade psicométrica, validade, aceitabilidade pelos estudantes e impacto educacional. Os resultados incluem desempenho no exame, índices de discriminação de itens, eficiência dos distratores, perceções dos estudantes sobre a qualidade e dificuldade do exame e mudanças na perceção de preparação para o exame sumativo seguinte.
Visão geral do estudo
Status
Condições
Intervenção / Tratamento
Descrição detalhada
O Ensaio AHEAD (Avaliação e Desenvolvimento de Exames por IA vs Humanos) é um ensaio controlado randomizado de centro único e cegado para os participantes, realizado entre estudantes do primeiro ano do Doutoramento em Medicina (MD) inscritos no curso Fundamentos da Prática Médica I (MEDD 411) da Universidade da Colúmbia Britânica.
Os participantes foram randomizados numa proporção de 1:1 para completar um exame simulado final gerado por IA ou um exame gerado por humanos. Ambos os exames consistiram em 112 questões de escolha múltipla de resposta única baseadas em casos (MCQs), alinhadas com os mesmos objetivos curriculares do MEDD 411.
As questões geradas por IA foram produzidas usando um fluxo de trabalho estruturado que envolvia o ChatGPT para a geração de questões e o Google Gemini para verificação independente. As questões geradas por humanos foram elaboradas por estudantes de medicina seniores sem assistência de IA e passaram por revisão independente por pares. Ambos os exames seguiram diretrizes de formatação idênticas e avaliaram os mesmos objetivos de aprendizagem.
Todos os participantes completaram inquéritos idênticos pré e pós-exame, avaliando características demográficas, familiaridade com a inteligência artificial na educação e perceções da experiência de exame. O estudo avalia a utilidade das avaliações geradas por IA usando o Quadro de Utilidade de Avaliação de van der Vleuten, incluindo viabilidade, fiabilidade, validade, aceitabilidade e impacto educativo.
O ensaio visa determinar se os modelos de linguagem de grande escala podem acelerar o desenvolvimento de exames médicos formativos, mantendo uma qualidade psicométrica e valor educativo comparáveis em relação às questões tradicionais elaboradas por humanos.
Tipo de estudo
Inscrição (Real)
Estágio
- Não aplicável
Contactos e Locais
Locais de estudo
-
-
British Columbia
-
Vancouver, British Columbia, Canadá, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Critérios de participação
Critérios de elegibilidade
Idades elegíveis para estudo
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Descrição
Critérios de Inclusão:
- Estudantes de medicina do primeiro ano inscritos no programa de graduação em MD da Universidade da Colúmbia Britânica.
- Podem consentir voluntariamente em participar no estudo formativo do exame simulado.
Critérios de Exclusão:
- Estudantes que recusaram participar.
- Estudantes que não completaram o exame simulado ou os questionários necessários.
Plano de estudo
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Outro
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Solteiro
Armas e Intervenções
Grupo de Participantes / Braço |
Intervenção / Tratamento |
|---|---|
|
Experimental: Exame de Escolha Múltipla Gerado por IA
Os participantes completaram um exame simulado de 112 itens com casos e resposta única, composto por perguntas de escolha múltipla geradas por IA.
As perguntas foram geradas através de um fluxo de trabalho estruturado com modelo de linguagem de grande escala, utilizando o ChatGPT-4 para a geração e o Google Gemini para validação independente.
|
Um exame simulado formativo composto por 112 perguntas de escolha múltipla baseadas em casos, geradas utilizando grandes modelos de linguagem alinhados com os objetivos de aprendizagem do curso.
|
|
Comparador Ativo: Exame de Escolha Múltipla Gerado por Humanos
Os participantes completaram um exame simulado com 112 itens de resposta única baseados em casos, composto por perguntas de escolha múltipla redigidas por estudantes de medicina seniores utilizando métodos tradicionais de escrita de itens e revisão por pares.
|
Um exame simulado formativo composto por 112 perguntas de escolha múltipla baseadas em casos, elaboradas por estudantes de medicina seniores utilizando métodos convencionais de construção de itens alinhados com os mesmos objetivos de aprendizagem do curso.
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Desempenho do estudante no exame simulado
Prazo: Imediatamente após a conclusão do exame simulado
|
Comparação das pontuações médias de exame entre estudantes randomizados para os exames simulados gerados por IA versus os gerados por humanos.
|
Imediatamente após a conclusão do exame simulado
|
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Índice de discriminação do item
Prazo: Imediatamente após a conclusão do exame simulado
|
Índice de discriminação ao nível do item que compara questões de escolha múltipla geradas por IA e geradas por humanos, representando a diferença na proporção de respostas corretas entre estudantes de alto desempenho e estudantes de baixo desempenho.
|
Imediatamente após a conclusão do exame simulado
|
|
Eficiência do distrator
Prazo: Imediatamente após a conclusão do exame simulado
|
Proporção de distratores selecionados por pelo menos 5% dos participantes, comparando perguntas geradas por IA e perguntas geradas por humanos.
|
Imediatamente após a conclusão do exame simulado
|
|
Qualidade e aceitabilidade do exame avaliadas pelos estudantes
Prazo: Imediatamente após a conclusão do exame simulado
|
Avaliações dos estudantes sobre a dificuldade do exame, clareza, relevância para o material do curso, adequação do tempo, qualidade das perguntas de escolha múltipla, compreensão dos conceitos clínicos, identificação de lacunas de conhecimento, retenção para futura prática clínica e preparação para o exame sumativo seguinte, medidos imediatamente após a conclusão do exame usando escalas de Likert de 10 pontos (1 = classificação mais baixa, 10 = classificação mais alta).
Para a maioria dos domínios, pontuações mais altas indicam maior endosso do constructo medido; para o item de dificuldade, pontuações mais altas indicam maior dificuldade percebida. |
Imediatamente após a conclusão do exame simulado
|
|
Rácio de eficiência do tempo de desenvolvimento de MCQ por objetivo de aprendizagem correspondente
Prazo: Baseline (antes do teste do participante)
|
O resultado mede a eficiência de desenvolvimento de questões de escolha múltipla (MCQs) geradas por inteligência artificial (IA) em comparação com as geradas por humanos.
O rácio de eficiência foi calculado como o tempo de desenvolvimento de MCQs geradas por humanos dividido pelo tempo de desenvolvimento de MCQs geradas por IA para objetivos de aprendizagem correspondentes.
|
Baseline (antes do teste do participante)
|
|
Alteração na perceção de preparação para o exame sumativo
Prazo: Antes e imediatamente após a conclusão do exame simulado
|
Variação entre o período pré-exame e pós-exame na autoavaliação da preparação para o exame sumativo seguinte, medida numa escala de Likert de 10 pontos (1 = nada preparado; 10 = extremamente preparado), em que pontuações mais elevadas indicam uma maior perceção de preparação.
|
Antes e imediatamente após a conclusão do exame simulado
|
Colaboradores e Investigadores
Patrocinador
Investigadores
- Investigador principal: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Datas de registro do estudo
Datas Principais do Estudo
Início do estudo (Real)
Conclusão Primária (Real)
Conclusão do estudo (Real)
Datas de inscrição no estudo
Enviado pela primeira vez
Enviado pela primeira vez que atendeu aos critérios de CQ
Primeira postagem (Real)
Atualizações de registro de estudo
Última Atualização Postada (Real)
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última verificação
Mais Informações
Termos relacionados a este estudo
Palavras-chave
Outros números de identificação do estudo
- Med_AHEAD_Trial
- H16-00044 (Outro identificador: University of British Columbia)
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
Descrição do plano IPD
Prazo de Compartilhamento de IPD
Critérios de acesso de compartilhamento IPD
Tipo de informação de suporte de compartilhamento de IPD
- PROTOCOLO DE ESTUDO
- SEIVA
- CIF
- CSR
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .