Questões de Múltiplas Verdadeiras/Falsas Geradas por Inteligência Artificial vs Desenvolvidas por Académicos na Educação em Anestesiologia
Comparação de Questões Múltiplas Verdadeiro/Falso Geradas por Inteligência Artificial e Desenvolvidas por Académicos em Educação em Anestesiologia: Um Estudo de Coorte Prospectivo
Este estudo observacional prospetivo visa avaliar a eficácia e o valor educativo de perguntas de múltipla verdadeira/falsa geradas por inteligência artificial (IA), em comparação com as desenvolvidas por académicos experientes na formação em anestesiologia.
Um total de 27 residentes de anestesiologia serão incluídos no estudo. Conjuntos de perguntas constituídos por 200 itens de múltipla verdadeira/falsa serão criados, sendo metade gerada por académicos e a outra metade gerada através de um modelo de inteligência artificial (sistema baseado no ChatGPT). As perguntas basear-se-ão em materiais educativos padronizados do currículo de formação em anestesiologia.
Os participantes realizarão o teste numa única sessão. Cada resposta correta será pontuada como um ponto, e as pontuações totais serão calculadas. Além do desempenho no teste, serão analisadas a dificuldade dos itens, os índices de discriminação e a fiabilidade do teste. Adicionalmente, serão avaliadas as perceções dos participantes quanto à qualidade das perguntas.
O estudo visa determinar se as perguntas geradas por IA podem constituir uma alternativa fiável e eficaz aos métodos tradicionais de desenvolvimento de perguntas na educação médica e contribuir para processos de avaliação mais objetivos e padronizados.
Visão geral do estudo
Status
Descrição detalhada
Este estudo de coorte observacional prospetivo de centro único foi concebido para avaliar a eficácia, fiabilidade e valor educativo das perguntas de múltipla verdade/falsidade (MTF) geradas por inteligência artificial (IA) em comparação com as desenvolvidas por académicos experientes na formação em anestesiologia.
O estudo será realizado no Departamento de Anestesiologia e Reanimação da Universidade de Ciências da Saúde de Kütahya. Um total de 27 residentes de anestesiologia serão incluídos e categorizados em dois grupos com base no seu nível de formação: residentes juniores (≤2,5 anos de formação) e residentes seniores (>2,5 anos de formação).
Um total de 200 perguntas MTF serão desenvolvidas com base em materiais educativos padronizados de anestesiologia. Metade das perguntas (n=100) serão preparadas por académicos experientes, enquanto a restante metade (n=100) será gerada utilizando um modelo de inteligência artificial (sistema baseado em ChatGPT). Todas as perguntas serão estruturadas de acordo com critérios pré-definidos, incluindo nível de dificuldade (fácil, moderado, difícil), relevância clínica e adequação educativa.
Os participantes completarão os conjuntos de perguntas numa única sessão sob condições padronizadas. Cada resposta correta será pontuada com 1 ponto, e as respostas incorretas serão pontuadas com 0. As pontuações totais do teste serão calculadas para cada participante.
Será realizada uma análise de itens para avaliar as propriedades psicométricas das perguntas. Serão calculados o índice de dificuldade do item, o índice de discriminação do item e a fiabilidade geral do teste. Adicionalmente, a qualidade percecionada das perguntas será avaliada utilizando o feedback dos participantes.
A análise estatística será realizada utilizando o software SPSS. A distribuição das variáveis será avaliada, e serão utilizados testes paramétricos ou não paramétricos apropriados, conforme o caso. Serão realizadas comparações entre grupos (residentes juniores vs. seniores) e entre fontes de perguntas (geradas por IA vs. desenvolvidas por académicos). Um valor de p <0,05 será considerado estatisticamente significativo.
O estudo não envolve qualquer intervenção clínica, administração de medicamentos ou procedimento invasivo. A participação é voluntária, e será obtido consentimento informado por escrito de todos os participantes. Todos os dados serão recolhidos anonimamente e utilizados exclusivamente para fins de investigação.
Espera-se que os resultados deste estudo forneçam informações sobre o potencial papel da inteligência artificial na educação médica, particularmente no desenvolvimento de ferramentas de avaliação, e possam contribuir para métodos de avaliação mais objetivos, padronizados e eficientes na formação em anestesiologia.
Tipo de estudo
Inscrição (Real)
Contactos e Locais
Locais de estudo
-
-
-
Kütahya, Turquia (Türkiye)
- Kutahya Health Sciences University
-
-
Critérios de participação
Critérios de elegibilidade
Idades elegíveis para estudo
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Método de amostragem
População do estudo
Descrição
Critérios de Inclusão:
- Ser residente de anestesiologia
- Participação voluntária no estudo
- Fornecer consentimento informado
Critérios de Exclusão:
- Recusa em participar
- Respostas incompletas aos testes
Plano de estudo
Como o estudo é projetado?
Detalhes do projeto
Coortes e Intervenções
Grupo / Coorte |
|---|
|
Perguntas Geradas por IA
Questões de verdadeiro/falso múltiplas geradas por um modelo de inteligência artificial
|
|
Questão Desenvolvida por Académico
Questões de verdadeiro/falso múltiplas preparadas por académicos experientes em anestesiologia.
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Índice de Dificuldade do Item para perguntas geradas por IA e elaboradas por especialistas
Prazo: Avaliado uma vez após a conclusão da sessão de exame única de 60 minutos de cada participante; a análise final dos itens realizada após todos os participantes completarem o exame, até 1 mês.
|
Para cada pergunta, o índice de dificuldade do item será calculado como a proporção de participantes que respondem corretamente ao item.
Os índices de dificuldade do item serão comparados entre as perguntas geradas por IA e as perguntas elaboradas por especialistas. |
Avaliado uma vez após a conclusão da sessão de exame única de 60 minutos de cada participante; a análise final dos itens realizada após todos os participantes completarem o exame, até 1 mês.
|
Colaboradores e Investigadores
Patrocinador
Publicações e links úteis
Publicações Gerais
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
Datas de registro do estudo
Datas Principais do Estudo
Início do estudo (Real)
Conclusão Primária (Real)
Conclusão do estudo (Real)
Datas de inscrição no estudo
Enviado pela primeira vez
Enviado pela primeira vez que atendeu aos critérios de CQ
Primeira postagem (Real)
Atualizações de registro de estudo
Última Atualização Postada (Real)
Última atualização enviada que atendeu aos critérios de controle de qualidade
Última verificação
Mais Informações
Termos relacionados a este estudo
Palavras-chave
Outros números de identificação do estudo
- E-41997688-050.99-212840
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .