Interações de algoritmos humanos para diagnóstico de insuficiência respiratória aguda
17 de outubro de 2023 atualizado por: Michael Sjoding, University of Michigan
Medindo o impacto da IA no diagnóstico de pacientes hospitalizados: um estudo multicêntrico Vignette de pesquisa randomizada
A inteligência artificial (IA) mostra-se promissora na identificação de anormalidades em imagens clínicas. No entanto, modelos de IA sistematicamente tendenciosos, em que um modelo faz previsões imprecisas para subpopulações inteiras, podem levar a erros e potenciais danos. Quando são mostradas previsões incorretas de um modelo de IA, a precisão do diagnóstico clínico pode ser prejudicada. Este estudo tem como objetivo estudar a eficácia de fornecer aos médicos explicações de modelos de IA baseados em imagens quando fornecidas previsões de modelos de IA para ajudar os médicos a compreender melhor a lógica da previsão de um modelo de IA. Ele avaliará se fornecer aos médicos explicações sobre modelos de IA pode melhorar a precisão do diagnóstico e ajudar os médicos a detectar quando os modelos estão tomando decisões incorretas. Como caso de teste, o estudo se concentrará no diagnóstico de insuficiência respiratória aguda porque determinar as causas subjacentes da insuficiência respiratória aguda é extremamente importante para orientar as decisões de tratamento, mas pode ser clinicamente desafiador.
Para determinar se o fornecimento de explicações de IA pode melhorar a precisão do diagnóstico clínico e aliviar o impacto potencial de mostrar aos médicos um modelo de IA sistematicamente tendencioso, será realizado um estudo clínico randomizado de pesquisa de vinheta. Durante a pesquisa, serão mostrados aos participantes do estudo vinhetas clínicas de pacientes hospitalizados com insuficiência respiratória aguda, incluindo os sintomas apresentados pelo paciente, exame físico, resultados laboratoriais e radiografia de tórax. Os participantes do estudo serão então solicitados a avaliar a probabilidade de insuficiência cardíaca, pneumonia e/ou doença pulmonar obstrutiva crônica (DPOC) serem o diagnóstico subjacente. Durante vinhetas específicas da pesquisa, os participantes também verão modelos de IA padrão ou sistematicamente tendenciosos que fornecem uma estimativa da probabilidade de insuficiência cardíaca, pneumonia e/ou DPOC serem o diagnóstico subjacente. Os médicos serão randomizados para ver apenas as previsões de IA ou previsões de IA com explicações quando mostrados modelos de IA. Este desenho de pesquisa permitirá testar a hipótese de que modelos sistematicamente tendenciosos prejudicariam a precisão do diagnóstico clínico, mas explicações baseadas em imagens comumente usadas ajudariam os médicos a recuperar parcialmente seu desempenho.
Visão geral do estudo
Status
Concluído
Condições
Intervenção / Tratamento
Tipo de estudo
Intervencional
Inscrição (Real)
457
Estágio
- Não aplicável
Contactos e Locais
Esta seção fornece os detalhes de contato para aqueles que conduzem o estudo e informações sobre onde este estudo está sendo realizado.
Locais de estudo
-
-
Michigan
-
Ann Arbor, Michigan, Estados Unidos, 48103
- University of Michigan
-
-
Critérios de participação
Os pesquisadores procuram pessoas que se encaixem em uma determinada descrição, chamada de critérios de elegibilidade. Alguns exemplos desses critérios são a condição geral de saúde de uma pessoa ou tratamentos anteriores.
Critérios de elegibilidade
Idades elegíveis para estudo
- Adulto
- Adulto mais velho
Aceita Voluntários Saudáveis
Não
Descrição
Critério de inclusão:
- Médicos, enfermeiros e assistentes médicos que cuidam de pacientes com insuficiência respiratória aguda como parte de sua prática clínica
Critério de exclusão:
- Médicos, enfermeiros e assistentes médicos que prestam atendimento ao paciente apenas em ambiente ambulatorial
Plano de estudo
Esta seção fornece detalhes do plano de estudo, incluindo como o estudo é projetado e o que o estudo está medindo.
Como o estudo é projetado?
Detalhes do projeto
- Finalidade Principal: Outro
- Alocação: Randomizado
- Modelo Intervencional: Atribuição Paralela
- Mascaramento: Solteiro
Armas e Intervenções
Grupo de Participantes / Braço |
Intervenção / Tratamento |
|---|---|
|
Experimental: Modelo de IA tendencioso para insuficiência cardíaca, sem explicação de IA
Os participantes deste braço verão previsões de modelos de IA padrão durante três vinhetas clínicas de pacientes dentro da pesquisa e previsões de modelos de IA sistematicamente tendenciosas durante três vinhetas clínicas.
Quando mostradas previsões sistematicamente tendenciosas do modelo de IA, o modelo será tendencioso contra a insuficiência cardíaca, sempre prevendo que a insuficiência cardíaca está presente com alta probabilidade em pacientes com índice de massa corporal (IMC) igual ou superior a 30.
As previsões padrão serão mostradas para os outros 2 diagnósticos.
Os participantes deste braço não verão uma explicação de IA quando forem mostradas previsões do modelo de IA.
|
Durante 6 vinhetas clínicas, os participantes verão previsões do modelo de IA sem uma explicação de IA correspondente.
O modelo de IA fornecerá uma pontuação para cada diagnóstico (insuficiência cardíaca, pneumonia, DPOC) em uma escala de 0 a 100, estimando a probabilidade de a apresentação do paciente ser devida a cada um desses diagnósticos.
Em 3 das vinhetas clínicas, os participantes verão previsões do modelo de IA padrão e em 3 vinhetas serão mostradas previsões do modelo de IA sistematicamente tendenciosas, com o modelo especificamente tendencioso contra um dos três diagnósticos.
Em três vinhetas clínicas, os participantes verão previsões sistematicamente tendenciosas do modelo de IA, com o modelo especificamente tendencioso contra a insuficiência cardíaca, sempre prevendo que a insuficiência cardíaca está presente com alta probabilidade em pacientes da vinheta da pesquisa com índice de massa corporal (IMC) igual ou superior a 30.
As previsões padrão serão mostradas para os outros 2 diagnósticos (pneumonia, DPOC).
|
|
Experimental: Modelo de IA tendencioso para pneumonia, sem explicação de IA
Os participantes deste braço verão previsões de modelos de IA padrão durante três vinhetas clínicas de pacientes dentro da pesquisa e previsões de modelos de IA sistematicamente tendenciosas durante três vinhetas clínicas.
Quando mostradas previsões sistematicamente tendenciosas do modelo de IA, o modelo será tendencioso contra a pneumonia, sempre prevendo que a pneumonia está presente com alta probabilidade em pacientes com 80 anos ou mais.
As previsões padrão serão mostradas para os outros 2 diagnósticos.
Os participantes deste braço não verão uma explicação de IA quando forem mostradas previsões do modelo de IA.
|
Durante 6 vinhetas clínicas, os participantes verão previsões do modelo de IA sem uma explicação de IA correspondente.
O modelo de IA fornecerá uma pontuação para cada diagnóstico (insuficiência cardíaca, pneumonia, DPOC) em uma escala de 0 a 100, estimando a probabilidade de a apresentação do paciente ser devida a cada um desses diagnósticos.
Em 3 das vinhetas clínicas, os participantes verão previsões do modelo de IA padrão e em 3 vinhetas serão mostradas previsões do modelo de IA sistematicamente tendenciosas, com o modelo especificamente tendencioso contra um dos três diagnósticos.
Em três vinhetas clínicas, os participantes verão previsões sistematicamente tendenciosas do modelo de IA, com o modelo especificamente tendencioso contra a pneumonia, sempre prevendo que a pneumonia está presente com alta probabilidade em pacientes da vinheta da pesquisa com 80 anos ou mais.
As previsões padrão serão mostradas para os outros 2 diagnósticos (insuficiência cardíaca, DPOC).
|
|
Experimental: Modelo de IA tendencioso para DPOC, sem explicação de IA
Os participantes deste braço verão previsões de modelos de IA padrão durante três vinhetas clínicas de pacientes dentro da pesquisa e previsões de modelos de IA sistematicamente tendenciosas durante três vinhetas clínicas.
Quando mostradas previsões sistematicamente tendenciosas do modelo de IA, o modelo será tendencioso contra a DPOC, sempre prevendo que a DPOC está presente com alta probabilidade quando um filtro de pré-processamento foi aplicado ao raio-X do paciente.
As previsões padrão serão mostradas para os outros 2 diagnósticos.
Os participantes deste braço não verão uma explicação de IA quando forem mostradas previsões do modelo de IA.
|
Durante 6 vinhetas clínicas, os participantes verão previsões do modelo de IA sem uma explicação de IA correspondente.
O modelo de IA fornecerá uma pontuação para cada diagnóstico (insuficiência cardíaca, pneumonia, DPOC) em uma escala de 0 a 100, estimando a probabilidade de a apresentação do paciente ser devida a cada um desses diagnósticos.
Em 3 das vinhetas clínicas, os participantes verão previsões do modelo de IA padrão e em 3 vinhetas serão mostradas previsões do modelo de IA sistematicamente tendenciosas, com o modelo especificamente tendencioso contra um dos três diagnósticos.
Em três vinhetas clínicas, os participantes verão previsões sistematicamente tendenciosas do modelo de IA com o modelo especificamente tendencioso contra a DPOC, sempre prevendo que a DPOC está presente com alta probabilidade em pacientes com vinhetas de pesquisa onde um filtro de pré-processamento foi aplicado ao raio-X do paciente.
As previsões padrão serão mostradas para os outros 2 diagnósticos (insuficiência cardíaca, pneumonia).
|
|
Experimental: Modelo de IA tendencioso para insuficiência cardíaca, explicação de IA baseada em imagem apresentada
Os participantes deste braço verão previsões de modelos de IA padrão durante três vinhetas clínicas de pacientes dentro da pesquisa e previsões de modelos de IA sistematicamente tendenciosas durante três vinhetas clínicas.
Quando mostradas previsões sistematicamente tendenciosas do modelo de IA, o modelo será tendencioso contra a insuficiência cardíaca, sempre prevendo que a insuficiência cardíaca está presente com alta probabilidade em pacientes com índice de massa corporal (IMC) igual ou superior a 30.
As previsões padrão serão mostradas para os outros 2 diagnósticos.
Os participantes deste braço também receberão explicações de IA quando forem mostradas previsões do modelo de IA.
|
Em três vinhetas clínicas, os participantes verão previsões sistematicamente tendenciosas do modelo de IA, com o modelo especificamente tendencioso contra a insuficiência cardíaca, sempre prevendo que a insuficiência cardíaca está presente com alta probabilidade em pacientes da vinheta da pesquisa com índice de massa corporal (IMC) igual ou superior a 30.
As previsões padrão serão mostradas para os outros 2 diagnósticos (pneumonia, DPOC).
Durante 6 vinhetas clínicas, os participantes verão previsões do modelo de IA com explicação.
O modelo de IA fornecerá uma pontuação para cada diagnóstico em uma escala de 0 a 100.
Em 3 vinhetas clínicas, os participantes verão previsões do modelo de IA padrão e em 3 vinhetas serão mostradas previsões do modelo de IA sistematicamente tendenciosas com o modelo especificamente tendencioso contra um dos três diagnósticos.
Se o modelo de IA fornecer uma pontuação acima de 50, uma explicação do modelo de IA será mostrada como mapas de calor de mapeamento de ativação de classe ponderada por gradiente (Grad-CAM) sobrepostos na radiografia de tórax que destacaram quais regiões da imagem mais afetam a previsão do modelo de IA.
|
|
Experimental: Modelo de IA tendencioso para pneumonia, explicação de IA baseada em imagem apresentada
Os participantes deste braço verão previsões de modelos de IA padrão durante três vinhetas clínicas de pacientes dentro da pesquisa e previsões de modelos de IA sistematicamente tendenciosas durante três vinhetas clínicas.
Quando mostradas previsões sistematicamente tendenciosas do modelo de IA, o modelo será tendencioso contra a pneumonia, sempre prevendo que a pneumonia está presente com alta probabilidade em pacientes com 80 anos ou mais.
As previsões padrão serão mostradas para os outros 2 diagnósticos.
Os participantes deste braço também receberão explicações de IA quando forem mostradas previsões do modelo de IA.
|
Em três vinhetas clínicas, os participantes verão previsões sistematicamente tendenciosas do modelo de IA, com o modelo especificamente tendencioso contra a pneumonia, sempre prevendo que a pneumonia está presente com alta probabilidade em pacientes da vinheta da pesquisa com 80 anos ou mais.
As previsões padrão serão mostradas para os outros 2 diagnósticos (insuficiência cardíaca, DPOC).
Durante 6 vinhetas clínicas, os participantes verão previsões do modelo de IA com explicação.
O modelo de IA fornecerá uma pontuação para cada diagnóstico em uma escala de 0 a 100.
Em 3 vinhetas clínicas, os participantes verão previsões do modelo de IA padrão e em 3 vinhetas serão mostradas previsões do modelo de IA sistematicamente tendenciosas com o modelo especificamente tendencioso contra um dos três diagnósticos.
Se o modelo de IA fornecer uma pontuação acima de 50, uma explicação do modelo de IA será mostrada como mapas de calor de mapeamento de ativação de classe ponderada por gradiente (Grad-CAM) sobrepostos na radiografia de tórax que destacaram quais regiões da imagem mais afetam a previsão do modelo de IA.
|
|
Experimental: Modelo de IA tendencioso para DPOC, explicação de IA baseada em imagem apresentada
Os participantes deste braço verão previsões de modelos de IA padrão durante três vinhetas clínicas de pacientes dentro da pesquisa e previsões de modelos de IA sistematicamente tendenciosas durante três vinhetas clínicas.
Quando mostradas previsões sistematicamente tendenciosas do modelo de IA, o modelo será tendencioso contra a DPOC, sempre prevendo que a DPOC está presente com alta probabilidade quando um filtro de pré-processamento foi aplicado ao raio-X do paciente.
As previsões padrão serão mostradas para os outros 2 diagnósticos.
Os participantes deste braço também receberão explicações de IA quando forem mostradas previsões do modelo de IA.
|
Em três vinhetas clínicas, os participantes verão previsões sistematicamente tendenciosas do modelo de IA com o modelo especificamente tendencioso contra a DPOC, sempre prevendo que a DPOC está presente com alta probabilidade em pacientes com vinhetas de pesquisa onde um filtro de pré-processamento foi aplicado ao raio-X do paciente.
As previsões padrão serão mostradas para os outros 2 diagnósticos (insuficiência cardíaca, pneumonia).
Durante 6 vinhetas clínicas, os participantes verão previsões do modelo de IA com explicação.
O modelo de IA fornecerá uma pontuação para cada diagnóstico em uma escala de 0 a 100.
Em 3 vinhetas clínicas, os participantes verão previsões do modelo de IA padrão e em 3 vinhetas serão mostradas previsões do modelo de IA sistematicamente tendenciosas com o modelo especificamente tendencioso contra um dos três diagnósticos.
Se o modelo de IA fornecer uma pontuação acima de 50, uma explicação do modelo de IA será mostrada como mapas de calor de mapeamento de ativação de classe ponderada por gradiente (Grad-CAM) sobrepostos na radiografia de tórax que destacaram quais regiões da imagem mais afetam a previsão do modelo de IA.
|
O que o estudo está medindo?
Medidas de resultados primários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Precisão do diagnóstico do participante em configurações de vinheta clínica
Prazo: Dia 0
|
A precisão do diagnóstico é definida como o número de avaliações diagnósticas corretas em relação ao número total de avaliações diagnósticas.
Depois de revisar a vinheta clínica de cada paciente individual na pesquisa, os participantes serão solicitados a fazer três avaliações diagnósticas separadas para cada vinheta clínica, uma para insuficiência cardíaca, pneumonia e DPOC.
Se a avaliação do participante estiver de acordo com o rótulo de referência de cada vinheta, a avaliação diagnóstica é considerada correta.
As avaliações diagnósticas serão realizadas enquanto os participantes completam a pesquisa (dia 0), imediatamente após o participante revisar a vinheta clínica.
A precisão do diagnóstico do participante será comparada entre as configurações de vinheta (sem modelo de IA, modelo de IA padrão, modelo de IA padrão com explicação, modelo de IA tendencioso, modelo de IA tendencioso com explicação).
|
Dia 0
|
Medidas de resultados secundários
Medida de resultado |
Descrição da medida |
Prazo |
|---|---|---|
|
Precisão na seleção do tratamento em configurações de vinheta clínica
Prazo: Dia 0
|
A precisão da seleção do tratamento é definida como se o participante escolhesse o tratamento correto para o paciente na vinheta clínica e pudesse escolher qualquer combinação de esteróides, antibióticos, diuréticos intravenosos (IV) ou nenhum desses tratamentos para o paciente.
As avaliações de seleção de tratamento serão realizadas enquanto os participantes completam a pesquisa (dia 0), imediatamente após o participante revisar a vinheta clínica.
A precisão da seleção do tratamento do participante será comparada entre as configurações de vinheta (sem modelo de IA, modelo de IA padrão, modelo de IA padrão com explicação, modelo de IA tendencioso, modelo de IA tendencioso com explicação).
|
Dia 0
|
|
Precisão diagnóstica específica do diagnóstico em configurações de vinheta clínica
Prazo: Dia 0
|
Precisão diagnóstica específica para insuficiência cardíaca, pneumonia e DPOC em configurações de vinheta
|
Dia 0
|
Colaboradores e Investigadores
É aqui que você encontrará pessoas e organizações envolvidas com este estudo.
Patrocinador
Colaboradores
Investigadores
- Investigador principal: Michael Sjoding, MD, University of Michigan
Datas de registro do estudo
Essas datas acompanham o progresso do registro do estudo e os envios de resumo dos resultados para ClinicalTrials.gov. Os registros do estudo e os resultados relatados são revisados pela National Library of Medicine (NLM) para garantir que atendam aos padrões específicos de controle de qualidade antes de serem publicados no site público.
Datas Principais do Estudo
Início do estudo (Real)
1 de abril de 2022
Conclusão Primária (Real)
31 de janeiro de 2023
Conclusão do estudo (Real)
31 de janeiro de 2023
Datas de inscrição no estudo
Enviado pela primeira vez
17 de outubro de 2023
Enviado pela primeira vez que atendeu aos critérios de CQ
17 de outubro de 2023
Primeira postagem (Real)
25 de outubro de 2023
Atualizações de registro de estudo
Última Atualização Postada (Real)
25 de outubro de 2023
Última atualização enviada que atendeu aos critérios de controle de qualidade
17 de outubro de 2023
Última verificação
1 de outubro de 2023
Mais Informações
Termos relacionados a este estudo
Palavras-chave
Termos MeSH relevantes adicionais
Outros números de identificação do estudo
- HUM00180745
- R01HL158626 (Concessão/Contrato do NIH dos EUA)
Plano para dados de participantes individuais (IPD)
Planeja compartilhar dados de participantes individuais (IPD)?
SIM
Descrição do plano IPD
Os dados poderiam ser disponibilizados a outros pesquisadores de instituições de pesquisa credenciadas após a celebração de um acordo de uso de dados com a Universidade de Michigan
Prazo de Compartilhamento de IPD
Os dados serão compartilhados indefinidamente assim que o estudo for publicado
Critérios de acesso de compartilhamento IPD
Estas informações serão publicadas como suplementos ao manuscrito do estudo.
Tipo de informação de suporte de compartilhamento de IPD
- PROTOCOLO DE ESTUDO
- SEIVA
Informações sobre medicamentos e dispositivos, documentos de estudo
Estuda um medicamento regulamentado pela FDA dos EUA
Não
Estuda um produto de dispositivo regulamentado pela FDA dos EUA
Não
Essas informações foram obtidas diretamente do site clinicaltrials.gov sem nenhuma alteração. Se você tiver alguma solicitação para alterar, remover ou atualizar os detalhes do seu estudo, entre em contato com register@clinicaltrials.gov. Assim que uma alteração for implementada em clinicaltrials.gov, ela também será atualizada automaticamente em nosso site .