Projeto 1: Autotriagem por Mamografia Digital de Campo Completo 2D ou Imagens Sintéticas

NOTA: Este registro está vinculado a um registro de Sujeitos Humanos no ASSIST. Isso, por sua vez, faz parte de um NCI Grant, CA207490. A concessão descreve muitos experimentos propostos e observa que muitos outros podem ser feitos como estudos de acompanhamento. Por sugestão do NIH, os pesquisadores agruparam esses estudos em três "estudos", cada um cobrindo vários experimentos. O experimento descrito aqui faz parte do "Estudo ID 386408 Projeto 1: Estudos Radiologistas". Não é possível registrar um conjunto de experimentos por meio do sistema PRS em CT.gov e não é possível arquivar um relatório anual de outorga (RPPR) sem um número NCT para projetos que iniciaram a coleta de participantes. Consequentemente, os investigadores estão descrevendo um experimento aqui que faria parte do pacote de estudos do "Projeto 1".

A ideia central do Projeto 1 é que pode ser possível para Os eliminar de forma confiável um conjunto de casos na mamografia de rastreamento após apenas uma breve olhada em uma imagem 2D ou, potencialmente, após um sistema de IA dar uma breve olhada na imagem. Ou seja, o clínico e/ou a IA olhariam para a imagem e saberiam "com certeza" que não há nada ali e estariam dispostos a descartar ou "triagem" do caso com base nesse breve olhar. Se o leitor não tivesse certeza absoluta, o caso receberia mais escrutínio.

Para começar a analisar esse problema, os investigadores queriam estimar o quanto os médicos estariam dispostos a fazer a triagem de um caso e como eles interagiriam com uma IA solicitada a fazer a triagem dos casos. Um desafio para qualquer implementação de triagem será fazer com que os médicos (para não falar dos advogados, et al) aceitem a ideia de não olhar para uma imagem/caso ou de olhar brevemente, digamos, a imagem 2D e estar disposto a não olhar veja as imagens de tomossíntese digital 3D (DBT). O experimento que os investigadores relatam aqui pretende ser um começo no estudo dessa questão. Há um continuum de casos de "obviamente normal" a "obviamente anormal". Os investigadores queriam estimar o ponto nesse continuum abaixo do qual um caso é tão normal, que os leitores estariam dispostos a deixar o computador fazer a triagem do caso e/ou estariam dispostos a fazer a triagem de um caso eles mesmos. Também é possível que existam casos tão anormais que os pacientes possam ser chamados para exame posterior apenas pelo computador, embora os investigadores não estejam estudando essa forma de triagem neste caso. Os investigadores levantam a hipótese de que esses pontos de triagem estarão relacionados tanto à classificação de normalidade do computador quanto à classificação do leitor.

Método: Uma mamografia 2D bilateral é apresentada por 5 segundos. O limite de tempo destina-se a limitar o escrutínio normal que um radiologista faria ao caso. Os investigadores querem uma decisão baseada na "essência" do caso. Para imitar a baixa prevalência da doença em uma mamografia de rastreamento, apenas 4 de 150 casos são positivos. Os leitores são informados de que os casos imitam um cenário de triagem para que saibam que os casos positivos serão raros, mas não são informados sobre a prevalência real.

Os investigadores pedem aos radiologistas que respondam a duas perguntas sobre cada um dos 150 "casos" de imagem única. ("Até 150" porque os radiologistas podem e desistem sem concluir todos os casos. Usando um método de escala de classificação, os investigadores perguntam:

1. Qual é o nível de certeza dos participantes de que essas imagens são de um caso normal?

   Em seguida, os investigadores dizem aos leitores que "O computador classificou essas imagens como X em 10 (10: maior probabilidade de presença de câncer)." Este valor AI é uma classificação real de anormalidade, gerada pelo Transpara versão 1.7.0 que retorna um escore de probabilidade de malignidade para o exame. As avaliações foram obtidas por Sarah Verboom da Radboud U.

   Em seguida, os investigadores perguntam aos investigadores se o leitor acharia razoável que o computador fizesse a triagem do caso sem uma inspeção humana adicional.

2. Quão dispostos estariam os participantes para que o computador tomasse a decisão sobre este caso sozinho, sem que os participantes o examinassem?

Os responderam usando uma barra deslizante que serviu como uma escala de avaliação. A classificação selecionada foi exibida no topo da barra deslizante.

Participantes:

Os primeiros observadores deste estudo foram testados em um 'pop-lab', organizado na European Conference of Radiology (ECR, Viena, março de 2023). Os investigadores têm organizado esses laboratórios como uma oportunidade para pesquisadores de muitos laboratórios comparecerem a grandes reuniões como o ECR, onde podem testar radiologistas em maior número do que em casa. A vantagem é o acesso aos leitores. A desvantagem é que os investigadores normalmente podem obter apenas 15 a 30 minutos do tempo de um leitor. Assim, os leitores para este experimento eram uma população de conveniência. Os investigadores testaram 15 leitores. Estes variaram amplamente em experiência. Os investigadores perguntaram quantos casos de triagem eles estimavam ler a cada ano. Isso variou de 0 (alunas que aprenderam sobre mamografia, mas não praticavam) a 8.000. Os leitores também variaram em quantos casos eles estavam dispostos a ler para nós, antes de ficar sem tempo/paciência. A variação foi de 19 a 148 (média de 83 casos). Nesta fase, os investigadores não têm poder para dizer com convicção se essas variáveis ​​têm um impacto importante nos resultados. Este é um problema crônico com especialistas em testes, como radiologistas. É extremamente difícil coletar tantos dados quanto se deseja. No entanto, esses dados podem nos fornecer informações sobre os fatores que determinarão o sucesso ou o fracasso da triagem de imagens.