Avaliação do Software de Detecção de Nódulo Pulmonar Auxiliado por Computador em TC Torácica para Riverain Technologies LLC

Será realizado um estudo do leitor com pelo menos dez (10) radiologistas participantes. Uma curva característica de operação do receptor localizada será usada para avaliar o desempenho diagnóstico dos radiologistas (em termos de compensação entre sensibilidade e especificidade quando os critérios de decisão mudam) na detecção de nódulos pulmonares em TCs pulmonares com e sem o uso do Sistema ClearRead CT Insight (CRCTI). O tempo necessário para a revisão e interpretação de cada caso também será registrado.

Uma interpretação inicial (linha de base) será feita por cada um dos radiologistas com base na TC do pulmão em sua forma original. No mínimo um mês depois, cada radiologista interpretará novamente as mesmas imagens visualizando o par de séries CRCTI CT: Dois conjuntos de imagens CT (padrão com marcas CADe e processadas com supressão de vasos serão apresentados em um monitor grande ou em dois monitores adjacentes monitores.

Durante a leitura da linha de base, o radiologista marcará a localização dos nódulos acionáveis ​​e atribuirá uma pontuação. O radiologista também indicará o método de acompanhamento recomendado (TC de contraste, PET-CT, Acompanhamento de TC, Biópsia).

Durante a segunda sessão de leitura (leitura simultânea), o radiologista verá uma TC de aparência padrão com marcas de detecção auxiliada por computador (CADe) colocadas e o vaso suprimido o mesmo corte com a visualização do vaso suprimido (imagem à direita). A segunda imagem, vaso suprimido, ficará esmaecida até que o radiologista mova o mouse para o segundo painel. O radiologista marcará os locais. Estes podem ou não corresponder às localizações dos marcadores CAD. Como antes, o radiologista atribuirá um nível de suspeita a cada marca e indicará a necessidade, se houver, de uma ação diagnóstica adicional (acompanhamento por TC, TC com contraste, PET-TC ou biópsia).

Com base nos níveis de suspeita para cada nódulo e nas classificações de probabilidade associadas, as curvas LROC serão construídas para a linha de base e as leituras simultâneas e a significância de qualquer diferença será calculada. As recomendações para ações adicionais (acompanhamento de TC, TC de contraste, PET-CT ou biópsia) serão usadas para calcular a sensibilidade e especificidade, VPP e VPN.

Número e tipos de casos:

Séries retrospectivas de imagens de TC pulmonar de aproximadamente 300 pacientes serão incluídas no estudo. Aproximadamente cem (100) dos pacientes terão cânceres confirmados por patologia e aproximadamente duzentos (200) dos pacientes serão CTs associados a pacientes normais. Também incluídas como imagens de nódulo estão aquelas em que o nódulo acionável não foi acionado naquele momento, mas foi detectado e acionado com base em uma TC subsequente. Estas são as imagens anteriores onde o nódulo pode ser identificado e sua localização é a mesma da imagem "atual" confirmada pelo painel de especialistas em radiologista (usando uma maioria de três como critério de decisão).

A amostra selecionada, selecionada aleatoriamente de um conjunto maior de casos de TC, será enriquecida da seguinte forma:

1. Nódulos pulmonares (cânceres neste estudo) terão tamanho de tumor T1a (20 mm ou menos). A proporção de nódulos de 20 mm ou menos pode ser aumentada, pois é onde os investigadores esperam que esteja o maior impacto deste software.
2. Nódulos não sólidos (vidro fosco) serão adicionados à amostra (com base na disponibilidade) para determinar o desempenho do sistema em nódulos não sólidos. Para que este grupo tenha casos suficientes, os investigadores podem ter que incluir nódulos não sólidos benignos (não malignos).
3. Neste projeto, os investigadores realizarão um teste de máquina do algoritmo ClearRead CT Insight seguido de um estudo de avaliação de desempenho do leitor. A Riverain fornecerá um sistema configurado com o ponto de operação definido para ser usado para os estudos do leitor e uma configuração para um sistema "aberto" a ser usado para testes de máquina e geração de FROC.

Braço 1: uma leitura de linha de base (sem conteúdo secundário) e Braço 2: leitura CAD aumentada simultânea.

1. º Braço: Faça a linha de base (meça o tempo, os leitores pontuam as regiões de acordo com a ação e suspeita) - marque todos os locais de preocupação
2. nd Arm: leitura simultânea (mede o tempo, os leitores pontuam as regiões de acordo com a ação e suspeita) - marca todos os locais de interesse

A principal hipótese do estudo é que o uso adjuvante do ClearRead CT Insight é superior ao uso de imagens padrão de TC pulmonar isoladamente, conforme medido pela área sob a curva LROC.

ANÁLISES ESTATÍSTICAS Precisão

Para avaliar a hipótese de superioridade em termos de melhoria na precisão para ClearRead CT Insight vs. sem auxílio, um modelo de efeitos mistos (DBM) será implementado (semelhante ao modelo descrito em Dorfman, Berbaum e Metz, 1997), onde os componentes de variância serão ser incluído para dar conta de leitor, caso, leitor por caso, leitor por modalidade, caso por modalidade e leitor por caso por modalidade. No entanto, prevê-se que a interação de três vias será inestimável e, posteriormente, será retirada do modelo estatístico. Especificamente, a hipótese para testar a superioridade do ClearRead CT Insight vs. sem auxílio é:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

A AUC do LROC é o endpoint primário para avaliar a precisão e o teste de interesse será um intervalo de confiança bilateral de 95% sobre o efeito da modalidade (ou seja, ClearRead CT Insight menos sem ajuda). A significância será concluída se o limite superior do intervalo de confiança bilateral de 95% não incluir zero. Se a hipótese nula (H0) for rejeitada, a hipótese alternativa (HA) será aceita e a superioridade do uso do sistema ClearRead CT Insight será estabelecida.

Tempo

O segundo objetivo co-primário é avaliar a redução no tempo gasto por imagem para o ClearRead CT Insight versus sem auxílio. Especificamente, a hipótese para testar a superioridade do ClearRead CT Insight vs. sem auxílio é:

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

Para avaliar a hipótese de não inferioridade em termos de tempo de leitura aprimorado para ClearRead CT Insight versus sem auxílio, um modelo de efeitos mistos será implementado (semelhante ao modelo descrito em Dorfman, Berbaum e Metz, 1992), onde os componentes de variância serão incluídos para dar conta de leitor, caso, leitor por caso, leitor por modalidade, caso por modalidade e leitor por caso por modalidade. No entanto, prevê-se que a interação de três vias será inestimável e, posteriormente, será retirada do modelo estatístico.

Os tempos de leitura serão testados usando um intervalo de confiança bilateral de 95% sobre o efeito da modalidade (ou seja, ClearRead menos sem ajuda). A significância será concluída se o limite superior do intervalo de confiança bilateral de 95% não incluir zero.

Com qualquer análise, o uso do modelo misto pode ser modificado para empregar uma abordagem de amostragem bootstrap se as suposições do modelo do método DBM forem violadas. O limite superior de confiança de 95% para a diferença nas áreas sob as curvas seria calculado usando 10.000 bootstraps no método ROC MultiReader MultiCase (MRMC).

PODER E TAMANHO DA AMOSTRA

O poder de detectar diferenças na AUC da curva LROC para a análise estatística proposta usando a linha de base do projeto atual, ou seja, 300 casos, cada imagem correspondente lida por 10 leitores, foi avaliada por meio de um estudo de simulação. Especificamente, o modelo descrito acima foi usado para simular 500 conjuntos de dados em uma variedade de tamanhos de efeito, onde o poder foi definido como a proporção de conjuntos de dados que produziram um valor-p significativo para testar o efeito fixo da modalidade. O método de Dorfman, Berbaum e Metz, 1992 (DBM) foi implementado utilizando teoria estatística de modelos mistos com estimativas de jackknife.

Essas simulações exigiram suposições sobre a magnitude dos componentes de variância associados aos diferentes efeitos aleatórios. Como não foi realizado um estudo piloto para obter estimativas de componentes de variância, foram usadas estimativas de componentes de variância do estudo de Riverain SoftView 510(k) (Registro nº BSSI-PR-09-00006) que usa uma tecnologia semelhante ao dispositivo ClearRead CT Insight proposto em todas as simulações de potência. Observe que os componentes de variação foram dimensionados pela variação total para representar a proporção da variação total explicada por cada componente. Todas as estimativas de poder dependem da adequação dos componentes de variância assumidos.