Evaluación del software de detección de nódulos pulmonares asistido por computadora en tomografía computarizada torácica para Riverain Technologies LLC

Se llevará a cabo un estudio de lectores con al menos diez (10) radiólogos participantes. Se utilizará una curva característica operativa del receptor localizado para evaluar el rendimiento de diagnóstico de los radiólogos (en términos de compensación entre la sensibilidad y la especificidad cuando cambia el criterio de decisión) en la detección de nódulos pulmonares en las TC pulmonares con y sin el uso del Sistema ClearRead CT Insight (CRCTI). También se registrará el tiempo necesario para la revisión e interpretación de cada caso.

Cada uno de los radiólogos realizará una interpretación inicial (línea de base) basada en la TC de pulmón en su forma original. Como mínimo un mes después, cada radiólogo volverá a interpretar las mismas imágenes viendo el par de series CRCTI CT: dos juegos de imágenes CT (estándar con marcas CADe y procesadas con supresión de vasos) se presentarán en un monitor grande o en dos monitores adyacentes. monitores

Durante la lectura inicial, el radiólogo marcará la ubicación de los nódulos procesables y asignará una puntuación. El radiólogo también indicará el método de seguimiento recomendado (TC de contraste, PET-TC, TC de seguimiento, Biopsia).

Durante la segunda sesión de lectura (lectura simultánea), al radiólogo se le presentará una TC de aspecto estándar con marcas de detección asistida por computadora (CADe) colocadas y el vaso suprimido en el mismo corte con la vista del vaso suprimido (imagen de la derecha). La segunda imagen, el vaso suprimido, aparecerá atenuada hasta que el radiólogo mueva el mouse al segundo panel. El radiólogo marcará las ubicaciones. Estos pueden corresponder o no a las ubicaciones de los marcadores CAD. Como antes, el radiólogo asignará un nivel de sospecha a cada marca e indicará la necesidad, en su caso, de una actuación diagnóstica adicional (TC de Seguimiento, TC de Contraste, PET-CT o Biopsia).

En función de los niveles de sospecha de cada nódulo y las clasificaciones de probabilidad asociadas, se construirán curvas LROC para las lecturas de referencia y concurrentes y se calculará la importancia de cualquier diferencia. Las recomendaciones para acciones adicionales (TC de seguimiento, TC de contraste, PET-CT o biopsia) se utilizarán para calcular la sensibilidad y la especificidad, el VPP y el VPN.

Número y tipos de casos:

Se incluirán en el estudio series retrospectivas de imágenes de CT de pulmón de aproximadamente 300 pacientes. Aproximadamente cien (100) de los pacientes tendrán cánceres confirmados por patología y aproximadamente doscientos (200) de los pacientes serán CT asociados con pacientes normales. También se incluyen como imágenes de nódulos aquellas en las que no se actuó sobre el nódulo procesable en ese momento, pero se detectó y se actuó en base a una TC posterior. Estas son las imágenes previas donde se puede identificar el nódulo y su ubicación es la misma que en la imagen "actual" confirmada por el panel de expertos radiólogos (usando una mayoría de tres como criterio de decisión).

La muestra seleccionada, seleccionada aleatoriamente de un grupo más grande de casos de TC, se enriquecerá de la siguiente manera:

1. Los nódulos pulmonares (cánceres en este estudio) tendrán un tamaño de tumor T1a (20 mm o menos). La proporción de nódulos de 20 mm o menos puede aumentar, ya que es aquí donde los investigadores esperan que se produzca el mayor impacto de este software.
2. Se agregarán nódulos no sólidos (vidrio esmerilado) a la muestra (según disponibilidad) para determinar el rendimiento del sistema en nódulos no sólidos. Para que este grupo tenga suficientes casos, es posible que los investigadores deban incluir nódulos no sólidos benignos (no malignos).
3. En este proyecto, los investigadores realizarán una prueba de máquina del algoritmo ClearRead CT Insight seguido de un estudio de evaluación del rendimiento del lector. Riverain proporcionará un sistema configurado con el conjunto de puntos de operación que se usará para los estudios del lector y una configuración para un sistema "abierto" que se usará para la prueba de máquinas y la generación de FROC.

Brazo 1: una lectura de referencia (sin contenido secundario) y Brazo 2: lectura concurrente aumentada por CAD.

1. 1er brazo: haga la línea de base (mida el tiempo, los lectores puntúan las regiones de acuerdo con la acción y la sospecha) - marque todas las ubicaciones de interés
2. nd Arm: lectura simultánea (mide el tiempo, los lectores califican las regiones según la acción y la sospecha) - marque todas las ubicaciones de interés

La hipótesis principal del estudio es que el uso complementario de ClearRead CT Insight es superior al uso de imágenes de TC de pulmón estándar solas, según lo medido por el área bajo la curva LROC.

ANÁLISIS ESTADÍSTICOS Precisión

Para evaluar la hipótesis de superioridad en términos de mejora en la precisión de ClearRead CT Insight frente a sin ayuda, se implementará un modelo de efectos mixtos (DBM) (similar al modelo descrito en Dorfman, Berbaum y Metz, 1997), donde los componentes de varianza incluirse para contabilizar lector, caso, lector por caso, lector por modalidad, caso por modalidad y lector por caso por modalidad. Sin embargo, se anticipa que la interacción de tres vías será inestimable y posteriormente se eliminará del modelo estadístico. Específicamente, la hipótesis para probar la superioridad de ClearRead CT Insight vs. sin ayuda es:

H0: AUC sin ayuda - AUCClearRead CT Insight ≥ 0,0 frente a HA: AUC sin ayuda - AUCClearRead CT Insight < 0

El AUC del LROC es el criterio principal de valoración para evaluar la precisión y la prueba de interés será un intervalo de confianza del 95 % bilateral sobre el efecto de la modalidad (es decir, ClearRead CT Insight menos sin ayuda). Se concluirá la significación si el límite superior del intervalo de confianza del 95% bilateral no incluye el cero. Si se rechaza la hipótesis nula (H0), se acepta la hipótesis alternativa (HA) y se establecerá la superioridad de utilizar el sistema ClearRead CT Insight.

Tiempo

El segundo objetivo coprincipal es evaluar la reducción en el tiempo empleado por imagen para ClearRead CT Insight frente a sin ayuda. Específicamente, la hipótesis para probar la superioridad de ClearRead CT Insight vs. sin ayuda es:

H0= Tunaided - TClearRead CT Insight ≤ 0 frente a HA= Tunaided - TClearRead CT Insight > 0

Para evaluar la hipótesis de no inferioridad en términos de tiempo de lectura mejorado para ClearRead CT Insight frente a sin ayuda, se implementará un modelo de efectos mixtos (similar al modelo descrito en Dorfman, Berbaum y Metz, 1992), donde los componentes de varianza serán incluido para contabilizar lector, caso, lector por caso, lector por modalidad, caso por modalidad y lector por caso por modalidad. Sin embargo, se anticipa que la interacción de tres vías será inestimable y posteriormente se eliminará del modelo estadístico.

Los tiempos de lectura se probarán utilizando un intervalo de confianza del 95 % de dos colas sobre el efecto de la modalidad (es decir, ClearRead menos sin ayuda). Se concluirá la significación si el límite superior del intervalo de confianza del 95% bilateral no incluye el cero.

Con cualquiera de los dos análisis, el uso del modelo mixto podría modificarse para emplear un enfoque de muestreo de arranque si se violaron los supuestos del modelo del método DBM. El límite superior de confianza del 95 % para la diferencia en las áreas bajo las curvas se calcularía utilizando 10 000 arranques en el método ROC MultiReader MultiCase (MRMC).

POTENCIA Y TAMAÑO DE MUESTRA

El poder para detectar diferencias en el AUC de la curva LROC para el análisis estadístico propuesto utilizando la línea base de diseño actual, es decir, 300 casos, cada imagen correspondiente leída por 10 lectores, se evaluó a través de un estudio de simulación. Específicamente, el modelo descrito anteriormente se usó para simular 500 conjuntos de datos en un rango de tamaños de efecto, donde el poder se definió como la proporción de conjuntos de datos que produjeron un valor p significativo para probar el efecto fijo de la modalidad. El método de Dorfman, Berbaum y Metz, 1992 (DBM) se implementó utilizando la teoría de modelos mixtos estadísticos con estimaciones jackknife.

Estas simulaciones requerían suposiciones sobre la magnitud de los componentes de la varianza asociados con los diferentes efectos aleatorios. Como no se realizó un estudio piloto para obtener estimaciones de los componentes de la varianza, se usaron las estimaciones de los componentes de la varianza del estudio de Riverain SoftView 510(k) (n.º de registro BSSI-PR-09-00006) que utiliza una tecnología similar a la del dispositivo ClearRead CT Insight propuesto. en todas las simulaciones de potencia. Tenga en cuenta que los componentes de la varianza se escalaron según la varianza total para representar la proporción de la varianza total explicada por cada componente. Todas las estimaciones de potencia dependen de la idoneidad de los componentes de varianza asumidos.