Valutazione del software di rilevamento dei noduli polmonari assistito da computer nella TC toracica per Riverain Technologies LLC

Verrà condotto uno studio del lettore con almeno dieci (10) radiologi partecipanti. Una curva caratteristica operativa del ricevitore localizzato verrà utilizzata per valutare le prestazioni diagnostiche dei radiologi (in termini di compromesso tra sensibilità e specificità quando cambiano i criteri di decisione) nella rilevazione di noduli polmonari su TC polmonari con e senza l'uso del Sistema ClearRead CT Insight (CRCTI). Verrà registrato anche il tempo necessario per la revisione e l'interpretazione di ciascun caso.

Un'interpretazione iniziale (di base) verrà effettuata da ciascuno dei radiologi sulla base della TC del polmone nella sua forma originale. Almeno un mese dopo, ogni radiologo interpreterà nuovamente le stesse immagini visualizzando la coppia di serie CRCTI CT: due serie di immagini CT (standard con segni CADe ed elaborate con soppressione dei vasi saranno presentate su un monitor grande o su due monitor adiacenti monitor.

Durante la lettura della linea di base il radiologo segnerà la posizione dei noduli perseguibili e assegnerà un punteggio. Il radiologo indicherà anche il metodo raccomandato di follow-up (TC di contrasto, PET-TC, CT Follow-up, Biopsia).

Durante la seconda sessione di lettura (lettura simultanea), al radiologo verrà presentata una TC di aspetto standard con segni di rilevamento assistito da computer (CADe) posizionati e il vaso soppresso nella stessa sezione con la vista del vaso soppresso (immagine a destra). La seconda immagine, vaso soppresso, sarà disattivata fino a quando il radiologo non sposterà il mouse sul secondo pannello. Il radiologo segnerà le posizioni. Questi possono corrispondere o meno alle posizioni dei marcatori CAD. Come in precedenza, il radiologo assegnerà un livello di sospetto a ciascun segno e indicherà l'eventuale necessità di un ulteriore intervento diagnostico (CT Follow-up, TC con contrasto, PET-TC o Biopsia).

Sulla base dei livelli di sospetto per ciascun nodulo e delle valutazioni di probabilità associate, verranno costruite curve LROC sia per la linea di base che per le letture simultanee e verrà calcolata la significatività di qualsiasi differenza. Le raccomandazioni per ulteriori azioni (CT Follow-up, Contrast CT, PET-CT o biopsia) saranno utilizzate per calcolare sensibilità e specificità, PPV e NPV.

Numero e tipi di casi:

Nello studio saranno incluse serie retrospettive di immagini TC polmonari di circa 300 pazienti. Circa cento (100) dei pazienti avranno tumori patologici confermati e circa duecento (200) dei pazienti saranno CT associati a pazienti normali. Sono incluse anche come immagini del nodulo quelle in cui il nodulo perseguibile non è stato agito in quel momento, ma è stato rilevato e su cui si è agito sulla base di una successiva TC. Queste sono le immagini precedenti in cui il nodulo può essere identificato e la sua posizione è la stessa dell'immagine "attuale" confermata dal gruppo di esperti del radiologo (utilizzando una maggioranza di tre come criterio di decisione).

Il campione selezionato, selezionato casualmente da un pool più ampio di casi di CT, sarà arricchito nel modo seguente:

1. I noduli polmonari (tumori in questo studio) avranno dimensioni del tumore T1a (20 mm o meno). La proporzione di noduli di 20 mm o meno può essere aumentata poiché è qui che gli investigatori si aspettano che si verifichi l'impatto maggiore di questo software.
2. I noduli non solidi (vetro smerigliato) verranno aggiunti al campione (in base alla disponibilità) per determinare le prestazioni del sistema sui noduli non solidi. Per questo gruppo, per avere casi sufficienti, gli investigatori potrebbero dover includere noduli non solidi benigni (non maligni).
3. In questo progetto, i ricercatori eseguiranno un Machine Test dell'algoritmo ClearRead CT Insight seguito da uno studio di valutazione delle prestazioni del lettore. Riverain fornirà un sistema configurato con il punto operativo impostato da utilizzare per gli studi del lettore e una configurazione per un sistema "aperto" da utilizzare per i test delle macchine e la generazione di FROC.

Braccio 1: una lettura di base (nessun contenuto secondario) e Braccio 2: lettura simultanea, CAD aumentata.

1. 1° braccio: eseguire la linea di base (misurare il tempo, i lettori valutano le regioni in base all'azione e alla sospettosità) - contrassegnare tutte le posizioni problematiche
2. 2° braccio: lettura simultanea (misurare il tempo, i lettori assegnano un punteggio alle regioni in base all'azione e alla sospettosità) - contrassegnare tutte le posizioni che destano preoccupazione

L'ipotesi principale dello studio è che l'uso aggiuntivo di ClearRead CT Insight sia superiore all'uso delle sole immagini TC polmonari standard, come misurato dall'area sotto la curva LROC.

ANALISI STATISTICHE Accuratezza

Per valutare l'ipotesi di superiorità in termini di miglioramento dell'accuratezza per ClearRead CT Insight vs. unaided, verrà implementato un modello a effetti misti (DBM) (simile al modello delineato in Dorfman, Berbaum e Metz, 1997), in cui le componenti della varianza saranno essere inclusi per tenere conto di lettore, caso, lettore per caso, lettore per modalità, caso per modalità e lettore per caso per modalità. Tuttavia, si prevede che l'interazione a tre vie sarà inestimabile e verrà successivamente eliminata dal modello statistico. Nello specifico, l'ipotesi da testare per la superiorità di ClearRead CT Insight rispetto a quella non assistita è:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

L'AUC del LROC è l'endpoint primario per valutare l'accuratezza e il test di interesse sarà un intervallo di confidenza bilaterale al 95% sull'effetto della modalità (ad es. ClearRead CT Insight meno senza aiuto). La significatività sarà conclusa se il limite superiore dell'intervallo di confidenza bilaterale al 95% non include zero. Se l'ipotesi nulla (H0) viene rifiutata, l'ipotesi alternativa (HA) viene accettata e verrà stabilita la superiorità dell'utilizzo del sistema ClearRead CT Insight.

Tempo

Il secondo obiettivo co-primario è valutare la riduzione del tempo impiegato per immagine per ClearRead CT Insight rispetto al non assistito. Nello specifico, l'ipotesi da testare per la superiorità di ClearRead CT Insight rispetto a quella non assistita è:

H0= Tunaid - TClearRead CT Insight ≤ 0 vs. HA= Tunaid - TClearRead CT Insight > 0

Per valutare l'ipotesi di non inferiorità in termini di miglioramento del tempo di lettura per ClearRead CT Insight rispetto a unaided, verrà implementato un modello a effetti misti (simile al modello delineato in Dorfman, Berbaum e Metz, 1992), in cui le componenti della varianza saranno incluso per tenere conto di lettore, caso, lettore per caso, lettore per modalità, caso per modalità e lettore per caso per modalità. Tuttavia, si prevede che l'interazione a tre vie sarà inestimabile e verrà successivamente eliminata dal modello statistico.

I tempi di lettura saranno testati utilizzando un intervallo di confidenza bilaterale al 95% sull'effetto della modalità (ad es. ClearRead meno senza aiuto). La significatività sarà conclusa se il limite superiore dell'intervallo di confidenza bilaterale al 95% non include zero.

Con entrambe le analisi, l'uso del modello misto potrebbe essere modificato per impiegare un approccio di campionamento bootstrap se le ipotesi del modello del metodo DBM sono state violate. Il limite superiore di confidenza del 95% per la differenza nelle aree sotto le curve verrebbe calcolato utilizzando 10.000 bootstrap nel metodo ROC MultiReader MultiCase (MRMC).

POTENZA E DIMENSIONE DEL CAMPIONE

Il potere di rilevare differenze nell'AUC della curva LROC per l'analisi statistica proposta utilizzando l'attuale linea di base del progetto, ovvero 300 casi, ciascuna immagine corrispondente letta da 10 lettori, è stata valutata attraverso uno studio di simulazione. Nello specifico, il modello delineato sopra è stato utilizzato per simulare 500 set di dati in una gamma di dimensioni dell'effetto, dove la potenza è stata definita come la proporzione di set di dati che hanno prodotto un valore p significativo per testare l'effetto fisso della modalità. Il metodo di Dorfman, Berbaum e Metz, 1992 (DBM) è stato implementato utilizzando la teoria dei modelli misti statistici con stime jackknife.

Queste simulazioni richiedevano ipotesi riguardanti l'entità delle componenti della varianza associate ai diversi effetti casuali. Poiché non è stato condotto uno studio pilota per ottenere stime delle componenti della varianza, sono state utilizzate le stime delle componenti della varianza dallo studio Riverain SoftView 510 (k) (record n. BSSI-PR-09-00006) che utilizza una tecnologia simile a quella del dispositivo ClearRead CT Insight proposto in tutte le simulazioni di potenza. Si noti che i componenti della varianza sono stati scalati dalla varianza totale per rappresentare la proporzione della varianza totale spiegata da ciascun componente. Tutte le stime di potenza dipendono dall'adeguatezza delle componenti di varianza assunte.