Bewertung der Software zur computergestützten Erkennung von Lungenknoten in der Thorax-CT für Riverain Technologies LLC

Es wird eine Leserstudie mit mindestens zehn (10) teilnehmenden Radiologen durchgeführt. Eine lokalisierte Empfängerbetriebskennlinie wird verwendet, um die diagnostische Leistung von Radiologen (in Bezug auf den Kompromiss zwischen Sensitivität und Spezifität, wenn sich die Entscheidungskriterien ändern) bei der Erkennung von Lungenknoten auf Lungen-CTs mit und ohne Verwendung des zu bewerten ClearRead CT Insight (CRCTI)-System. Die Zeit, die für die Überprüfung und Interpretation jedes Falls benötigt wird, wird ebenfalls aufgezeichnet.

Auf der Grundlage des Lungen-CT in seiner ursprünglichen Form wird von jedem Radiologen eine anfängliche (Baseline-) Interpretation vorgenommen. Mindestens einen Monat später interpretiert jeder Radiologe dieselben Bilder erneut, indem er sich das Paar CRCTI-CT-Serien ansieht: Zwei Sätze von CT-Bildern (standardmäßig mit CADe-Markierungen und verarbeitet mit Gefäßunterdrückung) werden entweder auf einem großen Monitor oder auf zwei benachbarten angezeigt überwacht.

Während der Grundlinienmessung markiert der Radiologe die Position der umsetzbaren Knötchen und weist eine Punktzahl zu. Der Radiologe wird auch die empfohlene Nachsorgemethode angeben (Kontrast-CT, PET-CT, CT-Nachsorge, Biopsie).

Während der zweiten Lesesitzung (gleichzeitiges Lesen) wird dem Radiologen ein standardmäßig erscheinendes CT mit platzierten computergestützten Erkennungsmarkierungen (CADe) und der gleichen Schicht mit unterdrücktem Gefäß mit der Ansicht mit unterdrücktem Gefäß (rechtes Bild) präsentiert. Das zweite Bild, Gefäß unterdrückt, wird ausgegraut, bis der Radiologe die Maus auf das zweite Feld bewegt. Der Radiologe markiert die Standorte. Diese können den Positionen der CAD-Markierungen entsprechen oder nicht. Wie zuvor weist der Radiologe jeder Markierung eine Verdachtsstufe zu und weist gegebenenfalls auf die Notwendigkeit zusätzlicher diagnostischer Maßnahmen (CT-Nachsorge, Kontrast-CT, PET-CT oder Biopsie) hin.

Basierend auf den Verdachtsstufen für jeden Knoten und den zugehörigen Wahrscheinlichkeitsbewertungen werden LROC-Kurven sowohl für die Basislinie als auch für die gleichzeitigen Lesevorgänge erstellt und die Signifikanz jeder Differenz wird berechnet. Die Empfehlungen für weitere Maßnahmen (CT-Nachsorge, Kontrast-CT, PET-CT oder Biopsie) werden zur Berechnung von Sensitivität und Spezifität, PPV und NPV verwendet.

Anzahl und Art der Fälle:

In die Studie werden retrospektive Lungen-CT-Bildserien von etwa 300 Patienten eingeschlossen. Ungefähr einhundert (100) der Patienten haben pathologisch bestätigte Krebserkrankungen und ungefähr zweihundert (200) der Patienten werden CTs sein, die mit normalen Patienten assoziiert sind. Als Knötchenbilder sind auch solche enthalten, bei denen zu diesem Zeitpunkt keine Handlung auf dem verwertbaren Knötchen stattfand, aber basierend auf einem nachfolgenden CT erkannt und gehandelt wurde. Dies sind die vorherigen Bilder, bei denen der Knoten identifiziert werden kann und seine Position dieselbe ist wie auf dem "aktuellen" Bild, das vom Expertengremium der Radiologen bestätigt wurde (unter Verwendung einer Mehrheit von drei als Entscheidungskriterium).

Die ausgewählte Stichprobe, die zufällig aus einem größeren Pool von CT-Fällen ausgewählt wird, wird auf folgende Weise angereichert:

1. Lungenknoten (Krebs in dieser Studie) haben die Tumorgröße T1a (20 mm oder weniger). Der Anteil der Knötchen mit einer Größe von 20 mm oder weniger kann erhöht werden, da die Ermittler hier den größten Einfluss dieser Software erwarten.
2. Der Probe werden (je nach Verfügbarkeit) nicht-feste (Mahlglas-)Knollen hinzugefügt, um die Leistung des Systems bei nicht-festen Knollen zu bestimmen. Damit diese Gruppe genügend Fälle hat, müssen die Ermittler möglicherweise gutartige (nicht bösartige) nicht solide Knötchen einbeziehen.
3. In diesem Projekt führen die Ermittler einen Maschinentest des ClearRead CT Insight-Algorithmus durch, gefolgt von einer Studie zur Bewertung der Leserleistung. Riverain stellt ein System bereit, das mit dem für die Reader-Studien zu verwendenden Arbeitspunktsatz konfiguriert ist, sowie eine Konfiguration für ein „offenes“ System, das für Maschinentests und die FROC-Erzeugung verwendet werden soll.

Arm 1: ein Baseline-Read (kein sekundärer Inhalt) und Arm 2: gleichzeitiger, CAD-erweiterter Read.

1. 1. Arm: Baseline durchführen (Zeit messen, Leser bewerten Regionen nach Aktion und Verdächtigung) – alle besorgniserregenden Stellen markieren
2. nd Arm: Concurrent Read (Messzeit, Leser bewerten Regionen nach Aktion und Verdächtigung) – Markieren Sie alle Stellen, an denen Sie Bedenken haben

Die primäre Studienhypothese lautet, dass die zusätzliche Verwendung von ClearRead CT Insight der alleinigen Verwendung von Standard-Lungen-CT-Bildern überlegen ist, gemessen an der Fläche unter der LROC-Kurve.

STATISTISCHE ANALYSEN Genauigkeit

Um die Hypothese der Überlegenheit in Bezug auf die Verbesserung der Genauigkeit von ClearRead CT Insight gegenüber dem ohne Hilfsmittel zu bewerten, wird ein Modell mit gemischten Effekten (DBM) implementiert (ähnlich dem in Dorfman, Berbaum und Metz, 1997 skizzierten Modell), bei dem Varianzkomponenten verwendet werden eingeschlossen werden, um Leser, Fall, Leser von Fall, Leser von Modalität, Fall von Modalität und Leser von Fall von Modalität zu berücksichtigen. Es wird jedoch erwartet, dass die Drei-Wege-Wechselwirkung unschätzbar sein wird und anschließend aus dem statistischen Modell fallen gelassen wird. Die Hypothese zum Testen der Überlegenheit von ClearRead CT Insight im Vergleich zu ohne Hilfsmittel lautet insbesondere:

H0: AUCunaided – AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided – AUCClearRead CT Insight < 0

Die AUC des LROC ist der primäre Endpunkt zur Bewertung der Genauigkeit, und der interessierende Test ist ein zweiseitiges 95-%-Konfidenzintervall für die Wirkung der Modalität (d. h. ClearRead CT Insight minus ohne Hilfsmittel). Auf Signifikanz wird geschlossen, wenn die Obergrenze des zweiseitigen 95 %-Konfidenzintervalls nicht Null enthält. Wenn die Nullhypothese (H0) abgelehnt wird, wird die Alternativhypothese (HA) akzeptiert und die Überlegenheit der Verwendung des ClearRead CT Insight-Systems festgestellt.

Zeit

Das zweite Co-primäre Ziel ist die Bewertung der Reduzierung des Zeitaufwands pro Bild für ClearRead CT Insight im Vergleich zu ohne Unterstützung. Die Hypothese zum Testen der Überlegenheit von ClearRead CT Insight im Vergleich zu ohne Hilfsmittel lautet insbesondere:

H0= Tunaided – TClearRead CT Insight ≤ 0 vs. HA= Tunaided – TClearRead CT Insight > 0

Um die Hypothese der Nichtunterlegenheit in Bezug auf verbesserte Lesezeit für ClearRead CT Insight im Vergleich zu ohne Unterstützung zu bewerten, wird ein Modell mit gemischten Effekten implementiert (ähnlich dem in Dorfman, Berbaum und Metz, 1992 skizzierten Modell), in dem Varianzkomponenten enthalten sein werden enthalten, um Leser, Fall, Leser von Fall, Leser von Modalität, Fall von Modalität und Leser von Fall von Modalität zu berücksichtigen. Es wird jedoch erwartet, dass die Drei-Wege-Wechselwirkung unschätzbar sein wird und anschließend aus dem statistischen Modell fallen gelassen wird.

Die Ablesezeiten werden mit einem zweiseitigen 95 %-Konfidenzintervall auf die Wirkung der Modalität (d. h. ClearRead minus ohne Hilfe). Auf Signifikanz wird geschlossen, wenn die Obergrenze des zweiseitigen 95 %-Konfidenzintervalls nicht Null enthält.

Bei beiden Analysen könnte die Verwendung des gemischten Modells modifiziert werden, um einen Bootstrap-Sampling-Ansatz zu verwenden, wenn die Modellannahmen der DBM-Methode verletzt wurden. Die obere 95 %-Konfidenzgrenze für den Unterschied in den Flächen unter den Kurven würde mit 10.000 Bootstraps in der MultiReader MultiCase (MRMC) ROC-Methode berechnet.

LEISTUNG UND PROBENUMFANG

Die Fähigkeit, Unterschiede in der AUC der LROC-Kurve für die vorgeschlagene statistische Analyse unter Verwendung der aktuellen Design-Baseline zu erkennen, d. h. 300 Fälle, wobei jedes entsprechende Bild von 10 Lesern gelesen wurde, wurde durch eine Simulationsstudie bewertet. Insbesondere wurde das oben skizzierte Modell verwendet, um 500 Datensätze über eine Reihe von Effektgrößen hinweg zu simulieren, wobei Power als der Anteil der Datensätze definiert wurde, die einen signifikanten p-Wert zum Testen des festen Effekts der Modalität ergaben. Die Methode von Dorfman, Berbaum und Metz, 1992 (DBM) wurde unter Verwendung der statistischen gemischten Modelltheorie mit Jackknife-Schätzungen implementiert.

Diese Simulationen erforderten Annahmen bezüglich der Größe der Varianzkomponenten, die mit den verschiedenen Zufallseffekten verbunden sind. Da keine Pilotstudie zur Ermittlung von Schätzungen der Varianzkomponenten durchgeführt wurde, wurden Schätzungen der Varianzkomponenten aus der Riverain-Studie SoftView 510(k) (Record # BSSI-PR-09-00006) verwendet, die eine ähnliche Technologie wie das vorgeschlagene ClearRead CT Insight-Gerät verwendet in allen Leistungssimulationen. Bitte beachten Sie, dass die Varianzkomponenten durch die Gesamtvarianz skaliert wurden, um den Anteil der Gesamtvarianz darzustellen, der durch jede Komponente erklärt wird. Alle Leistungsschätzungen hängen von der Angemessenheit der angenommenen Varianzkomponenten ab.