Klinische Bewertung der V5-LU01 AI-Software in der Thorax-CT für V5med Inc.

Überblick über die Studie:

Es wird eine Leserstudie mit sechzehn teilnehmenden Radiologen durchgeführt. Eine ortsspezifische Receiver Operating Characteristic (LROC)-Kurve wird verwendet, um die Erkennungsleistung von Radiologen bei der Erkennung qualifizierter Lungenknoten bei Thorax-CT-Scans mit und ohne Verwendung des V5med Lung AI-Systems zu bewerten. Die Lesezeit für jeden Fall wird ebenfalls aufgezeichnet.

Die 16 Studienradiologen werden in zwei Gruppen aufgeteilt, X und Y. Die 350 Thorax-CT-Scans werden in zwei Teilmengen A und B aufgeteilt. Radiologen der Gruppe X interpretieren Teilmenge A ohne KI und Teilmenge B mit V5med Lung AI. Der Radiologe der Gruppe Y interpretiert Teilmenge B ohne KI und Teilmenge A mit KI. Nach mindestens einem Monat interpretiert jede Radiologengruppe dieselben Bilder erneut, jedoch in umgekehrter Reihenfolge hinsichtlich der Untersuchungsmodi (ohne KI und mit KI). Eine detaillierte Anordnung der Interpretationssitzungen des Radiologen finden Sie in den Abbildungen 1 und 2.

Während der Basisuntersuchungssitzung markiert der Radiologe jede Stelle qualifizierter Knötchen und weist eine Bewertung zu. Wenn mindestens ein verdächtiger Knoten beobachtet wird, gibt der Radiologe am Ende der Fallauswertung auch einen Lungen-RADS-Score (d. h. 2, 3, 4A, 4B oder 4X) an.

Während der zweiten Befundungssitzung (d. h. der unterstützten Befundung) wird dem Radiologen ein Thorax-CT mit CADe-Markierungen im „linken Fenster“ und das gleiche Thorax-CT ohne CADe-Markierungen im „rechten Fenster“ angezeigt. Wenn der Radiologe einen Knoten bestätigt, markiert er die Stelle im Brust-CT, das im rechten Fenster angezeigt wird. Dies kann mit den im linken Fenster angezeigten Positionen der CADe-Markierungen übereinstimmen oder auch nicht. Wie in der Basisstudie weist der Radiologe jeder verdächtigen Stelle einen Score (Verdachtsgrad) zu und stellt einen Lungen-RADS-Score für den Brust-CT-Fall bereit, wenn mindestens eine Stelle im CT markiert ist.

Basierend auf den verdächtigen Orten und ihren von Studienradiologen bewerteten Werten (Verdachtsgrad) können LROC-Kurven sowohl für die Basislinie als auch für die unterstützten Messwerte erstellt und die Signifikanz etwaiger Unterschiede berechnet werden. Der LOS-Score wird auch zur Berechnung von Sensitivität, Spezifität, PPV und NPV verwendet.

Anzahl und Art der Thorax-CT-Fälle:

In die Studie werden retrospektive Thorax-CT-Bildserien von etwa 350 Fällen einbezogen. Ungefähr zweihundert (200) Fälle weisen mindestens eine Knotengröße von mehr als 4 mm auf. In diesen Fällen liegen radiologisch nachweisbare und/oder durch Biopsie bestätigte Krebserkrankungen vor. Zu den Knotenbildern zählen auch Bilder, bei denen ein Knoten zu diesem Zeitpunkt noch nicht erkannt wurde, aber anhand einer nachfolgenden CT erkannt und entsprechende Maßnahmen ergriffen wurden. Hierbei handelt es sich um frühere Bilder, auf denen der Knoten an der gleichen Stelle identifiziert werden kann wie auf dem „aktuellen“ Bild, das vom Expertengremium des Radiologen bestätigt wurde (unter Verwendung einer Mehrheit von drei als Entscheidungskriterium). Darüber hinaus weisen etwa einhundertfünfzig (150) Fälle keine Knötchengröße von mehr als 4 mm auf.

Die ausgewählten Thorax-CT-Fälle für die 2-armige vergleichende Reader-Studie, die zufällig aus einem größeren Pool von CT-Fällen ausgewählt werden, werden auf folgende Weise angereichert:

1. Lungenknötchen (Krebs und gutartige Knötchen) haben eine Knötchengröße zwischen 4 mm und 30 mm. Der Anteil der Knötchen mit einer Größe von 20 mm oder weniger dürfte in den meisten Fällen mit Knötchen ausfallen, da wir davon ausgehen, dass diese Software in diesem Größenbereich der Lungenläsion den größten Einfluss haben wird.
2. Nicht-feste (geschliffene) Knötchen werden dem Studiendatensatz hinzugefügt (je nach Verfügbarkeit), um die Leistung des Systems bei nicht-festen Knötchen zu bestimmen. Damit in dieser Gruppe genügend Fälle vorliegen, können wir mehr gutartige (nicht bösartige) nicht feste Knötchen einbeziehen.
3. In diesem Projekt wird das VIRGINIA TECH-Studienteam einen maschinellen Standalone-Test des V5med-Lung-KI-Algorithmus durchführen, gefolgt von einer Studie zur Bewertung der Leseleistung. V5med Technologies wird ein System bereitstellen, das mit einem Arbeitspunktsatz konfiguriert ist, der für die Leserstudien verwendet werden soll, und eine Konfiguration für ein „offenes“ System, das für Maschinentests und zur Generierung einer Free-Response-ROC-Kurve (FROC) verwendet wird.

Das Design einer zweiarmigen Vergleichsstudie:

Die Erstarmstudie:

Führen Sie eine grundlegende Leserstudie ohne spezielles Werkzeug durch. Der Leser wird gebeten, alle potenziellen Knötchen mit einer Größe von mindestens 4 mm zu markieren. Für jede Markierung werden die Größe der Region of Interest (ROI), die Leserbewertung (Verdachtsgrad) und die aufgewendete Zeit für die statistischen Analysen aufgezeichnet.

Die Zweitarmstudie:

Führen Sie eine weitere Leserstudie mit der V5med Lung AI als unterstütztem Lesen durch. Der Leser wird gebeten, mit Unterstützung der V5med Lung AI alle potenziellen Knötchen mit einer Größe von mindestens 4 mm zu markieren. Einige oder die meisten ROI-Parameter werden von V5med Lung AI vorab ausgefüllt. Der Leser wird für jeden Standort eine endgültige Entscheidung treffen. Der markierte Ort, der LOS-Score, der Lung-RADS-Score und die aufgewendete Zeit werden für die statistischen Analysen aufgezeichnet und mit der ersten Armstudie verglichen.

Die primäre Studienhypothese ist, dass die Erkennung von Lungenknötchen mit der Verwendung von V5med Lung AI und den damit verbundenen Funktionen der Erkennung von Lungenknötchen ohne Verwendung von V5med Lung AI überlegen ist, gemessen anhand der Fläche unter der LROC-Kurve.