Évaluation du logiciel de détection des nodules pulmonaires assistée par ordinateur en tomodensitométrie thoracique pour Riverain Technologies LLC

Une étude auprès des lecteurs avec au moins dix (10) radiologues participants sera menée. Une courbe caractéristique de fonctionnement du récepteur localisé sera utilisée pour évaluer la performance diagnostique des radiologues (en termes de compromis entre la sensibilité et la spécificité lorsque les critères de décision changent) dans la détection des nodules pulmonaires sur les scanners pulmonaires avec et sans l'utilisation du Système ClearRead CT Insight (CRCTI). Le temps nécessaire à l'examen et à l'interprétation de chaque cas sera également enregistré.

Une interprétation initiale (de base) sera faite par chacun des radiologues sur la base du scanner pulmonaire dans sa forme originale. Au moins un mois plus tard, chaque radiologue interprétera à nouveau les mêmes images en visualisant la paire de séries CT CRCTI : deux séries d'images CT (standard avec marques CADe et traitées avec suppression des vaisseaux seront présentées sur un grand moniteur ou sur deux écrans adjacents moniteurs.

Au cours de la lecture de base, le radiologue marquera l'emplacement des nodules exploitables et attribuera un score. Le radiologue indiquera également la méthode de suivi recommandée (TDM de contraste, TEP-TDM, Suivi TDM, Biopsie).

Au cours de la deuxième session de lecture (lecture simultanée), le radiologue se verra présenter un CT apparaissant standard avec des marques de détection assistée par ordinateur (CADe) placées et le vaisseau supprimé même tranche avec la vue supprimée du vaisseau (image de droite). La deuxième image, vaisseau supprimé, sera grisée jusqu'à ce que le radiologue déplace la souris vers le deuxième panneau. Le radiologue marquera les emplacements. Ceux-ci peuvent ou non correspondre aux emplacements des marqueurs CAD. Comme précédemment, le radiologue attribuera un niveau de suspicion à chaque marque et indiquera la nécessité, le cas échéant, d'une action diagnostique supplémentaire (Suivi CT, CT de contraste, TEP-CT ou Biopsie).

Sur la base des niveaux de suspicion pour chaque nodule et des cotes de probabilité associées, des courbes LROC seront construites pour la ligne de base et les lectures simultanées et l'importance de toute différence sera calculée. Les recommandations d'action ultérieure (Suivi CT, CT de contraste, PET-CT ou Biopsie) seront utilisées pour calculer la sensibilité et la spécificité, la VPP et la VPN.

Nombre et types de cas :

Des séries d'images CT pulmonaires rétrospectives d'environ 300 patients seront incluses dans l'étude. Environ cent (100) des patients auront des cancers confirmés par pathologie et environ deux cents (200) des patients seront des CT associés à des patients normaux. Sont également incluses en tant qu'images de nodules celles où le nodule actionnable n'a pas été traité à ce moment-là, mais a été détecté et traité sur la base d'un CT ultérieur. Ce sont les images antérieures où le nodule peut être identifié et sa localisation est la même que sur l'image "actuelle" confirmée par le panel d'experts radiologues (en utilisant une majorité de trois comme critère de décision).

L'échantillon sélectionné, sélectionné au hasard parmi un plus grand pool de cas CT sera enrichi de la manière suivante :

1. Les nodules pulmonaires (cancers dans cette étude) seront de taille tumorale T1a (20 mm ou moins). La proportion de nodules de 20 mm ou moins peut être augmentée puisque c'est là que les enquêteurs s'attendent à ce que soit l'impact majeur de ce logiciel.
2. Des nodules non solides (verre dépoli) seront ajoutés à l'échantillon (en fonction de la disponibilité) pour déterminer la performance du système sur les nodules non solides. Pour ce groupe, afin d'avoir suffisamment de cas, les enquêteurs devront peut-être inclure des nodules non solides bénins (non malins).
3. Dans ce projet, les chercheurs effectueront un test machine de l'algorithme ClearRead CT Insight suivi d'une étude d'évaluation des performances du lecteur. Riverain fournira un système configuré avec l'ensemble de points de fonctionnement à utiliser pour les études de lecteur et une configuration pour un système "ouvert" à utiliser pour les tests de machine et la génération de FROC.

Bras 1 : une lecture de base (pas de contenu secondaire) et Bras 2 : lecture simultanée augmentée par CAO.

1. 1er bras : faire une ligne de base (mesurer le temps, les lecteurs notent les régions en fonction de l'action et de la méfiance) - marquer tous les lieux préoccupants
2. nd Arm : Lecture simultanée (mesure du temps, les lecteurs notent les régions en fonction de l'action et de la suspicion) - marquez tous les emplacements préoccupants

L'hypothèse principale de l'étude est que l'utilisation complémentaire de ClearRead CT Insight est supérieure à l'utilisation d'images CT pulmonaires standard seules, telle que mesurée par l'aire sous la courbe LROC.

ANALYSES STATISTIQUES Précision

Pour évaluer l'hypothèse de supériorité en termes d'amélioration de la précision de ClearRead CT Insight par rapport à l'absence d'aide, un modèle à effets mixtes (DBM) sera mis en œuvre (similaire au modèle décrit dans Dorfman, Berbaum et Metz, 1997), où les composantes de la variance seront être inclus pour tenir compte du lecteur, du cas, du lecteur par cas, du lecteur par modalité, du cas par modalité et du lecteur par cas par modalité. Cependant, il est prévu que l'interaction à trois voies sera inestimable et sera par la suite supprimée du modèle statistique. Plus précisément, l'hypothèse pour tester la supériorité de ClearRead CT Insight par rapport à sans aide est :

H0 : ASC sans aide - AUCClearRead CT Insight ≥ 0,0 vs. HA : ASC sans aide - AUCClearRead CT Insight < 0

L'AUC du LROC est le critère d'évaluation principal pour évaluer l'exactitude et le test d'intérêt sera un intervalle de confiance bilatéral de 95 % sur l'effet de la modalité (c'est-à-dire ClearRead CT Insight moins sans aide). La signification sera conclue si la limite supérieure de l'intervalle de confiance bilatéral à 95 % n'inclut pas zéro. Si l'hypothèse nulle (H0) est rejetée, l'hypothèse alternative (HA) est acceptée et la supériorité de l'utilisation du système ClearRead CT Insight sera établie.

Temps

Le deuxième objectif co-principal est d'évaluer la réduction du temps passé par image pour ClearRead CT Insight par rapport à sans aide. Plus précisément, l'hypothèse pour tester la supériorité de ClearRead CT Insight par rapport à sans aide est :

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

Pour évaluer l'hypothèse de non-infériorité en termes de temps de lecture amélioré pour ClearRead CT Insight par rapport à sans aide, un modèle à effets mixtes sera mis en œuvre (similaire au modèle décrit dans Dorfman, Berbaum et Metz, 1992), où les composantes de la variance seront inclus pour tenir compte du lecteur, du cas, du lecteur par cas, du lecteur par modalité, du cas par modalité et du lecteur par cas par modalité. Cependant, il est prévu que l'interaction à trois voies sera inestimable et sera par la suite supprimée du modèle statistique.

Les temps de lecture seront testés à l'aide d'un intervalle de confiance bilatéral de 95 % sur l'effet de la modalité (c'est-à-dire ClearRead moins sans aide). La signification sera conclue si la limite supérieure de l'intervalle de confiance bilatéral à 95 % n'inclut pas zéro.

Avec l'une ou l'autre analyse, l'utilisation du modèle mixte pourrait être modifiée pour utiliser une approche d'échantillonnage bootstrap si les hypothèses du modèle de la méthode DBM ont été violées. La limite de confiance supérieure à 95 % pour la différence dans les aires sous les courbes serait calculée à l'aide de 10 000 bootstraps dans la méthode ROC MultiReader MultiCase (MRMC).

PUISSANCE ET TAILLE D'ÉCHANTILLON

La capacité à détecter des différences dans l'AUC de la courbe LROC pour l'analyse statistique proposée en utilisant la ligne de base de conception actuelle, c'est-à-dire 300 cas, chaque image correspondante lue par 10 lecteurs, a été évaluée par une étude de simulation. Plus précisément, le modèle décrit ci-dessus a été utilisé pour simuler 500 ensembles de données sur une gamme de tailles d'effet, où la puissance a été définie comme la proportion d'ensembles de données qui ont donné une valeur p significative pour tester l'effet fixe de la modalité. La méthode de Dorfman, Berbaum et Metz, 1992 (DBM) a été mise en œuvre en utilisant la théorie des modèles statistiques mixtes avec des estimations jackknife.

Ces simulations ont nécessité des hypothèses concernant l'ampleur des composantes de la variance associées aux différents effets aléatoires. Étant donné qu'aucune étude pilote n'a été menée pour obtenir des estimations des composantes de la variance, les estimations des composantes de la variance de l'étude Riverain SoftView 510(k) (n° d'enregistrement BSSI-PR-09-00006) qui utilise une technologie similaire à celle du dispositif ClearRead CT Insight proposé ont été utilisées. dans toutes les simulations de puissance. Veuillez noter que les composantes de la variance ont été mises à l'échelle par la variance totale pour représenter la proportion de la variance totale expliquée par chaque composante. Toutes les estimations de puissance dépendent de la pertinence des composantes de variance supposées.