Validación de i-ROP DL para detectar ROP más que leve

Objetivos

Este estudio consta de 2 partes. Los propósitos de la primera parte que involucra la validación fundamental de i-ROP DL son:

• Determinar la sensibilidad y especificidad de i-ROP DL para la detección de retinopatía del prematuro más que leve (MTMROP) en un entorno de telemedicina de bebés con un peso al nacer (PN) inferior a 1251 g que cumple con los criterios de detección de ROP actuales.
• Determinar la sensibilidad y especificidad de i-ROP DL para la detección de tratamiento que requiere retinopatía del prematuro (TR-ROP) en un entorno de telemedicina de bebés con un peso al nacer (PN) inferior a 1251 g que cumple con los criterios de detección de ROP actuales.

Este estudio es un estudio observacional, multicéntrico y retrospectivo para evaluar la seguridad y eficacia de i-ROP DL en la detección de MTMROP y TR-ROP. El diseño del estudio se ajusta al paradigma Intent to Screen (ITS). El estudio seleccionará aproximadamente 1200 sujetos de los 1285 sujetos del estudio Enfoques de telemedicina para evaluar la retinopatía del prematuro en fase aguda (e-ROP). Como criterio de valoración principal, este estudio está diseñado para evaluar la sensibilidad y especificidad de i-ROP DL para la detección de MTMROP y TR-ROP de bebés prematuros para cumplir con los criterios preespecificados.

La seguridad y eficacia del sistema i-ROP DL están vinculadas a la capacidad de interpretar imágenes Retcam para detectar con precisión la enfermedad MTMROP. Por lo tanto, cada criterio de valoración del estudio aborda tanto la seguridad como la eficacia. Todos los siguientes criterios de valoración se miden según el ojo de estudio de los sujetos.

Los criterios de valoración coprimarios son:

• Sensibilidad y especificidad del i-ROP DL que detecta MTMROP en cada nivel del 1-9 VSS (1, 2, 3, etc.).
• AUC de ROC para la detección de MTMROP basada en VSS. Los objetivos de rendimiento propuestos se definen con una sensibilidad y especificidad del 85,0% para MTMROP, lo que refleja las cifras de inscripción previstas y los requisitos reglamentarios preespecificados. Además de la sensibilidad y especificidad observadas, la sensibilidad y especificidad corregidas por enriquecimiento se calcularán mediante regresión logística para evaluar si el rendimiento habría sido diferente si la población de estudio no se hubiera enriquecido con sujetos con mayor prevalencia de enfermedades.

Los criterios de valoración secundarios son:

• Sensibilidad y especificidad para la detección TR-ROP en cada nivel del VSS.
• AUC de ROC para la detección de TR-ROP basada en VSS.
• Los valores predictivos positivos y negativos para la detección de MTMROP y TR-ROP en una población no enriquecida (similar a la población de uso previsto).

El propósito de la segunda parte de este estudio implica un estudio fundamental del lector y evaluará la precisión de los lectores en el diagnóstico de la enfermedad plus versus ninguna enfermedad plus o pre-plus con o sin la ayuda del i-ROP DL. Se evaluarán las métricas de desempeño de los oftalmólogos para las siguientes modalidades:

• Evaluación estándar siguiendo el proceso estándar de atención ("sin i-ROP DL")
• Evaluación siguiendo el proceso de atención estándar con la ayuda de i-ROP DL ("con i-ROP DL") Este estudio retrospectivo de múltiples lectores y múltiples casos (MRMC) tendrá una muestra enriquecida de aproximadamente 300 casos oculares (1 estudio ojo por sujeto): 60 casos plus, 120 casos pre-plus y 120 casos no plus. El enriquecimiento se produce con respecto a las proporciones de casos plus y casos pre-plus.

El objetivo principal de este estudio es evaluar si el área bajo la curva de características operativas del receptor (ROC) (AUC) basada en puntuaciones de probabilidad de enfermedad plus es estadísticamente significativamente no inferior o superior con la ayuda del i-ROP DL versus sin el ayuda del i-ROP DL. En la siguiente sección se describen varios criterios de valoración secundarios.

La seguridad y eficacia del i-ROP DL están vinculadas a la capacidad de los oftalmólogos de interpretar imágenes para diagnosticar con precisión la enfermedad plus. Por lo tanto, cada criterio de valoración del estudio aborda tanto la seguridad como la eficacia.

Todos los siguientes puntos finales se miden sin la ayuda del i-ROP DL, con la ayuda del i-ROP DL, y su diferencia.

Los criterios de valoración coprimarios son:

• Área promedio por sujeto bajo la curva ROC (AUC) no inferior con la ayuda de i-ROP DL versus sin la ayuda de i-ROP DL, según las puntuaciones de probabilidad en el momento del diagnóstico de la enfermedad plus.
• Área promedio superior por sujeto bajo la curva ROC (AUC) con la ayuda de i-ROP DL versus sin la ayuda de i-ROP DL, según las puntuaciones de probabilidad en el momento del diagnóstico de la enfermedad plus.

Para mantener el nivel alfa del estudio de 0,05, los dos criterios de valoración coprimarios se probarán secuencialmente siguiendo el enfoque de control.

Se considerará que el primer criterio de valoración coprimario ha demostrado con éxito la seguridad y eficacia del i-ROP DL si el AUC promedio por sujeto con la ayuda del i-ROP DL no es estadísticamente significativamente inferior al AUC promedio sin el ayuda del i-ROP DL para el diagnóstico de enfermedad plus, en el nivel de significancia alfa = 0,05.

Si el primer criterio de valoración coprimario es estadísticamente significativo, se probará el segundo criterio de valoración coprimario. Se considerará que el segundo criterio de valoración coprimario ha demostrado con éxito la seguridad y eficacia del i-ROP DL si el AUC promedio por sujeto con la ayuda del i-ROP DL es estadísticamente significativamente superior al AUC promedio sin la ayuda de el i-ROP DL para el diagnóstico de enfermedad plus, en un nivel de significancia alfa = 0,05.

Los criterios de valoración secundarios son:

• Diferencias en la sensibilidad y especificidad promedio por sujeto de los lectores con y sin la ayuda del i-ROP DL para clasificar la enfermedad plus de los casos no plus/pre-plus.

La sensibilidad y la especificidad se calculan a partir de la respuesta del lector para las tres categorías (sin plus, pre-plus y plus), utilizando plus como positivo.

• Diferencia en la concordancia entre lectores con y sin la ayuda de i-ROP DL para clasificar la enfermedad plus de los casos no plus/pre-plus.
• Área promedio por sujeto bajo la curva ROC (AUC) no inferior con la ayuda de i-ROP DL versus sin la ayuda de i-ROP DL, según las puntuaciones de probabilidad en el momento del diagnóstico de enfermedad pre-plus o peor.
• Área promedio superior por sujeto bajo la curva ROC (AUC) con la ayuda de i-ROP DL versus sin la ayuda de i-ROP DL, según las puntuaciones de probabilidad en el momento del diagnóstico de enfermedad pre-plus o peor.

Fondo

La retinopatía del prematuro es una enfermedad que se desarrolla cuando los bebés nacen prematuramente antes de que la retina se haya desarrollado por completo [1]. Es una de las principales causas de ceguera infantil en todo el mundo, pero la ceguera suele evitarse con un diagnóstico preciso y un tratamiento oportuno de los bebés con enfermedades que requieren tratamiento [1]. Cada país ha aceptado criterios según los cuales los bebés requieren exámenes oculares. En los Estados Unidos, todos los bebés nacidos con menos de 31 semanas de edad posmenstrual (EMP) o menos de 1500 gramos requieren exámenes oculares de diagnóstico a partir de las 31 semanas de EMP o 4 semanas después del nacimiento, lo que ocurra más tarde [2]. Los exámenes se repiten a intervalos de 1 a 2 semanas según el nivel de enfermedad identificado en el examen.

El diagnóstico de ROP se realiza mediante oftalmoscopia (examen en persona junto a la cama) o mediante telemedicina con imágenes digitales remotas del fondo de ojo [2] [3]. La telemedicina se ha convertido en un estándar de atención aceptable para los exámenes de diagnóstico de ROP y, en la mayoría de los flujos de trabajo de telemedicina, los exámenes se repiten semanalmente para minimizar el riesgo de pasar por alto la ROP. Ya sea que los exámenes se realicen en persona o mediante telemedicina, el oftalmólogo es responsable de documentar la presencia o ausencia de ROP utilizando las pautas de la Clasificación Internacional de ROP (ICROP), incluida la documentación de la presencia y el grado de la zona, el estadio y la enfermedad plus [4].

Las pautas de tratamiento actuales sugieren que se debe realizar un tratamiento urgente (dentro de las 48 horas) cuando los bebés desarrollan ROP "tipo 1", definida como ROP en etapa 3 de Zona I (con o sin plus), o cualquier zona o etapa con plus [5]. Debido a que la zona I etapa 3 sin plus es poco común, estas pautas han establecido la enfermedad plus como la característica clínica más importante que determina la necesidad de tratamiento en la ROP. La enfermedad Plus generalmente se define como la dilatación y tortuosidad de los vasos retinianos posteriores en la Zona I en relación con una fotografía estándar publicada. Sin embargo, a medida que las imágenes digitales del fondo de ojo se han vuelto más estándar, ha quedado claro que en la práctica, el diagnóstico de la enfermedad plus no siempre se realiza de manera consistente, con una variabilidad significativa entre observadores. Como resultado, la tercera edición de ICROP, publicada en 2021, reconoce que pre-plus y plus abarcan un espectro relacionado con la gravedad general de la ROP en el ojo [4] [5].

Debido a que el tratamiento es urgente cuando se diagnostica ROP tipo 1, cuando se diagnostica enfermedad límite en los pacientes, el oftalmólogo responsable del cuidado de ese bebé puede sugerir la derivación para un examen oftalmoscópico en persona y un posible tratamiento, para evitar retrasos en el tratamiento en caso de problemas logísticos o de transporte. desafíos. Por esa razón, es mejor diagnosticar la ROP grave antes de que los bebés progresen a la enfermedad ROP tipo 1/plus.

El sistema i-ROP DL es un dispositivo de detección para uso de enfermeras, fotógrafos o técnicos capacitados que realizan exámenes oculares de detección utilizando la cámara Retcam 3. La salida del dispositivo es una "remisión" o "repetición" que se asigna a cada paciente y que refleja el espectro de cambios vasculares en la enfermedad pre-plus y plus [6] [7].

El resultado se enviará a un oftalmólogo para su revisión si se detecta "ROP más que leve" ("referir"), utilizando las mismas imágenes analizadas por el algoritmo (no se requiere un examen por separado). El médico puede decidir una gestión adicional basándose en un flujo de trabajo de telemedicina estándar. En los casos en los que "no se necesita derivación", se programará al bebé para un examen de seguimiento en 1 semana (típico de los programas de telemedicina). Esto garantiza que si un bebé progresa a una ROP más que leve con el tiempo, haya múltiples oportunidades para detectarla y señalarla para su revisión clínica. El trabajo preliminar sugiere que los bebés generalmente alcanzan el umbral de MTMROP entre 2 y 4 semanas antes del diagnóstico de TR-ROP, lo que hace que el riesgo de que se pase por alto un caso sea muy bajo.

El sistema i-ROP DL también es un dispositivo de diagnóstico de asistencia para uso del oftalmólogo que realiza exámenes oculares de diagnóstico mediante la revisión por telemedicina de imágenes digitales del fondo de ojo utilizando la cámara Retcam 3. El resultado del dispositivo de diagnóstico de asistencia es una "puntuación de gravedad vascular" (de 1 a 9) que se asigna al nivel del ojo y que refleja el espectro de cambios vasculares en la enfermedad pre-plus y plus [6] [7]. La puntuación de gravedad vascular se calcula en función de la probabilidad subyacente de una clasificación de no plus, pre-plus o plus, y corresponde a la probabilidad relativa de que un experto al azar diagnostique una enfermedad plus (en el extremo del espectro, 9, 100% de expertos diagnosticaría más la enfermedad) [7].

Este resultado tiene dos ventajas que pueden mejorar el diagnóstico de enfermedades pre-plus y plus, y reducir el riesgo de tratamiento tardío para los bebés en el contexto de la telemedicina. En primer lugar, una mayor gravedad vascular no sólo se asocia con una mayor probabilidad de enfermedad plus, sino también con un mayor estadio y extensión de la enfermedad periférica [6] [8], que puede ser visible o no en todas las imágenes. En la revisión de telemedicina, si el estadio de la enfermedad no es visible en las imágenes periféricas, el oftalmólogo puede considerar repetir las imágenes o derivar al bebé a un examen oftalmoscópico. En este caso, el resultado "positivo" no necesariamente desencadenaría ninguna intervención terapéutica, pero ayudará al oftalmólogo a realizar el diagnóstico. En segundo lugar, la puntuación de gravedad vascular ayudará en el diagnóstico y la precisión de la enfermedad plus al proporcionar una métrica objetiva, basada en el diagnóstico experto de la enfermedad plus [6] [7].

Diseño del estudio

Parte 1: este estudio clínico es un estudio observacional, multicéntrico y retrospectivo para evaluar la seguridad y eficacia de i-ROP DL en la detección de ROP en el entorno de atención de telemedicina. El diseño del estudio se ajusta al paradigma Intent to Screen (ITS).

Parte 2: Esta investigación clínica es un estudio retrospectivo, fundamental, de múltiples lectores y de múltiples casos (MRMC) con una muestra enriquecida de aproximadamente más de 60 casos (sujetos), 120 casos pre-plus y 120 casos no plus.

• Diagnóstico estándar de referencia El diagnóstico estándar de referencia (RSD) para la verdad fundamental de 3 clases (sin plus, pre-plus o plus) se determinará al nivel de los ojos mediante la clasificación mayoritaria de 5 expertos en ROP que clasificarán de forma independiente todos los ojos en el conjunto de datos. En el improbable caso de un desacuerdo de 2/2/1, se pedirá a los 5 expertos que recalifiquen el examen de la vista juntos hasta que haya una mayoría (al menos 3/5 de acuerdo).
• El proceso de RSD Los expertos en RSD revisarán todos los casos seleccionados para su inclusión en el estudio del lector. Los expertos en RSD completarán un eCRF para cada caso, basado en imágenes oculares y la información clínica disponible en el sitio de adquisición de imágenes.
• El proceso de lectura Aproximadamente 16 oftalmólogos realizarán de forma independiente dos lecturas en todos los casos (aproximadamente 300). Cada lector leerá cada caso sin la ayuda del i-ROP DL y luego con la ayuda del i-ROP DL.

La primera lectura recapitulará el estándar de atención actual con un oftalmólogo que evalúa el nivel general de gravedad de la ROP sin la ayuda del i-ROP DL utilizando los criterios de la Clasificación Internacional de ROP (ICROP) [1] para zona, estadio y enfermedad plus. .

La segunda lectura evaluará el efecto de la salida de i-ROP DL en el diagnóstico de enfermedades plus utilizando los mismos criterios. Para minimizar el sesgo de recuerdo, las dos visitas de lectura estarán separadas por un período de pérdida de memoria de aproximadamente cuatro semanas.

Esta investigación clínica es un estudio retrospectivo, fundamental, de múltiples lectores y de múltiples casos (MRMC) con una muestra enriquecida de aproximadamente 300 casos que se seleccionarán de la biblioteca de casos de telemedicina recopilados en Enfoques de telemedicina para evaluar la ROP en fase aguda (e- ROP) Estudio.

Todos los sujetos de la biblioteca proporcionaron previamente su consentimiento informado por escrito para su inclusión en el estudio e-ROP. Como parte del proceso de consentimiento, los sujetos aceptaron que los datos de las imágenes y la documentación de respaldo podrían usarse para futuras investigaciones. En este estudio solo se utilizarán datos no identificados e imágenes de retina.

Los casos evaluables se definen como sujetos que cumplieron con todos los criterios de inclusión/exclusión de casos del protocolo y que tienen un conjunto completo de exámenes oculares de calidad adecuada. La calidad de cada imagen se clasifica como buena, adecuada, mala o faltante, según el enfoque, la claridad y la definición del campo.

Las medidas para garantizar la confidencialidad del sujeto y del lector incluyen la asignación de números únicos de identificación de estudio y de lector.

• Tamaño de la muestra y combinación de casos Tamaño de muestra enriquecido de aproximadamente 300 casos (sujetos) con la siguiente combinación de casos: 60 casos plus, 120 casos preplus y 120 casos no plus.
• Selección de casos y distribución específica El estadístico independiente seleccionará los casos para este estudio fundamental de lectores y los casos se seleccionarán al azar para proporcionar distribuciones representativas de la raza en los sitios de inscripción, en la medida en que esto se pueda lograr utilizando los casos de la biblioteca de casos.

Criterios de inclusión y exclusión Todos los casos de este estudio fundamental de validación cumplirán con los siguientes criterios de inclusión y exclusión de elegibilidad. (Ver también el Apéndice A para conocer los criterios de inclusión y exclusión del protocolo e-ROP). Solo se considerarán evaluables los sujetos que dieron su consentimiento, cumplieron con todos los criterios de inclusión y ninguno de los criterios de exclusión, y completaron el análisis necesario para establecer la verdad básica del diagnóstico estándar de referencia.

Los criterios de inclusión para todos los casos en el estudio son los siguientes:

• Sujetos elegibles según el protocolo e-ROP, definido como bebés con un peso al nacer (PN) inferior a 1251 g que cumple con el cribado de ROP actual.
• Los casos oculares cumplen con los requisitos de calidad de imagen para establecer el diagnóstico estándar de referencia de casos plus, pre-plus y no plus.
• Los sujetos han conocido la verdad sobre el terreno del diagnóstico estándar de referencia. Si el proceso de diagnóstico estándar de referencia no puede crear una etiqueta RSD para la enfermedad plus, el ojo no se incluirá en el estudio.
• Imagen adquirida por el siguiente dispositivo: RetCam Ophthalmic Imaging Systems 3 (Natus Medical Incorporated).

Los criterios de exclusión para todos los casos del estudio son los siguientes:

• Sujetos que estén en violación del protocolo e-ROP.
• Sujetos que violen los criterios de inclusión de este protocolo. Selección de casos y distribución dirigida Todos los sujetos que cumplan con los criterios de inclusión y exclusión del estudio e-ROP se incluirán en este estudio. El estudio e-ROP representa la aparición natural de los casos de enfermedades plus y pre-plus en el entorno clínico. No hay enriquecimiento de datos dentro del estudio e-ROP.

Métodos de reclutamiento

Este estudio se llevará a cabo con oftalmólogos certificados de distintos niveles de experiencia, con al menos un año de experiencia realizando exámenes de ROP. Estos oftalmólogos no estarán asociados con la adquisición o revisión de casos de estudio y no participaron en el proceso de RSD. Se enviará un cuestionario de encuesta a los posibles lectores para determinar la fracción de su tiempo profesional dedicado al diagnóstico de ROP. Los investigadores invitarán a posibles lectores a través del servidor de listas de la Academia Estadounidense de Oftalmología Pediátrica y Estrabismo y la Sociedad de Retina. Se seleccionarán aproximadamente 16 oftalmólogos certificados, con una variedad de experiencia basada en años de experiencia, para leer y calificar los casos de estudio.

La experiencia de lectura ROP se clasificará en tres grupos:

• Lector de alta experiencia: definido como oftalmólogos que tienen >10 años de experiencia en la lectura de imágenes de ROP.
• Lector con experiencia media: definido como oftalmólogos que tienen entre 5 y 10 años de experiencia en la lectura de imágenes de ROP.
• Lector con poca experiencia: definido como oftalmólogos que tienen entre 1 y 4 años de experiencia en la lectura de imágenes de ROP.

Los criterios de inclusión (criterios de calificación) para todos los lectores del estudio son los siguientes:

• Médico, Doctor en Oftalmología, elegible/certificado por la junta de EE. UU. y con licencia. (Junta Americana de Oftalmología o certificación equivalente)
• Acuerdo de estudio del lector firmado.
• Consentimiento informado firmado.
• Capacitación exitosa sobre el protocolo del estudio y el uso del software del estudio.

Proceso de consentimiento

Cada lector debe proporcionar su consentimiento informado por escrito antes de participar en el estudio de lectores de este protocolo. Debido a que los lectores se encuentran en todo el mundo, los investigadores brindarán consentimiento electrónico a través de docusign.

Procedimientos involucrados El proceso de lectura Propósito El propósito del proceso de lectura es que los lectores proporcionen las categorías de evaluación de plus, pre-plus y no plus, puntuaciones de probabilidad de plus y pre-plus o peor en los formularios electrónicos de informe de casos para su interpretación. de los casos de estudio con y sin la ayuda del i-ROP DL.

Realización del proceso de lectura Después de completar con éxito la capacitación del lector, los lectores revisarán y calificarán de forma independiente cada uno de los casos del conjunto de casos de estudio del lector. Se proporcionará a los lectores información clínica sobre los temas, incluido el peso al nacer, la edad gestacional y la edad posmenstrual en el examen de la vista. Cada lector trabajará en una estación de lectura designada y realizará de forma independiente dos secciones de lectura en todos los casos. Cada lector leerá cada caso como lectura estándar y como lectura con la ayuda del i-ROP DL. Cada lector leerá todos los casos como lectura estándar durante la primera visita. Luego, el lector leerá los casos con la ayuda del i-ROP DL durante la segunda visita. Para minimizar el sesgo de recuperación de la memoria, las dos secciones de lectura estarán separadas por un período de eliminación de la memoria de aproximadamente cuatro semanas.

La estación de lectura proporcionará casos precargados desde el servidor a través de una conexión web segura. No se limitará el tiempo de lectura permitido por caso. Se ofrecerá un descanso para el almuerzo durante cada sesión de lectura y se alentará a los lectores a tomar un descanso de 5 a 10 minutos cada hora, según sea necesario. Cada lector ingresará sus interpretaciones directamente en el formulario electrónico de informe de caso. Cada lector firmará un formulario de certificación verificando la información documentada.

Centro de lectura central El proceso de lectura se llevará a cabo de forma remota en el hogar u oficina del lector, como sería en el caso de uso previsto de evaluación de telemedicina.

Preparación de casos para interpretación Para mantener la confidencialidad del sujeto, no se mostrarán datos que lo identifiquen. Los identificadores de imagen únicos asociados con el número de identificación del caso serán visibles en cada imagen para fines de seguimiento. Para mantener la confidencialidad del lector, se asignará un número de identificación único a cada lector que participe en el estudio fundamental del lector para ingresarlo en el formulario electrónico de informe de caso.

La información recopilada durante el estudio se informará de tal manera que impida la identificación de cualquier centro de adquisición de imágenes o desempeño de los lectores.