Un estudio multicéntrico para evaluar el rendimiento de un dispositivo automatizado para la detección de la retinopatía diabética

Desde enero de 2017 hasta julio de 2017, 900 participantes se inscribieron prospectivamente en este estudio observacional en 10 sitios de práctica de atención primaria en los Estados Unidos. El estudio fue aprobado por la junta de revisión institucional para cada sitio, y todos los participantes dieron su consentimiento informado por escrito. El estudio, que fue financiado por IDx LLC, fue diseñado por los autores con aportes de la Administración de Drogas y Alimentos de los EE. UU. (FDA) sobre los criterios de valoración, las pruebas estadísticas y el diseño del estudio. Emmes Corp, una organización de investigación por contrato (CRO), proporcionó la gestión general del proyecto, incluida la gestión de datos y los servicios independientes de supervisión y auditoría para todos los sitios. Se contrató a CCR, Inc., un proveedor de integridad de algoritmos (AIP), para bloquear el sistema de IA, mantener cualquier resultado intermedio y final e imágenes en custodia e impedir el acceso a estos por parte del patrocinador, desde antes del inicio del estudio hasta bloqueo de datos final. Debido a que al patrocinador se le prohibió el acceso al sistema de inteligencia artificial, la AIP realizó todas las actividades de mantenimiento y servicio necesarias durante el estudio, así como durante el cierre.

La población diana fueron personas asintomáticas, mayores de 22 años, que habían sido diagnosticadas con diabetes y no habían sido previamente diagnosticadas con RD. Un diagnóstico de diabetes se definió como el cumplimiento de los criterios establecidos por la Organización Mundial de la Salud (OMS) o la Asociación Estadounidense de Diabetes (ADA); Hemoglobina A1c (HbA1c) ≥ 6,5% según evaluaciones repetidas; Glucosa plasmática en ayunas (FPG) ≥ 126 mg/dL (7,0 mmol/L) según evaluaciones repetidas; Prueba de tolerancia oral a la glucosa (OGTT) con glucosa plasmática de dos horas (PG de 2 horas) ≥ 200 mg/dL (11,1 mmol/L) usando el equivalente de una dosis oral de glucosa anhidra de 75 g disuelta en agua; o síntomas de hiperglucemia o crisis hiperglucémica con glucosa plasmática aleatoria (RPG) ≥ 200 mg/dL (11,1 mmol/L).

Para ayudar a inscribir una cantidad suficiente de participantes de mtmDR para la evaluación de la sensibilidad, se utilizó una estrategia de enriquecimiento gradual, como se indica en el protocolo preespecificado, a mitad del estudio para reclutar una cantidad suficiente de participantes de mtmDR. La estrategia de enriquecimiento buscó participantes de mayor riesgo con niveles elevados de HbA1c (>9,0 %) o glucosa plasmática en ayunas elevada; este enriquecimiento fue activado de forma independiente por el estadístico mientras permanecía siempre enmascarado a los resultados del sistema de IA y los niveles de enfermedad de ETDRS. Para tener en cuenta cualquier sesgo de espectro involuntario en la población leve o nula, el estudio predefinió un parámetro de resultado de especificidad para corregir cualquier posible sesgo de espectro resultante de esta estrategia de enriquecimiento como coprimario.

Todos los sitios de atención primaria en el estudio identificaron a uno o más aprendices de operadores internos para realizar el protocolo del sistema de IA. Después de la instalación del equipo por parte del patrocinador en el sitio, pero antes de que se reclutara a cualquier participante, los operadores del sistema de IA en formación tenían que certificar que no habían realizado previamente imágenes oculares. Además, antes del inicio del reclutamiento del estudio en cada sitio, los aprendices de operadores de sistemas de IA se sometieron a un programa de capacitación estandarizado de 4 h por única vez. Recibieron capacitación sobre cómo adquirir imágenes, cómo mejorar la calidad de la imagen si el sistema de IA proporcionaba una salida de calidad insuficiente y cómo colocar imágenes para su análisis en el sistema de IA. No se proporcionó capacitación adicional a ninguno de los operadores del sistema de IA durante la duración del estudio. Independientemente, el CRO identificó fotógrafos expertos certificados por la FPRC en ubicaciones geográficas cercanas a cada sitio, y se requirió la certificación documentada de la FPRC 4W-D antes de tomar imágenes de cualquier participante. El CRO completó de forma independiente las visitas de inicio del sitio en cada sitio para garantizar que cada sitio cumpliera con todos los requisitos de buenas prácticas clínicas antes del inicio de la inscripción.

Protocolo de estudio. Todos los participantes dieron su consentimiento informado por escrito para participar tanto en el protocolo del sistema de IA como en el protocolo de imágenes FPRC, utilizando dos cámaras diferentes:

El protocolo del sistema de IA constaba de los siguientes pasos:

1. El operador toma imágenes con una cámara retiniana no midriática (NW400, Topcon Medical Systems, Oakland, NJ) de acuerdo con un protocolo de imágenes estandarizado con una imagen de 45° centrada en el disco y una fóvea por ojo;
2. El operador envía imágenes al sistema de IA para la evaluación automatizada de la calidad de la imagen y el cumplimiento del protocolo;
3. Si el sistema AI genera una calidad insuficiente, se repiten los pasos 1 y 2 hasta que se genera una calidad suficiente o se realizan 3 intentos. Si el sistema de IA aún indica que las imágenes son de calidad insuficiente, se dilatan las pupilas del participante con colirio de tropicamida al 1,0 % (proporcionado por el Patrocinador en cada sitio), hasta que el diámetro de la pupila sea de al menos 5 mm en cada ojo o hayan transcurrido 30 minutos. , y los pasos 1 y 2 se repiten hasta que se obtiene una calidad suficiente o se realizan 3 intentos. Si el sistema de IA aún genera imágenes de calidad insuficiente, la salida del sistema de IA de calidad insuficiente se proporciona automáticamente al CRO a través de una transferencia de datos segura;
4. Siempre que el sistema de IA indique una calidad suficiente, la salida del nivel de enfermedad del sistema de IA (ya sea mtmDR detectado o mtmDR no detectado) se proporciona automáticamente al CRO a través de una transferencia de datos segura; el resultado final del sistema de IA proporcionado al CRO después de este protocolo fue detectado mtmDR, mtmDR no detectado o calidad insuficiente

Luego se llevó a cabo el protocolo de imágenes de FPRC, que constaba de los siguientes pasos, todos realizados por un fotógrafo certificado por FPRC:

1. Si el participante aún no está dilatado, se administran gotas oculares dilatadoras de tropicamida al 1,0%;
2. La fotografía de fondo de ojo estereoscópica digital de campo amplio se realiza utilizando una cámara capaz de fotografía de campo amplio (Maestro, Topcon Medical Systems, Oakland, NJ) de acuerdo con el protocolo estéreo FPRC 4W-D, por un fotógrafo certificado por FPRC;
3. La fotografía del segmento anterior para la evaluación de la opacidad de los medios se realiza de acuerdo con el Estudio de enfermedades oculares relacionadas con la edad, por un fotógrafo certificado por la FPRC;
4. La OCT de la mácula se realiza utilizando un sistema OCT estándar capaz de producir un escaneo de cubo que contiene al menos 121 escaneos B (Maestro, Topcon Medical Systems, Oakland, NJ) de acuerdo con el protocolo OCT de FPRC, por un fotógrafo certificado por FPRC.

Los fotógrafos certificados por la FPRC estuvieron enmascarados a las salidas del sistema de IA en todo momento.

Estándares de referencia. El protocolo de calificación del FPRC consistió en la determinación de los niveles de la escala de gravedad (SS) de ETDRS para fotografías de fondo de ojo y la calificación OCT estandarizada, de la siguiente manera: las imágenes 4W-D fueron leídas por tres lectores experimentados y validados en el FPRC de acuerdo con el ETDRS SS bien establecido, utilizando un paradigma de votación mayoritaria. Lectores experimentados del FPRC evaluaron las imágenes OCT maculares para determinar la presencia de EMD con afectación del centro de acuerdo con el paradigma de clasificación DRCR. Para cada participante, los niveles de ETDRS se asignaron a mtmDR+ (ETDRS nivel 35 o superior y/o DME presente), o mtmDR- (ETDRS nivel 10-20 y DME ausente), tomando el peor de dos ojos para corresponder a los resultados de el sistema de IA a nivel de participante.16 Para medir la sensibilidad de los casos que requieren un seguimiento inmediato, denominado DR que amenaza la visión, definimos vtDR + como un nivel de ETDRS de 53 o superior y/o DME presente. Consulte la Tabla 2 complementaria para ver el mapeo de los niveles de ETDRS y DME a mtmDR- y mtmDR dicotómicos. +y vtDR+. Debido a que el EMD se puede identificar tanto sobre la base del engrosamiento de la retina en las fotografías estereoscópicas del fondo de ojo, como sobre la base del engrosamiento de la retina en la OCT, analizamos ambos por separado. Se identificó EMD clínicamente significativo basado en el fondo de ojo estereoscópico (CSDME) si había engrosamiento retiniano o exudados duros adyacentes < 600 μm desde el centro foveal, o una zona de engrosamiento retiniano > 1 área de disco, parte de la cual tiene menos de 1 diámetro de disco desde el centro foveal, según el FPRC, en cualquier ojo. Se identificó EMD centrado en el centro basado en OCT si un participante tenía un grosor de subcampo central (un círculo de 1,0 mm centrado en la fóvea) que era> 300 μm según el FPRC, en cualquier ojo.20 En consecuencia, especificamos aún más la definición de mtmDR donde importante:

fondo de ojo mtmDR+ se define como

• Nivel de ETDRS ≥ 35 (determinado a partir de fotografías de fondo de ojo) y/o
• CSDME (determinado a partir de fotografías de fondo de ojo)

y mtmDR+ multimodal se define como:

• Nivel de ETDRS ≥ 35 (determinado a partir de fotografías de fondo de ojo), y/o
• CSDME (determinado a partir de fotografías de fondo de ojo) y/o
• EMD con afectación del centro (determinado a partir de la OCT).

y de manera similar para vtDR+. Los lectores de FPRC estaban enmascarados a las salidas del sistema de IA en todo momento, enmascarados a la lectura de la fotografía del fondo de ojo al evaluar las imágenes de OCT y enmascarados a las lecturas de OCT al evaluar las fotografías de fondo de ojo.