Validação do i-ROP DL para detectar ROP mais que leve

Objetivos

Este estudo envolve 2 partes. Os objetivos da primeira parte que envolve a validação fundamental do i-ROP DL são:

• Para determinar a sensibilidade e especificidade do i-ROP DL para a detecção de mais do que retinopatia da prematuridade leve (MTMROP) em ambiente de telemedicina de bebês com peso ao nascer (PN) inferior a 1.251 g, atendendo aos critérios atuais de triagem de ROP.
• Para determinar a sensibilidade e especificidade do i-ROP DL para a detecção de tratamento que requer retinopatia da prematuridade (TR-ROP) em ambiente de telemedicina de bebês com peso ao nascer (PN) inferior a 1.251 g, atendendo aos critérios atuais de triagem de ROP.

Este estudo é um estudo retrospectivo, multicêntrico e observacional para avaliar a segurança e eficácia do i-ROP DL na triagem de MTMROP e TR-ROP. O desenho do estudo está em conformidade com o paradigma Intent to Screen (ITS). O estudo selecionará aproximadamente 1.200 indivíduos dos 1.285 indivíduos do estudo de abordagens de telemedicina para avaliar a retinopatia da prematuridade em fase aguda (e-ROP). Como endpoint primário, este estudo foi projetado para avaliar a sensibilidade e especificidade do i-ROP DL para detecção de MTMROP e TR-ROP de bebês prematuros para atender aos critérios pré-especificados.

A segurança e a eficácia do sistema i-ROP DL estão ambas ligadas à capacidade de interpretar imagens Retcam para rastrear com precisão a doença MTMROP. Cada objetivo do estudo, portanto, aborda tanto a segurança quanto a eficácia. Todos os desfechos a seguir são medidos com base no olho do estudo dos sujeitos.

Os endpoints coprimários são:

• Sensibilidade e especificidade do i-ROP DL detectando MTMROP em cada nível do 1-9 VSS (1, 2, 3, etc.).
• AUC do ROC para detecção de MTMROP baseado no VSS. As metas de desempenho propostas são definidas com sensibilidade e especificidade de 85,0% para MTMROP, refletindo os números de matrículas previstos e os requisitos regulatórios pré-especificados. Além da sensibilidade e especificidade observadas, a sensibilidade e a especificidade corrigidas pelo enriquecimento serão calculadas usando regressão logística para avaliar se o desempenho teria sido diferente se a população do estudo não tivesse sido enriquecida com indivíduos com maior prevalência de doenças.

Os endpoints secundários são:

• Sensibilidade e especificidade para detecção de TR-ROP em cada nível do VSS.
• AUC do ROC para detecção de TR-ROP baseado no VSS.
• Os valores preditivos positivos e negativos para detecção de MTMROP e TR-ROP em uma população não enriquecida (semelhante à população de uso pretendido).

O objetivo da segunda parte deste estudo envolve um estudo fundamental do leitor e avaliará a precisão dos leitores no diagnóstico de doença plus versus nenhuma doença plus ou pré-plus com ou sem o auxílio do i-ROP DL. Serão avaliadas métricas de desempenho dos oftalmologistas para as seguintes modalidades:

• Avaliação padrão seguindo o processo padrão de atendimento ("sem i-ROP DL")
• Avaliação seguindo o processo padrão de atendimento com o auxílio do i-ROP DL ("com i-ROP DL") Este estudo retrospectivo multileitor multicaso (MRMC) terá uma amostra enriquecida de aproximadamente 300 casos oculares (1 estudo olho por sujeito): 60 casos positivos, 120 casos pré-positivos e 120 casos não positivos. O enriquecimento ocorre em relação às proporções de casos positivos e casos pré-positivos.

O objetivo principal deste estudo é avaliar se a área sob a curva característica de operação do receptor (ROC) (AUC) com base em escores de probabilidade de doença positiva é estatisticamente significativamente não inferior ou superior com o auxílio do i-ROP DL versus sem o auxílio do i-ROP DL. Vários endpoints secundários são descritos na próxima seção.

A segurança e a eficácia do i-ROP DL estão ambas ligadas à capacidade dos oftalmologistas de interpretar imagens para diagnosticar com precisão a doença positiva. Cada objetivo do estudo, portanto, aborda tanto a segurança quanto a eficácia.

Todos os pontos finais a seguir são medidos sem o auxílio do i-ROP DL, com o auxílio do i-ROP DL e suas diferenças.

Os endpoints coprimários são:

• Área média não inferior por sujeito sob a curva ROC (AUC) com o auxílio do i-ROP DL versus sem o auxílio do i-ROP DL, com base em pontuações de probabilidade no diagnóstico da doença plus.
• Área média superior por sujeito sob a curva ROC (AUC) com o auxílio do i-ROP DL versus sem o auxílio do i-ROP DL, com base em pontuações de probabilidade no diagnóstico da doença plus.

Para manter o nível alfa do estudo de 0,05, os dois desfechos coprimários serão testados sequencialmente seguindo a abordagem gate-keep.

O primeiro endpoint coprimário será considerado como tendo demonstrado com sucesso a segurança e eficácia do i-ROP DL se a AUC média por sujeito com o auxílio do i-ROP DL for estatisticamente significativamente não inferior à AUC média sem o auxílio do i-ROP DL para diagnóstico de doença plus, no nível de significância alfa = 0,05.

Se o primeiro endpoint coprimário for estatisticamente significativo, o segundo endpoint coprimário será testado. O segundo endpoint coprimário será considerado como tendo demonstrado com sucesso a segurança e eficácia do i-ROP DL se a AUC média por sujeito com o auxílio do i-ROP DL for estatisticamente significativamente superior à AUC média sem o auxílio de o i-ROP DL para diagnóstico de doença plus, no nível de significância alfa = 0,05.

Os endpoints secundários são:

• Diferenças na sensibilidade e especificidade médias por sujeito dos leitores com e sem a ajuda do i-ROP DL para classificar a doença plus de casos sem plus/pré-plus.

A sensibilidade e a especificidade são calculadas a partir da resposta do leitor para as três categorias (sem mais, pré-mais e mais), usando mais como positivo.

• Diferença na concordância entre leitores com e sem o auxílio do i-ROP DL para classificar doença plus de casos sem plus/pré-plus.
• Área média não inferior por sujeito sob a curva ROC (AUC) com o auxílio do i-ROP DL versus sem o auxílio do i-ROP DL, com base em pontuações de probabilidade no diagnóstico de doença pré-plus ou pior.
• Área média superior por sujeito sob a curva ROC (AUC) com o auxílio do i-ROP DL versus sem o auxílio do i-ROP DL, com base em pontuações de probabilidade no diagnóstico de doença pré-plus ou pior.

Fundo

A retinopatia da prematuridade é uma doença que se desenvolve quando os bebês nascem prematuramente, antes que a retina esteja totalmente desenvolvida [1]. É uma das principais causas de cegueira infantil em todo o mundo, mas a cegueira geralmente é evitável com um diagnóstico preciso e tratamento oportuno de bebês com doenças que necessitam de tratamento [1]. Cada país aceitou critérios segundo os quais os bebés necessitam de exames oftalmológicos. Nos Estados Unidos, todos os bebés nascidos com menos de 31 semanas de idade pós-menstrual (PMA) ou com menos de 1500 gramas necessitam de exames oftalmológicos de diagnóstico a partir das 31 semanas de PMA ou 4 semanas após o nascimento, o que ocorrer mais tarde [2]. Os exames são repetidos em intervalos de 1 a 2 semanas, dependendo do nível da doença identificada no exame.

O diagnóstico da ROP é feito por meio de oftalmoscopia (exame presencial à beira do leito) ou por telemedicina com imagem digital remota do fundo de olho [2] [3]. A telemedicina tornou-se um padrão aceitável de atendimento para exames de diagnóstico de ROP e, na maioria dos fluxos de trabalho de telemedicina, os exames são repetidos semanalmente para minimizar o risco de perda de ROP. Quer os exames ocorram pessoalmente ou por telemedicina, o oftalmologista é responsável por documentar a presença ou ausência de ROP usando as diretrizes da Classificação Internacional de ROP (ICROP), incluindo documentar a presença e o grau da zona, estágio e mais da doença [4].

As diretrizes de tratamento atuais sugerem que o tratamento urgente (dentro de 48 horas) deve ocorrer quando os bebês desenvolvem ROP "tipo 1", definida como ROP de estágio 3 da Zona I (com ou sem mais), ou qualquer zona ou estágio com mais [5]. Como o estágio 3 da zona I sem plus é raro, essas diretrizes estabeleceram a doença plus como a característica clínica mais importante que determina a necessidade de tratamento na ROP. A doença Plus é geralmente definida como dilatação e tortuosidade dos vasos posteriores da retina na Zona I em relação a uma fotografia padrão publicada. No entanto, à medida que a imagem digital do fundo do olho se tornou mais padronizada, tornou-se claro que, na prática, o diagnóstico da doença plus nem sempre é feito de forma consistente, com variabilidade significativa entre observadores. Como resultado, a 3ª edição do ICROP, publicada em 2021, reconhece que pré-plus e plus percorrem um espectro que está relacionado à gravidade geral da ROP no olho [4] [5].

Como o tratamento é urgente quando é diagnosticada ROP tipo 1, quando a doença limítrofe é diagnosticada em pacientes, o oftalmologista responsável pelo cuidado daquele bebê pode sugerir encaminhamento para exame oftalmoscópico presencial e possível tratamento, para evitar atraso no tratamento em caso de problemas logísticos ou de transporte. desafios. Por esse motivo, é melhor diagnosticar ROP grave antes que os bebês progridam para a doença ROP tipo 1/plus.

O sistema i-ROP DL é um dispositivo de triagem para uso por enfermeiros, fotógrafos ou técnicos treinados que realizam exames oftalmológicos de triagem usando a câmera Retcam 3. A saída do dispositivo é uma "referência" ou "repetição" atribuída a cada paciente que reflete o espectro de alterações vasculares na doença pré-plus e plus [6] [7].

O resultado será enviado a um oftalmologista para revisão se for detectada "ROP mais que leve" ("encaminhar"), usando as mesmas imagens analisadas pelo algoritmo (não é necessário exame separado). O médico pode decidir o manejo adicional com base em um fluxo de trabalho padrão de telemedicina. Nos casos de “não necessidade de encaminhamento”, o bebê será agendado para exame de acompanhamento em 1 semana (típico de programas de telemedicina). Isto garante que, se um bebé progredir para uma ROP mais do que ligeira ao longo do tempo, existem múltiplas oportunidades para a detectar e sinalizar para revisão clínica. Trabalhos preliminares sugerem que os bebês geralmente atingem o limiar para MTMROP 2 a 4 semanas antes do diagnóstico de TR-ROP, tornando muito baixo o risco de um caso perdido.

O sistema i-ROP DL também é um dispositivo auxiliar de diagnóstico para uso pelo oftalmologista que realiza exames oftalmológicos de diagnóstico usando revisão de telemedicina de imagens digitais de fundo de olho usando a câmera Retcam 3. A saída do dispositivo auxiliar de diagnóstico é uma "pontuação de gravidade vascular" (de 1 a 9) atribuída no nível do olho que reflete o espectro de alterações vasculares na doença pré-plus e plus [6] [7]. A pontuação de gravidade vascular é calculada com base na probabilidade subjacente de uma classificação de sem mais, pré-mais ou mais, e corresponde à probabilidade relativa de um especialista aleatório diagnosticar mais doença (no extremo do espectro, 9, 100% dos especialistas diagnosticariam mais doenças) [7].

Este resultado apresenta duas vantagens que podem melhorar o diagnóstico da doença pré-plus e plus e reduzir o risco de tratamento tardio de bebês no contexto da telemedicina. Primeiro, uma maior gravidade vascular não está apenas associada a uma maior probabilidade de doença positiva, mas também a um estágio e extensão mais elevados da doença periférica [6] [8], que pode ou não ser visível em todas as imagens. Na revisão por telemedicina, se o estágio da doença não for visível nas imagens periféricas, o oftalmologista pode considerar repetir as imagens ou encaminhar o bebê para exame oftalmoscópico. Nesse caso, o resultado “positivo” não necessariamente desencadearia qualquer intervenção terapêutica, mas auxiliaria o oftalmologista no diagnóstico. Em segundo lugar, o escore de gravidade vascular ajudará no diagnóstico e na precisão da doença plus, fornecendo uma métrica objetiva, ancorada no diagnóstico especializado da doença plus [6] [7].

Design de estudo

Parte 1: Este estudo clínico é um estudo retrospectivo, multicêntrico e observacional para avaliar a segurança e eficácia do i-ROP DL na triagem de ROP no ambiente de telemedicina. O desenho do estudo está em conformidade com o paradigma Intent to Screen (ITS).

Parte 2: Esta pesquisa clínica é um estudo retrospectivo, essencial, com vários leitores e vários casos (MRMC) com uma amostra enriquecida de aproximadamente 60 casos positivos (sujeitos), 120 casos pré-positivos e 120 casos não positivos.

• Diagnóstico padrão de referência O diagnóstico padrão de referência (RSD) para a verdade básica de 3 classes (sem plus, pré-plus ou plus) será determinado no nível dos olhos pela classificação majoritária de 5 especialistas em ROP que classificarão independentemente todos os olhos em o conjunto de dados. No caso improvável de um desacordo de 2/2/1, os 5 especialistas serão solicitados a reavaliar o exame oftalmológico em conjunto até que haja uma maioria (pelo menos 3/5 concordam).
• O Processo RSD Os especialistas em RSD revisarão todos os casos selecionados para inclusão no estudo do leitor. Os especialistas em RSD preencherão um eCRF para cada caso, com base nas imagens oculares e nas informações clínicas disponíveis no local de aquisição da imagem.
• O Processo de Leitura Aproximadamente 16 oftalmologistas realizarão independentemente duas leituras em todos (aproximadamente 300) casos. Cada leitor lerá cada caso sem o auxílio do i-ROP DL e depois com o auxílio do i-ROP DL.

A primeira leitura recapitulará o padrão atual de atendimento com um oftalmologista avaliando o nível geral de gravidade da ROP sem o auxílio do i-ROP DL usando os critérios da Classificação Internacional de ROP (ICROP) [1] para zona, estágio e mais doença .

A segunda leitura avaliará o efeito da saída do i-ROP DL no diagnóstico de doenças positivas usando os mesmos critérios. A fim de minimizar o viés de recordação, as duas visitas de leitura serão separadas por um período de eliminação de memória de aproximadamente quatro semanas.

Esta pesquisa clínica é um estudo retrospectivo, fundamental, com vários leitores e vários casos (MRMC) com uma amostra enriquecida de aproximadamente 300 casos que serão selecionados da biblioteca de casos de telemedicina coletados sob Abordagens de telemedicina para avaliar ROP em fase aguda (e- ROP) Estudo.

Todos os sujeitos da biblioteca forneceram previamente consentimento informado por escrito para inclusão no estudo e-ROP. Como parte do processo de consentimento, os sujeitos concordaram que os dados de imagem e a documentação de apoio poderiam ser usados ​​para futuras pesquisas e investigações. Apenas dados desidentificados e imagens da retina serão usados ​​​​neste estudo.

Os casos avaliáveis ​​são definidos como indivíduos que atenderam a todos os critérios de inclusão/exclusão de casos do protocolo e que possuem um conjunto completo de exames oftalmológicos de qualidade adequada. A qualidade de cada imagem é categorizada como boa, adequada, ruim ou ausente, com base no foco, clareza e definição de campo.

As medidas para garantir a confidencialidade do sujeito e do leitor incluem a atribuição de números exclusivos de estudo e de identificação do leitor.

• Tamanho da amostra e mix de casos Tamanho de amostra enriquecido de aproximadamente 300 casos (indivíduos) com o seguinte mix de casos: 60 casos positivos, 120 casos pré-positivos e 120 casos não positivos.
• Seleção de casos e distribuição direcionada O estatístico independente selecionará casos para este estudo principal do leitor e os casos serão selecionados aleatoriamente para fornecer distribuições representativas de raça entre os locais de inscrição, na medida em que isso possa ser realizado usando casos na biblioteca de casos.

Critérios de inclusão e exclusão Todos os casos para este estudo de validação fundamental atenderão aos seguintes critérios de inclusão e exclusão de elegibilidade. (ver também Apêndice A para critérios de inclusão e exclusão do protocolo e-ROP). Somente os indivíduos que foram consentidos, atenderam a todos os critérios de inclusão e nenhum dos critérios de exclusão, e completaram a investigação necessária para estabelecer a verdade básica do diagnóstico padrão de referência serão considerados avaliáveis.

Os critérios de inclusão para todos os casos do estudo são os seguintes:

• Indivíduos elegíveis sob o protocolo e-ROP, definidos como bebês com peso ao nascer (PN) inferior a 1.251 g que atendem à triagem ROP atual.
• Os casos oculares atendem aos requisitos de qualidade de imagem para estabelecer o diagnóstico padrão de referência de casos positivos, pré-positivos e não positivos.
• Os indivíduos conheceram a verdade básica do diagnóstico padrão de referência. Se o processo de diagnóstico padrão de referência não puder criar um rótulo RSD para doença positiva, o olho não será incluído no estudo.
• Imagem adquirida pelo seguinte dispositivo: RetCam Ophthalmic Imaging Systems 3 (Natus Medical Incorporated).

Os critérios de exclusão para todos os casos do estudo são os seguintes:

• Sujeitos que violam o protocolo e-ROP.
• Sujeitos que violam os critérios de inclusão deste protocolo. Seleção de casos e distribuição direcionada Todos os sujeitos que atenderem aos critérios de inclusão e exclusão do estudo e-ROP serão incluídos neste estudo. O estudo e-ROP representa a ocorrência natural dos casos de doença plus e pré-plus no ambiente clínico. Não há enriquecimento de dados no estudo e-ROP.

Métodos de recrutamento

Este estudo será conduzido com oftalmologistas certificados com vários níveis de experiência, com pelo menos um ano de experiência na realização de exames ROP. Esses oftalmologistas não estarão associados à aquisição ou revisão dos casos do estudo e não participaram do processo de RSD. Um questionário de pesquisa será enviado aos futuros leitores para determinar a fração de seu tempo profissional dedicado ao diagnóstico da ROP. Os investigadores convidarão leitores em potencial por meio da lista da Academia Americana de Oftalmologia Pediátrica e Estrabismo e da Sociedade Retina. Aproximadamente 16 oftalmologistas certificados, com uma gama de experiência baseada em anos de experiência, serão selecionados para ler e pontuar os casos do estudo.

A experiência de leitura ROP será categorizada em três grupos:

• Leitor de alta experiência - definido como oftalmologistas com mais de 10 anos de experiência na leitura de imagens ROP.
• Leitor com experiência média - definido como oftalmologistas com 5 a 10 anos de experiência na leitura de imagens ROP.
• Leitor de baixa experiência - definido como oftalmologistas com 1 a 4 anos de experiência na leitura de imagens ROP.

Os critérios de inclusão (critérios de qualificação) para todos os leitores do estudo são os seguintes:

• Médico elegível/certificado e licenciado nos EUA, Doutor em Oftalmologia. (American Board of Ophthalmology ou certificação equivalente)
• Contrato de estudo do leitor assinado.
• Consentimento informado assinado.
• Treinamento bem-sucedido sobre o protocolo de estudo e o uso do software de estudo.

Processo de consentimento

Cada leitor deve fornecer consentimento informado por escrito antes de participar do estudo do leitor deste protocolo. Como os leitores estão localizados em todo o mundo, os investigadores fornecerão consentimento eletrônico por meio do docusign.

Procedimentos envolvidos O processo de leitura Objetivo O objetivo do processo de leitura é que os leitores forneçam as categorias de avaliação de positivo, pré-positivo e sem positivo, pontuações de probabilidade de positivo e pré-plus ou pior nos formulários eletrônicos de relato de caso para sua interpretação dos estudos de casos com e sem auxílio do i-ROP DL.

Condução do Processo de Leitura Após a conclusão bem-sucedida do treinamento do leitor, os leitores revisarão e pontuarão de forma independente cada um dos casos do conjunto de casos de estudo do leitor. Informações clínicas sobre os assuntos, incluindo peso ao nascer, idade gestacional e idade pós-menstrual no exame oftalmológico, serão fornecidas aos leitores. Cada leitor trabalhará em uma estação de leitura designada e realizará de forma independente duas seções de leitura em todos os casos. Cada leitor lerá cada caso tanto como uma leitura padrão quanto como uma leitura com o auxílio do i-ROP DL. Cada leitor lerá todos os casos como leitura padrão durante a primeira visita. O leitor irá então ler os casos com o auxílio do i-ROP DL durante a segunda visita. A fim de minimizar o viés de recuperação da memória, as duas seções de leitura serão separadas por um período de eliminação de memória de aproximadamente quatro semanas.

A estação de leitura fornecerá casos pré-carregados do servidor por meio de uma conexão web segura. O tempo de leitura permitido por caso não será limitado. Será oferecido um intervalo para almoço durante cada sessão de leitura, e os leitores serão incentivados a fazer um intervalo de 5 a 10 minutos a cada hora, conforme necessário. Cada leitor inserirá suas interpretações diretamente no formulário eletrônico de relato de caso. Cada leitor assinará um formulário de atestado verificando as informações documentadas.

Centro de Leitura Central O processo de leitura será realizado remotamente na casa ou no escritório do leitor, como seria no caso de uso pretendido de avaliação por telemedicina.

Preparação de casos para interpretação Para manter a confidencialidade do assunto, nenhum dado de identificação do assunto será exibido. Identificadores de imagem exclusivos associados ao número de identificação do caso ficarão visíveis em cada imagem para fins de rastreamento. Para manter a confidencialidade do leitor, um número de identificação exclusivo será atribuído a cada leitor participante do estudo principal do leitor para entrada no formulário eletrônico de relato de caso.

As informações coletadas durante o estudo serão relatadas de forma a impossibilitar a identificação de quaisquer centros de aquisição de imagens ou desempenho dos leitores.