Convalida di i-ROP DL per rilevare ROP più che lievi

Obiettivi

Questo studio prevede 2 parti. Gli scopi della prima parte che prevede la validazione fondamentale di i-ROP DL sono:

• Determinare la sensibilità e la specificità di i-ROP DL per il rilevamento di retinopatia della prematurità più che lieve (MTMROP) in ambito di telemedicina di neonati con peso alla nascita (BW) inferiore a 1251 g che soddisfano gli attuali criteri di screening ROP.
• Determinare la sensibilità e la specificità di i-ROP DL per l'individuazione del trattamento che richiede retinopatia del prematuro (TR-ROP) in ambito di telemedicina di neonati con peso alla nascita (BW) inferiore a 1251 g che soddisfano gli attuali criteri di screening ROP.

Questo studio è uno studio retrospettivo, multicentrico, osservazionale per valutare la sicurezza e l'efficacia di i-ROP DL nello screening per MTMROP e TR-ROP. Il disegno dello studio è conforme al paradigma Intent to Screen (ITS). Lo studio selezionerà circa 1.200 soggetti dai 1.285 soggetti dello studio Telemedicine Approaches to Evaluating Acute-Phase Retinopathy of Prematurity (e-ROP). Come endpoint primario, questo studio è progettato per valutare la sensibilità e la specificità di i-ROP DL per il rilevamento di MTMROP e TR-ROP di neonati prematuri per soddisfare i criteri prespecificati.

La sicurezza e l'efficacia del sistema i-ROP DL sono entrambe legate alla capacità di interpretare le immagini Retcam per schermare accuratamente la malattia MTMROP. Ciascun endpoint dello studio riguarda quindi sia la sicurezza che l’efficacia. Tutti i seguenti endpoint vengono misurati in base all'occhio dei soggetti oggetto dello studio.

Gli endpoint co-primari sono:

• Sensibilità e specificità dell'i-ROP DL che rileva MTMROP a ciascun livello del VSS 1-9 (1, 2, 3, ecc.).
• AUC di ROC per il rilevamento di MTMROP in base al VSS. Gli obiettivi prestazionali proposti sono definiti con sensibilità e specificità dell'85,0% per MTMROP, riflettendo i numeri di iscrizione previsti e i requisiti normativi prespecificati. Oltre alla sensibilità e specificità osservate, la sensibilità e la specificità corrette per l'arricchimento saranno calcolate utilizzando la regressione logistica per valutare se le prestazioni sarebbero state diverse se la popolazione in studio non fosse stata arricchita con soggetti con maggiore prevalenza della malattia.

Gli endpoint secondari sono:

• Sensibilità e specificità per il rilevamento di TR-ROP a ciascun livello del VSS.
• AUC di ROC per il rilevamento di TR-ROP in base al VSS.
• I valori predittivi positivi e negativi per il rilevamento di MTMROP e TR-ROP in una popolazione non arricchita (simile alla popolazione d'uso prevista).

Lo scopo della seconda parte di questo studio prevede uno studio cardine sui lettori e valuterà l'accuratezza dei lettori nella diagnosi di plus-malattia rispetto a nessuna plus o pre-plus-malattia con o senza l'ausilio di i-ROP DL. Verranno valutate le metriche delle prestazioni degli oftalmologi per le seguenti modalità:

• Valutazione standard seguendo il processo di standard of care ("senza i-ROP DL")
• Valutazione seguendo il processo di cura standard con l'aiuto di i-ROP DL ("con i-ROP DL") Questo studio retrospettivo multi-lettore multi-caso (MRMC) avrà un campione arricchito di circa 300 casi oculari (1 studio occhio per soggetto): 60 casi plus, 120 casi pre-plus e 120 casi no plus. L'arricchimento riguarda le proporzioni di casi più e casi pre-plus.

L'obiettivo primario di questo studio è valutare se l'area sotto la curva ROC (Receiver Operating Characteristic) (AUC) basata sui punteggi di probabilità di più malattia sia statisticamente significativamente non inferiore o superiore con l'aiuto di i-ROP DL rispetto senza l'aiuto di i-ROP DL. l'aiuto dell'i-ROP DL. Nella sezione successiva vengono descritti più endpoint secondari.

La sicurezza e l'efficacia dell'i-ROP DL sono entrambe legate alla capacità degli oftalmologi di interpretare le immagini per diagnosticare con precisione la malattia plus. Ciascun endpoint dello studio riguarda quindi sia la sicurezza che l’efficacia.

Tutti i seguenti endpoint sono misurati senza l'ausilio di i-ROP DL, con l'ausilio di i-ROP DL, e la loro differenza.

Gli endpoint co-primari sono:

• Area media non inferiore per soggetto sotto la curva ROC (AUC) con l'ausilio dell'i-ROP DL rispetto senza l'ausilio dell'i-ROP DL, sulla base dei punteggi di probabilità alla diagnosi di malattia positiva.
• Area media superiore sotto la curva ROC (AUC) per soggetto con l'ausilio dell'i-ROP DL rispetto a senza l'ausilio dell'i-ROP DL, sulla base dei punteggi di probabilità alla diagnosi di malattia positiva.

Per mantenere il livello alfa dello studio pari a 0,05, i due endpoint co-primari saranno testati in sequenza seguendo l'approccio gate-keep.

Si riterrà che il primo endpoint co-primario abbia dimostrato con successo la sicurezza e l'efficacia dell'i-ROP DL se l'AUC media per soggetto con l'aiuto dell'i-ROP DL è non inferiore in modo statisticamente significativo all'AUC media senza il aiuto dell'i-ROP DL per la diagnosi di malattia positiva, al livello di significatività alfa = 0,05.

Se il primo endpoint co-primario è statisticamente significativo, verrà testato il secondo endpoint co-primario. Si riterrà che il secondo endpoint co-primario abbia dimostrato con successo la sicurezza e l'efficacia dell'i-ROP DL se l'AUC media per soggetto con l'aiuto dell'i-ROP DL è superiore in modo statisticamente significativo all'AUC media senza l'aiuto di l'i-ROP DL per la diagnosi di malattia positiva, al livello di significatività alfa = 0,05.

Gli endpoint secondari sono:

• Differenze nella sensibilità media e nella specificità dei lettori per soggetto con e senza l'ausilio dell'i-ROP DL per classificare la malattia plus dai casi no plus/pre-plus.

La sensibilità e la specificità vengono calcolate dalla risposta del lettore per le tre categorie (no plus, pre-plus e plus), utilizzando plus come positivo.

• Differenza nell'accordo tra lettori con e senza l'aiuto dell'i-ROP DL per classificare la malattia plus dai casi no plus/pre-plus.
• Area media non inferiore per soggetto sotto la curva ROC (AUC) con l'ausilio dell'i-ROP DL rispetto senza l'ausilio dell'i-ROP DL, sulla base dei punteggi di probabilità alla diagnosi di malattia pre-plus o peggiore.
• Area media superiore sotto la curva ROC (AUC) per soggetto con l'ausilio dell'i-ROP DL rispetto a senza l'ausilio dell'i-ROP DL, sulla base dei punteggi di probabilità alla diagnosi di malattia pre-plus o peggiore.

Sfondo

La retinopatia del prematuro è una malattia che si sviluppa quando i bambini nascono prematuri prima che la retina si sia completamente sviluppata [1]. È una delle principali cause di cecità infantile in tutto il mondo, ma la cecità è solitamente evitabile con una diagnosi accurata e un trattamento tempestivo dei bambini affetti da malattie che richiedono un trattamento [1]. Ogni paese ha accettato criteri in base ai quali i bambini necessitano di esami oculistici. Negli Stati Uniti, tutti i bambini nati a meno di 31 settimane di età post-mestruale (PMA) o di peso inferiore a 1500 grammi richiedono esami oculistici diagnostici a partire da 31 settimane PMA o 4 settimane dopo la nascita, a seconda di quale evento sia successivo [2]. Gli esami vengono ripetuti a intervalli di 1-2 settimane a seconda del livello di malattia identificato durante l'esame.

La diagnosi di ROP viene effettuata utilizzando l'oftalmoscopia (esame di persona al letto del paziente) o utilizzando la telemedicina con imaging digitale remoto del fondo oculare [2] [3]. La telemedicina è diventata uno standard di cura accettabile per gli esami diagnostici ROP e, nella maggior parte dei flussi di lavoro di telemedicina, gli esami vengono ripetuti settimanalmente per ridurre al minimo il rischio di perdere il ROP. Sia che gli esami avvengano di persona o tramite telemedicina, l'oftalmologo è responsabile di documentare la presenza o l'assenza di ROP utilizzando le linee guida International Classification of ROP (ICROP), compresa la documentazione della presenza e del grado di zona, stadio e malattia positiva [4].

Le attuali linee guida sul trattamento suggeriscono che il trattamento urgente (entro 48 ore) dovrebbe avvenire quando i bambini sviluppano ROP di "tipo 1", definito come ROP di stadio 3 di Zona I (con o senza plus), o qualsiasi zona o stadio con plus [5]. Poiché lo stadio 3 della zona I senza plus è raro, queste linee guida hanno stabilito la malattia plus come la caratteristica clinica più importante che determina la necessità di trattamento nella ROP. La malattia Plus è generalmente definita come dilatazione e tortuosità dei vasi retinici posteriori nella Zona I rispetto a una fotografia standard pubblicata. Tuttavia, man mano che l'imaging digitale del fondo oculare è diventato più standard, è diventato chiaro che, nella pratica, la diagnosi di malattia positiva non viene sempre effettuata in modo coerente, con una significativa variabilità tra osservatori. Di conseguenza, la terza edizione dell'ICROP, pubblicata nel 2021, riconosce che pre-plus e plus eseguono uno spettro correlato alla gravità complessiva della ROP nell'occhio [4] [5].

Poiché il trattamento è urgente quando viene diagnosticata la ROP di tipo 1, quando nei pazienti viene diagnosticata una malattia borderline, l'oftalmologo responsabile della cura di quel bambino può suggerire un rinvio per un esame oftalmoscopico di persona e un possibile trattamento, per evitare ritardi nel trattamento in caso di problemi logistici o di trasporto. sfide. Per questo motivo, è meglio diagnosticare la ROP grave prima che i bambini progrediscano verso la malattia ROP di tipo 1/plus.

Il sistema i-ROP DL è un dispositivo di screening destinato all'utilizzo da parte di infermieri, fotografi o tecnici qualificati che eseguono esami oculistici di screening utilizzando la fotocamera Retcam 3. L'output del dispositivo è un "refer" o "repeat" assegnato a ciascun paziente che riflette lo spettro dei cambiamenti vascolari nella malattia pre-plus e plus [6] [7].

L'output verrà inviato a un oculista per la revisione se viene rilevato "ROP più che lieve" ("refer"), utilizzando le stesse immagini analizzate dall'algoritmo (non è richiesto un esame separato). Il medico può decidere un'ulteriore gestione sulla base di un flusso di lavoro standard di telemedicina. Nei casi in cui "non è necessario alcun rinvio", al bambino verrà programmato un esame di follow-up entro 1 settimana (tipico per i programmi di telemedicina). Ciò garantisce che se un bambino progredisce verso un ROP più che lieve nel tempo ci siano molteplici opportunità per rilevarlo e segnalarlo per la revisione clinica. Il lavoro preliminare suggerisce che i bambini di solito raggiungono la soglia per MTMROP 2-4 settimane prima della diagnosi di TR-ROP, rendendo molto basso il rischio di un caso mancato.

Il sistema i-ROP DL è anche un dispositivo diagnostico di assistenza destinato all'oculista che esegue esami oculistici diagnostici utilizzando la revisione in telemedicina delle immagini digitali del fondo oculare utilizzando la fotocamera Retcam 3. L'output del dispositivo diagnostico assistito è un "punteggio di gravità vascolare" (da 1 a 9) assegnato a livello dell'occhio che riflette lo spettro dei cambiamenti vascolari nella malattia pre-plus e plus [6] [7]. Il punteggio di gravità vascolare viene calcolato in base alla probabilità di base di una classificazione di no plus, pre-plus o plus e corrisponde alla probabilità relativa che un esperto casuale diagnosticherebbe una malattia plus (all'estremità estrema dello spettro, 9, 100% degli esperti diagnosticherebbe più la malattia) [7].

Questo risultato presenta due vantaggi che potrebbero migliorare la diagnosi delle malattie pre-plus e plus e ridurre il rischio di un trattamento tardivo per i bambini nel contesto della telemedicina. In primo luogo, una maggiore gravità vascolare non è solo associata a una maggiore probabilità di malattia positiva, ma anche a uno stadio e un'estensione più elevati della malattia periferica [6] [8], che può essere visibile o meno su tutte le immagini. Durante la revisione in telemedicina, se lo stadio della malattia non è visibile sulle immagini periferiche, l'oftalmologo può prendere in considerazione la ripetizione delle immagini o l'invio del bambino ad un esame oftalmoscopico. In questo caso l'esito “positivo” non innescherà necessariamente alcun intervento terapeutico, ma aiuterà l'oculista a formulare la diagnosi. In secondo luogo, il punteggio di gravità vascolare aiuterà nella diagnosi e nell'accuratezza della malattia positiva fornendo una metrica oggettiva, ancorata alla diagnosi esperta della malattia positiva [6] [7].

Progettazione dello studio

Parte 1: Questo studio clinico è uno studio retrospettivo, multicentrico, osservazionale per valutare la sicurezza e l'efficacia di i-ROP DL nello screening per ROP nel contesto della telemedicina. Il disegno dello studio è conforme al paradigma Intent to Screen (ITS).

Parte 2: Questa ricerca clinica è uno studio retrospettivo, cardine, multi-lettore, multi-caso (MRMC) con un campione arricchito di circa 60 casi plus (soggetti), 120 casi pre-plus e 120 casi no plus.

• Diagnosi standard di riferimento La diagnosi standard di riferimento (RSD) per la verità di base di 3 classi (nessun plus, pre-plus o plus) sarà determinata a livello degli occhi dalla classificazione maggioritaria di 5 esperti ROP che classificheranno in modo indipendente tutti gli occhi in il set di dati. Nell'improbabile caso di un disaccordo 2/2/1, ai 5 esperti verrà chiesto di riclassificare insieme l'esame della vista fino a raggiungere la maggioranza (almeno 3/5 d'accordo).
• Il processo RSD Gli esperti RSD esamineranno tutti i casi selezionati per l'inclusione nello studio dei lettori. Gli esperti RSD completeranno una eCRF per ciascun caso, sulla base delle immagini oculari e delle informazioni cliniche disponibili dal sito di acquisizione delle immagini.
• Il processo di lettura Circa 16 oftalmologi eseguiranno in modo indipendente due letture su tutti i casi (circa 300). Ogni lettore leggerà ogni caso sia senza l'ausilio dell'i-ROP DL sia poi con l'ausilio dell'i-ROP DL.

La prima lettura ricapitolerà l'attuale standard di cura con un oftalmologo che valuterà il livello complessivo di gravità della ROP senza l'ausilio dell'i-ROP DL utilizzando i criteri della classificazione internazionale della ROP (ICROP) [1] per zona, stadio e malattia positiva .

La seconda lettura valuterà l'effetto dell'output i-ROP DL sulla diagnosi della malattia positiva utilizzando gli stessi criteri. Al fine di ridurre al minimo gli errori di richiamo, le due visite di lettura saranno separate da un periodo di cancellazione della memoria di circa quattro settimane.

Questa ricerca clinica è uno studio retrospettivo, cardine, multi-lettore, multi-caso (MRMC) con un campione arricchito di circa 300 casi che saranno selezionati dalla libreria di casi di telemedicina raccolti in Telemedicine Approaches to Evaluating Acute Phase ROP (e- ROP) Studio.

Tutti i soggetti presenti nella biblioteca hanno precedentemente fornito il consenso informato scritto per l'inclusione nello studio e-ROP. Nell'ambito del processo di consenso, i soggetti hanno concordato che i dati delle immagini e la documentazione di supporto potrebbero essere utilizzati per ricerche e indagini future. In questo studio verranno utilizzati solo dati deidentificati e immagini della retina.

I casi valutabili sono definiti come soggetti che soddisfano tutti i criteri di inclusione/esclusione dei casi del protocollo e che hanno una serie completa di esami oculistici di qualità adeguata. La qualità di ciascuna immagine viene classificata come buona, adeguata, scarsa o mancante, in base alla messa a fuoco, alla chiarezza e alla definizione del campo.

Le misure per garantire la riservatezza del soggetto e del lettore includono l'assegnazione di numeri identificativi univoci di studio e lettore.

• Dimensione del campione e mix di casi Dimensione del campione arricchita di circa 300 casi (soggetti) con il seguente mix di casi: 60 casi plus, 120 casi pre-plus e 120 casi no plus.
• Selezione dei casi e distribuzione mirata Lo statistico indipendente selezionerà i casi per questo studio fondamentale sui lettori e i casi saranno selezionati in modo casuale per fornire distribuzioni rappresentative della razza tra i siti di iscrizione, nella misura in cui ciò può essere ottenuto utilizzando i casi nella libreria dei casi.

Criteri di inclusione ed esclusione Tutti i casi di questo studio cardine di validazione soddisferanno i seguenti criteri di inclusione ed esclusione di ammissibilità. (vedi anche Appendice A per i criteri di inclusione ed esclusione del protocollo e-ROP). Saranno considerati valutabili solo i soggetti che hanno acconsentito, che hanno soddisfatto tutti i criteri di inclusione e nessuno dei criteri di esclusione e che hanno completato l'elaborazione necessaria per stabilire la verità di base della diagnosi standard di riferimento.

I criteri di inclusione per tutti i casi nello studio sono i seguenti:

• Soggetti idonei secondo il protocollo e-ROP, definiti come neonati con peso alla nascita (BW) inferiore a 1251 g che soddisfano l'attuale screening ROP.
• Le custodie per gli occhi soddisfano i requisiti di qualità dell'immagine per stabilire la diagnosi standard di riferimento dei casi plus, pre-plus e no plus.
• I soggetti conoscono la verità di base della diagnosi standard di riferimento. Se il processo di diagnosi dello standard di riferimento non può creare un'etichetta RSD per la malattia positiva, l'occhio non sarà incluso nello studio.
• Immagine acquisita dal seguente dispositivo: RetCam Ophthalmic Imaging Systems 3 (Natus Medical Incorporated).

I criteri di esclusione per tutti i casi nello studio sono i seguenti:

• Soggetti che violano il protocollo e-ROP.
• Soggetti che violano i criteri di inclusione del presente protocollo. Selezione dei casi e distribuzione mirata Tutti i soggetti che soddisfano i criteri di inclusione ed esclusione dallo studio e-ROP saranno inclusi in questo studio. Lo studio e-ROP rappresenta la naturale comparsa dei casi di malattia plus e pre-plus nell'ambiente clinico. Non è previsto alcun arricchimento dei dati nello studio e-ROP.

Metodi di reclutamento

Questo studio sarà condotto con oftalmologi certificati dal consiglio di vari livelli di esperienza, con almeno un anno di esperienza nell'esecuzione di esami ROP. Questi oftalmologi non saranno associati all'acquisizione o alla revisione dei casi di studio e non parteciperanno al processo RSD. Un questionario di indagine verrà inviato ai potenziali lettori per determinare la frazione del loro tempo professionale dedicato alla diagnosi ROP. Gli investigatori inviteranno i potenziali lettori attraverso il listserv dell'American Academy of Pediatric Ophthalmology and Strabismus e della Retina Society. Verranno selezionati circa 16 oftalmologi certificati, con una gamma di esperienze basata sugli anni di esperienza, per leggere e valutare i casi di studio.

L'esperienza di lettura del ROP sarà classificata in tre gruppi:

• Lettore ad alta esperienza: definiti come oftalmologi che hanno più di 10 anni di esperienza nella lettura di immagini ROP.
• Lettore con esperienza media: definiti come oftalmologi che hanno 5-10 anni di esperienza nella lettura di immagini ROP.
• Lettore con bassa esperienza: definiti come oftalmologi che hanno 1-4 anni di esperienza nella lettura di immagini ROP.

I criteri di inclusione (criteri di qualificazione) per tutti i lettori nello studio sono i seguenti:

• Medico idoneo/certificato e autorizzato al consiglio degli Stati Uniti, dottore in oftalmologia. (American Board of Ophthalmology o certificazione equivalente)
• Contratto di studio del lettore firmato.
• Consenso informato firmato.
• Formazione di successo sul protocollo di studio e sull'uso del software di studio.

Processo di consenso

Ogni lettore deve fornire il consenso informato scritto prima di partecipare allo studio del lettore di questo protocollo. Poiché i lettori si trovano in tutto il mondo, gli investigatori forniranno il consenso elettronico tramite docusign.

Procedure coinvolte Il processo di lettura Scopo Lo scopo del processo di lettura è che i lettori forniscano le categorie di valutazione di più, pre-più e nessun più, i punteggi di probabilità di più e pre-più o peggio sui moduli elettronici di segnalazione del caso per la loro interpretazione dei casi studio con e senza l'ausilio dell'i-ROP DL.

Conduzione del processo di lettura Dopo aver completato con successo la formazione dei lettori, i lettori esamineranno e valuteranno in modo indipendente ciascuno dei casi del set di casi di studio dei lettori. Ai lettori verranno fornite informazioni cliniche sugli argomenti, tra cui il peso alla nascita, l'età gestazionale e l'età post-mestruale al momento dell'esame oculistico. Ciascun lettore lavorerà presso una postazione di lettura designata ed eseguirà in modo indipendente due sezioni di lettura su tutti i casi. Ciascun lettore leggerà ciascun caso sia come lettura standard, sia come lettura con l'ausilio dell'i-ROP DL. Ogni lettore leggerà tutti i casi come lettura standard durante la prima visita. Il lettore leggerà poi i casi con l'ausilio dell'i-ROP DL durante la seconda visita. Al fine di ridurre al minimo i bias di richiamo della memoria, le due sezioni di lettura saranno separate da un periodo di cancellazione della memoria di circa quattro settimane.

La stazione di lettura fornirà casi precaricati dal server tramite connessione web protetta. Il tempo di lettura consentito per caso non sarà limitato. Durante ogni sessione di lettura verrà offerta una pausa pranzo e i lettori saranno incoraggiati a fare una pausa di 5-10 minuti ogni ora, secondo necessità. Ciascun lettore inserirà le proprie interpretazioni direttamente nel modulo elettronico di segnalazione del caso. Ogni lettore firmerà un modulo di attestazione verificando le informazioni documentate.

Centro di lettura principale Il processo di lettura sarà condotto in remoto a casa o in ufficio del lettore, come sarebbe nel caso d'uso previsto della valutazione della telemedicina.

Preparazione dei casi per l'interpretazione Per mantenere la riservatezza del soggetto, non verranno visualizzati dati identificativi del soggetto. Gli identificatori univoci dell'immagine associati al numero ID del caso saranno visibili su ciascuna immagine a scopo di monitoraggio. Per mantenere la riservatezza del lettore, verrà assegnato un numero ID univoco a ciascun lettore che partecipa allo studio chiave sui lettori per l'inserimento nel modulo elettronico di segnalazione del caso.

Le informazioni raccolte durante lo studio verranno riportate in modo tale da precludere l'identificazione di eventuali centri di acquisizione delle immagini o delle performance dei lettori.