Uno studio multicentrico per valutare le prestazioni di un dispositivo automatizzato per il rilevamento della retinopatia diabetica

Da gennaio 2017 a luglio 2017, 900 partecipanti sono stati arruolati in modo prospettico in questo studio osservazionale in 10 centri di cure primarie negli Stati Uniti. Lo studio è stato approvato dal comitato di revisione istituzionale per ciascun sito e tutti i partecipanti hanno fornito il consenso informato scritto. Lo studio, finanziato da IDx LLC, è stato progettato dagli autori con il contributo della Food and Drug Administration (FDA) statunitense sugli endpoint, i test statistici e il disegno dello studio. Emmes Corp, un'organizzazione di ricerca a contratto (CRO), ha fornito la gestione complessiva del progetto, compresa la gestione dei dati e servizi di monitoraggio e audit indipendenti per tutti i siti. CCR, Inc., un Algorithm Integrity Provider (AIP), è stato incaricato di bloccare il sistema di intelligenza artificiale, conservare tutti i risultati intermedi e finali e le immagini in deposito e impedire l'accesso a questi da parte dello Sponsor, da prima dell'inizio dello studio fino a blocco dati finale. Poiché lo sponsor è stato quindi interdetto dall'accesso al sistema di IA, l'AIP ha svolto tutte le attività di manutenzione e assistenza necessarie durante lo studio e durante la chiusura.

La popolazione target era costituita da persone asintomatiche, di età pari o superiore a 22 anni, a cui era stato diagnosticato il diabete e non era stata precedentemente diagnosticata la DR. Una diagnosi di diabete è stata definita come rispondente ai criteri stabiliti dall'Organizzazione Mondiale della Sanità (OMS) o dall'American Diabetes Association (ADA); Emoglobina A1c (HbA1c) ≥ 6,5% sulla base di valutazioni ripetute; Glucosio plasmatico a digiuno (FPG) ≥ 126 mg/dL (7,0 mmol/L) sulla base di valutazioni ripetute; Test di tolleranza al glucosio orale (OGTT) con glicemia plasmatica a due ore (PG di 2 ore) ≥ 200 mg/dL (11,1 mmol/L) utilizzando l'equivalente di una dose orale di 75 g di glucosio anidro disciolto in acqua; o sintomi di iperglicemia o crisi iperglicemiche con una glicemia plasmatica casuale (RPG) ≥ 200 mg/dL (11,1 mmol/L).

Per aiutare ad arruolare un numero sufficiente di partecipanti mtmDR per la valutazione della sensibilità, è stata utilizzata una strategia di arricchimento graduale, come indicato nel protocollo prespecificato, a metà studio per reclutare un numero sufficiente di partecipanti mtmDR. La strategia di arricchimento ha cercato partecipanti a rischio più elevato con livelli elevati di HbA1c (> 9,0%) o glicemia plasmatica a digiuno elevata; questo arricchimento è stato attivato indipendentemente dallo statistico rimanendo sempre mascherato dagli output del sistema AI e dai livelli di malattia ETDRS. Per tenere conto di eventuali bias di spettro non intenzionali nella popolazione no/lieve, lo studio ha predefinito un parametro di esito di specificità per correggere qualsiasi potenziale bias di spettro derivante da questa strategia di arricchimento come co-primario.

Tutti i centri di assistenza primaria nello studio hanno identificato uno o più apprendisti operatori interni per eseguire il protocollo del sistema di intelligenza artificiale. Dopo l'installazione dell'apparecchiatura da parte dello sponsor presso il sito, ma prima che qualsiasi partecipante fosse reclutato, gli apprendisti dell'operatore del sistema di intelligenza artificiale dovevano attestare di non aver precedentemente eseguito l'imaging oculare. Inoltre, prima dell'inizio del reclutamento per lo studio in ciascun sito, i tirocinanti degli operatori del sistema di intelligenza artificiale sono stati sottoposti a un programma di formazione standardizzato una tantum di 4 ore. Sono stati addestrati su come acquisire immagini, come migliorare la qualità dell'immagine se il sistema AI ha fornito un output di qualità insufficiente e come inserire le immagini per l'analisi nel sistema AI. Nessuna formazione aggiuntiva è stata fornita a nessuno degli operatori del sistema di IA per la durata dello studio. In modo indipendente, i fotografi esperti certificati FPRC sono stati identificati in posizioni geografiche vicine a ciascun sito dal CRO ed è stata richiesta la certificazione 4W-D FPRC documentata prima che qualsiasi partecipante fosse ripreso. Il CRO ha completato in modo indipendente le visite di avvio del sito in ciascun sito per garantire che ogni sito soddisfacesse tutti i requisiti di buona pratica clinica prima dell'inizio dell'arruolamento.

Protocollo di studio. Tutti i partecipanti hanno dato il consenso informato scritto a partecipare sia al protocollo del sistema AI, sia al protocollo di imaging FPRC, utilizzando due diverse fotocamere:

Il protocollo del sistema di intelligenza artificiale consisteva nelle seguenti fasi:

1. L'operatore acquisisce immagini con una telecamera retinica non midriatica (NW400, Topcon Medical Systems, Oakland, NJ) secondo un protocollo di imaging standardizzato con un disco e un'immagine a 45° centrata nella fovea per occhio;
2. L'operatore invia le immagini al sistema AI per la valutazione automatizzata della qualità dell'immagine e dell'aderenza al protocollo;
3. Se il sistema AI emette una qualità insufficiente, i passaggi 1-2 vengono ripetuti fino a quando non viene emessa una qualità sufficiente o sono stati effettuati 3 tentativi. Se il sistema AI indica ancora che le immagini sono di qualità insufficiente, le pupille del partecipante vengono dilatate con gocce oculari di tropicamide 1,0% (fornite dallo sponsor in ciascun sito), fino a quando il diametro della pupilla è di almeno 5 mm in ciascun occhio o sono trascorsi 30 minuti e i passaggi 1-2 vengono ripetuti finché non viene emessa una qualità sufficiente o sono stati effettuati 3 tentativi. Se il sistema di intelligenza artificiale continua a emettere che le immagini sono di qualità insufficiente, l'output del sistema di intelligenza artificiale di qualità insufficiente viene automaticamente fornito al CRO tramite un trasferimento sicuro dei dati;
4. Ogni volta che il sistema di IA indica una qualità sufficiente, l'output del livello di malattia del sistema di IA (mtmDR rilevato o mtmDR non rilevato) viene fornito automaticamente alla CRO tramite trasferimento dati sicuro; l'output finale del sistema AI fornito al CRO dopo questo protocollo è stato rilevato mtmDR, mtmDR non rilevato o qualità insufficiente

È stato quindi condotto il protocollo di imaging FPRC e consisteva nei seguenti passaggi, tutti eseguiti da un fotografo certificato FPRC:

1. Se il partecipante non è già dilatato, vengono somministrati colliri dilatatori di tropicamide 1,0%;
2. La fotografia del fondo oculare stereoscopico digitale a campo largo viene eseguita, utilizzando una fotocamera in grado di fotografare a campo largo, (Maestro, Topcon Medical Systems, Oakland, NJ) secondo il protocollo stereo FPRC 4W-D, da un fotografo certificato FPRC;
3. La fotografia del segmento anteriore per la valutazione dell'opacità dei media viene eseguita secondo l'Age Related Eye Disease Study, da un fotografo certificato FPRC;
4. L'OCT della macula viene eseguito utilizzando un sistema OCT standard in grado di produrre una scansione del cubo contenente almeno 121 scansioni B, (Maestro, Topcon Medical Systems, Oakland, NJ) secondo il protocollo OCT FPRC, da un fotografo certificato FPRC.

I fotografi certificati FPRC sono stati sempre mascherati dagli output del sistema AI.

Norme di riferimento. Il protocollo di classificazione FPRC consisteva nella determinazione dei livelli ETDRS Severity Scale (SS) per le fotografie del fondo oculare e nella classificazione OCT standardizzata, come segue: le immagini 4W-D sono state lette da tre lettori esperti e convalidati presso l'FPRC secondo il consolidato ETDRS SS, utilizzando un paradigma di voto a maggioranza. Le immagini OCT maculari sono state valutate per la presenza di DME coinvolto dal centro da lettori esperti presso l'FPRC secondo il paradigma di classificazione DRCR. Per ciascun partecipante, i livelli ETDRS sono stati mappati su mtmDR+ (livello ETDRS 35 o superiore e/o DME presente) o mtmDR- (livello ETDRS 10-20 e DME assente), facendo corrispondere il peggiore dei due occhi ai risultati di il sistema di IA a livello di partecipante.16 Per misurare la sensibilità per i casi che richiedono un follow-up immediato, chiamato DR che minaccia la vista, abbiamo definito vtDR + come livello ETDRS 53 o superiore e/o DME presente, vedere la tabella supplementare 2 per la mappatura dai livelli ETDRS e DME a mtmDR- e mtmDR dicotomici +e vtDR+. Poiché il DME può essere identificato sia sulla base dell'ispessimento retinico su fotografie stereoscopiche del fondo oculare, sia sulla base dell'ispessimento retinico su OCT, abbiamo analizzato separatamente entrambi. La DME clinicamente significativa basata sul fondo oculare stereoscopico (CSDME) è stata identificata in presenza di un ispessimento retinico o di essudati duri adiacenti < 600 μm dal centro foveale o di una zona di ispessimento retinico > 1 area discale, parte della quale è inferiore a 1 diametro del disco dal il centro foveale, secondo l'FPRC, in qualsiasi occhio. Il DME interessato dal centro basato su OCT è stato identificato se un partecipante aveva uno spessore del sottocampo centrale (un cerchio di 1,0 mm centrato sulla fovea) che era > 300 μm secondo l'FPRC, in qualsiasi occhio.20 Di conseguenza, specifichiamo ulteriormente la definizione di mtmDR dove pertinente:

fundus mtmDR+ è definito come

• Livello ETDRS ≥ 35 (determinato dalle fotografie del fondo oculare) e/o
• CSDME (determinato dalle fotografie del fondo oculare)

e mtmDR+ multimodale è definito come:

• Livello ETDRS ≥ 35 (determinato dalle fotografie del fondo oculare) e/o
• CSDME (determinato dalle fotografie del fondo oculare) e/o
• DME centro-coinvolto (determinato da OCT).

e allo stesso modo per vtDR + . I lettori FPRC erano sempre mascherati agli output del sistema AI, mascherati alla lettura della fotografia del fondo oculare durante la valutazione delle immagini OCT e mascherati alle letture OCT durante la valutazione delle fotografie del fondo oculare.