Een onderzoek in meerdere centra om de prestaties van een geautomatiseerd apparaat voor de detectie van diabetische retinopathie te evalueren

Van januari 2017 tot juli 2017 namen 900 deelnemers prospectief deel aan deze observationele studie op 10 eerstelijnspraktijken in de Verenigde Staten. De studie werd voor elke site goedgekeurd door de institutionele beoordelingsraad en alle deelnemers gaven schriftelijke geïnformeerde toestemming. De studie, die werd gefinancierd door IDx LLC, is ontworpen door de auteurs met inbreng van de Amerikaanse Food and Drug Administration (FDA) over de eindpunten, statistische testen en onderzoeksopzet. Emmes Corp, een organisatie voor contractonderzoek (CRO), zorgde voor het algehele projectbeheer, inclusief gegevensbeheer en onafhankelijke monitoring- en auditdiensten voor alle locaties. CCR, Inc., een Algorithm Integrity Provider (AIP), werd gecontracteerd om het AI-systeem te vergrendelen, alle tussen- en eindresultaten en afbeeldingen in bewaring te houden en de toegang hiertoe door de sponsor te verbieden, van vóór de start van het onderzoek tot definitieve gegevensvergrendeling. Omdat de sponsor aldus de toegang tot het AI-systeem werd ontzegd, voerde de AIP alle noodzakelijke onderhouds- en serviceactiviteiten uit tijdens het onderzoek en tijdens de afsluiting.

De doelpopulatie bestond uit asymptomatische personen van 22 jaar en ouder, bij wie diabetes was vastgesteld en bij wie niet eerder de diagnose DR was gesteld. Een diagnose van diabetes werd gedefinieerd als het voldoen aan de criteria die zijn vastgesteld door de Wereldgezondheidsorganisatie (WHO) of de American Diabetes Association (ADA); Hemoglobine A1c (HbA1c) ≥ 6,5% op basis van herhaalde beoordelingen; Nuchtere plasmaglucose (FPG) ≥ 126 mg/dl (7,0 mmol/l) op basis van herhaalde beoordelingen; Orale glucosetolerantietest (OGTT) met twee uur durende plasmaglucose (2 uur PG) ≥ 200 mg/dl (11,1 mmol/l) met het equivalent van een orale dosis van 75 g watervrije glucose opgelost in water; of symptomen van hyperglykemie of hyperglykemiecrisis met een willekeurige plasmaglucose (RPG) ≥ 200 mg/dl (11,1 mmol/l).

Om een ​​voldoende aantal mtmDR-deelnemers te helpen inschrijven voor de evaluatie van de gevoeligheid, werd halverwege de studie een stapsgewijze verrijkingsstrategie gebruikt, zoals aangegeven in het vooraf gespecificeerde protocol, om voldoende aantallen mtmDR-deelnemers te werven. De verrijkingsstrategie zocht deelnemers met een hoger risico met verhoogde HbA1c-waarden (> 9,0%) of verhoogde nuchtere plasmaglucose; deze verrijking werd onafhankelijk geactiveerd door de statisticus, terwijl hij altijd gemaskeerd bleef voor de output van het AI-systeem en de ETDRS-ziekteniveaus. Om rekening te houden met eventuele onbedoelde spectrumbias in de populatie zonder/mild, definieerde de studie vooraf een specificiteitsuitkomstparameter om te corrigeren voor mogelijke spectrumbias als gevolg van deze verrijkingsstrategie als co-primair.

Alle eerstelijnszorglocaties in het onderzoek identificeerden een of meer interne operator-trainees om het AI-systeemprotocol uit te voeren. Na installatie van de apparatuur door de sponsor op de locatie, maar voordat er een deelnemer werd aangeworven, moesten AI-systeemoperators in opleiding verklaren dat ze niet eerder oculaire beeldvorming hadden uitgevoerd. Ook ondergingen AI-systeemoperator-stagiairs vóór aanvang van de studiewerving op elke locatie een eenmalig gestandaardiseerd trainingsprogramma van 4 uur. Ze werden getraind in het verwerven van beelden, het verbeteren van de beeldkwaliteit als het AI-systeem een ​​output van onvoldoende kwaliteit gaf, en het plaatsen van beelden voor analyse in het AI-systeem. Voor de duur van het onderzoek werd geen aanvullende training gegeven aan een van de AI-systeembeheerders. Onafhankelijk werden FPRC-gecertificeerde deskundige fotografen geïdentificeerd op geografische locaties dicht bij elke locatie door de CRO, en gedocumenteerde 4WD FPRC-certificering was vereist voordat een foto van een deelnemer werd gemaakt. De CRO voltooide onafhankelijk locatie-initiatiebezoeken op elke locatie om ervoor te zorgen dat elke locatie vóór aanvang van de inschrijving voldeed aan alle vereisten voor goede klinische praktijken.

Leerprotocool. Alle deelnemers gaven schriftelijke geïnformeerde toestemming om deel te nemen aan zowel het AI-systeemprotocol als het FPRC-beeldvormingsprotocol, met behulp van twee verschillende camera's:

Het AI-systeemprotocol bestond uit de volgende stappen:

1. De operator maakt beelden met een niet-mydriatische netvliescamera (NW400, Topcon Medical Systems, Oakland, NJ) volgens een gestandaardiseerd beeldvormingsprotocol met één schijf en één fovea gecentreerd 45°-beeld per oog;
2. Operator dient afbeeldingen in bij het AI-systeem voor geautomatiseerde evaluatie van beeldkwaliteit en protocolnaleving;
3. Als het AI-systeem onvoldoende kwaliteit uitvoert, worden stappen 1-2 herhaald totdat er voldoende kwaliteit wordt uitgevoerd of er 3 pogingen zijn gedaan. Als het AI-systeem nog steeds aangeeft dat de beelden van onvoldoende kwaliteit zijn, worden de pupillen van de deelnemer verwijd met tropicamide 1,0% oogdruppels (geleverd door de sponsor op elke locatie), totdat de pupildiameter in elk oog ten minste 5 mm is of er 30 minuten zijn verstreken , en stappen 1-2 worden herhaald totdat de uitvoer van voldoende kwaliteit is of er 3 pogingen zijn gedaan. Als het AI-systeem nog steeds aangeeft dat afbeeldingen van onvoldoende kwaliteit zijn, wordt de AI-systeemoutput van onvoldoende kwaliteit automatisch aan de CRO geleverd via beveiligde gegevensoverdracht;
4. Telkens wanneer het AI-systeem voldoende kwaliteit aangeeft, wordt de uitvoer van het ziekteniveau van het AI-systeem (ofwel mtmDR gedetecteerd of mtmDR niet gedetecteerd) automatisch aan de CRO verstrekt via beveiligde gegevensoverdracht; de uiteindelijke output van het AI-systeem die aan de CRO is verstrekt nadat dit protocol mtmDR is gedetecteerd, mtmDR niet is gedetecteerd of van onvoldoende kwaliteit is

Het FPRC-beeldvormingsprotocol werd vervolgens uitgevoerd en bestond uit de volgende stappen, allemaal uitgevoerd door een FPRC-gecertificeerde fotograaf:

1. Als de deelnemer nog niet verwijd is, worden verwijde oogdruppels van tropicamide 1,0% toegediend;
2. Digitale breedveld stereoscopische fundusfotografie wordt uitgevoerd met behulp van een camera die geschikt is voor breedveldfotografie (Maestro, Topcon Medical Systems, Oakland, NJ) volgens het FPRC 4W-D stereoprotocol, door een FPRC gecertificeerde fotograaf;
3. Fotografie van het voorste segment voor beoordeling van media-opaciteit wordt uitgevoerd volgens de Age Related Eye Disease Study, door een FPRC-gecertificeerde fotograaf;
4. OCT van de macula wordt uitgevoerd met behulp van een standaard OCT-systeem dat in staat is een kubusscan te produceren met ten minste 121 B-scans (Maestro, Topcon Medical Systems, Oakland, NJ) volgens het FPRC OCT-protocol, door een FPRC-gecertificeerde fotograaf.

De FPRC-gecertificeerde fotografen waren te allen tijde gemaskeerd voor de output van het AI-systeem.

Referentiestandaarden. Het FPRC-beoordelingsprotocol bestond uit het bepalen van ETDRS Severity Scale (SS)-niveaus voor fundusfoto's en gestandaardiseerde OCT-beoordeling, als volgt: de 4W-D-beelden werden gelezen door drie ervaren en gevalideerde lezers bij de FPRC volgens de gevestigde ETDRS SS, met behulp van een meerderheidsstemmingsparadigma. De maculaire OCT-beelden werden geëvalueerd op de aanwezigheid van centrum-betrokken DME door ervaren lezers bij de FPRC volgens het DRCR-classificatieparadigma. Voor elke deelnemer werden de ETDRS-niveaus toegewezen aan mtmDR+ (ETDRS-niveau 35 of hoger en/of DME aanwezig), of mtmDR- (ETDRS-niveau 10-20 en DME afwezig), waarbij het slechtste van twee ogen overeenkwam met de output van het AI-systeem op deelnemersniveau.16 Om de gevoeligheid te meten voor de gevallen die onmiddellijke follow-up vereisen, de zogenaamde visiebedreigende DR, hebben we vtDR + gedefinieerd als ETDRS-niveau 53 of hoger, en/of DME aanwezig, zie aanvullende tabel 2 voor het in kaart brengen van ETDRS- en DME-niveaus naar dichotome mtmDR- en mtmDR +en vtDR+. Omdat DME zowel op basis van netvliesverdikking op stereoscopische fundusfoto's als op basis van netvliesverdikking op OCT kan worden geïdentificeerd, hebben we beide afzonderlijk geanalyseerd. Op stereoscopische fundus gebaseerde Clinically Significant DME (CSDME) werd geïdentificeerd als er sprake was van verdikking van het netvlies of aangrenzend hard exsudaat < 600 μm van het foveale centrum, of een zone van verdikking van het netvlies > 1 schijfgebied, waarvan een deel minder dan 1 schijfdiameter verwijderd is van het foveale centrum, volgens de FPRC, in elk oog. OCT-gebaseerde centrum-betrokken DME werd geïdentificeerd als een deelnemer een centrale subvelddikte (een cirkel van 1,0 mm gecentreerd op de fovea) had die >300 μm was volgens de FPRC, in elk oog.20 Dienovereenkomstig specificeren we de definitie van mtmDR waar relevant:

fundus mtmDR+ wordt gedefinieerd als

• ETDRS-niveau ≥ 35 (bepaald op basis van fundusfoto's)en/of
• CSDME (bepaald uit fundusfoto's)

en multimodale mtmDR+ wordt gedefinieerd als:

• ETDRS-niveau ≥ 35 (bepaald op basis van fundusfoto's), en/of
• CSDME (bepaald uit fundusfoto's) en/of
• centrum-betrokken DME (bepaald uit OCT).

en hetzelfde voor vtDR + . FPRC-lezers werden te allen tijde gemaskeerd voor de output van het AI-systeem, gemaskeerd voor de fundusfoto-lezing bij het evalueren van de OCT-beelden en gemaskeerd voor OCT-lezingen bij het evalueren van fundusfoto's.