En multicenterstudie för att utvärdera prestanda hos en automatiserad anordning för upptäckt av diabetesretinopati

Från januari 2017 till juli 2017 var 900 deltagare prospektivt inskrivna i denna observationsstudie på 10 kliniker för primärvård i hela USA. Studien godkändes av den institutionella granskningsnämnden för varje plats, och alla deltagare gav skriftligt informerat samtycke. Studien, som finansierades av IDx LLC, designades av författarna med input från U.S. Food and Drug Administration (FDA) om endpoints, statistisk testning och studiedesign. Emmes Corp, en kontraktsforskningsorganisation (CRO), tillhandahöll övergripande projektledning, inklusive datahantering och oberoende övervaknings- och revisionstjänster för alla platser. CCR, Inc., en Algorithm Integrity Provider (AIP), kontrakterades för att låsa AI-systemet, hålla eventuella mellanliggande och slutliga resultat och bilder i spärr, och förbjuda åtkomst till dessa av sponsorn, från före studiestart till och med slutgiltigt datalås. Eftersom sponsorn på så sätt hindrades från åtkomst till AI-systemet, utförde AIP alla nödvändiga underhålls- och serviceaktiviteter under studien såväl som under hela avslutningen.

Målpopulationen var asymtomatiska personer i åldrarna 22 och äldre som hade diagnostiserats med diabetes och inte tidigare diagnostiserats med DR. En diagnos av diabetes definierades som att uppfylla kriterierna som fastställts av antingen Världshälsoorganisationen (WHO) eller American Diabetes Association (ADA); Hemoglobin A1c (HbA1c) ≥ 6,5 % baserat på upprepade bedömningar; Fasteplasmaglukos (FPG) ≥ 126 mg/dL (7,0 mmol/L) baserat på upprepade bedömningar; Oralt glukostoleranstest (OGTT) med två timmars plasmaglukos (2-timmars PG) ≥ 200 mg/dL (11,1 mmol/L) med motsvarande en oral 75 g vattenfri glukosdos upplöst i vatten; eller symtom på hyperglykemi eller hyperglykemisk kris med ett slumpmässigt plasmaglukosvärde (RPG) ≥ 200 mg/dL (11,1 mmol/L).

För att hjälpa till att registrera ett tillräckligt antal mtmDR-deltagare för utvärdering av känslighet, användes en stegvis anrikningsstrategi, som anges i det förspecificerade protokollet, mitt i studien för att rekrytera tillräckligt många mtmDR-deltagare. Anrikningsstrategin sökte deltagare med högre risk med förhöjda HbA1c-nivåer (>9,0 %) eller förhöjd fastande plasmaglukos; denna anrikning aktiverades oberoende av statistikern medan den alltid förblev maskerad till AI-systemets utgångar och ETDRS-sjukdomsnivåerna. För att ta hänsyn till eventuell oavsiktlig spektrumbias i den inga/milda populationen, definierade studien en specificitetsutfallsparameter för att korrigera för eventuella spektrumbias som härrör från denna anrikningsstrategi som co-primär.

Alla primärvårdsplatser i studien identifierade en eller flera interna operatörspraktikanter för att utföra AI-systemprotokollet. Efter installation av utrustningen av sponsorn på platsen, men innan någon deltagare rekryterades, var AI-systemoperatörspraktikanter tvungna att intyga att de inte tidigare utfört okulär avbildning. Innan studierekryteringen påbörjades på varje plats genomgick AI-systemoperatörspraktikanter ett engångsstandardiserat 4 timmars utbildningsprogram. De utbildades i hur man skaffar bilder, hur man förbättrar bildkvaliteten om AI-systemet gav otillräcklig kvalitet och hur man lägger in bilder för analys i AI-systemet. Ingen ytterligare utbildning gavs till någon av AI-systemoperatörerna under studiens varaktighet. Oberoende identifierades FPRC-certifierade expertfotografer på geografiska platser nära varje plats av CRO, och dokumenterad 4W-D FPRC-certifiering krävdes innan någon deltagare avbildades. CRO genomförde självständigt startbesök på varje plats för att säkerställa att varje plats uppfyllde alla krav på god klinisk praxis innan registreringen påbörjades.

Studieprotokoll. Alla deltagare gav skriftligt informerat samtycke till att delta i både AI-systemprotokollet och FPRC-avbildningsprotokollet, med två olika kameror:

AI-systemprotokollet bestod av följande steg:

1. Operatören tar bilder med en icke-mydriatisk retinalkamera (NW400, Topcon Medical Systems, Oakland, NJ) enligt ett standardiserat avbildningsprotokoll med en skiva och en fovea centrerad 45° bild per öga;
2. Operatören skickar bilder till AI-systemet för automatisk utvärdering av bildkvalitet och protokollefterlevnad;
3. Om AI-systemet ger otillräcklig kvalitet, upprepas steg 1-2 tills tillräcklig kvalitet utmatas eller 3 försök gjordes. Om AI-systemet fortfarande indikerar att bilderna är av otillräcklig kvalitet, dilateras deltagarens pupiller med tropicamid 1,0 % ögondroppar, (tillhandahålls av sponsorn på varje plats), tills pupilldiametern är minst 5 mm i varje öga eller 30 minuter har passerat , och steg 1-2 upprepas tills tillräcklig kvalitet avges eller 3 försök har gjorts. Om AI-systemet fortfarande matar ut att bilder är av otillräcklig kvalitet, tillhandahålls AI-systemets utdata med otillräcklig kvalitet automatiskt till CRO via säker dataöverföring;
4. Närhelst AI-systemet indikerar tillräcklig kvalitet, tillhandahålls AI-systemets sjukdomsnivå (antingen mtmDR upptäckt eller mtmDR inte upptäckt) automatiskt till CRO via säker dataöverföring; den slutliga AI-systemutgången som tillhandahålls till CRO efter att detta protokoll upptäcktes mtmDR, mtmDR inte upptäcktes eller otillräcklig kvalitet

FPRC-avbildningsprotokollet genomfördes sedan och bestod av följande steg, alla utförda av en FPRC-certifierad fotograf:

1. Om deltagaren inte redan är dilaterad administreras dilaterande ögondroppar av tropicamide 1,0 %;
2. Digital widefield stereoskopisk ögonbottenfotografering utförs med hjälp av en kamera som kan fotografera vid widefield (Maestro, Topcon Medical Systems, Oakland, NJ) enligt FPRC 4W-D stereoprotokollet, av en FPRC-certifierad fotograf;
3. Fotografering av främre segment för mediaopacitetsbedömning utförs enligt Age Related Eye Disease Study av en FPRC-certifierad fotograf;
4. OCT av gula fläcken utförs med ett standard OCT-system som kan producera en kubskanning innehållande minst 121 B-skanningar (Maestro, Topcon Medical Systems, Oakland, NJ) enligt FPRC OCT-protokollet, av en FPRC-certifierad fotograf.

De FPRC-certifierade fotograferna var alltid maskerade till AI-systemets utgångar.

Referensstandarder. FPRC-graderingsprotokollet bestod av bestämning av ETDRS Severity Scale (SS)-nivåer för ögonbottenfotografier och standardiserad OCT-gradering, enligt följande: 4W-D-bilderna lästes av tre erfarna och validerade läsare vid FPRC enligt den väletablerade ETDRS SS, med hjälp av ett majoritetsomröstningsparadigm. De makulära OCT-bilderna utvärderades för närvaron av centruminvolverad DME av erfarna läsare vid FPRC enligt DRCR-graderingsparadigmet. För varje deltagare mappades ETDRS-nivåerna till mtmDR+ (ETDRS-nivå 35 eller högre och/eller DME närvarande), eller mtmDR- (ETDRS-nivå 10-20 och DME saknas), vilket tog det sämsta av två ögon för att motsvara utdata från AI-systemet på deltagarnivå.16 För att mäta känsligheten för de fall som kräver omedelbar uppföljning, kallade synhotande DR, definierade vi vtDR + som ETDRS-nivå 53 eller högre, och/eller DME närvarande, se tilläggstabell 2 för kartläggning från ETDRS- och DME-nivåer till dikotoma mtmDR- och mtmDR +och vtDR+. Eftersom DME kan identifieras både på basis av näthinneförtjockning på stereoskopiska ögonbottenfotografier, såväl som på basis av näthinneförtjockning på OCT, analyserade vi båda separat. Stereoskopisk fundusbaserad kliniskt signifikant DME (CSDME) identifierades om det fanns antingen näthinneförtjockning eller intilliggande hårda exsudat < 600 μm från foveala centrum, eller en zon med näthinneförtjockning > 1 diskarea, varav en del är mindre än 1 diskdiameter från foveala centrum, enligt FPRC, i vilket öga som helst. OCT-baserad centruminvolverad DME identifierades om en deltagare hade ett centralt delfält (en 1,0 mm cirkel centrerad på fovea) som var >300 μm enligt FPRC, i vilket öga som helst.20 Följaktligen specificerar vi vidare definitionen av mtmDR där relevant:

fundus mtmDR+ definieras som

• ETDRS-nivå ≥ 35 (bestäms från ögonbottenfotografier) ​​och/eller
• CSDME (bestäms från ögonbottenfotografier)

och multimodal mtmDR+ definieras som:

• ETDRS-nivå ≥ 35 (bestäms från ögonbottenfotografier) ​​och/eller
• CSDME (bestäms från ögonbottenfotografier) ​​och/eller
• centruminvolverad DME (bestäms från OKT).

och liknande för vtDR + . FPRC-läsare maskerades till AI-systemets utgångar hela tiden, maskerades till ögonbottenfotografiavläsningen vid utvärdering av OCT-bilderna och maskerades till OCT-avläsningar vid utvärdering av ögonbottenfotografier.