En multicenterundersøgelse for at evaluere ydeevnen af ​​en automatiseret anordning til påvisning af diabetisk retinopati

Fra januar 2017 til juli 2017 blev 900 deltagere prospektivt tilmeldt denne observationsundersøgelse på 10 primære plejesteder i hele USA. Undersøgelsen blev godkendt af det institutionelle revisionsudvalg for hvert sted, og alle deltagere gav skriftligt informeret samtykke. Undersøgelsen, som blev finansieret af IDx LLC, blev designet af forfatterne med input fra U.S. Food and Drug Administration (FDA) om endepunkter, statistisk testning og studiedesign. Emmes Corp, en kontraktforskningsorganisation (CRO), leverede overordnet projektstyring, herunder datastyring og uafhængige overvågnings- og revisionstjenester for alle websteder. CCR, Inc., en Algorithm Integrity Provider (AIP), blev kontraheret til at låse AI-systemet, opbevare eventuelle mellemliggende og endelige resultater og billeder i depot, og forbyde sponsorens adgang til disse, fra før undersøgelsens start og indtil endelig datalås. Fordi sponsoren således blev forhindret i at få adgang til AI-systemet, udførte AIP alle nødvendige vedligeholdelses- og serviceaktiviteter under undersøgelsen såvel som under hele afslutningen.

Målgruppen var asymptomatiske personer i alderen 22 år og ældre, som var blevet diagnosticeret med diabetes og ikke tidligere var blevet diagnosticeret med DR. En diabetesdiagnose blev defineret som at opfylde kriterierne fastsat af enten Verdenssundhedsorganisationen (WHO) eller American Diabetes Association (ADA); Hæmoglobin A1c (HbA1c) ≥ 6,5 % baseret på gentagne vurderinger; Fastende plasmaglukose (FPG) ≥ 126 mg/dL (7,0 mmol/L) baseret på gentagne vurderinger; Oral glukosetolerancetest (OGTT) med to-timers plasmaglucose (2-timers PG) ≥ 200 mg/dL (11,1 mmol/L) ved brug af det, der svarer til en oral 75 g vandfri glucosedosis opløst i vand; eller symptomer på hyperglykæmi eller hyperglykæmisk krise med en tilfældig plasmaglukose (RPG) ≥ 200 mg/dL (11,1 mmol/L).

For at hjælpe med at tilmelde et tilstrækkeligt antal mtmDR-deltagere til evaluering af følsomhed, blev en trinvis berigelsesstrategi, som angivet i den forudspecificerede protokol, brugt midt i undersøgelsen til at rekruttere tilstrækkeligt antal mtmDR-deltagere. Berigelsesstrategien søgte deltagere med højere risiko med forhøjede HbA1c (>9,0%) niveauer eller forhøjet fastende plasmaglukose; denne berigelse blev uafhængigt aktiveret af statistikeren, mens den altid forblev maskeret til AI-systemets output og ETDRS-sygdomsniveauerne. For at tage højde for enhver utilsigtet spektrumbias i den ingen/milde population, definerede undersøgelsen en specificitetsudfaldsparameter for at korrigere for enhver potentiel spektrumbias som følge af denne berigelsesstrategi som co-primær.

Alle primære plejesteder i undersøgelsen identificerede en eller flere interne operatørelever til at udføre AI-systemprotokollen. Efter sponsorens installation af udstyret på stedet, men før nogen deltager blev rekrutteret, skulle AI-systemoperatører attestere, at de ikke tidligere havde udført okulær billeddannelse. Før start af rekruttering af studier på hvert sted, gennemgik AI-systemoperatørpraktikanter et engangs-standardiseret 4 timers træningsprogram. De blev trænet i, hvordan man erhverver billeder, hvordan man forbedrer billedkvaliteten, hvis AI-systemet gav en utilstrækkelig kvalitetsoutput, og hvordan man satte billeder til analyse i AI-systemet. Ingen yderligere træning blev givet til nogen af ​​AI-systemoperatørerne i løbet af undersøgelsen. Uafhængigt blev FPRC-certificerede ekspertfotografer identificeret på geografiske steder tæt på hvert sted af CRO, og dokumenteret 4W-D FPRC-certificering var påkrævet, før nogen deltager blev fotograferet. CRO'en gennemførte uafhængigt anlægsbesøg på hvert websted for at sikre, at hvert anlæg opfyldte alle kravene til god klinisk praksis før start af tilmelding.

Studieprotokol. Alle deltagere gav skriftligt informeret samtykke til at deltage i både AI-systemprotokollen såvel som FPRC-billeddannelsesprotokollen ved hjælp af to forskellige kameraer:

AI-systemprotokollen bestod af følgende trin:

1. Operatøren tager billeder med et ikke-mydriatisk nethindekamera (NW400, Topcon Medical Systems, Oakland, NJ) i henhold til en standardiseret billedbehandlingsprotokol med en disk og et fovea-centreret 45°-billede pr. øje;
2. Operatøren sender billeder til AI-systemet til automatisk billedkvalitet og protokoloverholdelsesevaluering;
3. Hvis AI-systemet udsender utilstrækkelig kvalitet, gentages trin 1-2, indtil der er tilstrækkelig kvalitet, eller der blev gjort 3 forsøg. Hvis AI-systemet stadig indikerer, at billederne er af utilstrækkelig kvalitet, udvides deltagerens pupiller med tropicamid 1,0 % øjendråber (leveres af sponsoren på hvert sted), indtil pupildiameteren er mindst 5 mm i hvert øje, eller der er gået 30 minutter , og trin 1-2 gentages, indtil der er output i tilstrækkelig kvalitet, eller der er gjort 3 forsøg. Hvis AI-systemet stadig udsender, at billeder er af utilstrækkelig kvalitet, leveres AI-systemets output af utilstrækkelig kvalitet automatisk til CRO'en via sikker dataoverførsel;
4. Når AI-systemet angiver tilstrækkelig kvalitet, leveres AI-systemets sygdomsniveau output (enten mtmDR detekteret eller mtmDR ikke detekteret) automatisk leveret til CRO via sikker dataoverførsel; det endelige AI-systemoutput leveret til CRO'en efter denne protokol blev mtmDR detekteret, mtmDR ikke detekteret eller utilstrækkelig kvalitet

FPRC-billeddannelsesprotokollen blev derefter udført og bestod af følgende trin, alle udført af en FPRC-certificeret fotograf:

1. Hvis deltageren ikke allerede er dilateret, indgives udvidende øjendråber af tropicamid 1,0 %;
2. Digital widefield stereoskopisk fundusfotografering udføres ved hjælp af et kamera, der er i stand til widefield fotografering (Maestro, Topcon Medical Systems, Oakland, NJ) i henhold til FPRC 4W-D stereoprotokollen af ​​en FPRC certificeret fotograf;
3. Forreste segmentfotografering til vurdering af mediernes opacitet udføres i henhold til Age Related Eye Disease Study af en FPRC-certificeret fotograf;
4. OCT af macula udføres ved hjælp af et standard OCT-system, der er i stand til at producere en kubescanning indeholdende mindst 121 B-scanninger (Maestro, Topcon Medical Systems, Oakland, NJ) i henhold til FPRC OCT-protokollen, af en FPRC-certificeret fotograf.

De FPRC-certificerede fotografer var maskeret til AI-systemets udgange til enhver tid.

Referencestandarder. FPRC graderingsprotokollen bestod af bestemmelse af ETDRS Severity Scale (SS) niveauer for fundusfotografier og standardiseret OCT gradering som følger: 4W-D billederne blev læst af tre erfarne og validerede læsere på FPRC i henhold til den veletablerede ETDRS SS, ved hjælp af et flertalsafstemningsparadigme. De makulære OCT-billeder blev evalueret for tilstedeværelsen af ​​center-involveret DME af erfarne læsere på FPRC i henhold til DRCR-graderingsparadigmet. For hver deltager blev ETDRS-niveauerne kortlagt til mtmDR+ (ETDRS-niveau 35 eller højere og/eller DME til stede), eller mtmDR- (ETDRS-niveau 10-20 og DME fraværende), hvilket tog det værste af to øjne til at svare til output fra AI-systemet på deltagerniveau.16 For at måle følsomhed for de tilfælde, der kræver øjeblikkelig opfølgning, kaldet synstruende DR, definerede vi vtDR + som ETDRS-niveau 53 eller højere, og/eller DME til stede, Se Supplerende Tabel 2 for kortlægning fra ETDRS- og DME-niveauer til dikotome mtmDR- og mtmDR +og vtDR+. Fordi DME kan identificeres både på basis af nethindefortykkelse på stereoskopiske fundusfotografier såvel som på basis af nethindefortykkelse på OCT, analyserede vi begge separat. Stereoskopisk fundus baseret klinisk signifikant DME (CSDME) blev identificeret, hvis der var enten retinal fortykkelse eller tilstødende hårde ekssudater < 600 μm fra foveal centrum, eller en zone med retinal fortykkelse > 1 diskareal, hvoraf en del er mindre end 1 diskdiameter fra foveal center, ifølge FPRC, i ethvert øje. OCT-baseret center-involveret DME blev identificeret, hvis en deltager havde centralt underfelt (en 1,0 mm cirkel centreret på fovea), der var >300 μm ifølge FPRC, i ethvert øje.20 Derfor specificerer vi yderligere definitionen af ​​mtmDR, hvor relevant:

fundus mtmDR+ er defineret som

• ETDRS-niveau ≥ 35 (bestemt ud fra fundusfotografier) ​​og/eller
• CSDME (bestemt ud fra fundusfotografier)

og multimodal mtmDR+ er defineret som:

• ETDRS-niveau ≥ 35 (bestemt ud fra fundusfotografier) ​​og/eller
• CSDME (bestemt ud fra fundusfotografier) ​​og/eller
• center-involveret DME (bestemt fra OLT).

og tilsvarende for vtDR+. FPRC-læsere blev maskeret til AI-systemets udgange på alle tidspunkter, maskeret til fundus-fotografiaflæsningen ved evaluering af OCT-billederne og maskeret til OCT-aflæsninger ved evaluering af fundusfotografier.