Umělé vidění s umělou inteligencí pro zrakové protézy

Výzkumníci provedou základní experimentální studie zahrnující lidi (BESH) určené ke kvantifikaci percepčních zkušeností pacientů s retinální a kortikální protézou. Tyto experimenty se budou řídit standardními postupy pro sběr behaviorálních dat a budou zahrnovat jednoduché percepční úkoly (např. detekce signálu, rozpoznávání objektů) a behaviorální úkoly (např. chůze k cíli).

Vyšetřovatelé budou vytvářet vizuální vjemy u pacientů s CORTIVIS a Argus II buď přímou stimulací elektrod (pomocí pulsů schválených FDA), nebo tak, že je požádají, aby se podívali na obrazovku počítače nebo projektoru a použili standardní stimulační protokoly (jak se standardně používají pro jejich zařízení). ) převést obraz na obrazovce počítače nebo projektoru na sledy pulzů na jejich elektrodách. Na základě psychofyzikálních dat a výpočtových modelů budou vyšetřovatelé testovat schopnost různých metod kódování stimulů podporovat jednoduché percepční a behaviorální úkoly (např. rozpoznávání objektů, navigace). Tyto kódovací metody mohou zahrnovat počítačové vidění a metody strojového učení pro zvýraznění důležitých objektů na scéně nebo pro zvýraznění blízkých překážek a mohou být přizpůsobeny každému jednotlivému pacientovi. Výkonnost pacientů s protézou bude porovnána jak mezi metodami kódování stimulů, tak s výkonem u normálně vidících kontrolních subjektů, kteří sledují stimuly upravené tak, aby odpovídaly očekávané percepční zkušenosti pacientů s protézou.

Normální metodou stimulace je řetěz z kamery namontované na brýlích přes jednotku pro zpracování videa (VPU), která převádí obraz videa do elektronických pulsů schválených FDA. Někdy vyšetřovatelé testují subjekty pomocí kamery. Častěji budou vyšetřovatelé provádět „přímou stimulaci“ při použití externího počítače pro přímou specifikaci sledu pulsů (např. pro Argus II 1s 10 Hz katodický sled pulsů s amplitudou proudu 100 mikroampérů a šířkou pulsu 45 mikrosekundy k elektrodě 12). Tyto přímé sledy pulzů jsou poté odeslány do VPU. Tento VPU obsahuje software, který zajišťuje, že tyto sledy pulzů jsou v rámci bezpečnostních limitů schválených FDA. Tyto pulsy musí být například nábojově vyvážené (stejný anodický/katodický náboj) a musí mít hustotu náboje nižší než 35 mikroCoulomb/cm2. Někdy vyšetřovatelé testují subjekty pomocí kamery. Někdy vyšetřovatelé přímo pošlou impulsy do VPU přímou specifikací sledů impulsů (např. pošlou sled katodických impulsů 1 s 10 Hz s proudovou amplitudou 100 mikroAmps a šířkou impulsu 45 mikroAmpérů do elektrody 12 implantátu Argus II ).

Mezi důležité parametry pro bezpečnost patří a) pulzy musí být nábojově vyvážené (po anodovém pulzu musí rychle následovat pulz katodický a naopak, jinak se elektroda rozpustí), b) hustota náboje by měla být omezena. Frekvence sledu pulsů a proudová amplituda sledu pulsů nejsou ve skutečnosti kritickým bezpečnostním problémem, protože elektronické/neurální rozhraní je odolné vůči extrémně vysokým rychlostem stimulace a vysokým úrovním proudu. Vysokofrekvenční pulsy nebo pulsy s vysokou amplitudou však mohou u pacientů způsobit nepohodlí (analogické k přechodu z tmavého kina na sluneční světlo) v důsledku vyvolání rozsáhlého neuronového výboje. Vyšetřovatelé se obvykle zaměří na frekvence/amplitudy pulzního sledu, které jsou v normálním rozsahu používaném pacientem při používání jejich zařízení. Pokud vyšetřovatelé použijí parametry, u kterých lze očekávat, že vyvolají intenzivnější nervovou odezvu (a tudíž mají potenciál způsobit nepohodlí), vždy je zavedou v postupné funkci (např. postupné zvyšování amplitudy) při kontrole, zda vjem není „nepříjemně jasný“, a vyšetřovatelé okamžitě sníží intenzitu stimulace, pokud pacienti uvádějí, že se vjem blíží nepohodlí. PI má zkušenosti s tímto přístupem a vyškolí veškerý personál na tyto protokoly.

V reakci na stimulaci/obraz na monitoru budou subjekty požádány, aby buď učinily percepční úsudek, nebo provedly jednoduchý behaviorální úkol. Mezi příklady patří detekce podnětu („viděli jste světlo na této zkoušce“), hlášení velikosti kreslením na dotykové obrazovce nebo chůze na cílové místo. Bude zaznamenána jak reakce pacienta, tak reakční doba.

Žádný z těchto podnětů nevyvolá emocionální reakce ani nebude žádným způsobem averzní.

V některých případech budou vyšetřovatelé také shromažďovat data z měření polohy očí subjektů. Jedná se o neinvazivní postup, který bude prováděn pomocí standardního zařízení pro sledování očí prostřednictvím infračervené kamery, která sleduje polohu zornice subjektů. Budou zaznamenána pouze měření, jako je poloha očí nebo mrknutí oka, takže tato data neobsahují identifikovatelné informace.

Subjektům se doporučuje, aby si dělaly přestávky tak často, jak je potřeba (mohou opustit testovací místnost). Vyšetřovatelé používají různé experimentální techniky včetně: (1) Stejný-různý - např. subjektům jsou zobrazeny dva vjemy a jsou dotázány, zda jsou stejné nebo odlišné. (2) Způsob úpravy - např. subjekty jsou požádány, aby upravily intenzitu zobrazení/stimulace, dokud není vjem sotva viditelný, (3) 2-alternativní-vynucená volba - např. subjektům budou předloženy dva podněty a budou dotázáni, který z těchto dvou podnětů je jasnější (4) Identifikace – subjekty jsou požádány, aby určily, které písmeno bylo předloženo.

V některých případech, stejně jako přesnost měření, budou vyšetřovatelé také měřit zlepšení s praxí opakováním stejného úkolu během několika sezení (až 5 sezení, každé se provádí v různých testovacích dnech).