Percepční zkušenost uživatelů Argus II

Retinální dystrofie, jako je retinitis pigmentosa a makulární degenerace, mají za následek vážné poškození zraku u více než 10 milionů lidí na celém světě. Jedna z léčebných technologií, zrakové neuroprotézy, si klade za cíl obnovit vidění elektrickou stimulací přežívajících buněk v sítnici nebo časné zrakové kůře, analogicky jako u kochleárních implantátů. Dvě zařízení jsou schválena pro komerční použití, u dalších je plánováno zahájení klinických zkoušek během několika let. Současná zařízení však trpí značnými percepčními deformacemi v důsledku interakcí mezi elektronikou implantátu a základní neurofyziologií. Zde budou vyšetřovatelé kombinovat lidskou psychofyziku, výpočetní modelování, virtuální realitu (VR) a strojové učení (ML), aby vyvinuli a ověřili nové stimulační protokoly pro pacienty s vizuálními protézami, které snižují percepční zkreslení a tím zlepšují účinnost neuroprotéz.

Cíl 1: Optimalizovat stimulační protokoly pomocí psychofyzikálně ověřeného fosfenového modelu.

Zjednodušené simulační protokoly, které v současnosti používají výrobci protetických pomůcek, neberou v úvahu percepční zkreslení uváděná v klinických studiích. Naproti tomu výpočtový model založený na psychofyzických datech může lépe předpovědět percepční zkreslení uživatelů Argus II (Second Sight).

1. Vyšetřovatelé psychofyzikálně ověří výpočtový model stimulací libovolných kombinací jednotlivých, párových a více elektrod. Model bude testován na pacientech s Argus II a jejich výkon bude porovnán s výkonem vidoucích subjektů „virtuálních pacientů“, kteří sledují vjemy generované modelem.
2. Pomocí tréninkových sad generovaných modelem budou vyšetřovatelé trénovat hlubokou neuronovou síť, aby se naučili přibližnou inverzní transformaci modelu, kterou lze použít k identifikaci stimulačního protokolu, který minimalizuje percepční zkreslení pro orientované mřížky a pohyblivé tyče. Vyšetřovatelé pak otestují, zda to zlepšuje výkon Argus II a virtuálních pacientů v úloze rozlišování orientace a identifikace směru pohybu.

Cíl 2: Vyvinout vylepšený model začleněním elektrofyziologických dat, která mohou dále optimalizovat stimulační protokoly.

Model vyvinutý v cíli 1 byl založen na psychofyzických datech. Výše popsané deformace však byly také pozorovány in vitro. Za tímto účelem výzkumníci vyvinou vylepšený model pro studium toho, jak časoprostorová neuronální dynamika ovlivňuje protetickou účinnost. Tím se rozšíří vyhledávací prostor, ve kterém lze hledat optimalizované protokoly. Vyšetřovatelé budou:

1. Zahrňte klíčová fyziologická pozorování z literatury do výše popsaného modelu krok za krokem. Po každém kroku bude měřen účinek těchto změn na schopnost modelu předpovídat psychofyzická data.
2. Pomocí hluboké neuronové sítě se naučte přibližnou inverzní transformaci tohoto složitějšího vylepšeného modelu a otestujte, zda to zlepšuje výkon Argus II a virtuálních pacientů v úloze rozlišování orientace a identifikace směru pohybu.

Cíl 3: Vyvinout nové stimulační protokoly aplikací počítačového vidění na „virtuální pacienty“ ve VR.

Vyšetřovatelé vloží model vyvinutý v cíli 2 do VR, aby vygenerovali „virtuální pacienty VR“ pro rychlé a efektivní testování nových stimulačních protokolů pomocí vizuálně typických jedinců. Protokoly, které vedou k dobrému výkonu VR, budou ověřeny u skutečných pacientů s protézou. Vyšetřovatelé budou:

1. Použijte virtuální pacienty VR k predikci systematických chyb uživatelů Argus II v úloze dvoubodové diskriminace.
2. Posuďte dopad pohybů očí na behaviorální výkon pomocí zobrazení podmíněného pohledu ve VR.
3. Posuďte potenciál metod předběžného zpracování počítačového vidění, jako je zvýraznění hran, přesměrování a decluttering pro zlepšení zraku měřením metrik chování při úloze rozpoznávání objektů ve VR. Nejslibnější techniky budou testovány u pacientů s Argus II.

Tyto experimenty jsou navrženy tak, aby kvantifikovaly percepční zkušenosti pacientů s protézou sítnice a řídily se standardními postupy pro sběr dat o chování. Výkon u pacientů bude porovnán s výkonem u normálně vidících kontrolních subjektů sledujících stimuly upravené tak, aby odpovídaly očekávané percepční zkušenosti pacientů s protézou.

Vyšetřovatelé budou u pacientů vytvářet vizuální vjemy buď přímou stimulací elektrod (pomocí pulsů schválených FDA), nebo je požádají, aby se podívali na obrazovku počítače nebo projektoru a pomocí standardních stimulačních protokolů schválených FDA (jak se standardně používají pro jejich zařízení) ke konverzi počítač nebo promítací plátno obraz do sledu pulzů na jejich elektrodách. Všechny stimulační protokoly budou schváleny FDA. Kontrolní subjekty budou sledovat podněty na monitoru počítače nebo prostřednictvím systému virtuální reality (VR). V některých případech budou podněty prezentované kontrolním subjektům s normálním zrakem zkreslené tak, aby odpovídaly percepčním zkušenostem subjektů s protézami.

Normální metodou stimulace je řetěz z kamery namontované na brýlích přes jednotku pro zpracování videa (VPU), která převádí obraz videa do elektronických pulsů schválených FDA.

Někdy budou předměty testovány pomocí fotoaparátu. Vyšetřovatelé častěji provádějí „přímou stimulaci“ pomocí externího počítače pro přímou specifikaci sledu pulsů (např. 1s 10Hz katodický sled pulsů s proudovou amplitudou 100 mikroampérů a šířkou pulsu 45 mikrosekund do elektrody 12) . Tyto přímé sledy pulzů jsou poté odeslány do VPU.

Tento VPU obsahuje software, který zajišťuje, že tyto sledy pulzů jsou v rámci bezpečnostních limitů schválených FDA. Tyto pulsy musí být například nábojově vyvážené (stejný anodický/katodický náboj) a musí mít hustotu náboje nižší než 35 mikroCoulomb/cm2. Někdy budou předměty testovány pomocí fotoaparátu. Někdy vyšetřovatelé přímo pošlou impulsy do VPU přímou specifikací sledů impulsů (např. odešlete sled katodických pulzů 1 s 10 Hz s amplitudou proudu 100 mikroampérů a šířkou pulzu 45 mikroampérů do elektrody 12) prostřednictvím softwarové sady společnosti Second Sight schválené FDA (včetně jejich systému klinického přizpůsobení). V softwaru existují dvě fáze, které zajišťují, že tyto sledy pulsů musí zůstat v mezích FDA: (1) každá aplikace v softwarové sadě je založena na aplikačním programovacím rozhraní (API) schváleném FDA, které provádí kontroly a bude „slušně chybovat“ pokud jsou specifikované sledy pulsů mimo přijatelné meze, (2) firmware VPU je naprogramován tak, aby dodával pouze pulsy schválené FDA.

Frekvence sledu pulsů a amplituda proudu sledu pulsů nejsou ve skutečnosti kritickým bezpečnostním problémem, protože elektronické/neurální rozhraní je odolné vůči extrémně vysokým rychlostem stimulace a vysokým úrovním proudu.

Vysokofrekvenční pulsy nebo pulsy s vysokou amplitudou však mohou u pacientů způsobit nepohodlí (analogické k přechodu z tmavého kina na sluneční světlo) v důsledku vyvolání rozsáhlého neuronového výboje. Vyšetřovatelé se obvykle zaměří na frekvence/amplitudy pulzního sledu, které jsou v normálním rozsahu používaném pacientem při používání jejich zařízení.

Pokud vyšetřovatelé použijí parametry, u kterých lze očekávat, že vyvolají intenzivnější nervovou odezvu (a proto mají potenciál způsobit nepohodlí), vždy je zavedou postupně (např. postupné zvyšování amplitudy) a přitom kontrolují, že vjem není „nepříjemně jasný“, a okamžitě sníží intenzitu stimulace, pokud pacienti uvádějí, že se vjem blíží nepohodlí. PI má s tímto přístupem zkušenosti a vyškolí veškerý personál na tyto protokoly.

V reakci na stimulaci/obraz na monitoru budou subjekty požádány, aby provedly úsudky o chování. Mezi příklady patří detekce podnětu („viděli jste na tom testu světlo“), hlášení velikosti kreslením na dotykové obrazovce, hlášení tvaru výběrem hmatového předmětu podobného tvaru nebo identifikace toho, jaké písmeno bylo prezentováno. Vyšetřovatelé budou používat standardní protokoly pro sběr údajů o chování. Pacient buď použije slovní hlášení, bude kreslit tvary na dotykové obrazovce nebo použije klávesnici nebo klávesnici připojenou k počítači jako prostředek k hlášení o podnětech. Bude zaznamenána jak reakce pacienta, tak reakční doba.

Žádný z těchto podnětů nevyvolá emocionální reakce ani nebude žádným způsobem averzní.

V některých případech budou vyšetřovatelé také shromažďovat data z měření polohy očí subjektů. Jedná se o neinvazivní postup, který bude prováděn pomocí standardního zařízení pro sledování očí prostřednictvím infračervené kamery, která sleduje polohu zornice subjektů. Budou zaznamenána pouze měření, jako je poloha očí nebo mrknutí oka, takže tato data neobsahují identifikovatelné informace.

Pacienti budou sedět v pohodlném křesle asi 100 cm od monitoru počítače nebo plátna se zadní projekcí, na které se pomocí videoprojektoru promítá obraz. Brada pacienta bude spočívat na opěrce brady, aby se zabránilo pohybům hlavy. Sluchové podněty mohou být použity k navození začátku pokusů/období odezvy. Tyto zvukové signály budou mít pohodlnou úroveň hlasitosti.

Pacientům se doporučuje, aby si dělali přestávky tak často, jak je potřeba (mohou opustit testovací místnost). Vyšetřovatelé použijí různé experimentální techniky včetně: (1) Stejný-různý - např. subjektům jsou zobrazeny dva vjemy a jsou dotázány, zda jsou stejné nebo odlišné. (2) Způsob úpravy - např. subjekty jsou požádány, aby upravily intenzitu zobrazení/stimulace, dokud není vjem sotva viditelný, (3) 2-alternativní-vynucená volba - např. pacientům budou předloženy dva podněty a budou dotázáni, který z těchto dvou podnětů je jasnější (4) Identifikace – pacienti jsou požádáni, aby identifikovali, které písmeno bylo předloženo.

V některých případech, stejně jako přesnost měření, budou vyšetřovatelé také měřit zlepšení s praxí opakováním stejného úkolu během několika sezení (až 5 sezení, každé se provádí v různých testovacích dnech).