De perceptuele ervaring van Argus II-gebruikers

Retinale dystrofieën zoals retinitis pigmentosa en maculaire degeneratie resulteren in een ernstige visuele beperking bij meer dan 10 miljoen mensen wereldwijd. Eén behandelingstechnologie, visuele neuroprothesen, heeft tot doel het gezichtsvermogen te herstellen door overlevende cellen in het netvlies of de vroege visuele cortex elektrisch te stimuleren, analoog aan cochleaire implantaten. Twee apparaten zijn goedgekeurd voor commercieel gebruik, andere zullen binnen enkele jaren klinische proeven starten. De huidige apparaten lijden echter aan substantiële perceptuele vervormingen als gevolg van interacties tussen de implantaatelektronica en de onderliggende neurofysiologie. Hier zullen de onderzoekers menselijke psychofysica, computationele modellering, virtual reality (VR) en machine learning (ML) combineren om nieuwe stimulatieprotocollen voor visuele prothesepatiënten te ontwikkelen en te valideren die perceptuele vervormingen verminderen en daardoor de effectiviteit van neuroprothesen verbeteren.

Doel 1: Stimulatieprotocollen optimaliseren met behulp van een psychofysisch gevalideerd fosfeenmodel.

De simplistische simulatieprotocollen die momenteel worden gebruikt door fabrikanten van prothetische apparaten houden geen rekening met de perceptuele vervormingen die in klinische onderzoeken zijn gerapporteerd. Daarentegen kan een computermodel op basis van psychofysische gegevens de perceptuele vervormingen van gebruikers van Argus II (Second Sight) beter voorspellen.

1. De onderzoekers zullen het computermodel psychofysisch valideren door willekeurige combinaties van enkele, gepaarde en meerdere elektroden te stimuleren. Het model zal worden getest bij Argus II-patiënten en hun prestaties zullen worden vergeleken met die van door 'virtuele patiënten' ziende proefpersonen die de door het model gegenereerde percepties bekijken.
2. Met behulp van trainingssets die door het model zijn gegenereerd, zullen de onderzoekers een diep neuraal netwerk trainen om een ​​geschatte inverse transformatie van het model te leren die kan worden gebruikt om het stimulatieprotocol te identificeren dat perceptuele vervormingen voor georiënteerde roosters en bewegende staven minimaliseert. De onderzoekers zullen vervolgens testen of dit de prestaties van Argus II en virtuele patiënten verbetert bij een taak voor oriëntatiediscriminatie en bewegingsrichtingidentificatie.

Doel 2: Een verbeterd model ontwikkelen door elektrofysiologische gegevens op te nemen die stimulatieprotocollen verder kunnen optimaliseren.

Het in Aim 1 ontwikkelde model was gebaseerd op psychofysische gegevens. De hierboven beschreven verstoringen zijn echter ook in vitro waargenomen. In dit doel zullen de onderzoekers een verbeterd model ontwikkelen om te bestuderen hoe spatiotemporele neuronale dynamiek de prothetische effectiviteit beïnvloedt. Dit vergroot de zoekruimte waarbinnen naar geoptimaliseerde protocollen kan worden gezocht. De onderzoekers zullen:

1. Verwerk belangrijke fysiologische waarnemingen uit de literatuur stapsgewijs in het hierboven beschreven model. Na elke stap wordt het effect van deze wijzigingen op het vermogen van het model om psychofysische gegevens te voorspellen gemeten.
2. Gebruik een diep neuraal netwerk om een ​​benaderde inverse transformatie van dit complexere, verbeterde model te leren, en test of dit de prestaties van Argus II en virtuele patiënten verbetert in een taak voor oriëntatiediscriminatie en bewegingsrichtingidentificatie.

Doel 3: Nieuwe stimulatieprotocollen ontwikkelen door computervisie toe te passen op 'virtuele patiënten' in VR.

De onderzoekers zullen het in Aim 2 ontwikkelde model integreren in VR om 'VR-virtuele patiënten' te genereren om snel en efficiënt nieuwe stimulatieprotocollen te testen met behulp van visueel typische individuen. Protocollen die resulteren in goede VR-prestaties zullen worden gevalideerd bij echte prothesepatiënten. De onderzoekers zullen:

1. Gebruik virtuele VR-patiënten om systematische fouten van Argus II-gebruikers te voorspellen in een tweepuntsonderscheidingstaak.
2. Beoordeel de impact van oogbewegingen op gedragsprestaties met behulp van een blikafhankelijke weergave in VR.
3. Beoordeel het potentieel van voorverwerkingsmethoden voor computervisie, zoals edge enhancement, retargeting en decluttering om het zicht te verbeteren door gedragsstatistieken te meten op een objectherkenningstaak in VR. De meest veelbelovende technieken zullen getest worden bij Argus II-patiënten.

Deze experimenten zijn ontworpen om de perceptuele ervaringen van retinale prothesepatiënten te kwantificeren en volgen standaardprocedures voor het verzamelen van gedragsgegevens. Prestaties bij patiënten zullen worden vergeleken met prestaties bij normaalziende controlepersonen die stimuli bekijken die zijn gemanipuleerd om overeen te komen met de verwachte perceptuele ervaring van prothesepatiënten.

De onderzoekers produceren visuele waarnemingen bij patiënten ofwel door elektroden direct te stimuleren (met behulp van door de FDA goedgekeurde pulstreinen) of door hen te vragen naar een computer- of projectorscherm te kijken en standaard door de FDA goedgekeurde stimulatieprotocollen te gebruiken (zoals standaard wordt gebruikt voor hun apparaten) om de computer- of projectorschermbeeld in pulsreeksen op hun elektroden. Alle stimulatieprotocollen zijn door de FDA goedgekeurd. Controlepersonen zullen stimuli zien op een computerscherm of via een virtual reality (VR)-systeem. In sommige gevallen zullen de prikkels die worden aangeboden aan proefpersonen met een normaal gezichtsvermogen worden vervormd om overeen te komen met de perceptuele ervaring van proefpersonen met prothesen.

De normale stimulatiemethode is een ketting van een camera die op een bril is gemonteerd via een videoverwerkingseenheid (VPU) die het videobeeld omzet in door de FDA goedgekeurde elektronische pulstreinen.

Soms worden proefpersonen getest met de camera. Vaker zullen de onderzoekers 'directe stimulatie' uitvoeren door een externe computer te gebruiken om pulstreinen direct te specificeren (bijv. Een kathodische pulstrein van 1s 10 Hz, met een stroomamplitude van 100 microampère en een pulsduur van 45 microseconden naar elektrode 12) . Deze directe pulstreinen worden vervolgens naar de VPU gestuurd.

Deze VPU bevat software die ervoor zorgt dat deze pulstreinen binnen de door de FDA goedgekeurde veiligheidslimieten blijven. Deze pulsen moeten bijvoorbeeld ladingsgebalanceerd zijn (gelijke anodische/kathodische lading) en een ladingsdichtheid hebben van minder dan 35 microCoulombs/cm2. Soms worden proefpersonen getest met de camera. Soms sturen de onderzoekers direct pulsen naar de VPU door direct pulstreinen te specificeren (bijv. stuur een kathodische pulstrein van 1 s 10 Hz, met een stroomamplitude van 100 microampère en een pulsbreedte van 45 microampère naar elektrode 12) via de door de FDA goedgekeurde softwaresuite van Second Sight (inclusief hun klinisch aanpassysteem). Er zijn twee fasen in de software die ervoor zorgen dat deze pulstreinen binnen de FDA-limieten moeten blijven: (1) elke app in de softwaresuite is gebaseerd op een door de FDA goedgekeurde applicatie-programmeerinterface (API) die controles uitvoert en "gracieuze fouten" zal maken. als de gespecificeerde pulstreinen buiten aanvaardbare grenzen vallen, (2) is de firmware van de VPU geprogrammeerd om alleen door de FDA goedgekeurde pulsen te leveren.

De frequentie van de pulstrein en de stroomamplitude van de pulstrein is eigenlijk geen kritiek veiligheidsprobleem, aangezien de elektronische/neurale interface robuust is voor extreem hoge stimulatiesnelheden en hoge stroomniveaus.

Hoogfrequente pulstreinen of pulstreinen met hoge amplitude kunnen echter ongemak veroorzaken bij patiënten (analoog aan het gaan van een donkere bioscoop naar zonlicht) als gevolg van het opwekken van grootschalige neuronale vuren. De onderzoekers zullen zich normaal gesproken concentreren op pulstreinfrequenties/amplitudes die binnen het normale bereik liggen dat de patiënt gebruikt bij het gebruik van hun apparaat.

Als de onderzoekers parameters gebruiken waarvan verwacht kan worden dat ze een intensere neurale respons produceren (en dus het potentieel hebben om ongemak te veroorzaken), zullen ze deze altijd in een stapsgewijze functie introduceren (bijv. geleidelijk toenemende amplitude) terwijl ze controleren of het gevoel niet 'onaangenaam helder' is, en ze zullen de intensiteit van de stimulatie onmiddellijk verminderen als patiënten melden dat het gevoel ongemak benadert. De PI heeft ervaring met deze aanpak en zal al het personeel trainen in deze protocollen.

Als reactie op de stimulatie/het beeld op de monitor, wordt proefpersonen gevraagd om gedragsoordelen te maken. Voorbeelden hiervan zijn het detecteren van een stimulus ('zag u een licht op die proef'), het rapporteren van de grootte door op een touchscreen te tekenen, het rapporteren van de vorm door een tastbaar object met een vergelijkbare vorm te selecteren of het identificeren van welke letter is gepresenteerd. De onderzoekers zullen standaardprotocollen gebruiken voor het verzamelen van gedragsgegevens. De patiënt zal ofwel mondeling rapporteren, vormen op een aanraakscherm tekenen of het toetsenbord of toetsenbord dat op een computer is aangesloten gebruiken om over de stimuli te rapporteren. Zowel de respons van de patiënt als de reactietijd worden geregistreerd.

Geen van deze stimuli zal emotionele reacties uitlokken of op enigerlei wijze aversief zijn.

In sommige gevallen zullen de onderzoekers ook gegevens verzamelen om de oogpositie van proefpersonen te meten. Dit is een niet-invasieve procedure die zal worden uitgevoerd met behulp van standaard eye-trackingapparatuur via een infraroodcamera die de positie van de pupil van de proefpersoon volgt. Alleen metingen zoals oogpositie of oogknipperingen worden geregistreerd, dus deze gegevens bevatten geen identificeerbare informatie.

Patiënten zitten in een comfortabele stoel op ongeveer 100 cm van een computerscherm of een terugprojectiescherm waarop een beeld wordt geprojecteerd met behulp van een videoprojector. De kin van de patiënt rust op een kinsteun om hoofdbewegingen te voorkomen. Auditieve stimuli kunnen worden gebruikt om het begin van proeven/responsperiode aan te geven. Deze auditieve signalen zullen op comfortabele luidheidsniveaus zijn.

Patiënten worden aangemoedigd om zo vaak als nodig pauzes te nemen (ze mogen de testruimte verlaten). De onderzoekers zullen verschillende experimentele technieken gebruiken, waaronder: (1) Hetzelfde-verschillend - b.v. proefpersonen krijgen twee percepties te zien en wordt gevraagd of ze hetzelfde of verschillend zijn. (2) Methode van aanpassing - b.v. proefpersonen wordt gevraagd om een ​​display/stimulatie-intensiteit aan te passen totdat een waarneming nauwelijks zichtbaar is, (3) 2-alternatief-gedwongen keuze - b.v. patiënten krijgen twee stimuli te zien en worden gevraagd welke van de twee stimuli helderder is (4) Identificatie - patiënten wordt gevraagd aan te geven welke letter werd gepresenteerd.

In sommige gevallen zullen de onderzoekers niet alleen de nauwkeurigheid meten, maar ook de verbetering meten door te oefenen door dezelfde taak over meerdere sessies te herhalen (maximaal 5 sessies, elk uitgevoerd op verschillende testdagen).