AI-aangedreven kunstmatige visie voor visuele prothesen

De onderzoekers zullen fundamentele experimentele onderzoeken uitvoeren waarbij mensen betrokken zijn (BESH), ontworpen om de perceptuele ervaringen van retinale en corticale prothesepatiënten te kwantificeren. Deze experimenten zullen standaardprocedures volgen voor het verzamelen van gedragsgegevens en omvatten eenvoudige perceptuele taken (bijvoorbeeld signaaldetectie, objectherkenning) en gedragstaken (bijvoorbeeld lopen naar een doellocatie).

De onderzoekers zullen visuele waarnemingen produceren bij CORTIVIS- en Argus II-patiënten, hetzij door elektroden direct te stimuleren (met behulp van door de FDA goedgekeurde pulstreinen), of door hen te vragen naar een computer- of projectorscherm te kijken en standaardstimulatieprotocollen te gebruiken (zoals standaard wordt gebruikt voor hun apparaten). ) om het computer- of projectorschermbeeld om te zetten in pulstreinen op hun elektroden. Geïnformeerd door psychofysische gegevens en computationele modellen, zullen de onderzoekers het vermogen van verschillende stimuluscoderingsmethoden testen om eenvoudige perceptuele en gedragsmatige taken te ondersteunen (bijvoorbeeld objectherkenning, navigatie). Deze coderingsmethoden kunnen onder meer computer vision en machine learning-methoden omvatten om belangrijke objecten in de scène te markeren of nabijgelegen obstakels te markeren, en kunnen op maat worden gemaakt voor elke individuele patiënt. De prestaties van prothesepatiënten zullen worden vergeleken met zowel stimuluscoderingsmethoden als de prestaties van normaalziende controlepersonen die stimuli zien die zijn gemanipuleerd om overeen te komen met de verwachte perceptuele ervaring van prothesepatiënten.

De normale stimulatiemethode is een ketting van een camera die op een bril is gemonteerd via een videoverwerkingseenheid (VPU) die het videobeeld omzet in door de FDA goedgekeurde elektronische pulstreinen. Soms testen de onderzoekers proefpersonen met behulp van de camera. Vaker zullen de onderzoekers 'directe stimulatie' uitvoeren wanneer ze een externe computer gebruiken om pulsreeksen direct te specificeren (bijvoorbeeld voor Argus II, een kathodische pulstrein van 1s 10 Hz, met een stroomamplitude van 100 microampère en een pulsbreedte van 45 microampère). microseconden naar elektrode 12). Deze directe pulstreinen worden vervolgens naar de VPU gestuurd. Deze VPU bevat software die ervoor zorgt dat deze pulstreinen binnen de door de FDA goedgekeurde veiligheidslimieten vallen. Deze pulsen moeten bijvoorbeeld ladingsgebalanceerd zijn (gelijke anodische/kathodische lading) en een ladingsdichtheid hebben van minder dan 35 microCoulombs/cm2. Soms testen de onderzoekers proefpersonen met behulp van de camera. Soms sturen de onderzoekers direct pulsen naar de VPU door direct pulstreinen te specificeren (bijvoorbeeld door een kathodische pulstrein van 1 s en 10 Hz, met een stroomamplitude van 100 microAmp en een pulsbreedte van 45 microAmp, naar elektrode 12 van een Argus II-implantaat te sturen ).

Belangrijke parameters voor de veiligheid zijn onder meer a) pulsen moeten ladingsgebalanceerd zijn (een anodische puls moet snel worden gevolgd door een kathodische puls en omgekeerd, anders zal de elektrode oplossen), b) de ladingsdichtheid moet beperkt zijn. De frequentie van de pulstrein en de stroomamplitude van de pulstrein vormen feitelijk geen kritisch veiligheidsprobleem, aangezien de elektronische/neurale interface robuust is tegen extreem hoge stimulatiesnelheden en hoge stroomniveaus. Hoogfrequente pulstreinen of pulstreinen met hoge amplitude kunnen echter ongemak veroorzaken bij patiënten (analoog aan het gaan van een donkere bioscoop naar zonlicht) als gevolg van het induceren van grootschalige neuronale ontstekingen. De onderzoekers zullen zich normaal gesproken concentreren op pulsfrequenties/amplitudes die binnen het normale bereik liggen dat door de patiënt wordt gebruikt bij gebruik van zijn apparaat. Als de onderzoekers parameters gebruiken waarvan verwacht kan worden dat ze een intensere neurale respons teweegbrengen (en daarom het potentieel hebben om ongemak te veroorzaken), zullen ze deze altijd stapsgewijs introduceren (bijv. geleidelijk toenemende amplitude) terwijl ze controleren of het gevoel niet 'onaangenaam helder' is, en de onderzoekers zullen de intensiteit van de stimulatie onmiddellijk verlagen als patiënten melden dat het gevoel ongemak benadert. De PI heeft ervaring met deze aanpak en zal al het personeel trainen in deze protocollen.

Als reactie op de stimulatie/het beeld op de monitor wordt de proefpersoon gevraagd een perceptueel oordeel te vellen of een eenvoudige gedragstaak uit te voeren. Voorbeelden hiervan zijn het detecteren van een stimulus ('heb je een licht gezien tijdens die proef'), het rapporteren van de grootte door op een touchscreen te tekenen, of naar een doellocatie lopen. Zowel de respons van de patiënt als de reactietijd worden geregistreerd.

Geen van deze stimuli zal emotionele reacties uitlokken of op enigerlei wijze aversief zijn.

In sommige gevallen verzamelen de onderzoekers ook gegevens over de oogpositie van proefpersonen. Dit is een niet-invasieve procedure die zal worden uitgevoerd met behulp van standaard eye-trackingapparatuur via een infraroodcamera die de positie van de pupil van de proefpersoon volgt. Alleen metingen zoals oogpositie of oogknipperingen worden geregistreerd, dus deze gegevens bevatten geen identificeerbare informatie.

Proefpersonen worden aangemoedigd om zo vaak als nodig een pauze te nemen (ze mogen de testruimte verlaten). De onderzoekers gebruiken verschillende experimentele technieken, waaronder: (1) Hetzelfde-verschillend - b.v. proefpersonen krijgen twee percepten te zien en wordt gevraagd of ze hetzelfde of verschillend zijn. (2) Aanpassingsmethode - b.v. proefpersonen wordt gevraagd een weergave-/stimulatie-intensiteit aan te passen totdat een waarneming nauwelijks zichtbaar is, (3) 2-alternatieve gedwongen keuze - b.v. proefpersonen krijgen twee stimuli te zien en wordt gevraagd welke van de twee stimuli helderder is (4) Identificatie - proefpersonen wordt gevraagd te identificeren welke letter werd gepresenteerd.

In sommige gevallen zullen de onderzoekers niet alleen de nauwkeurigheid meten, maar ook de verbetering in de praktijk meten door dezelfde taak over meerdere sessies te herhalen (tot 5 sessies, elk uitgevoerd op verschillende testdagen).