Percepcyjne wrażenia użytkowników Argus II

Dystrofie siatkówki, takie jak barwnikowe zwyrodnienie siatkówki i zwyrodnienie plamki żółtej, powodują głębokie upośledzenie wzroku u ponad 10 milionów ludzi na całym świecie. Jedna z technologii leczenia, neuroprotezy wzrokowe, ma na celu przywrócenie wzroku poprzez elektryczną stymulację przeżywających komórek w siatkówce lub wczesnej korze wzrokowej, analogicznie do implantów ślimakowych. Dwa urządzenia zostały dopuszczone do użytku komercyjnego, a kolejne mają rozpocząć badania kliniczne w ciągu kilku lat. Jednak obecne urządzenia cierpią z powodu znacznych zniekształceń percepcyjnych z powodu interakcji między elektroniką implantu a leżącą u jego podstaw neurofizjologią. Tutaj badacze połączą psychofizykę człowieka, modelowanie komputerowe, rzeczywistość wirtualną (VR) i uczenie maszynowe (ML), aby opracować i zweryfikować nowe protokoły stymulacji dla pacjentów z protezami wzroku, które zmniejszają zniekształcenia percepcyjne, a tym samym poprawiają skuteczność neuroprotez.

Cel 1: Optymalizacja protokołów stymulacji przy użyciu psychofizycznie potwierdzonego modelu fosfenowego.

Uproszczone protokoły symulacji stosowane obecnie przez producentów protez nie uwzględniają zniekształceń percepcyjnych zgłaszanych w badaniach klinicznych. Natomiast model obliczeniowy oparty na danych psychofizycznych może lepiej przewidywać zniekształcenia percepcyjne użytkowników Argus II (Second Sight).

1. Badacze zweryfikują psychofizycznie model obliczeniowy, stymulując dowolne kombinacje pojedynczych, sparowanych i wielokrotnych elektrod. Model zostanie przetestowany na pacjentach Argus II, a ich działanie zostanie porównane z wynikami osób widzących „wirtualnych pacjentów”, oglądających percepty generowane przez model.
2. Korzystając z zestawów treningowych generowanych przez model, badacze będą trenować głęboką sieć neuronową, aby nauczyć się przybliżonej odwrotnej transformacji modelu, którą można wykorzystać do zidentyfikowania protokołu stymulacji, który minimalizuje zniekształcenia percepcyjne dla zorientowanych siatek i ruchomych słupków. Następnie badacze sprawdzą, czy poprawi to wydajność Argusa II i wirtualnych pacjentów w zadaniach związanych z rozróżnianiem orientacji i identyfikacją kierunku ruchu.

Cel 2: Opracowanie ulepszonego modelu poprzez włączenie danych elektrofizjologicznych, które mogą dodatkowo zoptymalizować protokoły stymulacji.

Model opracowany w Celu 1 został oparty na danych psychofizycznych. Jednak opisane powyżej zniekształcenia zaobserwowano również in vitro. W tym celu badacze opracują ulepszony model do badania, w jaki sposób czasoprzestrzenna dynamika neuronów wpływa na skuteczność protezy. Spowoduje to rozszerzenie przestrzeni wyszukiwania, w ramach której można wyszukiwać zoptymalizowane protokoły. Śledczy będą:

1. Krok po kroku włącz kluczowe obserwacje fizjologiczne z literatury do opisanego powyżej modelu. Po każdym kroku mierzony będzie wpływ tych zmian na zdolność modelu do przewidywania danych psychofizycznych.
2. Użyj głębokiej sieci neuronowej, aby poznać przybliżoną transformację odwrotną tego bardziej złożonego ulepszonego modelu i sprawdzić, czy poprawi to wydajność Argus II i wirtualnych pacjentów w zadaniu rozróżniania orientacji i identyfikacji kierunku ruchu.

Cel 3: Opracowanie nowatorskich protokołów stymulacji poprzez zastosowanie wizji komputerowej do „wirtualnych pacjentów” w VR.

Badacze osadzą model opracowany w Aim 2 w VR, aby wygenerować „wirtualnych pacjentów VR”, aby szybko i skutecznie przetestować nowe protokoły stymulacji z wykorzystaniem typowych wzrokowo osób. Protokoły, które zapewniają dobrą wydajność VR, zostaną zweryfikowane na prawdziwych pacjentach z protezami. Śledczy będą:

1. Wykorzystaj wirtualnych pacjentów VR do przewidywania błędów systematycznych użytkowników Argus II w zadaniu z dyskryminacją dwupunktową.
2. Oceń wpływ ruchów gałek ocznych na zachowania behawioralne za pomocą wyświetlacza zależnego od spojrzenia w rzeczywistości wirtualnej.
3. Oceń potencjał metod wstępnego przetwarzania obrazu komputerowego, takich jak wzmacnianie krawędzi, ponowne kierowanie i porządkowanie, w celu poprawy widzenia, mierząc metryki behawioralne w zadaniu rozpoznawania obiektów w rzeczywistości wirtualnej. Najbardziej obiecujące techniki zostaną przetestowane na pacjentach Argus II.

Eksperymenty te mają na celu ilościową ocenę doświadczeń percepcyjnych pacjentów z protezą siatkówki i przestrzeganie standardowych procedur zbierania danych behawioralnych. Wydajność pacjentów zostanie porównana z wydajnością normalnie widzących osób kontrolnych, oglądających bodźce zmanipulowane w celu dopasowania do oczekiwanych wrażeń percepcyjnych pacjentów z protezami.

Badacze będą wytwarzać percepcje wzrokowe u pacjentów albo bezpośrednio stymulując elektrody (za pomocą zatwierdzonych przez FDA ciągów impulsów), albo prosząc ich o obejrzenie ekranu komputera lub projektora i używając standardowych protokołów stymulacji zatwierdzonych przez FDA (jak jest standardowo stosowanych w ich urządzeniach) w celu przekształcenia obrazu z ekranu komputera lub projektora w ciągi impulsów na swoich elektrodach. Wszystkie protokoły stymulacji będą zatwierdzone przez FDA. Osoby kontrolne będą oglądać bodźce na monitorze komputera lub za pośrednictwem systemu rzeczywistości wirtualnej (VR). W niektórych przypadkach bodźce prezentowane osobom kontrolującym z normalnym wzrokiem będą zniekształcone, tak aby odpowiadały doznaniom percepcyjnym osób z protezami.

Normalna metoda stymulacji to łańcuch od kamery zamontowanej na okularach przez jednostkę przetwarzania wideo (VPU), która przekształca obraz wideo w zatwierdzone przez FDA elektroniczne ciągi impulsów.

Czasami obiekty będą testowane za pomocą aparatu. Częściej badacze będą przeprowadzać „bezpośrednią stymulację” za pomocą zewnętrznego komputera w celu bezpośredniego określenia ciągów impulsów (np. ciąg impulsów katodowych 1 s 10 Hz, z amplitudą prądu 100 mikroamperów i szerokością impulsu 45 mikrosekund do elektrody 12) . Te bezpośrednie ciągi impulsów są następnie wysyłane do VPU.

Ten VPU zawiera oprogramowanie, które zapewnia, że ​​te ciągi impulsów mieszczą się w granicach bezpieczeństwa zatwierdzonych przez FDA. Na przykład impulsy te muszą być zrównoważone pod względem ładunku (równy ładunek anodowy/katodowy) i muszą mieć gęstość ładunku poniżej 35 mikrokulombów/cm2. Czasami obiekty będą testowane za pomocą aparatu. Czasami badacze wysyłają impulsy bezpośrednio do VPU, bezpośrednio określając ciągi impulsów (np. wysłać ciąg impulsów katodowych 1 s 10 Hz, z amplitudą prądu 100 mikroamperów i szerokością impulsu 45 mikroamperów do elektrody 12) za pośrednictwem pakietu oprogramowania zatwierdzonego przez FDA firmy Second Sight (w tym ich systemu dopasowania klinicznego). Istnieją dwa etapy oprogramowania, które zapewniają, że te ciągi impulsów muszą mieścić się w granicach FDA: (1) każda aplikacja w pakiecie oprogramowania jest oparta na interfejsie programowania aplikacji (API) zatwierdzonym przez FDA, który przeprowadza kontrole i „łagodnie popełnia błędy” jeśli określone ciągi impulsów wykraczają poza dopuszczalne granice, (2) oprogramowanie sprzętowe VPU jest zaprogramowane tak, aby dostarczać tylko impulsy zatwierdzone przez FDA.

Częstotliwość ciągu impulsów i amplituda prądu ciągu impulsów nie jest w rzeczywistości krytyczną kwestią bezpieczeństwa, ponieważ interfejs elektroniczny/neuronowy jest odporny na ekstremalnie wysokie tempo stymulacji i wysokie poziomy prądu.

Jednak ciągi impulsów o wysokiej częstotliwości lub ciągi impulsów o wysokiej amplitudzie mogą powodować dyskomfort u pacjentów (analogicznie do przejścia z ciemnego kina na światło słoneczne) z powodu indukowania odpalania neuronów na dużą skalę. Badacze będą zazwyczaj koncentrować się na częstotliwościach/amplitudach ciągów impulsów, które mieszczą się w normalnym zakresie używanym przez pacjenta podczas korzystania z urządzenia.

Jeśli badacze użyją parametrów, które mogą wywołać bardziej intensywną reakcję neuronalną (a zatem mogą powodować dyskomfort), zawsze wprowadzą je w funkcji krokowej (np. stopniowo zwiększając amplitudę), jednocześnie sprawdzając, czy odczucie nie jest „nieprzyjemnie jasne”, i natychmiast zmniejszą intensywność stymulacji, jeśli pacjenci zgłoszą, że odczucie zbliża się do dyskomfortu. PI ma doświadczenie w tym podejściu i przeszkoli cały personel w zakresie tych protokołów.

W odpowiedzi na stymulację/obraz na monitorze, badani zostaną poproszeni o dokonanie oceny behawioralnej. Przykłady obejmują wykrywanie bodźca („czy widziałeś światło podczas tej próby”), zgłaszanie rozmiaru poprzez rysowanie na ekranie dotykowym, zgłaszanie kształtu poprzez wybieranie dotykowego przedmiotu o podobnym kształcie lub identyfikowanie, jaka litera została przedstawiona. Badacze będą używać standardowych protokołów do zbierania danych behawioralnych. Pacjent albo użyje raportu słownego, narysuje kształty na ekranie dotykowym, albo użyje klawiatury lub klawiatury podłączonej do komputera jako sposobu zgłaszania bodźców. Zarejestrowana zostanie zarówno odpowiedź pacjenta, jak i czas reakcji.

Żaden z tych bodźców nie wywoła reakcji emocjonalnej ani nie będzie w żaden sposób awersyjny.

W niektórych przypadkach badacze zbierają również dane mierzące położenie oczu badanych osób. Jest to nieinwazyjna procedura, która zostanie przeprowadzona przy użyciu standardowego sprzętu do śledzenia wzroku za pomocą kamery na podczerwień, która śledzi pozycję źrenicy badanych. Rejestrowane będą tylko pomiary, takie jak położenie oczu lub mrugnięcia, więc te dane nie zawierają informacji umożliwiających identyfikację.

Pacjenci siedzą na wygodnym krześle w odległości około 100 cm od monitora komputera lub ekranu projekcji wstecznej, na który wyświetlany jest obraz za pomocą projektora wideo. Podbródek pacjenta będzie spoczywał na podporze, aby zapobiec ruchom głowy. Bodźce słuchowe mogą być wykorzystane do wskazania początku okresu prób/odpowiedzi. Te sygnały dźwiękowe będą miały komfortowy poziom głośności.

Pacjenci są zachęcani do robienia przerw tak często, jak to konieczne (mogą opuścić salę badań). Badacze wykorzystają różne techniki eksperymentalne, w tym: (1) Takie same-różne – np. badanym pokazuje się dwa percepty i pyta się, czy są one takie same, czy różne. (2) Sposób regulacji - np. badani proszeni są o dostosowanie intensywności wyświetlania/stymulacji, aż percept będzie ledwo widoczny, (3) 2-alternatywa-wymuszony wybór - np. pacjentom zostaną przedstawione dwa bodźce i zapytani, który z nich jest jaśniejszy (4) Identyfikacja – pacjenci proszeni są o zidentyfikowanie, która litera została przedstawiona.

W niektórych przypadkach, oprócz pomiaru dokładności, badacze będą również mierzyć poprawę w praktyce, powtarzając to samo zadanie w wielu sesjach (do 5 sesji, każda przeprowadzana w różnych dniach testowych).