Sztuczne widzenie wspomagane sztuczną inteligencją dla protez wzrokowych

Badacze przeprowadzą podstawowe badania eksperymentalne z udziałem ludzi (BESH), mające na celu ilościową ocenę doświadczeń percepcyjnych u pacjentów z protezami siatkówki i kory mózgowej. Eksperymenty te będą przebiegać zgodnie ze standardowymi procedurami gromadzenia danych behawioralnych i obejmować proste zadania percepcyjne (np. wykrywanie sygnału, rozpoznawanie obiektów) i zadania behawioralne (np. chodzenie w stronę celu).

Badacze będą wytwarzać wrażenia wizualne u pacjentów z CORTIVIS i Argus II albo poprzez bezpośrednią stymulację elektrod (przy użyciu ciągów impulsów zatwierdzonych przez FDA), albo poprzez poproszenie ich o obejrzenie ekranu komputera lub projektora i przy użyciu standardowych protokołów stymulacji (standardowo stosowanych w ich urządzeniach). ) w celu przekształcenia obrazu ekranu komputera lub projektora w ciągi impulsów na elektrodach. Opierając się na danych psychofizycznych i modelach obliczeniowych, badacze przetestują zdolność różnych metod kodowania bodźców do wspierania prostych zadań percepcyjnych i behawioralnych (np. rozpoznawanie obiektów, nawigacja). Te metody kodowania mogą obejmować metody widzenia komputerowego i uczenia maszynowego w celu wyróżnienia ważnych obiektów na scenie lub pobliskich przeszkód i mogą być dostosowane do indywidualnego przypadku każdego pacjenta. Wydajność pacjentów z protezami zostanie porównana zarówno pod względem metod kodowania bodźców, jak i z wydajnością normalnie widzących osób z grupy kontrolnej, oglądających bodźce zmanipulowane tak, aby odpowiadały oczekiwanym doświadczeniom percepcyjnym pacjentów z protezami.

Typową metodą stymulacji jest połączenie kamery zamontowanej na okularach z jednostką przetwarzania wideo (VPU), która przetwarza obraz wideo na zatwierdzone przez FDA elektroniczne ciągi impulsów. Czasami badacze będą testować obiekty za pomocą aparatu. Częściej badacze będą przeprowadzać „bezpośrednią stymulację”, korzystając z komputera zewnętrznego do bezpośredniego określenia ciągów impulsów (np. w przypadku Argus II, ciąg impulsów katodowych o częstotliwości 1 s i częstotliwości 10 Hz, z amplitudą prądu 100 mikroamperów i szerokością impulsu 45 mikrosekund do Elektrody 12). Te bezpośrednie ciągi impulsów są następnie wysyłane do VPU. Ta jednostka VPU zawiera oprogramowanie, które zapewnia, że ​​ciągi impulsów mieszczą się w granicach bezpieczeństwa zatwierdzonych przez FDA. Na przykład impulsy te muszą być zrównoważone pod względem ładunku (równy ładunek anodowy/katodowy) i muszą mieć gęstość ładunku poniżej 35 mikrokulombów/cm2. Czasami badacze będą testować obiekty za pomocą aparatu. Czasami badacze będą wysyłać impulsy bezpośrednio do VPU, bezpośrednio określając ciągi impulsów (np. wysyłają ciąg impulsów katodowych o czasie trwania 1 s i częstotliwości 10 Hz, o amplitudzie prądu 100 mikroamperów i szerokości impulsu 45 mikroamperów do Elektrody 12 implantu Argus II ).

Do ważnych parametrów związanych z bezpieczeństwem należą: a) impulsy muszą być zrównoważone pod względem ładunku (po impulsie anodowym musi szybko nastąpić impuls katodowy i odwrotnie, w przeciwnym razie elektroda ulegnie rozpuszczeniu), b) gęstość ładunku powinna być ograniczona. Częstotliwość ciągu impulsów i amplituda prądu ciągu impulsów nie są w rzeczywistości krytycznym problemem bezpieczeństwa, ponieważ interfejs elektroniczno-neuralny jest odporny na wyjątkowo wysokie współczynniki stymulacji i wysokie poziomy prądu. Jednakże ciągi impulsów o wysokiej częstotliwości lub ciągi impulsów o dużej amplitudzie mogą powodować dyskomfort u pacjentów (analogicznie do przejścia z ciemnego kina na światło słoneczne) z powodu wywoływania odpaleń neuronowych na dużą skalę. Badacze zwykle skupiają się na częstotliwościach/amplitudzie ciągów impulsów, które mieszczą się w normalnym zakresie używanym przez pacjenta podczas korzystania z urządzenia. Jeśli badacze użyją parametrów, co do których można oczekiwać, że wywołają bardziej intensywną reakcję neuronową (a zatem mogą powodować dyskomfort), zawsze będą wprowadzać je w funkcji krokowej (np. stopniowo zwiększając amplitudę), sprawdzając, czy uczucie nie jest „nieprzyjemnie jasne”, a badacze natychmiast zmniejszą intensywność stymulacji, jeśli pacjenci zgłoszą, że odczucie zbliża się do dyskomfortu. Kierownik projektu ma doświadczenie w tym podejściu i przeszkoli cały personel w zakresie tych protokołów.

W odpowiedzi na stymulację/obraz na monitorze uczestnicy zostaną poproszeni o dokonanie oceny percepcyjnej lub wykonanie prostego zadania behawioralnego. Przykłady obejmują wykrywanie bodźca („czy widziałeś światło w tej próbie”), zgłaszanie rozmiaru poprzez rysowanie na ekranie dotykowym lub chodzenie do docelowej lokalizacji. Rejestrowana będzie zarówno odpowiedź pacjenta, jak i czas reakcji.

Żaden z tych bodźców nie wywoła reakcji emocjonalnej ani nie będzie w żaden sposób awersyjny.

W niektórych przypadkach badacze będą również zbierać dane mierząc położenie oczu osób badanych. Jest to nieinwazyjna procedura, która zostanie przeprowadzona przy użyciu standardowego sprzętu do śledzenia wzroku za pomocą kamery na podczerwień, która śledzi położenie źrenicy pacjentów. Rejestrowane będą tylko pomiary, takie jak pozycja oczu lub mrugnięcia oczami, więc dane te nie zawierają informacji umożliwiających identyfikację.

Uczestników zachęca się do robienia przerw tak często, jak to konieczne (mogą opuścić salę testową). Badacze stosują różne techniki eksperymentalne, w tym: (1) Takie same-różne - np. Badanym pokazuje się dwa spostrzeżenia i pyta, czy są takie same, czy różne. (2) Sposób regulacji - np. badani proszeni są o dostosowanie intensywności wyświetlania/stymulacji tak, aby percepcja była ledwo widoczna, (3) 2-alternatywny wymuszony wybór – np. badanym zostaną zaprezentowane dwa bodźce i zapytani, który z nich jest jaśniejszy (4) Identyfikacja – badani proszeni są o zidentyfikowanie, która litera została przedstawiona.

W niektórych przypadkach oprócz pomiaru dokładności badacze będą także mierzyć poprawę w praktyce, powtarzając to samo zadanie w wielu sesjach (do 5 sesji, każda przeprowadzana w różne dni testowania).