Восприятие пользователей Argus II

Дистрофии сетчатки, такие как пигментный ретинит и дегенерация желтого пятна, приводят к серьезным нарушениям зрения более чем у 10 миллионов человек во всем мире. Одна из технологий лечения, зрительные нейропротезы, направлена ​​на восстановление зрения путем электрической стимуляции выживших клеток сетчатки или ранней зрительной коры, аналогично кохлеарным имплантатам. Два устройства одобрены для коммерческого использования, а клинические испытания других планируется начать в течение нескольких лет. Однако современные устройства страдают от существенных искажений восприятия из-за взаимодействия между электроникой имплантата и лежащей в его основе нейрофизиологией. Здесь исследователи будут сочетать человеческую психофизику, вычислительное моделирование, виртуальную реальность (VR) и машинное обучение (ML) для разработки и проверки новых протоколов стимуляции для пациентов с зрительными протезами, которые уменьшают искажения восприятия и тем самым повышают эффективность нейропротезов.

Цель 1: оптимизировать протоколы стимуляции с использованием психофизически подтвержденной модели фосфена.

Упрощенные протоколы моделирования, используемые в настоящее время производителями протезов, не учитывают искажения восприятия, о которых сообщалось в клинических испытаниях. Напротив, вычислительная модель, основанная на психофизических данных, может лучше предсказать искажения восприятия пользователей Argus II (Second Sight).

1. Исследователи будут психофизически проверять вычислительную модель, стимулируя произвольные комбинации одиночных, парных и множественных электродов. Модель будет протестирована на пациентах Argus II, и их производительность будет сравниваться с производительностью зрячих «виртуальных пациентов», просматривающих восприятие, генерируемое моделью.
2. Используя обучающие наборы, созданные моделью, исследователи будут обучать глубокую нейронную сеть для изучения приблизительного обратного преобразования модели, которое можно использовать для определения протокола стимуляции, минимизирующего искажения восприятия для ориентированных решеток и движущихся полос. Затем исследователи проверят, улучшит ли это работу Argus II и виртуальных пациентов в задаче распознавания ориентации и определения направления движения.

Цель 2: разработать улучшенную модель, включив электрофизиологические данные, которые могут дополнительно оптимизировать протоколы стимуляции.

Модель, разработанная в целях 1, была основана на психофизических данных. Однако описанные выше искажения наблюдались и in vitro. С этой целью исследователи разработают улучшенную модель для изучения того, как пространственно-временная динамика нейронов влияет на эффективность протезов. Это расширит область поиска, в которой можно искать оптимизированные протоколы. Следователи будут:

1. Включите ключевые физиологические наблюдения из литературы в модель, описанную выше, шаг за шагом. После каждого шага будет измеряться влияние этих изменений на способность модели предсказывать психофизические данные.
2. Используйте глубокую нейронную сеть, чтобы изучить приблизительное обратное преобразование этой более сложной улучшенной модели и проверить, улучшает ли это производительность Argus II и виртуальных пациентов в задаче распознавания ориентации и определения направления движения.

Цель 3: разработать новые протоколы стимуляции, применяя компьютерное зрение к «виртуальным пациентам» в виртуальной реальности.

Исследователи встроят модель, разработанную в Aim 2, в виртуальную реальность для создания «виртуальных пациентов виртуальной реальности» для быстрого и эффективного тестирования новых протоколов стимуляции с использованием визуально типичных людей. Протоколы, обеспечивающие хорошие характеристики виртуальной реальности, будут проверены на реальных пациентах с протезами. Следователи будут:

1. Используйте виртуальных пациентов виртуальной реальности для прогнозирования систематических ошибок пользователей Argus II в задаче различения по двум точкам.
2. Оцените влияние движений глаз на поведенческие характеристики с помощью дисплея, зависящего от взгляда, в виртуальной реальности.
3. Оцените потенциал методов предварительной обработки компьютерного зрения, таких как улучшение контуров, перенацеливание и устранение беспорядка, для улучшения зрения путем измерения поведенческих показателей в задаче распознавания объектов в виртуальной реальности. Наиболее перспективные методики будут протестированы на пациентах с Argus II.

Эти эксперименты предназначены для количественной оценки перцептивного опыта пациентов с протезами сетчатки и следуют стандартным процедурам сбора поведенческих данных. Показатели у пациентов будут сравниваться с показателями контрольных субъектов с нормальным зрением, просматривающих стимулы, с которыми манипулируют, чтобы они соответствовали ожидаемому перцептивному опыту пациентов с протезами.

Исследователи будут производить визуальные восприятия у пациентов либо путем непосредственной стимуляции электродов (используя последовательности импульсов, одобренные FDA), либо попросив их просмотреть экран компьютера или проектора и используя стандартные протоколы стимуляции, одобренные FDA (которые стандартно используются для их устройств), чтобы преобразовать изображение экрана компьютера или проектора в последовательности импульсов на своих электродах. Все протоколы стимуляции будут одобрены FDA. Субъекты управления будут просматривать стимулы на мониторе компьютера или через систему виртуальной реальности (VR). В некоторых случаях стимулы, предъявляемые контрольным субъектам с нормальным зрением, будут искажены, чтобы соответствовать перцептивному опыту субъектов с протезами.

Обычный метод стимуляции представляет собой цепочку от камеры, установленной на очках, через блок обработки видео (VPU), который преобразует видеоизображение в одобренные FDA электронные импульсы.

Иногда испытуемые будут тестироваться с помощью камеры. Чаще исследователи проводят «прямую стимуляцию», используя внешний компьютер для непосредственного указания последовательности импульсов (например, последовательность катодных импульсов длительностью 1 с, частотой 10 Гц, с амплитудой тока 100 микроампер и шириной импульса 45 микросекунд на электрод 12). . Эти прямые последовательности импульсов затем отправляются на VPU.

Этот VPU содержит программное обеспечение, которое гарантирует, что эти последовательности импульсов находятся в пределах безопасности, утвержденных FDA. Например, эти импульсы должны быть сбалансированы по заряду (равный анодный/катодный заряд) и должны иметь плотность заряда ниже 35 мкК/см2. Иногда испытуемые будут тестироваться с помощью камеры. Иногда исследователи будут напрямую отправлять импульсы на VPU, напрямую указывая последовательности импульсов (например, отправить серию катодных импульсов длительностью 1 с 10 Гц с амплитудой тока 100 мкА и шириной импульса 45 мкА на электрод 12) через одобренный FDA программный пакет Second Sight (включая их систему клинической примерки). В программном обеспечении есть два этапа, которые гарантируют, что эти последовательности импульсов должны оставаться в пределах ограничений FDA: (1) каждое приложение в программном пакете основано на одобренном FDA интерфейсе прикладного программирования (API), который выполняет проверки и будет «изящно ошибаться» если указанные последовательности импульсов выходят за допустимые пределы, (2) прошивка VPU запрограммирована на передачу только импульсов, одобренных FDA.

Частота последовательности импульсов и текущая амплитуда последовательности импульсов на самом деле не являются критической проблемой безопасности, поскольку электронно-нейронный интерфейс устойчив к чрезвычайно высоким скоростям стимуляции и высоким уровням тока.

Однако высокочастотные последовательности импульсов или последовательности импульсов с высокой амплитудой могут вызывать у пациентов дискомфорт (аналогично выходу из темного кинотеатра на солнечный свет) из-за вызывания крупномасштабного возбуждения нейронов. Исследователи обычно сосредотачиваются на частотах/амплитудах импульсов, которые находятся в нормальном диапазоне, используемом пациентом при использовании своего устройства.

Если исследователи используют параметры, которые, как ожидается, вызовут более интенсивный нейронный ответ (и, следовательно, могут вызвать дискомфорт), они всегда будут вводить их в виде ступенчатой ​​функции (например, постепенно увеличивая амплитуду), проверяя при этом, что ощущение не является «неприятно ярким», и они немедленно уменьшают интенсивность стимуляции, если пациенты сообщают, что ощущение приближается к дискомфорту. У PI есть опыт в этом подходе, и он обучит весь персонал этим протоколам.

В ответ на стимуляцию/изображение на мониторе субъектов попросят высказать поведенческие суждения. Примеры включают обнаружение стимула («вы видели свет в этом испытании»), сообщение о размере путем рисования на сенсорном экране, сообщение о форме путем выбора тактильного объекта схожей формы или определение того, какая буква была представлена. Исследователи будут использовать стандартные протоколы для сбора поведенческих данных. Пациент будет либо использовать словесный отчет, либо рисовать фигуры на сенсорном экране, либо использовать клавиатуру или клавиатуру, подключенную к компьютеру, в качестве средства сообщения о стимулах. Будут записаны как реакция пациента, так и время реакции.

Ни один из этих стимулов не вызовет эмоциональных реакций и не вызовет отвращения.

В некоторых случаях исследователи также собирают данные, измеряющие положение глаз испытуемых. Это неинвазивная процедура, которая будет проводиться с использованием стандартного оборудования для отслеживания глаз с помощью инфракрасной камеры, которая отслеживает положение зрачка испытуемого. Будут записаны только такие измерения, как положение глаз или моргание, поэтому эти данные не содержат идентифицируемой информации.

Пациенты будут сидеть в удобном кресле примерно в 100 см от монитора компьютера или экрана обратной проекции, на который изображение проецируется с помощью видеопроектора. Подбородок пациента будет опираться на подставку для подбородка, чтобы предотвратить движения головы. Слуховые стимулы могут использоваться для обозначения начала испытаний/периода реакции. Эти слуховые сигналы будут на комфортных уровнях громкости.

Пациентам рекомендуется делать перерывы так часто, как это необходимо (они могут покинуть испытательную комнату). Исследователи будут использовать различные экспериментальные методы, в том числе: испытуемым показывают два восприятия и спрашивают, одинаковые они или разные. (2) Метод регулировки – например, испытуемых просят отрегулировать интенсивность отображения/стимуляции до тех пор, пока восприятие не станет едва различимым, (3) 2-альтернативный-принудительный выбор - например, пациентам предъявляют два стимула и спрашивают, какой из двух стимулов ярче (4) Идентификация - пациентов просят определить, какая буква была представлена.

В некоторых случаях, помимо измерения точности, исследователи также измеряют улучшение с практикой, повторяя одно и то же задание на нескольких сеансах (до 5 сеансов, каждый из которых проводится в разные дни тестирования).