Искусственное зрение на базе искусственного интеллекта для зрительных протезов

Исследователи проведут базовые экспериментальные исследования с участием людей (BESH), предназначенные для количественной оценки перцептивного опыта пациентов с протезами сетчатки и коры головного мозга. Эти эксперименты будут следовать стандартным процедурам сбора поведенческих данных и включать простые перцептивные задачи (например, обнаружение сигналов, распознавание объектов) и поведенческие задачи (например, движение к цели).

Исследователи будут создавать зрительные ощущения у пациентов с CORTIVIS и Argus II либо путем непосредственной стимуляции электродов (с использованием одобренных FDA последовательностей импульсов), либо попросив их просмотреть экран компьютера или проектора и используя стандартные протоколы стимуляции (которые стандартно используются для их устройств). ) для преобразования изображения на экране компьютера или проектора в последовательности импульсов на своих электродах. Опираясь на психофизические данные и вычислительные модели, исследователи проверят способность различных методов кодирования стимулов выполнять простые перцептивные и поведенческие задачи (например, распознавание объектов, навигация). Эти методы кодирования могут включать методы компьютерного зрения и машинного обучения для выделения важных объектов на сцене или близлежащих препятствий и могут быть адаптированы к каждому отдельному пациенту. Результаты пациентов с протезами будут сравниваться как по методам кодирования стимулов, так и с результатами контрольных субъектов с нормальным зрением, рассматривающих стимулы, манипулируемые так, чтобы соответствовать ожидаемому опыту восприятия пациентов с протезами.

Обычный метод стимуляции — это передача сигнала от камеры, установленной на очках, через блок обработки видео (VPU), который преобразует видеоизображение в одобренные FDA последовательности электронных импульсов. Иногда следователи проверяют испытуемых с помощью камеры. Чаще всего исследователи проводят «прямую стимуляцию» при использовании внешнего компьютера для непосредственного задания последовательности импульсов (например, для Argus II — последовательность катодных импульсов длительностью 1 с, 10 Гц, амплитудой тока 100 микроампер и длительностью импульса 45 микросекунды к электроду 12). Эти прямые последовательности импульсов затем отправляются в VPU. Этот VPU содержит программное обеспечение, которое гарантирует, что эти серии импульсов находятся в пределах безопасности, утвержденных FDA. Например, эти импульсы должны быть сбалансированы по заряду (равный анодный/катодный заряд) и иметь плотность заряда ниже 35 микрокулонов/см2. Иногда следователи проверяют испытуемых с помощью камеры. Иногда исследователи напрямую отправляют импульсы в VPU, напрямую указывая последовательности импульсов (например, отправляют последовательность катодных импульсов длительностью 1 с, частотой 10 Гц, амплитудой тока 100 микроампер и шириной импульса 45 микроампер на электрод 12 имплантата Argus II. ).

Важные параметры безопасности включают в себя: а) импульсы должны быть сбалансированы по заряду (за анодным импульсом должен быстро следовать катодный импульс и наоборот, иначе электрод растворится), б) плотность заряда должна быть ограничена. Частота серии импульсов и текущая амплитуда серии импульсов на самом деле не являются критической проблемой безопасности, поскольку электронный/нейронный интерфейс устойчив к чрезвычайно высоким скоростям стимуляции и высоким уровням тока. Однако высокочастотные серии импульсов или серии импульсов высокой амплитуды могут вызывать у пациентов дискомфорт (аналогично переходу из темного кинотеатра на солнечный свет) из-за стимуляции крупномасштабной активации нейронов. Исследователи обычно сосредотачиваются на частотах/амплитудах последовательностей импульсов, которые находятся в нормальном диапазоне, используемом пациентом при использовании устройства. Если исследователи используют параметры, которые, как можно ожидать, вызовут более интенсивную нервную реакцию (и, следовательно, могут вызвать дискомфорт), они всегда будут вводить их в виде пошаговой функции (например, постепенно увеличивая амплитуду), проверяя при этом, что ощущение не является «некомфортно ярким», и исследователи немедленно уменьшают интенсивность стимуляции, если пациенты сообщают, что ощущение приближается к дискомфорту. ГУ имеет опыт применения такого подхода и обучит весь персонал этим протоколам.

В ответ на стимуляцию/изображение на мониторе испытуемых попросят либо вынести перцептивное суждение, либо выполнить простую поведенческую задачу. Примеры включают обнаружение стимула («видели ли вы свет во время этого испытания»), сообщение о размере путем рисования на сенсорном экране или ходьбы к целевому местоположению. Будут записываться как реакция пациента, так и время реакции.

Ни один из этих стимулов не вызовет эмоциональных реакций и не будет каким-либо отталкивающим.

В некоторых случаях следователи также собирают данные, измеряющие положение глаз испытуемых. Это неинвазивная процедура, которая будет проводиться с использованием стандартного оборудования для отслеживания глаз с помощью инфракрасной камеры, отслеживающей положение зрачка субъекта. Будут записываться только такие измерения, как положение глаз или моргание глаз, поэтому эти данные не содержат идентифицируемой информации.

Субъектам рекомендуется делать перерывы так часто, как это необходимо (они могут покинуть комнату для тестирования). Исследователи используют различные экспериментальные методы, в том числе: (1) одинаковые-различные – например, Испытуемым показывают два восприятия и спрашивают, одинаковые они или разные. (2) Метод регулировки – например. испытуемых просят регулировать интенсивность отображения/стимуляции до тех пор, пока восприятие не станет едва видимым, (3) принудительный выбор с двумя альтернативами - например, испытуемым будут представлены два стимула и задан вопрос, какой из двух стимулов ярче (4) Идентификация - испытуемых просят определить, какая буква была предъявлена.

В некоторых случаях, помимо измерения точности, исследователи также измеряют улучшение на практике, повторяя одну и ту же задачу в течение нескольких сеансов (до 5 сеансов, каждый из которых проводится в разные дни тестирования).