시각 보철물을 위한 AI 기반 인공 비전

연구자들은 망막 및 피질 보철물 환자의 지각 경험을 정량화하기 위해 고안된 인간을 대상으로 한 기본적인 실험 연구(BESH)를 수행할 것입니다. 이러한 실험은 행동 데이터를 수집하기 위한 표준 절차를 따르며 간단한 지각 작업(예: 신호 감지, 물체 인식) 및 행동 작업(예: 목표 위치를 향해 걷기)을 포함합니다.

조사관은 전극을 직접 자극(FDA 승인 펄스열 사용)하거나 컴퓨터나 프로젝터 화면을 보도록 요청하고 표준 자극 프로토콜(장치에 표준적으로 사용되는 것과 같음)을 사용하여 CORTIVIS 및 Argus II 환자에게 시각적 인식을 생성합니다. ) 컴퓨터나 프로젝터 화면 이미지를 전극의 펄스열로 변환합니다. 정신물리학적 데이터와 계산 모델을 바탕으로 연구자는 간단한 지각 및 행동 작업(예: 객체 인식, 탐색)을 지원하기 위해 다양한 자극 인코딩 방법의 능력을 테스트합니다. 이러한 인코딩 방법에는 장면에서 중요한 개체를 강조하거나 근처 장애물을 강조하기 위한 컴퓨터 비전 및 기계 학습 방법이 포함될 수 있으며 각 개별 환자에 맞게 맞춤화될 수 있습니다. 보철 환자의 성능은 자극 인코딩 방법 전반에 걸쳐 그리고 보철 환자의 예상되는 지각 경험과 일치하도록 조작된 자극을 보는 정상적인 시력의 대조군 피험자의 성능과 비교됩니다.

일반적인 자극 방법은 비디오 이미지를 FDA 승인 전자 펄스 열차로 변환하는 비디오 처리 장치(VPU)를 통해 안경에 장착된 카메라의 체인입니다. 때때로 조사관은 카메라를 사용하여 피험자를 테스트합니다. 더 자주 연구자들은 펄스열을 직접 지정하기 위해 외부 컴퓨터를 사용할 때 '직접 자극'을 수행합니다(예: Argus II의 경우 전류 진폭이 100μAmps이고 펄스 폭이 45μA인 1s 10Hz 음극 펄스열) 전극 12에 마이크로초). 그런 다음 이러한 직접 펄스 열은 VPU로 전송됩니다. 이 VPU에는 이러한 펄스열이 FDA 승인 안전 한계 내에 있는지 확인하는 소프트웨어가 포함되어 있습니다. 예를 들어, 이러한 펄스는 전하 균형을 이루어야 하며(양극/음극 전하 동일) 전하 밀도가 35 microCoulombs/cm2 미만이어야 합니다. 때때로 조사관은 카메라를 사용하여 피험자를 테스트합니다. 때때로 연구자는 펄스 트레인을 직접 지정하여 VPU에 펄스를 직접 보냅니다(예: 전류 진폭이 100μA이고 펄스 폭이 45μA인 1초 10Hz 음극 펄스 트레인을 Argus II 임플란트의 전극 12에 보냅니다). ).

안전을 위한 중요한 매개변수는 다음과 같습니다. a) 펄스는 전하 균형을 이루어야 합니다(양극 펄스 다음에 음극 펄스가 빠르게 따라와야 하며 그 반대의 경우도 마찬가지입니다). b) 전하 밀도는 제한되어야 합니다. 펄스열의 주파수와 펄스열의 전류 진폭은 전자/신경 인터페이스가 극도로 높은 자극 속도와 높은 전류 수준에 견고하기 때문에 실제로 중요한 안전 문제는 아닙니다. 그러나 고주파 펄스열이나 고진폭 펄스열은 대규모 뉴런 발사를 유도하여 환자에게 불편함(어두운 영화관에서 햇빛으로 가는 것과 유사)을 유발할 수 있습니다. 조사관은 일반적으로 환자가 장치를 사용할 때 사용하는 정상 범위에 있는 펄스열 주파수/진폭에 초점을 맞춥니다. 조사자가 보다 강렬한 신경 반응을 생성할 것으로 예상되는 매개변수를 사용하는 경우(따라서 불편함을 유발할 가능성이 있음) 항상 단계적 기능으로 이를 도입합니다(예: 점진적으로 진폭을 증가) 감각이 '불편할 정도로 밝지' 않은지 확인하면서, 환자가 감각이 불편함에 접근한다고 보고하면 연구자는 즉시 자극 강도를 감소시킬 것입니다. PI는 이러한 접근 방식에 대한 경험이 있으며 이러한 프로토콜에 대해 모든 직원을 교육합니다.

모니터의 자극/이미지에 반응하여 피험자는 지각적 판단을 내리거나 간단한 행동 작업을 수행하라는 요청을 받습니다. 예를 들어 자극 감지('그 실험에서 빛을 보았나요'), 터치 스크린에 그림을 그려 크기를 보고하거나 목표 위치로 걸어가는 등이 있습니다. 환자의 반응과 반응 시간이 모두 기록됩니다.

이러한 자극 중 어느 것도 감정적인 반응을 이끌어내거나 어떤 식으로든 혐오감을 나타내지 않습니다.

어떤 경우에는 조사관이 피험자의 눈 위치를 측정하는 데이터도 수집합니다. 이는 피험자의 동공 위치를 추적하는 적외선 카메라를 통해 표준 안구 추적 장비를 사용하여 수행되는 비침습적 절차입니다. 눈 위치나 눈 깜박임과 같은 측정값만 기록되므로 이러한 데이터에는 식별 가능한 정보가 포함되지 않습니다.

피험자는 필요한 만큼 자주 휴식을 취하도록 권장됩니다(시험실을 나갈 수 있음). 연구자들은 다음을 포함한 다양한 실험 기법을 사용합니다. (1) 동일-다름 - 예: 피험자에게 두 가지 인식을 보여주고 동일한지 다른지 질문합니다. (2) 조정 방법 - 예: 피험자는 지각이 거의 보이지 않을 때까지 표시/자극 강도를 조정하도록 요청받습니다. (3) 2-대안 강제 선택 - 예: 피험자에게 두 가지 자극이 제시되고 두 자극 중 어느 것이 더 밝은지 질문합니다. (4) 식별 - 피험자에게 어떤 문자가 제시되었는지 식별하도록 요청합니다.

어떤 경우에는 정확성을 측정할 뿐만 아니라 조사관은 여러 세션(최대 5개 세션, 각각 다른 테스트 날짜에 수행됨)에 걸쳐 동일한 작업을 반복하여 연습을 통해 개선 사항을 측정합니다.