일반적인 성인 시각 인식에 대한 자연스러운 시각적 장면 변화의 효과 연구

배경

자연스러운 시각 환경은 다양한 자극을 포함하는 단일 시각 장면으로 인해 종종 복잡합니다. 이러한 자극은 빠르고 자주 바뀔 수 있습니다. 문제를 더욱 복잡하게 만드는 것은 특정 자극이나 시각적 특징의 행동 관련성도 주어진 순간에 변할 수 있다는 것입니다. 현실적으로 복잡한 시각적 환경에서 시각적 인식은 관련 없는 풍부한 정보에서 작업 관련 자극 정보를 지속적으로 추출해야 합니다. 끊임없이 변화하고 기능이 풍부한 시각적 환경의 맥락에서 작업 관련 정보가 행동을 안내하는 데 사용되는 방법을 이해하는 것은 인식을 이해하는 핵심 구성 요소입니다. 행동과 관련된 자극이나 기능이 빠르고 자주 변경될 수 있는 현실적으로 복잡한 환경에서 수행하도록 시각 시스템이 진화적으로 최적화된 경우 특히 그렇습니다.

본 연구의 목표는 시각 시스템이 자연 환경에서 접하는 끊임없이 변화하는 다양한 시각적 특징에 유연하게 일반화된 방식으로 시각 정보를 추출하도록 최적화되어 있다는 전반적인 예측을 조사하는 것입니다. 구체적으로, 이 연구는 현실적으로 복잡한 자연 장면의 맥락에서 작업과 무관한 시각적 특징 가변성이 당면한 작업과 관련된 시각적 특징을 식별하는 참가자의 능력에 부정적인 영향을 미친다는 가설을 테스트할 것입니다.

행동 양식

참가자들

실험 프로토콜은 University of Pennsylvania Institutional Review Board의 승인을 받았습니다. 참가자는 이 연구에 참여할 자원 봉사자로 초대됩니다. 참가자는 정보에 입각한 동의를 제공합니다. 참가자가 자격 기준을 충족하는지 확인하기 위해 실험 전에 참가자를 인터뷰하고 설문 조사를 작성합니다. 또한 실험 전에 Snellen 시력 차트를 사용하여 시력을 검사하고 Ishihara 플레이트 테스트를 사용하여 색맹을 검사합니다. 최적 교정 시력이 한쪽 눈에서 20/40보다 나쁘거나 Ishihara 플레이트 테스트에서 오류가 있는 경우 실험 전에 제외됩니다.

등록된 참가자의 경우 수평 위치 차별에 대한 임계값(작업과 관련 없는 변동성이 없는 제어 조건에서, 자세한 내용은 아래 세션 구성 참조)이 첫 번째 세션 동안 실험 작업에 대한 성능을 기반으로 계산됩니다. 제어 조건에서 수평 위치 판별 임계값이 시야각의 최대값인 0.6도보다 높은 경우 첫 번째 세션 종료 후 참가자가 제외되며, 이 시점에서 제외된 참가자는 더 이상의 실험 세션에 참여하지 않습니다. 등록된 참가자가 이 기준을 충족하는 경우가 거의 없으면 참가자 포함에 대한 이 최대 임계값이 증가합니다. 포함할 수 있는 최대 임계값이 증가하는 경우 이전에 제외되었던 참가자는 사후 실험에 다시 포함되지 않습니다.

기구

보정된 LCD 컬러 모니터(27인치 NEC MultiSync PA271Q QHD Color Critical Desktop W-LED Monitor with SpectraView Engine; NEC Display Solutions)는 참가자가 실험에서 암순응한 후 어두운 방에서 자극을 표시하는 데 사용됩니다. 최소 5분 동안 방. 모니터는 1920 x 1080의 픽셀 해상도, 60Hz의 재생률 및 각 RGB 채널에 대한 8비트 해상도로 구동됩니다. 이 모니터의 호스트 컴퓨터는 Intel Core i7 프로세서가 장착된 Apple Macintosh입니다. 각 참가자의 머리 위치는 턱 컵(Headspot, UHCOTech, Houston, TX)을 사용하여 고정됩니다. 참가자의 눈은 모니터에 대해 수평 및 수직 중앙에 위치합니다. 참가자의 눈과 모니터 사이의 거리는 75cm입니다. 참가자는 Logitech F310 게임패드 컨트롤러를 사용하여 응답을 입력합니다.

자극

모든 자극은 동일한 자연 시각적 장면의 변형입니다. 정사각형 이미지(너비와 높이 모두에서 시야각이 8도에 해당), 중앙 물체(바나나, 높이에서 약 4도의 시야각에 해당)는 다음과 같습니다. 겹치는 배경 개체의 대략적인 원형 배열에 표시됩니다(약 5도의 시야각에 대응하고 겹치는 가지와 잎으로 구성됨). 중앙 물체(바나나) 및/또는 "배경 물체"(가지와 잎)라고 하는 것은 수평 위치, 회전 및/또는 깊이가 다른 자극에 따라 변경됩니다. 중심 물체와 배경 물체는 서로 다른 자극(바위 선반, 스카이라인 및 이끼로 덮인 세 개의 그루터기)을 가로질러 절대 움직이지 않는 다른 물체의 맥락에서 제시됩니다.

자연스러운 시각적 장면은 오픈 소스 3D 생성 제품군인 Blender를 사용하여 생성되었습니다(https://www.blender.org, 버전 2.81a). 중앙 개체 및/또는 배경 개체는 오픈 소스 소프트웨어 패키지(https://github.com/ISET/iset3d)인 iset3d를 사용하여 다른 자극을 생성하기 위해 수평 위치, 회전 및/또는 깊이로 이동되었습니다. 수정된 버전의 pbrt(https://github.com/mmp/pbrt-v3)에서 작동합니다. 이미지는 1920 x 1920 해상도에서 픽셀당 100개의 샘플, 400nm에서 700nm 사이의 31개의 균일한 간격의 파장에서 iset3d를 사용하여 생성되었습니다.

iset3d를 사용하여 생성된 이미지는 맞춤형 소프트웨어(Natural Image Thresholds; https://github.com/AmyMNi/NaturalImageThresholds)를 사용하여 RGB 이미지로 변환되었습니다. MATLAB(MathWorks; Natick, MA)을 사용하여 작성되었으며 소프트웨어 패키지 Virtual World Color Constancy(github.com/BrainardLab/VirtualWorldColorConstancy)를 기반으로 합니다. Natural Image Thresholds는 Psychophysics Toolbox(http://psychtoolbox.org), iset3d(https://github.com/ISET/iset3d), 및 isetbio(http://psychtoolbox.org). 보정된 모니터에 표시하기 위해 iset3d를 사용하여 생성된 초분광 이미지를 RGB 이미지로 변환하기 위해 먼저 초분광 이미지 데이터를 사용하여 LMS 콘 여기를 계산했습니다. 그런 다음 모니터 보정 데이터를 기반으로 LMS 콘 여기를 모니터의 RGB 색 공간에서 메타메릭 렌더링 이미지로 변환했습니다. RGB 이미지는 자극 세트의 모든 RGB 이미지를 모니터의 디스플레이 영역으로 가져오는 공통 스케일링을 사용하여 감마 보정되었습니다.

자극은 정신물리적 작업의 맥락에서 보정된 모니터에 표시됩니다. 자극은 균일한 회색 배경(~100cd/m^2)에 표시되며 실험 세션 동안 모니터에 표시됩니다.

정신물리적 과제

심리물리학적 작업은 자연스러운 시각적 장면에서 배경 개체의 맥락 내에서 제시되는 중앙 개체의 수평 위치를 식별하는 참가자의 능력을 측정하는 데 사용됩니다. 과제는 간격당 하나의 자극을 제시하는 2간격 강제 선택 과제입니다. 각 간격의 지속 시간은 250ms입니다. 각 자극은 모니터 중앙에 표시됩니다. 두 자극 간격 사이에 두 개의 마스크가 모니터 중앙에 연속적으로 표시됩니다. 각 마스크는 총 자극 간 간격 800ms 동안 400ms 동안 표시됩니다(마스크 세부 정보는 아래 세션 구성 참조).

참가자의 임무는 첫 번째 간격에 제시된 중앙 물체와 비교하여 두 번째 간격에 제시된 중앙 물체가 왼쪽에 있는지 또는 오른쪽에 있는지 결정하는 것입니다. 두 간격 후에 참가자는 게임 패드에 있는 두 개의 응답 버튼 중 하나를 무제한으로 누를 수 있습니다(두 번째 간격의 중앙 개체가 왼쪽에 있음을 나타내는 왼쪽 상단 트리거, 오른쪽이었다). 응답이 입력된 후 참가자가 올바른지 또는 잘못된지 나타내는 두 가지 피드백 톤 중 하나가 표시됩니다. 두 간격 사이에 중심 물체의 위치에 차이가 없는 시도의 경우 올바른 피드백 톤을 받을 응답이 시도마다 무작위로 선택됩니다. 시험은 약 1초의 시험 간 간격으로 구분됩니다.

실험 프로그램은 사용자 지정 소프트웨어 패키지 Natural Image Thresholds(https://github.com/AmyMNi/NaturalImageThresholds)에서 찾을 수 있습니다. MATLAB(MathWorks; Natick, MA)으로 작성되었으며 Virtual World Color Constancy 소프트웨어 패키지(github.com/BrainardLab/VirtualWorldColorConstancy)를 기반으로 했습니다. 그들은 Psychophysics Toolbox(http://psychtoolbox.org) 및 mgl(http://justingardner.net/doku.php/mgl/overview)의 루틴에 의존합니다.

세션 구성

참가자는 6개의 세션에서 이 파일럿 실험을 완료할 것으로 예상됩니다. 첫 번째 세션에는 참가자 등록 절차(정보에 입각한 동의, 시력 검사 등, 자세한 내용은 위의 참가자 참조)와 친숙화 시험(다음 단락 참조)이 포함되며 약 1시간 30분 동안 진행됩니다. 두 번째에서 여섯 번째 세션은 각각 약 1시간 동안 진행됩니다.

첫 번째 세션에서는 작업을 시작하기 전에 참가자에게 작업 지침이 제공되고 응답 버튼 누르기를 연습할 기회가 주어집니다. 첫 번째 세션의 경우 참가자는 30회의 친숙화 시도로 시작합니다. 친숙화 시도는 순서대로 10개의 무작위로 선택된 쉬운 시도(가장 큰 위치 변경 비교), 10개의 무작위로 선택된 중간 난이도 시도(4번째 및 5번째로 큰 위치 변경 비교) 및 10개의 가능한 모든 중에서 무작위로 선택된 시도로 구성됩니다. 위치 변경 비교. 친숙화 시험에는 작업과 관련 없는 변동성이 포함되지 않습니다. 친숙화 시도의 데이터는 저장되지 않습니다. 친숙화 시험 후에는 휴식 시간이 주어지며, 그 동안 참가자는 질문할 수 있는 기회가 주어집니다. 참가자가 준비가 되었다고 표시하면 휴식이 종료되고(버튼 누름 사용) 실험이 시작됩니다.

각 세션에는 두 가지 조건이 있습니다. "조건"은 중앙 개체의 기준 위치를 나타냅니다. 각 기준 위치에 대해 중앙 개체에 대한 11개의 "비교" 위치가 있습니다. 양의 수평 방향으로 5개의 비교 위치, 음의 수평 방향으로 5개의 비교 위치 및 변화 없음을 나타내는 0의 비교 위치입니다. 각 시도에서 한 구간에는 참조 자극이 포함되고 다른 구간에는 해당 참조 자극의 비교 자극 중 하나가 포함됩니다. 시험 내에서 이 두 가지 자극이 제시되는 순서는 시험마다 무작위로 선택됩니다.

시도의 "블록"은 총 22개의 시도에 대해 2개의 조건과 조건당 11개의 비교로 구성됩니다. 블록 내의 시도는 무작위 순서로 실행됩니다. 다음 시도 블록이 시작되기 전에 블록이 완료됩니다. 총 308번의 시도에 대해 블록이 14번 반복됩니다.

이 308개의 시험 세트는 단일 "노이즈 레벨"을 구성합니다. 단일 세션은 소음 수준 0, 소음 수준 1 및 소음 수준 2의 세 가지 소음 수준으로 구성됩니다. 각 소음 수준에 대한 시도는 두 개의 "실행"(실행당 154개의 시도)으로 나뉩니다. 따라서 각 실행은 단일 노이즈 수준으로 구성됩니다. 6회 실행은 세션당 무작위 순서로 실행됩니다. 각 실행은 최소 1분 동안 지속되는 휴식 시간으로 구분되며, 그 동안 참가자는 필요에 따라 서거나 스트레칭하도록 지시받습니다. 각 휴식은 참가자가 준비가 되었음을 나타내면 종료됩니다(버튼 누름 사용).

6번의 실행에 걸쳐 총 924번의 시도가 있습니다. 또한 각 세션은 4개의 연습 시험으로 시작됩니다(첫 번째 실험 세션 포함). 각 세션에는 5개의 휴식 시간마다 한 번의 연습 시험도 포함됩니다. 각 연습 시험은 쉬운 시험 세트(위에서 설명)에서 무작위로 선택되며 작업과 무관한 변동성을 포함하지 않습니다. 연습 시험의 데이터는 저장되지 않습니다. 9개의 연습 시도를 포함하여 세션당 총 933개의 시도가 있습니다.

노이즈 레벨 0의 경우 배경 개체(가지 및 잎)에 변경 사항이 없습니다. 소음 수준 0은 제어 조건이 되며 작업과 관련 없는 자극 소음 없이 중앙 개체의 수평 위치를 식별하기 위한 참가자의 임계값을 결정하는 데 사용됩니다. 소음 수준 1 및 2는 작업과 관련 없는 자극 소음이 있는 경우 중앙 개체의 수평 위치를 식별하기 위한 참가자의 임계값을 결정하는 데 사용됩니다.

소음 수준 1은 작업과 관련 없는 단일 기능인 회전에서 작업과 관련 없는 소음으로 구성됩니다. 작업과 무관한 회전량은 각 자극에 개별적으로 적용됩니다. 각 자극에 대해 51개의 회전량 풀에서 단일 회전량이 무작위로 추출되고 자극의 배경 개체가 모두 해당 회전량만큼 회전됩니다. 회전량은 시도에서 제시된 두 자극(참조 위치 자극 및 비교 위치 자극) 각각에 대해 개별적으로(교체와 함께 무작위로) 그려집니다. 51개의 회전량 풀은 다음과 같이 구성됩니다. 0의 회전량(배경 개체에 대한 변경 없음), 시계 방향으로 동일한 간격의 회전량 25개, 시계 반대 방향으로 동일한 간격의 회전량 25개.

소음 수준 2는 작업과 관련 없는 두 가지 기능인 회전과 깊이의 작업과 관련 없는 소음으로 구성됩니다. 노이즈 레벨 2의 경우 51개의 노이즈 양 풀도 있지만 풀의 각 노이즈 양은 회전량(노이즈 레벨 1과 동일한 51회전량)과 깊이 양으로 구성됩니다. 51개의 가능한 깊이가 있을 것입니다(하나의 깊이는 0, 위치 방향으로 25개의 균등 간격 깊이, 음의 방향으로 25개의 균등 간격 깊이). 51개의 노이즈 양으로 구성된 노이즈 레벨 2 풀의 경우 노이즈 양 중 하나는 회전 양 0과 깊이 양 0으로 구성됩니다. 풀의 나머지 50개 노이즈 양에 대해 나머지 50개 회전 양 각각은 나머지 50개 깊이 양 중 하나에 무작위로 할당됩니다(교체 없음). 51개 노이즈 양의 이 노이즈 레벨 2 풀에서 단일 노이즈 양이 개별적으로 시험의 두 자극 각각에 대해 무작위로 추출됩니다(교체 포함).

마지막으로 위에서 언급한 대로(심리물리적 작업 참조) 자극 간 간격 동안 시도당 두 개의 마스크가 표시됩니다. 모든 소음 수준의 모든 마스크는 동일한 자극 분포(소음 수준이 0인 자극, 따라서 작업과 관련 없는 소음을 포함하지 않음)에서 가져옵니다. 시도에서 두 개의 마스크를 각각 생성하려면: 먼저 시도의 첫 번째 및 두 번째 간격에서 중앙 개체 위치가 결정됩니다. 첫 번째 및 두 번째 간격의 중앙 개체 위치와 일치하는 노이즈 레벨 0의 두 자극이 시험 마스크를 만드는 데 사용됩니다. 이 두 자극 각각에 대해 평균 강도는 자극의 16 x 16 블록당 RGB 채널당 계산됩니다. 다음으로, 마스크의 각 16 x 16 블록은 하나 또는 다른 자극에서 임의로 그려지고 선택된 자극의 해당 블록에 대해 RGB 채널당 계산된 균일한 평균 강도로 구성됩니다. 따라서 시험당 표시되는 두 개의 마스크는 각각 16 x 16 블록당 서로 다른 무작위 추첨으로 구성됩니다.

데이터 분석

세션당 개체 위치를 식별하기 위한 참가자의 임계값은 각 소음 수준에 대해 측정됩니다. 먼저 각 비교 위치에 대해 참가자가 비교 자극이 기준 자극의 오른쪽에 위치한다고 응답한 시도의 비율을 계산합니다. 다음으로 비교가 오른쪽으로 선택된 비율은 Palamedes Toolbox(http://www.palamedestoolbox.org)를 사용하여 누적 정규 함수에 적합합니다. 심리 측정 함수의 네 가지 매개변수(임계값, 기울기, 감률 및 추측률)를 모두 추정하려면 감률을 추측률과 동일하게 설정하고 강제로 [0, 0.05] 범위에 있게 하고, 모델은 최대 우도 방법을 사용하여 데이터에 적합합니다. 임계값은 누적 정규 적합도에 의해 결정된 대로 0.7602 및 0.5와 동일한 성능(비교가 오른쪽으로 선택된 비율)의 자극 수준 간의 차이로 계산됩니다.