프로젝트 3 예시: Human-AI Collaboration Tester(HAICT) Exp. 7

이 텍스트는 Open Science Framework에 설명된 HICT 7 실험을 위한 사전 등록 텍스트입니다. https://osf.io/hngu4/

참고: 이 연구는 이 보조금의 프로젝트 3에서 수행된 연구를 대표합니다. 프로젝트 3으로 대표되는 실험 묶음에는 여러 실험이 있지만 CT.gov에 연구 묶음을 등록하는 것은 불가능합니다.

참고: 대명사 주석은 조언이므로 지금은 그대로 두겠습니다.

인간-AI ​​협업 테스터(HAICT) Exp. 7(OSF에서 약간 편집됨)

1. 데이터 수집. 이 연구를 위해 이미 수집된 데이터가 있습니까? (예 아니오)

   예

2. 가설. 이 연구에서 묻는 주요 질문 또는 테스트 중인 가설은 무엇입니까?

배경: 기본 및 임상의 다양한 검색 실험에서 데이터는 신호(또는 대상)의 변동성이 잡음(산만함)의 변동성보다 큰 상황과 일치했습니다. 이것의 고전적인 표시는 기울기가 1 미만인 zROC 함수입니다. 일반적으로 약 0.6입니다. 1.0의 기울기는 등분산 2AFC 작업을 나타냅니다. 우리가 테스트해 온 HICT 작업의 경우 등분산을 예상하지만 확인할 가치가 있다고 생각하므로 체계적으로 기준을 바꿀 유병률을 다양화할 것입니다. 그것은 우리가 조사할 수 있는 ROC 곡선을 쓸어버릴 것입니다.

또한 낮은 유병률이 Second Reader를 악화시키는지 확인하기 위해 Second Reader faux-AI를 테스트할 것입니다.

• (H1): 우리는 유병률이 감소함에 따라 인간 기준이 더 보수적이 된다는 결과를 복제할 것으로 기대합니다.
• (H2): 결과 zROC의 기울기는 1.0이 될 것으로 예측합니다.

• (H3): 댓글의 긍정적인 예측 가치가 낮기 때문에 보급률이 낮으면 Second Reader AI의 효율성이 떨어질 것이라고 가정합니다.

  1. 종속 변수. 측정 방법을 지정하는 주요 종속 변수를 설명합니다.

     관심 있는 주요 종속 변수는 정확도(및 정확도의 신호 감지 도함수 d' 및 c), 반응 시간 및 각 블록 다음 설문 조사의 주관적 등급입니다.

  2. 정황. 참가자는 몇 명과 어떤 조건에 할당됩니까?

이 일련의 실험은 시뮬레이션된 AI의 입력 변경이 두 가지 대안 강제 선택 작업(유방조영술에서 추가 검사를 위해 여성을 소환하는 결정과 같은)에서 인간 관찰자가 내린 결정에 어떤 영향을 미칠 수 있는지 조사합니다. 우리는 인간과 시뮬레이션된 AI 간의 상호 작용을 효율적으로 테스트할 수 있는 HICT(Human-AI Collaboration Tester)라는 패러다임을 개발했습니다.

모든 조건에서 관찰자의 임무는 자극이 "나쁨"인지 "나쁨이 아닌지"에 대한 2AFC 결정을 내리는 것입니다. 의학적 진단을 대략적으로 모방하는 언어를 사용하기 위해 각 자극을 "사례"라고 합니다. 관찰자는 색상이 있는 모양의 배열에 대해 2AFC 결정을 내리도록 요청받습니다. 결정은 케이스의 주된 색상에 따라 이루어집니다. 각 색상의 요소 수는 긍정적(나쁜) 자극에 대한 정규 분포와 부정적인(나쁘지 않은) 자극에 대한 정규 분포 중 하나에서 가져옵니다.

이전 HAICT 실험(3 및 4)의 결과는 두 번째 리더 조건에서 인간의 성능이 낮은 유병률에서 크게 떨어짐을 보여주었습니다. 두 번째 판독기 조건의 성능은 나쁜 사례의 유병률이 50%일 때 기준선보다 좋았지만 유병률이 10%일 때 기준선보다 훨씬 나빴습니다. 이 실험에서는 두 번째 판독기 및 기본 조건에서 "나쁜" 사례의 유병률을 조작합니다. 4가지 유병률(10%, 33%, 67%, 90%)이 테스트됩니다. 옵저버는 8개의 블록(AI 규칙 2개 x 보급률 4개)을 완료하고 블록 순서는 무작위입니다.

테스트할 AI 규칙:

1. 기준선 - AI 입력이 없습니다. 옵저버는 각각의 경우를 자체적으로 "나쁨" 또는 "나쁨"으로 분류합니다.

2. 두 번째 독자 - 관찰자는 모든 경우에 대한 초기 결정을 내립니다. AI는 보수적 기준(c = 0.5)을 사용하여 자극을 자동으로 분류합니다. 보수적 기준의 논리는 두 번째 판독기가 거짓 긍정 응답을 줄이는 데 사용되고 있으므로 미미할 수 있는 긍정적인 인간 응답에 의문을 제기하기 위한 것입니다. 관찰자와 AI가 동의하지 않으면 AI가 인간 관찰자에게 알립니다. 그런 다음 관찰자는 응답을 변경하거나 첫 번째 의견을 따를 수 있는 기회가 주어집니다.

   실험 1-5에서와 같이 AI d-prime은 2.2로 고정됩니다. 피드백은 유병률 효과를 높이는 것으로 알려져 있으므로 피드백은 연습 및 테스트 시험 모두에서 제공됩니다. 관찰자는 각 블록에서 20개의 연습 시도와 200개의 테스트 시도를 완료합니다. 각 블록이 완료되는 즉시 관찰자에게 성능 요약이 표시됩니다. 두 번째 독자 차단 후 AI의 유용성에 대한 세 가지 주관적인 질문에 답해야 합니다(자세한 내용은 "파일" 참조).

3. 복수. 주요 질문/가설을 조사하기 위해 수행할 분석을 정확히 지정합니다.

   먼저 각 블록의 적중, 정음, 미스 및 거짓 경보의 수를 요약합니다. 이를 통해 서로 다른 조건에서 각 관찰자에 대한 정확도, 양성 예측값, 민감도(d-prime) 및 기준을 계산할 수 있습니다. 4가지 유병률 수준에서 성능 측정이 주어지면 ROC 곡선(pHit x pFA)과 zROC 함수(zHit x zFA)를 추정할 수 있습니다. 우리는 zROC의 기울기가 1이라는 가설을 테스트할 것입니다(등분산 2AFC 작업의 결과).

4. 더 많은 분석. 2차 분석이 있습니까?

   AI에 대한 관찰자의 주관적인 의견이 경험적 d-prime 또는 긍정적인 예측 값과 같은 변수와 상관관계가 있는지 살펴보겠습니다.

5. 표본의 크기. 얼마나 많은 관찰이 수집되거나 무엇이 샘플 크기를 결정합니까? 결정을 정당화할 필요는 없지만 숫자가 결정되는 방식에 대해 정확히 설명해야 합니다.

   우리는 12명의 관찰자를 테스트할 것입니다. 이것은 이전 실험의 샘플 크기와 일치합니다.

6. 다른. 사전 등록하고 싶은 다른 사항이 있습니까? (예: 데이터 제외, 탐색 목적으로 수집된 변수, 비정상적인 분석 계획?)

해당 없음