项目 3 示例：人机协作测试仪 (HAICT) Exp. 7

本文是开放科学框架中描述的 HAICT 7 实验预注册的文本。 https://osf.io/hngu4/

注：这项研究代表了本次资助的项目 3 中进行的研究。 项目 3 代表的实验包中有多个实验，但无法在 CT.gov 上注册研究包。

注意：由于代词注释是建议性的，我们暂时保留它。

人机协作测试仪 (HAICT) Exp. 7（由 OSF 轻微编辑）

1. 数据采集​​。 是否已经为这项研究收集了任何数据？ （是/否）

   是的

2. 假设。 这项研究提出的主要问题或检验的假设是什么？

背景：在各种基础和临床搜索实验中，数据与信号（或目标）的变异性大于噪声（干扰因素）的变异性的情况一致。 其典型标志是 zROC 函数，其斜率 < 1 - 通常约为 0.6。 斜率 1.0 表示等方差 2AFC 任务。 对于我们一直在测试的 HAICT 任务，我们期望方差相等，但我们认为值得检查，因此我们将系统地改变患病率，这将改变标准。 这将扫出我们可以检查的 ROC 曲线。

我们还将测试第二个读者的人造人工智能，以确定低流行率是否会使第二个读者变得更糟。

• (H1)：我们期望重复这一发现，即随着患病率下降，人类标准变得更加保守。
• (H2)：我们预测所得 zROC 的斜率为 1.0。

• (H3)：我们假设低流行率会降低 Second Reader AI 的有效性，因为其评论的阳性预测值会很低。

  1. 因变量。 描述关键因变量，指定如何测量它们。

     感兴趣的主要因变量是准确性（以及准确性的信号检测导数 d' 和 c）、反应时间以及每个块之后的调查的主观评分。

  2. 状况。 参与者将被分配到多少个以及哪些条件？

这一系列实验研究了改变模拟人工智能的输入如何影响人类观察者在两种选择的强制选择任务中做出的决定（例如召回一名女性进行乳房X光检查的决定）。 我们开发了一种名为“人类与人工智能协作测试器”(HAICT) 的范例，可以有效测试人类与模拟人工智能之间的交互。

在任何情况下，观察员的任务都是就刺激措施是“坏”还是“不错”做出 2AFC 决定。 为了使用大致模仿医学诊断的语言，每个刺激都被称为“案例”。 观察员被要求对彩色形状数组做出 2AFC 决策。 该决定是根据案件的主要颜色做出的。 每种颜色的元素数量取自两个正态分布之一，一个用于正（坏）刺激，另一个用于负（不错）刺激。

之前的 HAICT 实验（3 和 4）的结果表明，在第二读者条件下，人类的表现在低流行率下显着下降。 当不良案例的发生率为 50% 时，第二读者条件下的表现优于基线，但当不良案例的发生率仅为 10% 时，第二读者条件下的表现明显低于基线。 在这个实验中，我们操纵了第二读者和基线条件下“坏”案例的发生率。 将测试四种不同的患病率：10%、33%、67% 和 90%。 观察者将完成 8 个区块（2 个 AI 规则 x 4 个流行率），区块顺序是随机的。

待测试的AI规则：

1. 基线 - 无 AI 输入。 观察者将每个案例单独分类为“坏”或“不”坏。

2. 第二位读者——观察者对每个案例做出初步决定。 AI 使用保守标准（c = 0.5）默默地对刺激进行分类。 保守标准的逻辑是，第二个阅读器被用来减少误报，因此它的目的是质疑可能微不足道的人类积极反应。 如果观察者和人工智能意见不一致，人工智能就会通知人类观察者。 然后观察者有机会改变他们的反应或遵循他们的第一意见。

   与实验 1-5 一样，AI d-prime 固定为 2.2。 众所周知，反馈会增加流行效应，因此在实践和测试中都会给出反馈。 观察员将在每个区块中完成 20 次练习试验和 200 次测试试验。 每个区块完成后，观察者将立即看到其表现的摘要。 在第二个读者区块之后，他们还将被要求回答三个有关人工智能有用性的主观问题（有关更多详细信息，请参阅“文件”）。

3. 分析。 准确指定您将进行哪些分析来检验主要问题/假设。

   首先，我们总结每个块中的命中数、真负数、未命中数和误报数。 由此，我们可以计算每个观察者在每种不同条件下的准确性、阳性​​预测值、敏感性（d-prime）和标准。 给定 4 个患病率水平的表现测量值，我们可以估计 ROC 曲线 (pHit x pFA) 和 zROC 函数 (zHit x zFA)。 我们将测试 zROC 的斜率等于 1 的假设（等方差 2AFC 任务的结果）。

4. 更多分析。 有二次分析吗？

   我们将研究观察者对人工智能的主观看法是否与经验 d 素数或阳性预测值等变量相关。

5. 样本大小。 将收集多少观察结果或什么决定样本大小？ 无需证明决定的合理性，但要准确说明如何确定该数字。

   我们将测试 12 名观察员。 这与之前实验的样本量是一致的。

6. 其他。 您还有什么需要预先登记的吗？ （例如，数据排除、出于探索性目的收集的变量、计划的异常分析？）

不适用