プロジェクト 3 例: Human-AI Collaboration Tester (HAICT) Exp. 7

このテキストは、オープン サイエンス フレームワークに記載されている HAICT 7 実験の事前登録のテキストです。 https://osf.io/hngu4/

注: この研究は、この助成金のプロジェクト 3 で実施された研究の代表的なものです。 プロジェクト 3 で表される実験のバンドルには複数の実験がありますが、研究のバンドルを CT.gov に登録することはできません。

注: 代名詞のコメントは助言であるため、今のところはそのままにしておきます。

人とAIの連携テスター（HAICT）Exp. 7 (OSF から軽く編集)

1. データ収集。 この研究のためにすでにデータが収集されていますか? （はい・いいえ）

   はい

2. 仮説。 この研究で尋ねられている主な質問、または検証されている仮説は何ですか?

背景: 基礎的および臨床的なさまざまな探索実験において、データは信号 (またはターゲット) の変動がノイズ (妨害物質) の変動よりも大きい状況と一致しています。 この典型的な兆候は、傾きが 1 未満 (通常は約 0.6) の zROC 関数です。 傾き 1.0 は、等分散 2AFC タスクを示します。 私たちがテストしてきた HAICT タスクでは、等しい分散が期待されますが、チェックする価値があると考えられるため、基準を変更するために体系的に有病率を変更します。 これにより、検査できる ROC 曲線が作成されます。

また、普及率が低いと Second Reader が悪化するかどうかを判断するために、Second Reader の偽 AI もテストします。

• (H1): 有病率が低下するにつれて人間の基準がより保守的になるという発見が再現されると期待しています。
• (H2): 結果として得られる zROC の傾きは 1.0 になると予測します。

• (H3): コメントの陽性的中率が低くなるため、普及率が低いと Second Reader AI の効果が低下すると仮説を立てます。

  1. 従属変数。 主要な従属変数を説明し、その測定方法を指定します。

     対象となる主な従属変数は、精度 (および精度の信号検出導関数、d' および c)、反応時間、および各ブロックに続く調査の主観的評価です。

  2. 条件。 参加者は何名、どの条件に割り当てられますか?

この一連の実験では、シミュレートされた AI からの入力の変更が、二者択一の強制選択タスクで人間の観察者が行う決定 (マンモグラフィーのさらなる検査のために女性を呼び戻す決定など) にどのような影響を与えるかを調査します。 私たちは、人間とシミュレートされた AI の間の相互作用の効率的なテストを可能にする Human-AI Collaboration Tester (HAICT) と呼ばれるパラダイムを開発しました。

あらゆる状況における観察者の任務は、刺激が「悪い」か「悪くない」かについて 2AFC の決定を下すことです。 医療診断を大まかに模倣した言葉を使用する場合、各刺激は「ケース」と呼ばれます。 観察者は、色付きの形状の配列について 2AFC の決定を行うように求められます。 決定はケースの主な色に基づいて行われます。 各色の要素の数は、2 つの正規分布のうちの 1 つから抽出されます。1 つはポジティブ (悪い) 刺激用、もう 1 つはネガティブ (悪くない) 刺激用です。

以前の HAICT 実験 (3 および 4) の結果は、Second Reader 条件における人間のパフォーマンスは、有病率が低い場合に大幅に低下することを示しました。 Second Reader 条件でのパフォーマンスは、不良ケースの有病率が 50% の場合はベースラインよりも優れていましたが、有病率がわずか 10% の場合はベースラインよりも大幅に悪かったです。 この実験では、Second Reader 条件と Baseline 条件における「悪い」ケースの蔓延を操作します。 4 つの異なる有病率 (10%、33%、67%、90%) がテストされます。 オブザーバーは 8 つのブロック (2 AI ルール x 4 普及率) を完了します。ブロックの順序はランダムです。

テストする AI ルール:

1. ベースライン - AI 入力なし。 オブザーバーは、各ケースを独自に「悪い」または「悪くない」と分類します。

2. セカンドリーダー - オブザーバーはあらゆるケースについて最初の決定を下します。 AI は、控えめな基準 (c = 0.5) を使用して刺激をサイレントに分類します。 保守的な基準の論理は、2 番目のリーダーは誤った陽性反応を減らすために使用されており、そのため、わずかである可能性のある人間の陽性反応に疑問を呈することを目的としているということです。 観察者と AI の意見が異なる場合、AI は人間の観察者に通知します。 その後、観察者には、反応を変えるか、最初の意見に従うかを選択する機会が与えられます。

   実験 1 ～ 5 と同様に、AI の d-prime は 2.2 に固定されています。 フィードバックは普及効果を高めることが知られているため、実践とテストの両方でフィードバックが提供されます。 オブザーバーは各ブロックで 20 回の練習トライアルと 200 回のテスト トライアルを完了します。 各ブロックが完了するとすぐに、オブザーバーにはパフォーマンスの概要が表示されます。 Second Reader がブロックした後、AI の有用性に関する 3 つの主観的な質問に答えることも求められます (詳細については「ファイル」を参照)。

3. 分析。 主な質問/仮説を検証するためにどの分析を実行するかを正確に指定します。

   まず、各ブロックのヒット、真陰性、ミス、および誤警報の数を要約します。 これから、さまざまな条件下での各観測者の精度、陽性的中率、感度 (d-prime)、および基準を計算できます。 4 つの有病率レベルでのパフォーマンスの測定値を考慮すると、ROC 曲線 (pHit x pFA) と zROC 関数 (zHit x zFA) を推定できます。 zROC の傾きが 1 に等しいという仮説 (等分散 2AFC タスクの結果) をテストします。

4. さらに分析。 二次分析はありますか?

   AI に関する観察者の主観的な意見が、経験的な d プライムや陽性的中率などの変数と相関があるかどうかを確認します。

5. サンプルサイズ。 収集される観測値の数はどれくらいですか? サンプル サイズは何によって決まりますか? 決定を正当化する必要はありませんが、数値がどのように決定されるかを正確に理解してください。

   12人のオブザーバーをテストします。 これは、以前の実験のサンプルサイズと一致しています。

6. 他の。 他に事前登録しておきたいことはありますか？ (例: データの除外、探索目的で収集された変数、計画された異常な分析?)

該当なし