Projet 3 Exemple : testeur de collaboration humain-IA (HAICT) Exp. 7

Ce texte est le texte du pré-enregistrement pour l'expérience HAICT 7 tel que décrit sur l'Open Science Framework. https://osf.io/hngu4/

REMARQUE : Cette étude est représentative des études menées dans le cadre du projet 3 de cette subvention. Il existe plusieurs expériences dans le groupe d'expériences représenté par le projet 3, mais il n'est pas possible d'enregistrer un groupe d'études sur CT.gov.

REMARQUE : Étant donné que le commentaire du pronom est consultatif, nous le laisserons pour l'instant.

Testeur de collaboration humain-IA (HAICT) Exp. 7 (légèrement modifié depuis OSF)

1. Collecte de données. Des données ont-elles déjà été recueillies pour cette étude ? (Oui Non)

   Oui

2. Hypothèse. Quelle est la question principale posée ou l'hypothèse testée dans cette étude ?

Contexte : Dans une variété d'expériences de recherche, à la fois fondamentales et cliniques, les données ont été cohérentes avec une situation où la variabilité du signal (ou de la cible) est supérieure à la variabilité du bruit (distracteurs). Le signe classique de ceci est une fonction zROC avec une pente < 1 - généralement autour de 0,6. Une pente de 1,0 indique une tâche 2AFC à variance égale. Pour la tâche HAICT que nous avons testée, nous nous attendrions à une variance égale, mais nous pensons que cela vaudrait la peine de vérifier afin que nous fassions systématiquement varier la prévalence, ce qui modifiera le critère. Cela balayera une courbe ROC que nous pourrons examiner.

Nous testerons également la fausse IA de Second Reader afin de déterminer si une faible prévalence aggrave Second Reader.

• (H1) : Nous nous attendons à reproduire la conclusion selon laquelle les critères humains deviennent plus conservateurs à mesure que la prévalence diminue.
• (H2) : Nous prévoyons que la pente du zROC résultant sera de 1,0.

• (H3) : Nous émettons l'hypothèse qu'une faible prévalence rendra Second Reader AI moins efficace car la valeur prédictive positive de ses commentaires sera faible.

  1. Variable dépendante. Décrivez la ou les variables dépendantes clés en précisant comment elles seront mesurées.

     Les principales variables dépendantes d'intérêt sont la précision (et les dérivés de détection de signal de la précision, d' et c), le temps de réaction et les évaluations subjectives de l'enquête suivant chaque bloc.

  2. Conditions. À combien et à quelles conditions les participants seront-ils affectés ?

Cette série d'expériences étudie comment la modification de l'entrée d'une IA simulée peut affecter les décisions prises par les observateurs humains dans une tâche à choix forcé à deux alternatives (comme la décision de rappeler une femme pour un examen plus approfondi en mammographie). Nous avons développé un paradigme appelé Human-AI Collaboration Tester (HAICT) qui permet de tester efficacement les interactions entre un humain et une IA simulée.

La tâche des observateurs dans toutes les conditions est de donner une décision 2AFC quant à savoir si un stimulus est "mauvais" ou "pas mauvais". Pour utiliser un langage imitant à peu près un diagnostic médical, chaque stimulus est appelé un « cas ». Les observateurs sont invités à prendre une décision 2AFC sur les tableaux de formes colorées. La décision est prise en fonction de la couleur prédominante de l'affaire. Le nombre d'éléments de chaque couleur est tiré de l'une des deux distributions normales, l'une pour les stimuli positifs (mauvais) et l'autre pour les stimuli négatifs (pas mauvais).

Les résultats des expériences HAICT précédentes (3 et 4) ont montré que les performances humaines dans la condition Second Reader chutent de manière significative à faible prévalence. La performance dans la condition Second Reader était meilleure que la valeur initiale lorsque la prévalence des mauvais cas était de 50 %, mais elle était nettement inférieure à la valeur initiale lorsque la prévalence n'était que de 10 %. Dans cette expérience, nous manipulons la prévalence des "mauvais" cas dans les conditions Second Reader et Baseline. Quatre taux de prévalence différents seront testés : 10 %, 33 %, 67 % et 90 %. Les observateurs rempliront 8 blocs (2 règles d'IA x 4 taux de prévalence), et l'ordre des blocs est aléatoire.

Règles d'IA à tester :

1. Ligne de base - Aucune entrée d'IA. Observer classe chaque cas comme "mauvais" ou "pas" mauvais.

2. Deuxième lecteur - L'observateur prend une décision initiale sur chaque cas. L'IA classe silencieusement les stimuli à l'aide d'un critère conservateur (c = 0,5). La logique du critère conservateur est que le deuxième lecteur est utilisé pour réduire les réponses faussement positives et qu'il est donc destiné à remettre en question les réponses humaines positives qui pourraient être marginales. Si l'observateur et l'IA ne sont pas d'accord, l'IA informe l'observateur humain. L'observateur a ensuite la possibilité de modifier sa réponse ou de suivre sa première opinion.

   Comme dans les expériences 1 à 5, le d-prime AI est fixé à 2,2. La rétroaction est connue pour augmenter l'effet de prévalence, de sorte que la rétroaction sera donnée à la fois dans la pratique et dans les essais de test. Les observateurs effectueront 20 essais d'entraînement et 200 essais d'essai dans chaque bloc. Immédiatement après la fin de chaque bloc, les observateurs verront un résumé de leur performance. Après les blocs Second Reader, il leur sera également demandé de répondre à trois questions subjectives sur l'utilité de l'IA (voir "Fichiers" pour plus de détails).

3. Analyses. Précisez précisément les analyses que vous effectuerez pour examiner la question/hypothèse principale.

   Tout d'abord, nous résumons le nombre de résultats, de vrais négatifs, d'échecs et de fausses alarmes dans chaque bloc. À partir de là, nous pouvons calculer la précision, la valeur prédictive positive, la sensibilité (d-prime) et le critère pour chaque observateur dans chacune des différentes conditions. Compte tenu des mesures de performance à 4 niveaux de prévalence, nous pouvons estimer la courbe ROC (pHit x pFA) et la fonction zROC (zHit x zFA). Nous allons tester l'hypothèse que la pente du zROC est égale à 1 (conséquence d'une tâche 2AFC à variance égale).

4. Plus d'analyses. Des analyses secondaires ?

   Nous verrons si les opinions subjectives des observateurs sur l'IA sont corrélées avec des variables telles que le d-prime empirique ou la valeur prédictive positive.

5. Taille de l'échantillon. Combien d'observations seront recueillies ou qu'est-ce qui déterminera la taille de l'échantillon ? Inutile de justifier votre décision, mais soyez précis sur la façon exacte dont le nombre sera déterminé.

   Nous testerons 12 observateurs. Ceci est cohérent avec la taille des échantillons des expériences précédentes.

6. Autre. Y a-t-il autre chose que vous aimeriez pré-inscrire? (ex. exclusions de données, variables collectées à des fins exploratoires, analyses inhabituelles prévues ?)

N / A