Project 3 Voorbeeld: Human-AI Collaboration Tester (HAICT) Exp. 7

Deze tekst is de tekst van de pre-registratie voor het HAICT 7 experiment zoals beschreven op het Open Science Framework. https://osf.io/hngu4/

OPMERKING: Deze studie is representatief voor studies die zijn uitgevoerd in Project 3 van deze subsidie. Er zijn meerdere experimenten in de bundel experimenten die wordt weergegeven door Project 3, maar het is niet mogelijk om een ​​bundel studies te registreren op CT.gov.

OPMERKING: aangezien de opmerking bij het voornaamwoord adviserend is, laten we het voorlopig staan.

Human-AI Collaboration Tester (HAICT) Exp. 7 (licht bewerkt vanuit OSF)

1. Gegevensverzameling. Zijn er al gegevens verzameld voor dit onderzoek? (Ja nee)

   Ja

2. Hypothese. Wat is de belangrijkste vraag die wordt gesteld of de hypothese die wordt getest in deze studie?

Achtergrond: In een verscheidenheid aan zoekexperimenten, zowel basis- als klinische, kwamen de gegevens overeen met een situatie waarin de variabiliteit van het signaal (of doelwit) groter is dan de variabiliteit van de ruis (afleiders). Het klassieke teken hiervan is een zROC-functie met een helling < 1 - meestal rond de 0,6. Een helling van 1,0 is indicatief voor een 2AFC-taak met gelijke variantie. Voor de HAICT-taak die we hebben getest, zouden we een gelijke variantie verwachten, maar we denken dat het de moeite waard is om te controleren, dus we zullen de prevalentie systematisch variëren, waardoor het criterium zal verschuiven. Dat zal een ROC-curve opleveren die we kunnen onderzoeken.

We zullen ook de nep-AI van Second Reader testen om te bepalen of een lage prevalentie Second Reader erger maakt.

• (H1): We verwachten de bevinding te repliceren dat menselijke criteria conservatiever worden naarmate de prevalentie afneemt.
• (H2): We voorspellen dat de helling van de resulterende zROC 1,0 zal zijn.

• (H3): We veronderstellen dat een lage prevalentie Second Reader AI minder effectief zal maken omdat de positief voorspellende waarde van de commentaren laag zal zijn.

  1. Afhankelijke variabele. Beschrijf de belangrijkste afhankelijke variabele(n) en specificeer hoe ze zullen worden gemeten.

     De belangrijkste afhankelijke variabelen die van belang zijn, zijn nauwkeurigheid (en de signaaldetectiederivaten van nauwkeurigheid, d' en c), reactietijd en subjectieve beoordelingen op het onderzoek na elk blok.

  2. Voorwaarden. Aan hoeveel en aan welke voorwaarden worden deelnemers toegewezen?

Deze reeks experimenten onderzoekt hoe het veranderen van de invoer van een gesimuleerde AI de beslissingen kan beïnvloeden die door menselijke waarnemers worden genomen in een twee-alternatieve gedwongen keuzetaak (zoals de beslissing om een ​​vrouw terug te roepen voor verder onderzoek in mammografie). We hebben een paradigma ontwikkeld, de Human-AI Collaboration Tester (HAICT), waarmee interacties tussen een mens en een gesimuleerde AI efficiënt kunnen worden getest.

De taak van de waarnemers is onder alle omstandigheden om een ​​2AFC-beslissing te geven over de vraag of een stimulus "slecht" of "niet slecht" is. Om taal te gebruiken die grofweg een medische diagnose nabootst, wordt elke stimulus een 'geval' genoemd. Waarnemers wordt gevraagd om een ​​2AFC-beslissing te nemen over reeksen gekleurde vormen. De beslissing wordt genomen op basis van de overheersende kleur van de behuizing. Het aantal elementen van elke kleur wordt ontleend aan een van de twee normale verdelingen, één voor positieve (slechte) stimuli en de andere voor negatieve (niet slechte) stimuli.

De resultaten van eerdere HAICT-experimenten (3 en 4) toonden aan dat menselijke prestaties in de Second Reader-conditie aanzienlijk afnemen bij een lage prevalentie. De prestatie in de Second Reader-conditie was beter dan Baseline wanneer de prevalentie van slechte gevallen 50% was, maar was significant slechter dan Baseline wanneer de prevalentie slechts 10% was. In dit experiment manipuleren we de prevalentie van "slechte" gevallen in de Second Reader- en Baseline-condities. Er worden vier verschillende prevalentiepercentages getest: 10%, 33%, 67% en 90%. Waarnemers voltooien 8 blokken (2 AI-regels x 4 prevalentiecijfers) en de blokvolgorde is willekeurig.

AI-regels die getest moeten worden:

1. Baseline - Geen AI-invoer. Observer classificeert elk geval afzonderlijk als "slecht" of "niet" slecht.

2. Tweede lezer - De waarnemer neemt een eerste beslissing over elk geval. De AI classificeert stilletjes stimuli met behulp van een conservatief criterium (c = 0,5). De logica voor het conservatieve criterium is dat de tweede lezer wordt gebruikt om het aantal fout-positieve reacties te verminderen en dat het dus de bedoeling is om positieve menselijke reacties in twijfel te trekken die marginaal kunnen zijn. Als de waarnemer en AI het niet eens zijn, informeert de AI de menselijke waarnemer. De waarnemer krijgt dan de kans om zijn reactie te wijzigen of zijn eerste mening te volgen.

   Net als in Experimenten 1-5 is de AI d-prime vastgesteld op 2,2. Van feedback is bekend dat het het prevalentie-effect vergroot, dus feedback zal zowel in de praktijk als in de testtrials worden gegeven. Waarnemers zullen in elk blok 20 oefenpogingen en 200 testpogingen voltooien. Onmiddellijk nadat elk blok is voltooid, krijgen waarnemers een samenvatting van hun prestaties te zien. Na de Second Reader-blokken wordt hen ook gevraagd om drie subjectieve vragen over het nut van de AI te beantwoorden (zie "Bestanden" voor meer details).

3. Analyses. Geef precies aan welke analyses je gaat uitvoeren om de hoofdvraag/hypothese te onderzoeken.

   Eerst vatten we het aantal treffers, echte negatieven, missers en valse alarmen in elk blok samen. Hieruit kunnen we de nauwkeurigheid, de positief voorspellende waarde, de gevoeligheid (d-prime) en het criterium voor elke waarnemer onder elk van de verschillende omstandigheden berekenen. Gegeven prestatiemetingen op 4 prevalentieniveaus, kunnen we de ROC-curve (pHit x pFA) en de zROC-functie (zHit x zFA) schatten. We testen de hypothese dat de helling van de zROC gelijk is aan 1 (het gevolg van een 2AFC-taak met gelijke variantie).

4. Meer analyses. Secundaire analyses?

   We zullen kijken of de subjectieve meningen van de waarnemers over de AI gecorreleerd zijn met variabelen zoals de empirische d-prime, of de positief voorspellende waarde.

5. Steekproefgrootte. Hoeveel waarnemingen worden er verzameld of wat bepaalt de steekproefomvang? U hoeft de beslissing niet te rechtvaardigen, maar wees precies hoe het aantal precies zal worden bepaald.

   We zullen 12 waarnemers testen. Dit komt overeen met de steekproefomvang van eerdere experimenten.

6. Ander. Is er nog iets dat u vooraf wilt aanmelden? (bijv. gegevensuitsluitingen, variabelen verzameld voor verkennende doeleinden, ongebruikelijke analyses gepland?)

NVT