Prosjekt 3 Eksempel: Human-AI Collaboration Tester (HAICT) Exp. 7

Denne teksten er teksten til forhåndsregistreringen for HAICT 7-eksperimentet som beskrevet på Open Science Framework. https://osf.io/hngu4/

MERK: Denne studien er representativ for studier utført i prosjekt 3 av denne bevilgningen. Det er flere eksperimenter i bunten av eksperimenter representert av prosjekt 3, men det er ikke mulig å registrere en bunt med studier på CT.gov.

MERK: Siden pronomenkommentaren er rådgivende, lar vi den stå for nå.

Human-AI Collaboration Tester (HAICT) Exp. 7 (lett redigert fra OSF)

1. Datainnsamling. Er det allerede samlet inn noen data for denne studien? (Ja Nei)

   ja

2. Hypotese. Hva er hovedspørsmålet eller hypotesen som testes i denne studien?

Bakgrunn: I en rekke søkeeksperimenter, både grunnleggende og kliniske, har dataene vært konsistente med en situasjon der variasjonen til signalet (eller målet) er større enn variasjonen til støyen (distraksjoner). Det klassiske tegnet på dette er en zROC-funksjon med en helning < 1 - typisk rundt 0,6. En helning på 1,0 er en indikasjon på en 2AFC-oppgave med lik varians. For HAICT-oppgaven som vi har testet, ville vi forvente lik varians, men vi tror det vil være verdt å sjekke, så vi vil systematisk variere prevalensen som vil skifte kriterium. Det vil feie ut en ROC-kurve som vi kan undersøke.

Vi vil også teste Second Reader faux-AI for å finne ut om lav prevalens gjør Second Reader verre.

• (H1): Vi forventer å gjenskape funnet om at menneskelige kriterier blir mer konservative ettersom prevalensen avtar.
• (H2): Vi spår at helningen til den resulterende zROC vil være 1,0.

• (H3): Vi antar at lav prevalens vil gjøre Second Reader AI mindre effektiv fordi den positive prediktive verdien av kommentarene vil være lav.

  1. Avhengig variabel. Beskriv nøkkelavhengige variabler og spesifisere hvordan de vil bli målt.

     De viktigste avhengige variablene av interesse er nøyaktighet (og signaldeteksjonsderivatene av nøyaktighet, d' og c), reaksjonstid og subjektive vurderinger på undersøkelsen etter hver blokk.

  2. Forhold. Hvor mange og hvilke betingelser vil deltakerne bli tildelt?

Denne serien med eksperimenter undersøker hvordan endring av input fra en simulert AI kan påvirke avgjørelsene tatt av menneskelige observatører i en to-alternativ tvangsvalgoppgave (som beslutningen om å tilbakekalle en kvinne for videre undersøkelse i mammografi). Vi har utviklet et paradigme kalt Human-AI Collaboration Tester (HAICT) som muliggjør effektiv testing av interaksjoner mellom et menneske og en simulert AI.

Observatørenes oppgave under alle forhold er å gi en 2AFC-avgjørelse om hvorvidt en stimulus er "dårlig" eller "ikke dårlig." For å bruke språk som grovt etterligner en medisinsk diagnose, blir hver stimulus referert til som et "tilfelle". Observatører blir bedt om å ta en 2AFC-beslutning om matriser av fargede former. Avgjørelsen treffes ut fra sakens dominerende farge. Antall elementer i hver farge er trukket fra en av to normalfordelinger, en for positive (dårlige) stimuli og den andre for negative (ikke dårlige) stimuli.

Resultatene fra tidligere HAICT-eksperimenter (3 og 4) viste at menneskelig ytelse i Second Reader-tilstanden avtar betydelig ved lav prevalens. Ytelsen i Second Reader-tilstanden var bedre enn baseline når prevalensen av dårlige tilfeller var 50 %, men var signifikant dårligere enn baseline når prevalensen bare var 10 %. I dette eksperimentet manipulerer vi utbredelsen av "dårlige" tilfeller i Second Reader og Baseline-forhold. Fire forskjellige prevalensrater vil bli testet - 10 %, 33 %, 67 % og 90 %. Observatører vil fullføre 8 blokker (2 AI-regler x 4 prevalensrater), og blokkrekkefølgen er tilfeldig.

AI-regler som skal testes:

1. Baseline - Ingen AI-inngang. Observer klassifiserer hvert tilfelle som "dårlig" eller "ikke" dårlig alene.

2. Andre leser - Observatøren tar en første avgjørelse om hver sak. AI klassifiserer stimuli stille ved å bruke et konservativt kriterium (c = 0,5). Logikken for det konservative kriteriet er at den andre leseren brukes til å kutte ned på falske positive svar, og det er derfor ment å stille spørsmål ved positive menneskelige svar som kan være marginale. Hvis observatøren og AI er uenige, informerer AI den menneskelige observatøren. Observatøren får deretter en sjanse til enten å endre svaret eller gå med sin første mening.

   Som i forsøk 1-5 er AI d-prime fastsatt til 2.2. Tilbakemelding er kjent for å øke prevalenseffekten, så tilbakemelding vil bli gitt både i praksis og testforsøkene. Observatører vil gjennomføre 20 øvelsesforsøk og 200 testforsøk i hver blokk. Umiddelbart etter at hver blokk er fullført, vil observatører bli vist et sammendrag av deres prestasjoner. Etter Second Reader-blokkene vil de også bli bedt om å svare på tre subjektive spørsmål om nytten av AI (se "Filer" for flere detaljer).

3. Analyser. Spesifiser nøyaktig hvilke analyser du skal gjennomføre for å undersøke hovedspørsmålet/hypotesen.

   Først oppsummerer vi antall treff, sanne negative, feil og falske alarmer i hver blokk. Fra dette kan vi beregne nøyaktigheten, den positive prediktive verdien, sensitiviteten (d-prime) og kriteriet for hver observatør under hver av de forskjellige forholdene. Gitt mål på ytelse ved 4 prevalensnivåer, kan vi estimere ROC-kurven (pHit x pFA) og zROC-funksjonen (zHit x zFA). Vi vil teste hypotesen om at helningen til zROC er lik 1 (konsekvensen av en lik varians 2AFC-oppgave).

4. Flere analyser. Noen sekundære analyser?

   Vi vil se for å se om observatørenes subjektive meninger om AI er korrelert med variabler som den empiriske d-prime, eller den positive prediktive verdien.

5. Prøvestørrelse. Hvor mange observasjoner vil bli samlet inn, eller hva vil bestemme prøvestørrelsen? Du trenger ikke å begrunne avgjørelsen, men vær presis om nøyaktig hvordan antallet vil bli bestemt.

   Vi skal teste 12 observatører. Dette samsvarer med prøvestørrelsene til tidligere eksperimenter.

6. Annen. Er det noe annet du ønsker å forhåndsregistrere? (f.eks. dataekskluderinger, variabler samlet inn for utforskende formål, planlagte uvanlige analyser?)

N/A