Progetto 3 Esempio: Human-AI Collaboration Tester (HAICT) Esp. 7

Questo testo è il testo della pre-registrazione per l'esperimento HAICT 7 come descritto nell'Open Science Framework. https://osf.io/hngu4/

NOTA: Questo studio è rappresentativo degli studi condotti nel Progetto 3 di questa sovvenzione. Sono presenti più esperimenti nel pacchetto di esperimenti rappresentato dal Progetto 3, ma non è possibile registrare un pacchetto di studi su CT.gov.

NOTA: poiché il commento del pronome è di avviso, lo lasceremo per ora.

Tester di collaborazione uomo-intelligenza artificiale (HAICT) Esp. 7 (leggermente modificato da OSF)

1. Raccolta dati. Sono già stati raccolti dati per questo studio? (Si No)

   SÌ

2. Ipotesi. Qual è la domanda principale che viene posta o l'ipotesi che viene testata in questo studio?

Sfondo: In una varietà di esperimenti di ricerca, sia di base che clinici, i dati sono stati coerenti con una situazione in cui la variabilità del segnale (o bersaglio) è maggiore della variabilità del rumore (distrattori). Il segno classico di ciò è una funzione zROC con una pendenza < 1, tipicamente intorno a 0,6. Una pendenza di 1.0 è indicativa di un'attività 2AFC a varianza uguale. Per l'attività HAICT che abbiamo testato, ci aspetteremmo una varianza uguale, ma pensiamo che varrebbe la pena verificarla, quindi varieremo sistematicamente la prevalenza che cambierà il criterio. Ciò spazzerà fuori una curva ROC che possiamo esaminare.

Testeremo anche la finta intelligenza artificiale di Second Reader per determinare se la bassa prevalenza peggiora Second Reader.

• (H1): Ci aspettiamo di replicare la scoperta che i criteri umani diventano più conservativi al diminuire della prevalenza.
• (H2): Prevediamo che la pendenza dello zROC risultante sarà 1.0.

• (H3): ipotizziamo che una bassa prevalenza renderà meno efficace l'IA di Second Reader perché il valore predittivo positivo dei suoi commenti sarà basso.

  1. Variabile dipendente. Descrivere le variabili dipendenti chiave specificando come saranno misurate.

     Le principali variabili dipendenti di interesse sono l'accuratezza (e le derivate dell'accuratezza del rilevamento del segnale, d' ec), il tempo di reazione e le valutazioni soggettive sull'indagine successiva a ciascun blocco.

  2. Condizioni. A quante e quali condizioni saranno assegnati i partecipanti?

Questa serie di esperimenti indaga su come la modifica dell'input da un'IA simulata possa influenzare le decisioni prese dagli osservatori umani in un compito di scelta forzata a due alternative (come la decisione di richiamare una donna per un ulteriore esame in mammografia). Abbiamo sviluppato un paradigma chiamato Human-AI Collaboration Tester (HAICT) che consente di testare in modo efficiente le interazioni tra un essere umano e un'IA simulata.

Il compito degli osservatori in tutte le condizioni è quello di dare una decisione 2AFC se uno stimolo è "cattivo" o "non cattivo". Per usare un linguaggio che imita approssimativamente una diagnosi medica, ogni stimolo viene chiamato "caso". Agli osservatori viene chiesto di prendere una decisione 2AFC sugli array di forme colorate. La decisione viene presa in base al colore predominante della custodia. Il numero di elementi di ciascun colore viene ricavato da una delle due distribuzioni normali, una per gli stimoli positivi (cattivi) e l'altra per gli stimoli negativi (non cattivi).

I risultati dei precedenti esperimenti HAICT (3 e 4) hanno mostrato che le prestazioni umane nella condizione di Second Reader diminuiscono significativamente a bassa prevalenza. Le prestazioni nella condizione Second Reader erano migliori del basale quando la prevalenza di casi gravi era del 50%, ma erano significativamente peggiori del basale quando la prevalenza era solo del 10%. In questo esperimento, manipoliamo la prevalenza di casi "cattivi" nelle condizioni Second Reader e Baseline. Saranno testati quattro diversi tassi di prevalenza: 10%, 33%, 67% e 90%. Gli osservatori completeranno 8 blocchi (2 regole AI x 4 tassi di prevalenza) e l'ordine dei blocchi è casuale.

Regole AI da testare:

1. Linea di base: nessun input AI. L'osservatore classifica ogni caso come "cattivo" o "non" cattivo da solo.

2. Secondo lettore - L'osservatore prende una decisione iniziale su ogni caso. L'intelligenza artificiale classifica silenziosamente gli stimoli utilizzando un criterio conservativo (c = 0,5). La logica per il criterio conservativo è che il secondo lettore viene utilizzato per ridurre le risposte false positive e quindi si intende mettere in discussione le risposte umane positive che potrebbero essere marginali. Se l'osservatore e l'IA non sono d'accordo, l'IA informa l'osservatore umano. All'osservatore viene quindi data la possibilità di modificare la propria risposta o di seguire la propria prima opinione.

   Come negli Esperimenti 1-5, l'AI d-prime è fissato a 2.2. È noto che il feedback aumenta l'effetto di prevalenza, quindi il feedback verrà fornito sia nella pratica che nelle prove di prova. Gli osservatori completeranno 20 prove pratiche e 200 prove di prova in ciascun blocco. Subito dopo il completamento di ogni blocco, agli osservatori verrà mostrato un riepilogo delle loro prestazioni. Dopo che il Secondo Lettore si sarà bloccato, verrà anche chiesto loro di rispondere a tre domande soggettive sull'utilità dell'IA (vedi "File" per maggiori dettagli).

3. Analisi. Specifica esattamente quali analisi condurrai per esaminare la domanda/ipotesi principale.

   Innanzitutto, riassumiamo il numero di hit, veri negativi, miss e falsi allarmi in ciascun blocco. Da questo, possiamo calcolare l'accuratezza, il valore predittivo positivo, la sensibilità (d-prime) e il criterio per ciascun osservatore in ciascuna delle diverse condizioni. Date le misure di performance a 4 livelli di prevalenza, possiamo stimare la curva ROC (pHit x pFA) e la funzione zROC (zHit x zFA). Verificheremo l'ipotesi che la pendenza dello zROC sia uguale a 1 (la conseguenza di un compito 2AFC a varianza uguale).

4. Altre analisi. Qualche analisi secondaria?

   Cercheremo di vedere se le opinioni soggettive degli osservatori sull'IA sono correlate con variabili come il d-prime empirico o il valore predittivo positivo.

5. Misura di prova. Quante osservazioni verranno raccolte o cosa determinerà la dimensione del campione? Non c'è bisogno di giustificare la decisione, ma sii preciso su come verrà determinato esattamente il numero.

   Testeremo 12 osservatori. Ciò è coerente con le dimensioni del campione degli esperimenti precedenti.

6. Altro. C'è qualcos'altro che vorresti pre-registrare? (ad esempio, esclusioni di dati, variabili raccolte a scopo esplorativo, analisi insolite pianificate?)

N / A