Projekt 3 Příklad: Human-AI Collaboration Tester (HAICT) Exp. 7

Tento text je textem předběžné registrace pro experiment HAICT 7, jak je popsán v rámci Open Science Framework. https://osf.io/hngu4/

POZNÁMKA: Tato studie je reprezentativní pro studie provedené v rámci projektu 3 tohoto grantu. Ve svazku experimentů reprezentovaném Projektem 3 je několik experimentů, ale není možné zaregistrovat svazek studií na CT.gov.

POZNÁMKA: Vzhledem k tomu, že komentář se zájmenem je poradní, necháme ho prozatím.

Human-AI Collaboration Tester (HAICT) Exp. 7 (lehce upraveno z OSF)

1. Sběr dat. Byla již pro tuto studii shromážděna nějaká data? (Ano ne)

   Ano

2. Hypotéza. Jaká je hlavní otázka nebo hypotéza, která je v této studii testována?

Pozadí: V různých vyhledávacích experimentech, základních i klinických, byla data v souladu se situací, kdy je variabilita signálu (nebo cíle) větší než variabilita šumu (distraktory). Klasickým znakem toho je funkce zROC se sklonem < 1 - typicky kolem 0,6. Směrnice 1,0 je ukazatelem úlohy 2AFC se stejnou variací. U úlohy HAICT, kterou jsme testovali, bychom očekávali stejnou variabilitu, ale myslíme si, že by stálo za to ji zkontrolovat, takže budeme systematicky měnit prevalenci, což posune kritérium. To vynese ROC křivku, kterou můžeme prozkoumat.

Budeme také testovat faux-AI druhého čtenáře, abychom zjistili, zda nízká prevalence druhého čtenáře zhoršuje.

• (H1): Očekáváme, že zopakujeme zjištění, že lidská kritéria se s klesající prevalencí stávají konzervativnějšími.
• (H2): Předpovídáme, že sklon výsledného zROC bude 1,0.

• (H3): Předpokládáme, že nízká prevalence způsobí, že AI druhého čtenáře bude méně efektivní, protože pozitivní prediktivní hodnota jejích komentářů bude nízká.

  1. Závislá proměnná. Popište klíčové závislé proměnné a specifikujte, jak budou měřeny.

     Hlavními závislými proměnnými, které nás zajímají, jsou přesnost (a derivace přesnosti detekce signálu, d' ac), reakční doba a subjektivní hodnocení v průzkumu po každém bloku.

  2. Podmínky. Kolik a za jakých podmínek bude účastníkům přiděleno?

Tato série experimentů zkoumá, jak může změna vstupu ze simulované umělé inteligence ovlivnit rozhodnutí učiněná lidskými pozorovateli ve dvou alternativních úkolech nucené volby (jako je rozhodnutí odvolat ženu k dalšímu vyšetření v mamografii). Vyvinuli jsme paradigma zvané Human-AI Collaboration Tester (HAICT), které umožňuje efektivní testování interakcí mezi člověkem a simulovanou AI.

Úkolem pozorovatelů za všech podmínek je rozhodnout 2AFC o tom, zda je podnět „špatný“ nebo „není špatný“. Abychom použili jazyk zhruba napodobující lékařskou diagnózu, každý podnět se nazývá „případ“. Pozorovatelé jsou požádáni, aby učinili rozhodnutí 2AFC o polích barevných tvarů. Rozhodnutí se provádí na základě převládající barvy pouzdra. Počet prvků každé barvy se získá z jednoho ze dvou normálních rozdělení, jedno pro pozitivní (špatné) podněty a druhé pro negativní (ne špatné) podněty.

Výsledky předchozích experimentů HAICT (3 a 4) ukázaly, že lidská výkonnost ve stavu druhého čtenáře významně klesá při nízké prevalenci. Výkon ve stavu druhého čtenáře byl lepší než základní stav, kdy prevalence špatných případů byla 50 %, ale byl výrazně horší než výchozí stav, kdy prevalence byla pouze 10 %. V tomto experimentu manipulujeme s prevalencí „špatných“ případů v podmínkách druhého čtenáře a základního stavu. Budou testovány čtyři různé míry prevalence – 10 %, 33 %, 67 % a 90 %. Pozorovatelé dokončí 8 bloků (2 pravidla AI x 4 míry prevalence) a pořadí bloků je náhodné.

Pravidla AI k testování:

1. Základní linie – Žádný vstup AI. Observer klasifikuje každý případ jako „špatný“ nebo „ne“ špatný sám o sobě.

2. Druhý čtenář – pozorovatel činí prvotní rozhodnutí o každém případu. AI tiše klasifikuje podněty pomocí konzervativního kritéria (c = 0,5). Logika konzervativního kritéria spočívá v tom, že druhý čtenář se používá k omezení falešně pozitivních odpovědí, a proto je zamýšlen ke zpochybňování pozitivních lidských odpovědí, které mohou být okrajové. Pokud se pozorovatel a AI neshodnou, pak AI informuje lidského pozorovatele. Pozorovatel pak dostane šanci buď změnit svou odpověď, nebo se řídit svým prvním názorem.

   Stejně jako v experimentech 1-5 je AI d-prime pevně nastaveno na 2,2. Je známo, že zpětná vazba zvyšuje efekt prevalence, takže zpětná vazba bude poskytnuta jak v praxi, tak v testech. Pozorovatelé absolvují 20 cvičných zkoušek a 200 zkušebních zkoušek v každém bloku. Ihned po dokončení každého bloku se pozorovatelům zobrazí souhrn jejich výkonu. Po blocích druhého čtenáře budou také požádáni, aby odpověděli na tři subjektivní otázky o užitečnosti AI (další podrobnosti viz „Soubory“).

3. Analýzy. Uveďte přesně, které analýzy budete provádět, abyste prozkoumali hlavní otázku/hypotézu.

   Nejprve shrneme počet shod, skutečných záporů, chyb a falešných poplachů v každém bloku. Z toho můžeme vypočítat přesnost, pozitivní prediktivní hodnotu, citlivost (d-prime) a kritérium pro každého pozorovatele za každé z různých podmínek. Vzhledem k měření výkonnosti na 4 úrovních prevalence můžeme odhadnout křivku ROC (pHit x pFA) a funkci zROC (zHit x zFA). Budeme testovat hypotézu, že směrnice zROC je rovna 1 (důsledek úlohy 2AFC se stejnou variací).

4. Více analýz. Nějaké sekundární analýzy?

   Podíváme se, zda subjektivní názory pozorovatelů na AI korelují s proměnnými, jako je empirický d-prime nebo pozitivní prediktivní hodnota.

5. Velikost vzorku. Kolik pozorování bude shromážděno nebo co určí velikost vzorku? Rozhodnutí není třeba zdůvodňovat, ale upřesněte, jak přesně bude číslo určeno.

   Vyzkoušíme 12 pozorovatelů. To je v souladu s velikostí vzorků z předchozích experimentů.

6. Jiný. Je ještě něco, co byste chtěli předběžně zaregistrovat? (např. vyloučení dat, proměnné shromážděné pro účely průzkumu, plánované neobvyklé analýzy?)

N/A