3. projekt Példa: Human-AI Collaboration Tester (HAICT) Exp. 7

Ez a szöveg a HAICT 7 kísérletre való előzetes regisztráció szövege, a Nyílt Tudományos Keretrendszerben leírtak szerint. https://osf.io/hngu4/

MEGJEGYZÉS: Ez a tanulmány a támogatás 3. projektjében végzett tanulmányokat reprezentálja. A 3. projekt által képviselt kísérletek kötegében több kísérlet is található, de nem lehet tanulmányköteget regisztrálni a CT.gov oldalon.

MEGJEGYZÉS: Mivel a névmás megjegyzése tájékoztató jellegű, egyelőre hagyjuk.

Human-AI Collaboration Tester (HAICT) Exp. 7 (kis mértékben szerkesztve az OSF-ből)

1. Adatgyűjtés. Gyűjtöttek már adatokat ehhez a tanulmányhoz? (Igen nem)

   Igen

2. Hipotézis. Mi a fő kérdés, amit feltesznek, vagy mi a hipotézis, amelyet tesztelünk ebben a tanulmányban?

Háttér: Különféle keresési kísérletekben, mind az alapvető, mind a klinikai vizsgálatokban, az adatok összhangban vannak azzal a helyzettel, amikor a jel (vagy célpont) változékonysága nagyobb, mint a zaj (zavaró tényezők) változékonysága. Ennek klasszikus jele a zROC függvény, amelynek meredeksége < 1 - jellemzően 0,6 körül. Az 1,0 meredekség egyenlő varianciájú 2AFC feladatot jelez. Az általunk tesztelt HAICT feladatnál egyenlő szórást várnánk, de úgy gondoljuk, hogy érdemes lenne ellenőrizni, így szisztematikusan változtatjuk a prevalenciát, ami megváltoztatja a kritériumot. Ez kisöpör egy ROC-görbét, amelyet megvizsgálhatunk.

Tesztelni fogjuk a Second Reader faux-AI-t is annak megállapítására, hogy az alacsony előfordulás rontja-e a Second Readert.

• (H1): Arra számítunk, hogy megismételjük azt a megállapítást, hogy az emberi kritériumok konzervatívabbá válnak a prevalencia csökkenésével.
• (H2): Előrejelzésünk szerint a kapott zROC meredeksége 1,0 lesz.

• (H3): Feltételezzük, hogy az alacsony prevalencia miatt a Second Reader AI kevésbé lesz hatékony, mivel a megjegyzéseinek pozitív prediktív értéke alacsony lesz.

  1. Függő változó. Mutassa be a kulcstól függő változó(ka)t, és meghatározza, hogyan kell őket mérni.

     A fő érdeklődésre számot tartó függő változók a pontosság (és a pontosság jeldetektálási deriváltjai, d' és c), a reakcióidő és az egyes blokkokat követő felmérés szubjektív értékelései.

  2. Körülmények. Hány és milyen feltételekhez rendelik a résztvevőket?

Ez a kísérletsorozat azt vizsgálja, hogy a szimulált mesterséges intelligencia bemenetének megváltoztatása hogyan befolyásolhatja az emberi megfigyelők döntéseit egy két alternatív kényszerválasztási feladat során (például egy nő visszahívása további mammográfiás vizsgálatra). Kifejlesztettük a Human-AI Collaboration Tester (HAICT) nevű paradigmát, amely lehetővé teszi az ember és a szimulált AI közötti interakciók hatékony tesztelését.

A megfigyelők feladata minden körülmények között 2AFC döntést adni arról, hogy egy inger "rossz" vagy "nem rossz". Az orvosi diagnózist nagyjából utánzó nyelvhasználathoz minden ingert "esetnek" nevezünk. A megfigyelőket arra kérik, hogy hozzanak 2AFC döntést a színes formák tömbjeiről. A döntést az ügy uralkodó színe alapján hozzák meg. Az egyes színek elemeinek számát a két normál eloszlás egyikéből határozzuk meg, az egyik a pozitív (rossz) ingerekhez, a másik pedig a negatív (nem rossz) ingerekhez.

A korábbi HAICT-kísérletek eredményei (3. és 4.) azt mutatták, hogy a második olvasó állapotában az emberi teljesítmény alacsony prevalencia mellett jelentősen csökken. A második olvasó állapotában a teljesítmény jobb volt, mint a kiindulási érték, amikor a rossz esetek prevalenciája 50% volt, de szignifikánsan rosszabb volt, mint az alapérték, amikor a prevalencia csak 10%. Ebben a kísérletben manipuláljuk a "rossz" esetek előfordulását a második olvasó és a kiindulási feltételek között. Négy különböző előfordulási arányt vizsgálnak meg – 10%, 33%, 67% és 90%. A megfigyelők 8 blokkot teljesítenek (2 AI-szabály x 4 előfordulási arány), és a blokkok sorrendje véletlenszerű.

A tesztelendő AI szabályok:

1. Alapállapot - Nincs AI bemenet. Az Observer minden esetet önmagában "rossznak" vagy "nem" rossznak minősít.

2. Második olvasó – A megfigyelő minden esetről kezdeti döntést hoz. Az AI csendesen osztályozza az ingereket egy konzervatív kritérium alapján (c = 0,5). A konzervatív kritérium logikája az, hogy a második olvasót arra használják, hogy csökkentsék a hamis pozitív válaszokat, és ezért az a cél, hogy megkérdőjelezzék azokat a pozitív emberi válaszokat, amelyek esetleg marginálisak. Ha a megfigyelő és a mesterséges intelligencia nem ért egyet, akkor az MI tájékoztatja az emberi megfigyelőt. A megfigyelő ezután lehetőséget kap arra, hogy megváltoztassa a reakcióját, vagy elmondja első véleményét.

   Az 1-5. kísérletekhez hasonlóan az AI d-prime 2.2-re van rögzítve. A visszacsatolásról ismert, hogy növeli a prevalencia hatását, ezért visszajelzést adunk mind a gyakorlatban, mind a tesztkísérletekben. A megfigyelők 20 gyakorlati próbát és 200 tesztpróbát hajtanak végre minden blokkban. Közvetlenül minden blokk befejezése után a megfigyelők összefoglalót kapnak teljesítményükről. A Second Reader blokkok után három szubjektív kérdésre is választ kell adniuk az AI hasznosságáról (további részletekért lásd a "Fájlok" részt).

3. Elemzések. Pontosan határozza meg, hogy milyen elemzéseket fog végezni a fő kérdés/hipotézis megvizsgálására.

   Először is összefoglaljuk a találatok, a valódi negatívok, a kihagyások és a téves riasztások számát az egyes blokkokban. Ebből kiszámolhatjuk a pontosságot, a pozitív prediktív értéket, az érzékenységet (d-prime) és a kritériumot minden egyes megfigyelőre a különböző feltételek mellett. A 4 prevalenciaszintű teljesítmény mérései alapján megbecsülhetjük a ROC görbét (pHit x pFA) és a zROC függvényt (zHit x zFA). Megvizsgáljuk azt a hipotézist, hogy a zROC meredeksége egyenlő 1-gyel (egyenlő varianciájú 2AFC feladat következménye).

4. További elemzések. Valami másodlagos elemzés?

   Megvizsgáljuk, hogy a megfigyelők szubjektív véleménye az AI-ról korrelál-e olyan változókkal, mint az empirikus d-prím vagy a pozitív prediktív érték.

5. Minta nagysága. Hány megfigyelést gyűjtenek össze, vagy mi határozza meg a minta méretét? Nem kell megindokolni a döntést, de pontosítani kell, hogy pontosan hogyan határozzák meg a számot.

   12 megfigyelőt tesztelünk. Ez összhangban van a korábbi kísérletek mintanagyságával.

6. Egyéb. Van még valami, amire előre szeretne jelentkezni? (pl. adatkizárások, feltáró céllal gyűjtött változók, tervezett szokatlan elemzések?)

N/A