Projekti 3 Esimerkki: Human-AI Collaboration Tester (HAICT) Exp. 7

Tämä teksti on HAICT 7 -kokeen ennakkorekisteröinnin teksti Open Science Frameworkissa kuvatulla tavalla. https://osf.io/hngu4/

HUOMAA: Tämä tutkimus edustaa tämän apurahan hankkeessa 3 tehtyjä tutkimuksia. Projektin 3 edustamassa koepaketissa on useita kokeita, mutta tutkimusnippua ei ole mahdollista rekisteröidä CT.gov-sivustolle.

HUOMAA: Koska pronominikommentti on neuvoa-antava, jätämme sen toistaiseksi.

Human-AI Collaboration Tester (HAICT) Exp. 7 (kevyesti muokattu OSF:stä)

1. Tiedonkeruu. Onko tätä tutkimusta varten jo kerätty dataa? (Kyllä ei)

   Joo

2. Hypoteesi. Mikä on tärkein kysymys tai hypoteesi, jota testataan tässä tutkimuksessa?

Tausta: Useissa hakukokeissa, sekä perus- että kliinisissä, tiedot ovat olleet yhdenmukaisia ​​tilanteen kanssa, jossa signaalin (tai kohteen) vaihtelu on suurempi kuin kohinan (häiriötekijöiden) vaihtelu. Klassinen merkki tästä on zROC-funktio, jonka kaltevuus on < 1 - tyypillisesti noin 0,6. Kulmakerroin 1,0 osoittaa yhtäläisen varianssin 2AFC-tehtävän. Testaamallemme HAICT-tehtävälle odotamme samanlaista varianssia, mutta mielestämme se kannattaa tarkistaa, jotta vaihtelemme systemaattisesti levinneisyyttä, mikä muuttaa kriteeriä. Se pyyhkäisee pois ROC-käyrän, jonka voimme tutkia.

Testaamme myös Second Readerin faux-AI:tä määrittääksemme, huonontaako alhainen esiintyvyys Second Readerin toimintaa.

• (H1): Odotamme toistavamme havainnon, jonka mukaan ihmisten kriteerit muuttuvat konservatiivisemmiksi levinneisyyden pienentyessä.
• (H2): Ennustamme, että tuloksena olevan zROC:n kaltevuus on 1,0.

• (H3): Oletamme, että alhainen esiintyvyys tekee Second Reader AI:n tehottomaksi, koska sen kommenttien positiivinen ennustearvo on alhainen.

  1. Riippuva muuttuja. Kuvaile avaimesta riippuvat muuttujat ja määritä, miten ne mitataan.

     Tärkeimmät kiinnostavat riippuvat muuttujat ovat tarkkuus (ja tarkkuuden signaalin havaitsemisen derivaatat, d' ja c), reaktioaika ja subjektiiviset arvosanat jokaista lohkoa seuraavan kyselyn yhteydessä.

  2. ehdot. Kuinka moneen ja mihin ehtoihin osallistujat määrätään?

Tämä koesarja tutkii, kuinka simuloidun tekoälyn syötteen muuttaminen voi vaikuttaa ihmistarkkailijoiden päätöksiin kahden vaihtoehdon pakkovalintatehtävässä (kuten päätös kutsua nainen takaisin mammografian lisätutkimuksiin). Olemme kehittäneet paradigman nimeltä Human-AI Collaboration Tester (HAICT), joka mahdollistaa tehokkaan ihmisen ja simuloidun tekoälyn välisten vuorovaikutusten testaamisen.

Tarkkailijoiden tehtävänä kaikissa olosuhteissa on antaa 2AFC-päätös siitä, onko ärsyke "huono" vai "ei paha". Käyttääksemme kieltä, joka matkii karkeasti lääketieteellistä diagnoosia, jokaista ärsykettä kutsutaan "tapaukseksi". Tarkkailijoita pyydetään tekemään 2AFC-päätös värillisten muotojen ryhmistä. Päätös tehdään tapauksen vallitsevan värin perusteella. Kunkin värin elementtien lukumäärä on otettu yhdestä kahdesta normaalijakaumasta, toinen positiivisille (huoneille) ärsykkeille ja toinen negatiivisille (ei huonoille) ärsykkeille.

Aiempien HAICT-kokeiden tulokset (3 ja 4) osoittivat, että ihmisen suorituskyky toisen lukijan tilassa laskee merkittävästi alhaisella esiintyvyydestä. Suorituskyky toisen lukijan tilassa oli parempi kuin perustaso, kun huonojen tapausten esiintyvyys oli 50 %, mutta oli merkittävästi huonompi kuin lähtötaso, kun esiintyvyys oli vain 10 %. Tässä kokeessa manipuloimme "huonojen" tapausten esiintyvyyttä toisen lukijan ja perustilan olosuhteissa. Testataan neljää eri esiintyvyystasoa - 10 %, 33 %, 67 % ja 90 %. Tarkkailijat suorittavat 8 lohkoa (2 tekoälysääntöä x 4 esiintyvyysastetta), ja lohkojärjestys on satunnainen.

Testattavat tekoälysäännöt:

1. Perustaso - Ei AI-tuloa. Observer luokittelee jokaisen tapauksen "huonoksi" tai "ei" huonoksi.

2. Toinen lukija - Tarkkailija tekee alustavan päätöksen jokaisesta tapauksesta. Tekoäly luokittelee ärsykkeet hiljaa käyttämällä konservatiivista kriteeriä (c = 0,5). Konservatiivisen kriteerin logiikka on, että toista lukijaa käytetään vähentämään vääriä positiivisia vastauksia, joten se on tarkoitettu kyseenalaistamaan positiiviset ihmisen vastaukset, jotka saattavat olla marginaalisia. Jos tarkkailija ja tekoäly ovat eri mieltä, tekoäly ilmoittaa ihmistarkkailijalle. Tarkkailijalle annetaan sitten mahdollisuus joko muuttaa vastaustaan ​​tai hyväksyä ensimmäinen mielipide.

   Kuten kokeissa 1-5, AI d-prime on kiinteä 2.2. Palautteen tiedetään lisäävän levinneisyysvaikutusta, joten palautetta annetaan sekä harjoituksissa että kokeissa. Tarkkailijat suorittavat 20 harjoituskoetta ja 200 testikoetta kussakin lohkossa. Välittömästi kunkin lohkon päätyttyä tarkkailijoille näytetään yhteenveto suorituksestaan. Toisen lukijan lohkojen jälkeen heitä pyydetään myös vastaamaan kolmeen subjektiiviseen kysymykseen tekoälyn hyödyllisyydestä (katso lisätietoja "Tiedostot").

3. Analyysit. Määritä tarkalleen, mitkä analyysit aiot suorittaa pääkysymyksen/hypoteesin tutkimiseksi.

   Ensin teemme yhteenvedon osumien, todellisten negatiivisten, poikkeamien ja väärien hälytysten lukumäärästä kussakin lohkossa. Tästä voimme laskea tarkkuuden, positiivisen ennustusarvon, herkkyyden (d-prime) ja kriteerin kullekin tarkkailijalle kussakin eri olosuhteissa. Kun otetaan huomioon suorituskykymittaukset neljällä esiintyvyystasolla, voimme arvioida ROC-käyrän (pHit x pFA) ja zROC-funktion (zHit x zFA). Testataan hypoteesia, että zROC:n kaltevuus on yhtä suuri kuin 1 (yhtenäisen varianssin 2AFC-tehtävän seuraus).

4. Lisää analyyseja. Onko toissijaisia ​​analyyseja?

   Katsomme, korreloivatko tarkkailijoiden subjektiiviset mielipiteet tekoälystä muuttujien, kuten empiirisen d-alkuluvun tai positiivisen ennustusarvon, kanssa.

5. Otoskoko. Kuinka monta havaintoa kerätään tai mikä määrää otoskoon? Päätöstä ei tarvitse perustella, mutta kerro tarkasti, kuinka määrä määritetään.

   Testaamme 12 tarkkailijaa. Tämä on yhdenmukainen aikaisempien kokeiden otoskokojen kanssa.

6. Muut. Onko jotain muuta, johon haluaisit ennakkoilmoittautua? (esim. tietojen poissulkeminen, tutkimustarkoituksiin kerätyt muuttujat, suunniteltu epätavallinen analyysi?)

Ei käytössä