Tekoälyllä toimiva keinotekoinen visio visuaalisille proteeseille

Tutkijat suorittavat kokeellisia perustutkimuksia, joissa on mukana ihmisiä (BESH), joiden tarkoituksena on kvantifioida verkkokalvo- ja kortikaaliproteesipotilaiden havaintokokemukset. Näissä kokeissa noudatetaan tavanomaisia ​​menettelytapoja käyttäytymistietojen keräämiseksi, ja niihin sisältyy yksinkertaisia ​​havaintotehtäviä (esim. signaalin havaitseminen, kohteen tunnistus) ja käyttäytymistehtäviä (esim. käveleminen kohti tavoitepaikkaa).

Tutkijat tuottavat visuaalisia havaintoja CORTIVIS- ja Argus II -potilailla joko stimuloimalla elektrodeja suoraan (käyttämällä FDA:n hyväksymiä pulssijonoja) tai pyytämällä heitä katsomaan tietokoneen tai projektorin näyttöä ja käyttämällä tavallisia stimulaatioprotokollia (kuten heidän laitteissaan tavallisesti käytetään). ) muuntaakseen tietokoneen tai projektorin näytön kuvan elektrodien pulssijonoiksi. Psykofysikaalisen datan ja laskennallisten mallien pohjalta tutkijat testaavat erilaisten ärsykkeiden koodausmenetelmien kykyä tukea yksinkertaisia ​​havainnointi- ja käyttäytymistehtäviä (esim. kohteen tunnistus, navigointi). Näihin koodausmenetelmiin voi sisältyä tietokonenäkö- ja koneoppimismenetelmiä, joilla korostetaan tärkeitä kohteita näkymässä tai korostetaan lähellä olevia esteitä, ja ne voidaan räätälöidä kullekin yksittäiselle potilaalle. Proteesipotilaiden suorituskykyä verrataan sekä ärsykkeiden koodausmenetelmien välillä että suorituskykyyn normaalinäköisillä kontrollihenkilöillä, jotka katselevat ärsykkeitä, jotka on manipuloitu vastaamaan proteesipotilaiden odotettua havaintokokemusta.

Tavallinen stimulaatiomenetelmä on ketju silmälaseihin asennetusta kamerasta videoprosessointiyksikön (VPU) läpi, joka muuntaa videokuvan FDA:n hyväksymiksi sähköisiksi pulssijonoiksi. Joskus tutkijat testaavat kohteita kameran avulla. Useammin tutkijat suorittavat "suorastimulaation" käyttäessään ulkoista tietokonetta pulssijonojen suoraan määrittämiseen (esim. Argus II:lle 1s 10 Hz katodinen pulssijono, jonka virran amplitudi on 100 mikroampeeria ja pulssin leveys 45 mikrosekuntia elektrodiin 12). Nämä suorat pulssijonot lähetetään sitten VPU:lle. Tämä VPU sisältää ohjelmiston, joka varmistaa, että nämä pulssijonot ovat FDA:n hyväksymien turvallisuusrajojen sisällä. Näiden pulssien on esimerkiksi oltava varaustasapainotettuja (sama anodinen/katodinen varaus) ja niiden varaustiheyden on oltava alle 35 mikrokulonia/cm2. Joskus tutkijat testaavat kohteita kameran avulla. Joskus tutkijat lähettävät pulsseja suoraan VPU:lle määrittämällä suoraan pulssijonoja (esim. lähettää 1 s 10 Hz katodisen pulssijonon, jonka virran amplitudi on 100 mikroampeeria ja pulssin leveys 45 mikroampeeria Argus II -implanttien elektrodiin 12 ).

Tärkeitä turvallisuusparametreja ovat a) pulssien on oltava varaustasapainotettuja (anodista pulssia on seurattava nopeasti katodisella pulssilla ja päinvastoin tai elektrodi hajoaa), b) varaustiheyttä tulee rajoittaa. Pulssijonon taajuus ja pulssijonon virran amplitudi eivät itse asiassa ole kriittinen turvallisuuskysymys, koska elektroninen/neuraalinen rajapinta kestää erittäin korkeita stimulaationopeuksia ja korkeita virtatasoja. Korkeataajuiset pulssijonot tai suuren amplitudin pulssijonot voivat kuitenkin aiheuttaa epämukavuutta potilaissa (analogisesti pimeästä elokuvateatterista auringonvaloon siirtymiseen), koska ne aiheuttavat laajamittaista hermosolujen laukaisua. Tutkijat keskittyvät tavallisesti pulssisarjan taajuuksiin/amplitudeihin, jotka ovat normaalilla alueella, jota potilas käyttää laitettaan käyttäessään. Jos tutkijat käyttävät parametreja, joiden voidaan olettaa tuottavan voimakkaamman hermovasteen (ja siten voivat aiheuttaa epämukavuutta), he esittelevät ne aina vaiheittain (esim. asteittain nostamalla amplitudia) samalla tarkistaen, ettei tunne ole "epämiellyttävän kirkas", ja tutkijat vähentävät välittömästi stimulaation voimakkuutta, jos potilaat ilmoittavat, että tunne lähestyy epämukavuutta. PI:llä on kokemusta tästä lähestymistavasta, ja hän kouluttaa koko henkilöstön näihin protokolliin.

Vastauksena näytöllä näkyvään stimulaatioon/kuvaan koehenkilöitä pyydetään joko tekemään havaintoarvio tai suorittamaan yksinkertainen käyttäytymistehtävä. Esimerkkejä ovat ärsykkeen havaitseminen ("näitkö valon kyseisessä kokeessa"), koon ilmoittaminen piirtämällä kosketusnäytölle tai käveleminen kohdesijaintiin. Sekä potilaan vaste että reaktioaika tallennetaan.

Mikään näistä ärsykkeistä ei aiheuta tunnereaktioita tai ole millään tavalla vastenmielinen.

Joissain tapauksissa tutkijat keräävät myös koehenkilöiden silmien asennon mittaustietoja. Tämä on ei-invasiivinen toimenpide, joka suoritetaan käyttämällä tavallisia katseenseurantalaitteita infrapunakameran kautta, joka seuraa koehenkilön pupillien sijaintia. Vain mittaukset, kuten silmien asento tai silmänräpäykset, tallennetaan, joten nämä tiedot eivät sisällä tunnistettavia tietoja.

Koehenkilöitä rohkaistaan ​​pitämään taukoja niin usein kuin tarvitaan (he voivat poistua koehuoneesta). Tutkijat käyttävät erilaisia ​​kokeellisia tekniikoita, mukaan lukien: (1) Sama-erilainen - esim. kohteille näytetään kaksi havaintoa ja heiltä kysytään, ovatko ne samoja vai erilaisia. (2) Säätötapa - esim. koehenkilöitä pyydetään säätämään näytön/stimulaation voimakkuutta, kunnes havainto on tuskin näkyvissä, (3) 2-vaihtoehto pakotettu valinta - esim. koehenkilöille esitetään kaksi ärsykettä ja kysytään kumpi kahdesta ärsykkeestä on kirkkaampi (4) Tunnistaminen - koehenkilöitä pyydetään tunnistamaan, mikä kirjain esitettiin.

Joissakin tapauksissa tutkijat mittaavat tarkkuuden lisäksi myös parannusta käytännössä toistamalla saman tehtävän useissa istunnoissa (enintään 5 istuntoa, joista jokainen suoritetaan eri testauspäivinä).