Argus II:n käyttäjien havainnollinen kokemus

Verkkokalvon dystrofiat, kuten retinitis pigmentosa ja silmänpohjan rappeuma, johtavat syvään näön heikkenemiseen yli 10 miljoonalla ihmisellä maailmanlaajuisesti. Yksi hoitotekniikka, visuaaliset neuroproteesit, pyrkii palauttamaan näön stimuloimalla sähköisesti elossa olevia verkkokalvon tai varhaisen näkökuoren soluja, analogisesti sisäkorvaistutteiden kanssa. Kaksi laitetta on hyväksytty kaupalliseen käyttöön, ja muiden on määrä aloittaa kliiniset tutkimukset muutaman vuoden sisällä. Nykyiset laitteet kärsivät kuitenkin merkittävistä havaintovääristymistä johtuen implantin elektroniikan ja taustalla olevan neurofysiologian välisistä vuorovaikutuksista. Täällä tutkijat yhdistävät ihmisen psykofysiikan, laskennallisen mallinnuksen, virtuaalitodellisuuden (VR) ja koneoppimisen (ML) kehittääkseen ja validoidakseen uusia stimulaatioprotokollia näköproteesipotilaille, jotka vähentävät havaintohäiriöitä ja parantavat siten neuroproteesien tehokkuutta.

Tavoite 1: Optimoi stimulaatioprotokollat ​​käyttämällä psykofyysisesti validoitua fosfeenimallia.

Proteesivalmistajien tällä hetkellä käyttämät yksinkertaiset simulaatioprotokollat ​​eivät ota huomioon kliinisissä tutkimuksissa raportoituja havaintovääristymiä. Sitä vastoin psykofyysiseen dataan perustuva laskennallinen malli voi paremmin ennustaa Argus II:n (Second Sight) -käyttäjien havaintovääristymiä.

1. Tutkijat validoivat laskennallisen mallin psykofyysisesti stimuloimalla mielivaltaisia ​​yksittäisten, parillisten ja useiden elektrodien yhdistelmiä. Mallia testataan Argus II -potilailla, ja heidän suorituskykyään verrataan "virtuaalipotilaiden" näkevien koehenkilöiden suorituskykyyn, jotka katselevat mallin tuottamia havaintoja.
2. Mallin luomien opetussarjojen avulla tutkijat kouluttavat syvän neuroverkon oppimaan mallin likimääräisen käänteisen muunnoksen, jota voidaan käyttää tunnistamaan stimulaatioprotokolla, joka minimoi havainnointivääristymiä suunnatuissa ritiloissa ja liikkuvissa tankoissa. Tämän jälkeen tutkijat testaavat, parantaako tämä Argus II:n ja virtuaalipotilaiden suorituskykyä suuntautumisen ja liikesuunnan tunnistustehtävässä.

Tavoite 2: Kehittää parannettu malli sisällyttämällä siihen sähköfysiologisia tietoja, jotka voivat edelleen optimoida stimulaatioprotokollia.

Tavoitteessa 1 kehitetty malli perustui psykofyysiseen dataan. Kuitenkin edellä kuvattuja vääristymiä on havaittu myös in vitro. Tässä tarkoituksessa tutkijat kehittävät parannetun mallin sen tutkimiseksi, kuinka spatiotemporaalinen hermosoludynamiikka vaikuttaa proteesin tehokkuuteen. Tämä laajentaa hakutilaa, josta optimoituja protokollia voidaan etsiä. Tutkijat:

1. Sisällytä tärkeimmät fysiologiset havainnot kirjallisuudesta yllä kuvattuun malliin vaihe vaiheelta. Jokaisen vaiheen jälkeen mitataan näiden muutosten vaikutus mallin kykyyn ennustaa psykofyysisiä tietoja.
2. Käytä syvää hermoverkkoa oppiaksesi tämän monimutkaisemman, parannetun mallin likimääräisen käänteisen muunnoksen ja testaa, parantaako tämä Argus II:n ja virtuaalipotilaiden suorituskykyä suuntautumisen ja liikesuunnan tunnistustehtävässä.

Tavoite 3: Kehittää uusia stimulaatioprotokollia soveltamalla tietokonenäköä "virtuaalisiin potilaisiin" VR:ssä.

Tutkijat upottavat Aim 2:ssa kehitetyn mallin VR:ään luomaan "VR-virtuaalipotilaita", joiden avulla voidaan nopeasti ja tehokkaasti testata uusia stimulaatioprotokollia visuaalisesti tyypillisten yksilöiden avulla. Proteesit, jotka johtavat hyvään VR-suoritukseen, validoidaan todellisilla proteesipotilailla. Tutkijat:

1. Käytä VR-virtuaalipotilaita ennustamaan Argus II -käyttäjien systemaattisia virheitä kahden pisteen erottelutehtävässä.
2. Arvioi silmien liikkeiden vaikutusta käyttäytymiseen käyttämällä VR:n katseen riippuvaa näyttöä.
3. Arvioi tietokonenäön esikäsittelymenetelmien, kuten reunojen parantamisen, uudelleenkohdistamisen ja epäselvyyden poistamisen, potentiaalia parantaa näkemystä mittaamalla käyttäytymismittareita objektintunnistustehtävässä VR:ssä. Lupaavimpia tekniikoita testataan Argus II -potilailla.

Nämä kokeet on suunniteltu määrittämään verkkokalvoproteesipotilaiden havaintokokemukset ja noudattamaan tavanomaisia ​​käyttäytymistietojen keräämismenetelmiä. Potilaiden suorituskykyä verrataan normaalinäköisten kontrollihenkilöiden suorituskykyyn, kun he katselevat ärsykkeitä, jotka on manipuloitu vastaamaan proteesipotilaiden odotettua havaintokokemusta.

Tutkijat tuottavat visuaalisia havaintoja potilaista joko stimuloimalla suoraan elektrodeja (käyttämällä FDA:n hyväksymiä pulssijonoja) tai pyytämällä heitä katsomaan tietokoneen tai projektorin näyttöä ja käyttämällä tavallisia FDA:n hyväksymiä stimulaatioprotokollia (kuten heidän laitteissaan tavallisesti käytetään) tietokoneen tai projektorin näytön kuvan elektrodien pulssijonoihin. Kaikki stimulaatioprotokollat ​​ovat FDA:n hyväksymiä. Kontrollikohteet näkevät ärsykkeitä tietokoneen näytöltä tai virtuaalitodellisuusjärjestelmän (VR) kautta. Joissakin tapauksissa normaalinäön omaaville kontrollihenkilöille esitetyt ärsykkeet vääristyvät niin, että ne vastaavat proteesien omaavien koehenkilöiden havaintokokemusta.

Tavallinen stimulaatiomenetelmä on ketju silmälaseihin asennetusta kamerasta videoprosessointiyksikön (VPU) läpi, joka muuntaa videokuvan FDA:n hyväksymiksi sähköisiksi pulssijonoiksi.

Joskus kohteita testataan kameralla. Useammin tutkijat suorittavat "suorastimulaation" käyttämällä ulkoista tietokonetta määrittämään suoraan pulssijonot (esim. 1s 10 Hz katodinen pulssijono, jonka virran amplitudi on 100 mikroampeeria ja pulssin leveys 45 mikrosekuntia elektrodille 12). . Nämä suorat pulssijonot lähetetään sitten VPU:lle.

Tämä VPU sisältää ohjelmiston, joka varmistaa, että nämä pulssijonot ovat FDA:n hyväksymien turvallisuusrajojen sisällä. Näiden pulssien on esimerkiksi oltava varaustasapainotettuja (sama anodinen/katodinen varaus) ja niiden varaustiheyden on oltava alle 35 mikrokulonia/cm2. Joskus kohteita testataan kameralla. Joskus tutkijat lähettävät pulsseja suoraan VPU:lle määrittämällä suoraan pulssijonoja (esim. lähetä 1 s 10 Hz katodinen pulssijono virran amplitudilla 100 mikroampeeria ja pulssin leveydellä 45 mikroampeeria elektrodiin 12) Second Sightin FDA:n hyväksymän ohjelmistopaketin kautta (mukaan lukien niiden kliininen sovitusjärjestelmä). Ohjelmistossa on kaksi vaihetta, jotka varmistavat, että näiden pulssijonojen on pysyttävä FDA:n rajoissa: (1) jokainen ohjelmistopaketin sovellus perustuu FDA:n hyväksymään sovellusohjelmointirajapintaan (API), joka suorittaa tarkistuksia ja "erehtyy sulavasti". jos määritetyt pulssijonot ovat hyväksyttävien rajojen ulkopuolella, (2) VPU:n laiteohjelmisto on ohjelmoitu toimittamaan vain FDA:n hyväksymiä pulsseja.

Pulssijonon taajuus ja pulssijonon virran amplitudi eivät itse asiassa ole kriittinen turvallisuuskysymys, koska elektroninen/neuraalinen rajapinta kestää erittäin korkeita stimulaationopeuksia ja korkeita virtatasoja.

Korkeataajuiset pulssijonot tai suuren amplitudin pulssijonot voivat kuitenkin aiheuttaa epämukavuutta potilaissa (vastaavasti pimeästä elokuvateatterista auringonvaloon siirtymiseen), koska ne aiheuttavat laajamittaista hermosolujen laukaisua. Tutkijat keskittyvät tavallisesti pulssisarjan taajuuksiin/amplitudeihin, jotka ovat normaalilla alueella, jota potilas käyttää laitettaan käyttäessään.

Jos tutkijat käyttävät parametreja, joiden voidaan olettaa tuottavan voimakkaamman hermovasteen (ja voivat siksi aiheuttaa epämukavuutta), he esittelevät ne aina vaiheittain (esim. asteittain nostamalla amplitudia) tarkistaen samalla, että tunne ei ole "epämiellyttävän kirkas", ja ne vähentävät välittömästi stimulaation voimakkuutta, jos potilaat ilmoittavat, että tunne lähestyy epämukavuutta. PI:llä on kokemusta tästä lähestymistavasta, ja hän kouluttaa koko henkilöstön näihin protokolliin.

Vastauksena näytössä olevaan stimulaatioon/kuvaan koehenkilöitä pyydetään tekemään käyttäytymisarvioita. Esimerkkejä ovat ärsykkeen havaitseminen ("näitkö valon tuossa kokeessa"), koon ilmoittaminen piirtämällä kosketusnäytölle, muodon ilmoittaminen valitsemalla samanmuotoinen tuntoelin tai näytetyn kirjaimen tunnistaminen. Tutkijat käyttävät standardiprotokollia käyttäytymistietojen keräämiseen. Potilas joko käyttää suullista raporttia, piirtää muotoja kosketusnäytölle tai käyttää tietokoneeseen kiinnitettyä näppäimistöä tai näppäimistöä raportoidakseen ärsykkeistä. Sekä potilaan vaste että reaktioaika tallennetaan.

Mikään näistä ärsykkeistä ei aiheuta tunnereaktioita tai ole millään tavalla vastenmielinen.

Joissain tapauksissa tutkijat keräävät myös koehenkilöiden silmien asennon mittaustietoja. Tämä on ei-invasiivinen toimenpide, joka suoritetaan käyttämällä tavallisia katseenseurantalaitteita infrapunakameran kautta, joka seuraa koehenkilön pupillien sijaintia. Vain mittaukset, kuten silmien asento tai silmänräpäykset, tallennetaan, joten nämä tiedot eivät sisällä tunnistettavia tietoja.

Potilaat istuvat mukavassa tuolissa noin 100 cm:n etäisyydelle joko tietokoneen näytöstä tai taustaprojektiosta, jolle kuva heijastetaan videoprojektorilla. Potilaan leuka lepää leukatuella estääkseen pään liikkeet. Kuuloärsykkeitä voidaan käyttää osoittamaan kokeiden/vastejakson alkamista. Nämä äänimerkit ovat miellyttävällä äänenvoimakkuudella.

Potilaita rohkaistaan ​​pitämään taukoja niin usein kuin tarvitaan (he voivat poistua testihuoneesta). Tutkijat käyttävät erilaisia ​​kokeellisia tekniikoita, mukaan lukien: (1) Sama-erilainen - esim. kohteille näytetään kaksi havaintoa ja heiltä kysytään, ovatko ne samoja vai erilaisia. (2) Säätötapa - esim. koehenkilöitä pyydetään säätämään näytön/stimulaation voimakkuutta, kunnes havainto on tuskin näkyvissä, (3) 2-vaihtoehto pakotettu valinta - esim. potilaille esitetään kaksi ärsykettä ja kysytään kumpi kahdesta ärsykkeestä on kirkkaampi (4) Tunnistaminen – potilaita pyydetään tunnistamaan, mikä kirjain esitettiin.

Joissakin tapauksissa tutkijat mittaavat tarkkuuden lisäksi myös parannusta käytännössä toistamalla saman tehtävän useissa istunnoissa (enintään 5 istuntoa, joista jokainen suoritetaan eri testauspäivinä).