Visione artificiale basata sull'intelligenza artificiale per protesi visive

I ricercatori eseguiranno studi sperimentali di base che coinvolgono esseri umani (BESH) progettati per quantificare le esperienze percettive dei pazienti con protesi retinali e corticali. Questi esperimenti seguiranno procedure standard per la raccolta di dati comportamentali e coinvolgeranno semplici compiti percettivi (ad esempio, rilevamento del segnale, riconoscimento di oggetti) e compiti comportamentali (ad esempio, camminare verso un obiettivo).

I ricercatori produrranno percezioni visive nei pazienti CORTIVIS e Argus II stimolando direttamente gli elettrodi (utilizzando treni di impulsi approvati dalla FDA) o chiedendo loro di visualizzare lo schermo di un computer o di un proiettore e utilizzando protocolli di stimolazione standard (come viene normalmente utilizzato per i loro dispositivi ) per convertire l'immagine sullo schermo del computer o del proiettore in treni di impulsi sui loro elettrodi. Basandosi su dati psicofisici e modelli computazionali, i ricercatori metteranno alla prova la capacità di diversi metodi di codifica degli stimoli di supportare semplici compiti percettivi e comportamentali (ad esempio riconoscimento di oggetti, navigazione). Questi metodi di codifica possono includere metodi di visione artificiale e apprendimento automatico per evidenziare oggetti importanti nella scena o per evidenziare ostacoli vicini e possono essere adattati a ciascun singolo paziente. Le prestazioni dei pazienti con protesi saranno confrontate sia con i metodi di codifica degli stimoli sia con le prestazioni di soggetti di controllo normalmente vedenti che visualizzano stimoli manipolati per corrispondere all'esperienza percettiva attesa dei pazienti con protesi.

Il normale metodo di stimolazione è una catena da una telecamera montata su occhiali attraverso un'unità di elaborazione video (VPU) che converte l'immagine video in treni di impulsi elettronici approvati dalla FDA. A volte gli investigatori testeranno i soggetti utilizzando la fotocamera. Più spesso, i ricercatori effettueranno la "stimolazione diretta" quando utilizzano un computer esterno per specificare direttamente i treni di impulsi (ad esempio, per Argus II, un treno di impulsi catodici da 1 s 10 Hz, con un'ampiezza di corrente di 100 microAmp e una larghezza di impulso di 45 microsecondi all'elettrodo 12). Questi treni di impulsi diretti vengono quindi inviati alla VPU. Questa VPU contiene un software che garantisce che questi treni di impulsi rientrino nei limiti di sicurezza approvati dalla FDA. Ad esempio, questi impulsi devono avere una carica bilanciata (pari carica anodica/catodica) e devono avere una densità di carica inferiore a 35 microCoulomb/cm2. A volte gli investigatori testeranno i soggetti utilizzando la fotocamera. A volte gli investigatori invieranno direttamente gli impulsi alla VPU specificando direttamente i treni di impulsi (ad esempio, inviano un treno di impulsi catodici da 1 s 10 Hz, con un'ampiezza di corrente di 100 microAmp e una larghezza di impulso di 45 microAmp all'elettrodo 12 di un impianto Argus II ).

Parametri importanti per la sicurezza includono a) gli impulsi devono essere bilanciati in termini di carica (un impulso anodico deve essere seguito rapidamente da un impulso catodico e viceversa altrimenti l'elettrodo si dissolve), b) la densità di carica deve essere limitata. La frequenza del treno di impulsi e l'ampiezza corrente del treno di impulsi non rappresentano in realtà un problema critico per la sicurezza, poiché l'interfaccia elettronica/neurale è resistente a velocità di stimolazione estremamente elevate e livelli di corrente elevati. Tuttavia, i treni di impulsi ad alta frequenza o i treni di impulsi ad alta ampiezza possono produrre disagio nei pazienti (analoga al passaggio da un cinema buio alla luce del sole) a causa dell’induzione di scariche neuronali su larga scala. Gli investigatori si concentreranno normalmente sulle frequenze/ampiezze del treno di impulsi che rientrano nell'intervallo normale utilizzato dal paziente quando utilizza il proprio dispositivo. Se i ricercatori utilizzano parametri che potrebbero produrre una risposta neurale più intensa (e quindi hanno il potenziale per causare disagio), li introdurranno sempre in una funzione graduale (ad es. aumentando gradualmente l'ampiezza) controllando che la sensazione non sia "fastosamente intensa" e gli investigatori ridurranno immediatamente l'intensità della stimolazione se i pazienti riferiscono che la sensazione si avvicina al disagio. Il PI ha esperienza in questo approccio e formerà tutto il personale su questi protocolli.

In risposta alla stimolazione/immagine sul monitor, ai soggetti verrà chiesto di esprimere un giudizio percettivo o di eseguire un semplice compito comportamentale. Gli esempi includono il rilevamento di uno stimolo ("hai visto una luce in quella prova"), il reporting delle dimensioni disegnando su un touch screen o camminando verso una posizione target. Verranno registrati sia la risposta del paziente che il tempo di reazione.

Nessuno di questi stimoli susciterà risposte emotive o sarà in alcun modo avversivo.

In alcuni casi, gli investigatori raccoglieranno anche dati che misurano la posizione degli occhi dei soggetti. Si tratta di una procedura non invasiva che verrà eseguita utilizzando apparecchiature standard di tracciamento oculare tramite una telecamera a infrarossi che traccia la posizione della pupilla dei soggetti. Verranno registrate solo misurazioni come la posizione degli occhi o il battito delle palpebre, quindi questi dati non contengono informazioni identificabili.

I soggetti sono incoraggiati a fare delle pause tutte le volte che è necessario (potrebbero lasciare la sala delle prove). I ricercatori utilizzano varie tecniche sperimentali tra cui: (1) Stesso diverso - ad es. Ai soggetti vengono mostrati due percetti e viene loro chiesto se sono uguali o diversi. (2) Metodo di regolazione - ad es. ai soggetti viene chiesto di regolare l'intensità della visualizzazione/stimolazione fino a quando una percezione è appena visibile, (3) 2-scelta forzata alternativa - ad es. ai soggetti verranno presentati due stimoli e verrà chiesto quale dei due stimoli è più luminoso (4) Identificazione: ai soggetti viene chiesto di identificare quale lettera è stata presentata.

In alcuni casi, oltre a misurare l'accuratezza, gli investigatori misureranno anche il miglioramento con la pratica ripetendo lo stesso compito in più sessioni (fino a 5 sessioni, ciascuna svolta in giorni di test diversi).