AI-drevet kunstig syn for visuelle proteser

Etterforskerne vil utføre grunnleggende eksperimentelle studier som involverer mennesker (BESH) designet for å kvantifisere de perseptuelle opplevelsene til netthinne- og kortikale protesepasienter. Disse eksperimentene vil følge standardprosedyrer for innsamling av atferdsdata, og involvere enkle perseptuelle oppgaver (f.eks. signaldeteksjon, objektgjenkjenning) og atferdsoppgaver (f.eks. å gå mot et målsted).

Etterforskerne vil produsere visuelle oppfatninger hos CORTIVIS- og Argus II-pasienter enten ved å stimulere elektroder direkte (ved å bruke FDA-godkjente pulstog), eller ved å be dem om å se en datamaskin eller projektorskjerm og bruke standard stimuleringsprotokoller (som standard brukes for enhetene deres). ) for å konvertere datamaskin- eller projektorskjermbildet til pulstog på elektrodene deres. Informert av psykofysiske data og beregningsmodeller, vil etterforskerne teste evnen til ulike stimuluskodingsmetoder for å støtte enkle perseptuelle og atferdsmessige oppgaver (f.eks. objektgjenkjenning, navigasjon). Disse kodingsmetodene kan inkludere datasyn og maskinlæringsmetoder for å fremheve viktige objekter i scenen eller for å markere nærliggende hindringer og kan skreddersys til hver enkelt pasient. Ytelsen til protesepasienter vil bli sammenlignet både på tvers av stimuluskodingsmetoder og med ytelsen hos normalt seende kontrollpersoner som ser på stimuli manipulert for å matche den forventede perseptuelle opplevelsen til protesepasienter.

Den normale stimuleringsmetoden er en kjede fra et kamera montert på briller gjennom en videobehandlingsenhet (VPU) som konverterer videobildet til FDA-godkjente elektroniske pulstog. Noen ganger vil etterforskerne teste personer som bruker kameraet. Oftere vil etterforskerne utføre "direkte stimulering" når de bruker en ekstern datamaskin for å spesifisere pulstog direkte (f.eks. for Argus II, et 1s 10 Hz katodisk pulstog, med en strømamplitude på 100 mikroamplitude og en pulsbredde på 45 mikrosekunder til elektrode 12). Disse direkte pulstogene sendes deretter til VPU. Denne VPUen inneholder programvare som sørger for at disse pulstogene er innenfor FDA-godkjente sikkerhetsgrenser. For eksempel må disse pulsene være ladningsbalansert (lik anodisk/katodisk ladning) og må ha en ladningstetthet under 35 mikroCoulombs/cm2. Noen ganger vil etterforskerne teste personer som bruker kameraet. Noen ganger vil etterforskerne sende pulser direkte til VPU ved direkte å spesifisere pulstog (f.eks. sende et 1 s 10 Hz katodisk pulstog, med en strømamplitude på 100 mikroamplitude og en pulsbredde på 45 mikroampere til elektrode 12 av et Argus II-implantat ).

Viktige parametere for sikkerhet inkluderer a) pulser må være ladningsbalansert (en anodisk puls må følges raskt av en katodisk puls og omvendt ellers vil elektroden løses opp), b) ladningstetthet bør begrenses. Frekvensen til pulstoget og strømamplituden til pulstoget er faktisk ikke et kritisk sikkerhetsproblem, siden det elektroniske/nevrale grensesnittet er robust mot ekstremt høye stimuleringshastigheter og høye strømnivåer. Imidlertid kan høyfrekvente pulstog eller pulstog med høy amplitude produsere ubehag hos pasienter (analogt med å gå fra en mørk kinosal til sollys) på grunn av indusering av storskala nevronal avfyring. Etterforskerne vil normalt fokusere på pulstogfrekvenser/amplituder som er i normalområdet som pasienten bruker når de bruker enheten. Hvis etterforskerne bruker parametere som kan forventes å produsere en mer intens nevral respons (og derfor har potensial til å forårsake ubehag), vil de alltid introdusere dem i en trinnvis funksjon (f.eks. gradvis økende amplitude) mens de sjekker at følelsen ikke er "ubehagelig lys", og etterforskerne vil umiddelbart redusere stimuleringsintensiteten hvis pasienter rapporterer at følelsen nærmer seg ubehag. PI har erfaring med denne tilnærmingen og vil trene alt personell på disse protokollene.

Som svar på stimuleringen/bildet på monitoren, vil forsøkspersonene bli bedt om enten å foreta en perseptuell vurdering eller utføre en enkel atferdsoppgave. Eksempler inkluderer å oppdage en stimulus ('så du et lys på den prøven'), rapportering av størrelse ved å tegne på en berøringsskjerm eller gå til et målsted. Både pasientrespons og reaksjonstid vil bli registrert.

Ingen av disse stimuli vil fremkalle emosjonelle reaksjoner eller være aversive på noen måte.

I noen tilfeller vil etterforskerne også samle inn data som måler forsøkspersonens øyeposisjon. Dette er en ikke-invasiv prosedyre som vil bli utført ved bruk av standard øyesporingsutstyr via et infrarødt kamera som sporer posisjonen til motivets pupill. Kun målinger som øyeposisjon eller øyeblink vil bli registrert, så disse dataene inneholder ikke identifiserbar informasjon.

Forsøkspersonene oppfordres til å ta pauser så ofte som nødvendig (de kan forlate testrommet). Etterforskerne bruker ulike eksperimentelle teknikker inkludert: (1) Samme-forskjellig - f.eks. forsøkspersoner får vist to oppfatninger og blir spurt om de er like eller forskjellige. (2) Justeringsmetode - f.eks. forsøkspersoner blir bedt om å justere en visning/stimuleringsintensitet til en oppfatning knapt er synlig, (3) 2-alternativ-tvungen valg - f.eks. forsøkspersoner vil bli presentert for to stimuli og spurt om hvilken av de to stimuli som er lysere (4) Identifikasjon - forsøkspersoner blir bedt om å identifisere hvilken bokstav som ble presentert.

I noen tilfeller, i tillegg til å måle nøyaktighet, vil etterforskerne også måle forbedring med praksis ved å gjenta den samme oppgaven over flere økter (opptil 5 økter, hver utført på forskjellige testdager).