Vision artificielle basée sur l'IA pour les prothèses visuelles

Les enquêteurs réaliseront des études expérimentales de base impliquant des humains (BESH) conçues pour quantifier les expériences perceptuelles des patients porteurs de prothèses rétiniennes et corticales. Ces expériences suivront des procédures standard de collecte de données comportementales et impliqueront des tâches de perception simples (par exemple, détection de signal, reconnaissance d'objets) et des tâches comportementales (par exemple, marcher vers un objectif).

Les enquêteurs produiront des perceptions visuelles chez les patients CORTIVIS et Argus II soit en stimulant directement des électrodes (en utilisant des trains d'impulsions approuvés par la FDA), soit en leur demandant de visualiser un écran d'ordinateur ou de projecteur et en utilisant des protocoles de stimulation standard (comme c'est le cas pour leurs appareils). ) pour convertir l'image de l'écran de l'ordinateur ou du projecteur en trains d'impulsions sur leurs électrodes. Informés par des données psychophysiques et des modèles informatiques, les enquêteurs testeront la capacité de différentes méthodes de codage de stimulus à prendre en charge des tâches perceptuelles et comportementales simples (par exemple, reconnaissance d'objets, navigation). Ces méthodes de codage peuvent inclure des méthodes de vision par ordinateur et d'apprentissage automatique pour mettre en évidence des objets importants dans la scène ou pour mettre en évidence des obstacles à proximité et peuvent être adaptées à chaque patient individuel. Les performances des patients avec prothèse seront comparées à la fois à travers les méthodes de codage des stimuli et aux performances chez des sujets témoins normalement voyants visualisant des stimuli manipulés pour correspondre à l'expérience perceptuelle attendue des patients avec prothèse.

La méthode normale de stimulation consiste en une chaîne allant d'une caméra montée sur des lunettes à une unité de traitement vidéo (VPU) qui convertit l'image vidéo en trains d'impulsions électroniques approuvés par la FDA. Parfois, les enquêteurs testent les sujets à l'aide de la caméra. Le plus souvent, les enquêteurs effectueront une « stimulation directe » lors de l'utilisation d'un ordinateur externe pour spécifier directement les trains d'impulsions (par exemple, pour Argus II, un train d'impulsions cathodiques de 1 s 10 Hz, avec une amplitude de courant de 100 microampères et une largeur d'impulsion de 45 microsecondes à l'électrode 12). Ces trains d'impulsions directes sont ensuite envoyés au VPU. Ce VPU contient un logiciel qui garantit que ces trains d'impulsions respectent les limites de sécurité approuvées par la FDA. Par exemple, ces impulsions doivent être à charge équilibrée (charge anodique/cathodique égale) et doivent avoir une densité de charge inférieure à 35 microCoulombs/cm2. Parfois, les enquêteurs testent les sujets à l'aide de la caméra. Parfois, les enquêteurs enverront directement des impulsions au VPU en spécifiant directement des trains d'impulsions (par exemple, envoyer un train d'impulsions cathodiques de 1 s à 10 Hz, avec une amplitude de courant de 100 microAmps et une largeur d'impulsion de 45 microAmps à l'électrode 12 d'un implant Argus II ).

Les paramètres importants pour la sécurité comprennent a) les impulsions doivent être équilibrées en charge (une impulsion anodique doit être suivie rapidement par une impulsion cathodique et vice versa sinon l'électrode se dissoudra), b) la densité de charge doit être limitée. La fréquence du train d'impulsions et l'amplitude du courant du train d'impulsions ne constituent pas réellement un problème de sécurité critique, puisque l'interface électronique/neurale est robuste à des taux de stimulation extrêmement élevés et à des niveaux de courant élevés. Cependant, les trains d'impulsions à haute fréquence ou les trains d'impulsions à haute amplitude peuvent produire un inconfort chez les patients (analogue au passage d'une salle de cinéma sombre à la lumière du soleil) en raison de l'induction d'une activation neuronale à grande échelle. Les enquêteurs se concentreront normalement sur les fréquences/amplitudes des trains d'impulsions qui se situent dans la plage normale utilisée par le patient lors de l'utilisation de son appareil. Si les enquêteurs utilisent des paramètres susceptibles de produire une réponse neuronale plus intense (et donc susceptibles de provoquer un inconfort), ils les présenteront toujours par étapes (par ex. augmentant progressivement l'amplitude) tout en vérifiant que la sensation n'est pas « inconfortablement lumineuse », et les enquêteurs diminueront immédiatement l'intensité de la stimulation si les patients signalent que la sensation s'approche de l'inconfort. Le chercheur principal a de l'expérience dans cette approche et formera tout le personnel sur ces protocoles.

En réponse à la stimulation/image sur le moniteur, les sujets seront invités soit à porter un jugement perceptuel, soit à effectuer une tâche comportementale simple. Les exemples incluent la détection d'un stimulus (« avez-vous vu une lumière lors de cet essai »), le rapport de la taille en dessinant sur un écran tactile ou la marche vers un emplacement cible. La réponse du patient et le temps de réaction seront enregistrés.

Aucun de ces stimuli ne suscitera de réponses émotionnelles ou ne sera aversif de quelque manière que ce soit.

Dans certains cas, les enquêteurs collecteront également des données mesurant la position des yeux des sujets. Il s'agit d'une procédure non invasive qui sera réalisée à l'aide d'un équipement de suivi oculaire standard via une caméra infrarouge qui suit la position de la pupille des sujets. Seules les mesures telles que la position des yeux ou les clignements des yeux seront enregistrées, ces données ne contiennent donc aucune information identifiable.

Les sujets sont encouragés à faire des pauses aussi souvent que nécessaire (ils peuvent quitter la salle d'examen). Les enquêteurs utilisent diverses techniques expérimentales, notamment : (1) Identique-différent - par ex. les sujets voient deux percepts et on leur demande s'ils sont identiques ou différents. (2) Méthode d'ajustement - par ex. les sujets sont invités à ajuster l'intensité d'un affichage/stimulation jusqu'à ce qu'un percept soit à peine visible, (3) 2 choix forcés alternatifs - par ex. les sujets se verront présenter deux stimuli et on leur demandera lequel des deux stimuli est le plus brillant (4) Identification - les sujets sont invités à identifier quelle lettre a été présentée.

Dans certains cas, en plus de mesurer la précision, les enquêteurs mesureront également l'amélioration avec la pratique en répétant la même tâche sur plusieurs séances (jusqu'à 5 séances, chacune effectuée lors de jours de test différents).