Die Wahrnehmungserfahrung von Argus II-Benutzern

Netzhautdystrophien wie Retinitis pigmentosa und Makuladegeneration führen bei mehr als 10 Millionen Menschen weltweit zu einer schweren Sehbehinderung. Eine Behandlungstechnologie, visuelle Neuroprothesen, zielt darauf ab, das Sehvermögen wiederherzustellen, indem überlebende Zellen in der Netzhaut oder im frühen visuellen Kortex elektrisch stimuliert werden, analog zu Cochlea-Implantaten. Zwei Geräte sind für den kommerziellen Einsatz zugelassen, andere sollen in den nächsten Jahren mit klinischen Studien beginnen. Aktuelle Geräte leiden jedoch aufgrund von Wechselwirkungen zwischen der Implantatelektronik und der zugrunde liegenden Neurophysiologie unter erheblichen Wahrnehmungsverzerrungen. Hier werden die Forscher menschliche Psychophysik, Computermodellierung, virtuelle Realität (VR) und maschinelles Lernen (ML) kombinieren, um neuartige Stimulationsprotokolle für Sehprothesenpatienten zu entwickeln und zu validieren, die Wahrnehmungsverzerrungen reduzieren und dadurch die Wirksamkeit von Neuroprothesen verbessern.

Ziel 1: Optimierung von Stimulationsprotokollen unter Verwendung eines psychophysisch validierten Phosphenmodells.

Die vereinfachten Simulationsprotokolle, die derzeit von Prothesenherstellern verwendet werden, berücksichtigen nicht die in klinischen Studien berichteten Wahrnehmungsverzerrungen. Im Gegensatz dazu kann ein auf psychophysischen Daten basierendes Rechenmodell die Wahrnehmungsverzerrungen von Argus II (Second Sight)-Benutzern besser vorhersagen.

1. Die Ermittler werden das Rechenmodell psychophysisch validieren, indem sie willkürliche Kombinationen von einzelnen, gepaarten und mehreren Elektroden stimulieren. Das Modell wird an Argus-II-Patienten getestet, und ihre Leistung wird mit der von "virtuellen Patienten"-sehenden Probanden verglichen, die die vom Modell erzeugten Wahrnehmungen betrachten.
2. Unter Verwendung der vom Modell generierten Trainingssätze werden die Forscher ein tiefes neuronales Netzwerk trainieren, um eine ungefähre inverse Transformation des Modells zu lernen, die verwendet werden kann, um das Stimulationsprotokoll zu identifizieren, das Wahrnehmungsverzerrungen für orientierte Gitter und bewegliche Balken minimiert. Die Forscher werden dann testen, ob dies die Leistung von Argus II und virtuellen Patienten in einer Orientierungsunterscheidungs- und Bewegungsrichtungsidentifikationsaufgabe verbessert.

Ziel 2: Entwicklung eines verbesserten Modells durch Einbeziehung elektrophysiologischer Daten, das Stimulationsprotokolle weiter optimieren kann.

Das in Ziel 1 entwickelte Modell basierte auf psychophysischen Daten. Die oben beschriebenen Verzerrungen wurden jedoch auch in vitro beobachtet. Zu diesem Zweck werden die Forscher ein verbessertes Modell entwickeln, um zu untersuchen, wie sich die räumlich-zeitliche neuronale Dynamik auf die prothetische Wirksamkeit auswirkt. Dies erweitert den Suchraum, innerhalb dessen nach optimierten Protokollen gesucht werden kann. Die Ermittler werden:

1. Integrieren Sie wichtige physiologische Beobachtungen aus der Literatur schrittweise in das oben beschriebene Modell. Nach jedem Schritt wird die Auswirkung dieser Änderungen auf die Fähigkeit des Modells, psychophysische Daten vorherzusagen, gemessen.
2. Verwenden Sie ein tiefes neuronales Netzwerk, um eine ungefähre inverse Transformation dieses komplexeren verbesserten Modells zu lernen, und testen Sie, ob dies die Leistung von Argus II und virtuellen Patienten in einer Aufgabe zur Orientierungsunterscheidung und Bewegungsrichtungserkennung verbessert.

Ziel 3: Entwicklung neuartiger Stimulationsprotokolle durch Anwendung von Computer Vision auf „virtuelle Patienten“ in VR.

Die Forscher werden das in Ziel 2 entwickelte Modell in VR einbetten, um „virtuelle VR-Patienten“ zu generieren, um schnell und effizient neuartige Stimulationsprotokolle mit visuell typischen Personen zu testen. Protokolle, die zu einer guten VR-Leistung führen, werden an echten Prothesenpatienten validiert. Die Ermittler werden:

1. Verwenden Sie virtuelle VR-Patienten, um systematische Fehler von Argus II-Benutzern in einer Zwei-Punkte-Unterscheidungsaufgabe vorherzusagen.
2. Bewerten Sie die Auswirkungen von Augenbewegungen auf die Verhaltensleistung mithilfe einer blickabhängigen Anzeige in VR.
3. Bewerten Sie das Potenzial von Computer-Vision-Vorverarbeitungsmethoden wie Edge Enhancement, Retargeting und Decluttering, um das Sehvermögen zu verbessern, indem Sie Verhaltensmetriken bei einer Objekterkennungsaufgabe in VR messen. Die vielversprechendsten Techniken werden an Argus-II-Patienten getestet.

Diese Experimente sollen die Wahrnehmungserfahrungen von Netzhautprothesenpatienten quantifizieren und Standardverfahren zum Sammeln von Verhaltensdaten folgen. Die Leistung bei Patienten wird mit der Leistung bei normalsichtigen Kontrollpersonen verglichen, die Stimuli betrachten, die so manipuliert werden, dass sie der erwarteten Wahrnehmungserfahrung von Prothesenpatienten entsprechen.

Die Ermittler werden visuelle Wahrnehmungen bei Patienten erzeugen, indem sie entweder Elektroden direkt stimulieren (unter Verwendung von FDA-zugelassenen Impulsfolgen) oder indem sie sie bitten, einen Computer- oder Projektorbildschirm zu sehen und Standard-FDA-zugelassene Stimulationsprotokolle (wie sie standardmäßig für ihre Geräte verwendet werden) zu verwenden, um die zu konvertieren Computer- oder Projektorbild in Impulsfolgen an ihren Elektroden umwandeln. Alle Stimulationsprotokolle sind von der FDA zugelassen. Kontrollsubjekte sehen Stimuli auf einem Computermonitor oder über ein Virtual-Reality-System (VR). In einigen Fällen werden die Stimuli, die Kontrollpersonen mit normalem Sehvermögen dargeboten werden, verzerrt, um der Wahrnehmungserfahrung von Personen mit Prothesen zu entsprechen.

Die normale Stimulationsmethode ist eine Kette von einer an einer Brille angebrachten Kamera durch eine Videoverarbeitungseinheit (VPU), die das Videobild in von der FDA zugelassene elektronische Impulsfolgen umwandelt.

Manchmal werden Probanden mit der Kamera getestet. Häufiger führen die Ermittler eine „direkte Stimulation“ durch, indem sie einen externen Computer verwenden, um Impulsfolgen direkt zu spezifizieren (z. B. eine kathodische Impulsfolge von 1 s, 10 Hz, mit einer Stromamplitude von 100 Mikroampere und einer Impulsbreite von 45 Mikrosekunden an Elektrode 12). . Diese direkten Impulsfolgen werden dann an die VPU gesendet.

Diese VPU enthält Software, die sicherstellt, dass diese Impulsfolgen innerhalb der von der FDA zugelassenen Sicherheitsgrenzen liegen. Beispielsweise müssen diese Impulse ladungsausgeglichen sein (gleiche anodische/kathodische Ladung) und eine Ladungsdichte unter 35 MikroCoulomb/cm2 haben. Manchmal werden Probanden mit der Kamera getestet. Manchmal senden die Ermittler Impulse direkt an die VPU, indem sie Impulsfolgen direkt angeben (z. Senden einer kathodischen Impulsfolge von 1 s 10 Hz mit einer Stromamplitude von 100 Mikroampere und einer Impulsbreite von 45 Mikroampere an Elektrode 12) über die von der FDA zugelassene Software-Suite von Second Sight (einschließlich ihres Clinical Fitting System). Es gibt zwei Phasen in der Software, die sicherstellen, dass diese Impulsfolgen innerhalb der FDA-Grenzwerte bleiben müssen: (1) jede App in der Software-Suite basiert auf einer von der FDA zugelassenen Anwendungsprogrammierschnittstelle (API), die Prüfungen durchführt und „anmutig Fehler“ macht. wenn die angegebenen Impulsfolgen außerhalb akzeptabler Grenzen liegen, (2) ist die Firmware der VPU so programmiert, dass sie nur von der FDA zugelassene Impulse liefert.

Die Frequenz des Impulszugs und die Stromamplitude des Impulszugs sind eigentlich kein kritischer Sicherheitsaspekt, da die elektronisch/neuronale Schnittstelle gegenüber extrem hohen Stimulationsraten und hohen Strompegeln robust ist.

Hochfrequente Impulsfolgen oder Impulsfolgen mit hoher Amplitude können jedoch bei Patienten Unbehagen hervorrufen (analog zum Übergang von einem dunklen Kino ins Sonnenlicht), da sie ein großflächiges neuronales Feuern hervorrufen. Die Untersucher konzentrieren sich normalerweise auf Impulsfolgefrequenzen/-amplituden, die im normalen Bereich liegen, der vom Patienten verwendet wird, wenn er sein Gerät verwendet.

Wenn die Ermittler Parameter verwenden, von denen erwartet werden kann, dass sie eine intensivere neuronale Reaktion hervorrufen (und daher das Potenzial haben, Unbehagen zu verursachen), werden sie sie immer in einer schrittweisen Funktion einführen (z. allmählich zunehmende Amplitude), während sie prüfen, ob die Empfindung nicht „unangenehm hell“ ist, und sie werden die Intensität der Stimulation sofort verringern, wenn Patienten berichten, dass sich die Empfindung einem Unbehagen nähert. Der PI hat Erfahrung mit diesem Ansatz und wird alle Mitarbeiter in diesen Protokollen schulen.

Als Reaktion auf die Stimulation/das Bild auf dem Monitor werden die Probanden gebeten, Verhaltensbeurteilungen vorzunehmen. Beispiele sind das Erkennen eines Stimulus („Haben Sie bei diesem Versuch ein Licht gesehen“), das Melden der Größe durch Zeichnen auf einem Touchscreen, das Melden der Form durch Auswählen eines taktilen Objekts ähnlicher Form oder das Identifizieren, welcher Buchstabe präsentiert wurde. Die Ermittler verwenden Standardprotokolle zum Sammeln von Verhaltensdaten. Der Patient verwendet entweder einen mündlichen Bericht, zeichnet Formen auf einem Touchscreen oder verwendet die an einen Computer angeschlossene Tastatur oder Tastatur, um über die Stimuli zu berichten. Sowohl die Reaktion des Patienten als auch die Reaktionszeit werden aufgezeichnet.

Keiner dieser Stimuli wird emotionale Reaktionen hervorrufen oder in irgendeiner Weise aversiv sein.

In einigen Fällen sammeln die Ermittler auch Daten zur Messung der Augenposition der Probanden. Dies ist ein nicht-invasives Verfahren, das unter Verwendung einer standardmäßigen Eye-Tracking-Ausrüstung über eine Infrarotkamera durchgeführt wird, die die Position der Pupille des Probanden verfolgt. Es werden nur Messungen wie Augenposition oder Augenzwinkern aufgezeichnet, sodass diese Daten keine identifizierbaren Informationen enthalten.

Die Patienten sitzen auf einem bequemen Stuhl etwa 100 cm von einem Computermonitor oder einer Rückprojektionsleinwand entfernt, auf die ein Bild mit einem Videoprojektor projiziert wird. Das Kinn des Patienten ruht auf einer Kinnstütze, um Kopfbewegungen zu verhindern. Hörreize können verwendet werden, um den Beginn der Versuchs-/Reaktionsperiode anzukündigen. Diese auditiven Hinweise haben eine angenehme Lautstärke.

Die Patienten werden ermutigt, so oft wie nötig Pausen einzulegen (sie können den Testraum verlassen). Die Ermittler werden verschiedene experimentelle Techniken anwenden, darunter: (1) Gleich-Unterschiedlich – z. Den Probanden werden zwei Wahrnehmungen gezeigt und sie werden gefragt, ob sie gleich oder unterschiedlich sind. (2) Anpassungsverfahren – z. Versuchspersonen werden gebeten, eine Anzeige-/Stimulationsintensität anzupassen, bis eine Wahrnehmung kaum noch sichtbar ist, (3) 2-Alternativ-erzwungene Wahl – z. Den Patienten werden zwei Stimuli präsentiert und gefragt, welcher der beiden Stimuli heller ist (4) Identifikation – Die Patienten werden gebeten, zu identifizieren, welcher Buchstabe präsentiert wurde.

In einigen Fällen messen die Ermittler nicht nur die Genauigkeit, sondern auch die Verbesserung durch Übung, indem sie dieselbe Aufgabe über mehrere Sitzungen hinweg wiederholen (bis zu 5 Sitzungen, die jeweils an verschiedenen Testtagen durchgeführt werden).