KI-gestütztes künstliches Sehen für visuelle Prothesen

Die Forscher werden grundlegende experimentelle Studien am Menschen (BESH) durchführen, um die Wahrnehmungserfahrungen von Patienten mit Netzhaut- und Kortikalisprothesen zu quantifizieren. Diese Experimente folgen Standardverfahren zum Sammeln von Verhaltensdaten und umfassen einfache Wahrnehmungsaufgaben (z. B. Signalerkennung, Objekterkennung) und Verhaltensaufgaben (z. B. Gehen auf einen Zielort zu).

Die Forscher werden visuelle Wahrnehmungen bei CORTIVIS- und Argus-II-Patienten erzeugen, indem sie entweder Elektroden direkt stimulieren (unter Verwendung von FDA-zugelassenen Impulsfolgen) oder indem sie sie bitten, einen Computer- oder Projektorbildschirm anzusehen und Standardstimulationsprotokolle zu verwenden (wie sie standardmäßig für ihre Geräte verwendet werden). ), um das Bild des Computer- oder Projektorbildschirms in Impulsfolgen auf ihren Elektroden umzuwandeln. Auf der Grundlage psychophysischer Daten und Rechenmodelle werden die Forscher die Fähigkeit verschiedener Reizkodierungsmethoden testen, einfache Wahrnehmungs- und Verhaltensaufgaben (z. B. Objekterkennung, Navigation) zu unterstützen. Diese Kodierungsmethoden können Computer-Vision- und maschinelle Lernmethoden umfassen, um wichtige Objekte in der Szene oder in der Nähe befindliche Hindernisse hervorzuheben, und können auf jeden einzelnen Patienten zugeschnitten werden. Die Leistung von Prothesenpatienten wird sowohl mit verschiedenen Reizkodierungsmethoden als auch mit der Leistung normalsichtiger Kontrollpersonen verglichen, die manipulierte Reize sehen, um dem erwarteten Wahrnehmungserlebnis von Prothesenpatienten zu entsprechen.

Die normale Stimulationsmethode ist eine Kette von einer an einer Brille montierten Kamera über eine Videoverarbeitungseinheit (VPU), die das Videobild in von der FDA zugelassene elektronische Impulsfolgen umwandelt. Manchmal testen die Ermittler Probanden mit der Kamera. Häufiger führen die Forscher eine „direkte Stimulation“ durch, wenn sie einen externen Computer verwenden, um Impulsfolgen direkt zu spezifizieren (z. B. für Argus II eine kathodische Impulsfolge von 1 Sekunde und 10 Hz mit einer Stromamplitude von 100 Mikroampere und einer Impulsbreite von 45). Mikrosekunden an Elektrode 12). Diese direkten Impulsfolgen werden dann an die VPU gesendet. Diese VPU enthält Software, die sicherstellt, dass diese Impulsfolgen innerhalb der von der FDA zugelassenen Sicherheitsgrenzen liegen. Beispielsweise müssen diese Impulse ladungsausgeglichen sein (gleiche anodische/kathodische Ladung) und eine Ladungsdichte unter 35 MikroCoulomb/cm2 aufweisen. Manchmal testen die Ermittler Probanden mit der Kamera. Manchmal senden die Forscher Impulse direkt an die VPU, indem sie Impulsfolgen direkt spezifizieren (z. B. senden sie einen 1 s langen kathodischen Impulszug mit 10 Hz, einer Stromamplitude von 100 Mikroampere und einer Impulsbreite von 45 Mikroampere an Elektrode 12 eines Argus II-Implantats). ).

Wichtige Parameter für die Sicherheit sind: a) Impulse müssen ladungsausgeglichen sein (auf einen anodischen Impuls muss schnell ein kathodischer Impuls folgen und umgekehrt, sonst löst sich die Elektrode auf), b) die Ladungsdichte sollte begrenzt sein. Die Frequenz der Impulsfolge und die Stromamplitude der Impulsfolge stellen eigentlich kein kritisches Sicherheitsproblem dar, da die elektronische/neuronale Schnittstelle gegenüber extrem hohen Stimulationsraten und hohen Stromstärken robust ist. Allerdings können hochfrequente Impulsfolgen oder Impulsfolgen mit hoher Amplitude bei Patienten Unbehagen hervorrufen (analog zum Wechsel von einem dunklen Kino ins Sonnenlicht), da sie ein großflächiges neuronales Feuern auslösen. Normalerweise konzentrieren sich die Forscher auf Impulsfolgefrequenzen/-amplituden, die im normalen Bereich liegen, den der Patient bei der Verwendung seines Geräts verwendet. Wenn die Forscher Parameter verwenden, von denen man erwarten könnte, dass sie eine intensivere neuronale Reaktion hervorrufen (und die daher das Potenzial haben, Unbehagen zu verursachen), werden sie diese immer in einer schrittweisen Funktion einführen (z. B. allmählich zunehmende Amplitude), während überprüft wird, dass das Gefühl nicht „unangenehm hell“ ist, und die Forscher werden die Intensität der Stimulation sofort verringern, wenn Patienten berichten, dass das Gefühl sich einem Unbehagen nähert. Der PI hat Erfahrung mit diesem Ansatz und wird das gesamte Personal in diesen Protokollen schulen.

Als Reaktion auf die Stimulation/das Bild auf dem Monitor werden die Probanden aufgefordert, entweder ein Wahrnehmungsurteil zu fällen oder eine einfache Verhaltensaufgabe auszuführen. Beispiele hierfür sind das Erkennen eines Reizes („Haben Sie bei diesem Versuch ein Licht gesehen“), das Melden der Größe durch Zeichnen auf einem Touchscreen oder das Gehen zu einem Zielort. Sowohl die Reaktion des Patienten als auch die Reaktionszeit werden aufgezeichnet.

Keiner dieser Reize wird emotionale Reaktionen hervorrufen oder in irgendeiner Weise aversiv sein.

In einigen Fällen sammeln die Ermittler auch Daten zur Messung der Augenposition der Probanden. Hierbei handelt es sich um ein nicht-invasives Verfahren, das mit Standard-Eye-Tracking-Geräten über eine Infrarotkamera durchgeführt wird, die die Position der Pupille der Probanden verfolgt. Es werden nur Messungen wie Augenposition oder Augenzwinkern aufgezeichnet, sodass diese Daten keine identifizierbaren Informationen enthalten.

Den Probanden wird empfohlen, so oft wie nötig Pausen einzulegen (sie dürfen den Testraum verlassen). Die Forscher nutzen verschiedene experimentelle Techniken, darunter: (1) Gleich-verschieden – z.B. Den Probanden werden zwei Wahrnehmungen gezeigt und sie werden gefragt, ob sie gleich oder unterschiedlich sind. (2) Anpassungsmethode – z.B. Die Probanden werden gebeten, eine Anzeige-/Stimulationsintensität anzupassen, bis eine Wahrnehmung kaum noch sichtbar ist. (3) 2-Alternative-erzwungene Wahl – z. B. Den Probanden werden zwei Reize präsentiert und sie werden gefragt, welcher der beiden Reize heller ist (4) Identifizierung – Die Probanden werden gebeten, zu identifizieren, welcher Buchstabe präsentiert wurde.

In einigen Fällen messen die Forscher nicht nur die Genauigkeit, sondern messen auch die Verbesserung durch Übung, indem sie dieselbe Aufgabe über mehrere Sitzungen hinweg wiederholen (bis zu 5 Sitzungen, die jeweils an unterschiedlichen Testtagen durchgeführt werden).