Mit den Ohren sehen

24.10.12 – Veronika Szentpetery

Neue Therapiegeräte können verlorene Sinne wiederbeleben: Blinde lernen durch Töne, Farben und Formen zu unterscheiden.

Die fiepende Tonfolge hört sich an, als stamme sie vom kleinen „Star-Wars“-Rollroboter R2-D2. Tatsächlich spielt sie ein kleiner Laptop ab, der im Labor von Amir Amedi an der Hebrew University of Jerusalem steht. Erst kommt ein tiefer Ton, der dann plötzlich in die Höhe steigt und schließlich wieder abfällt. Für ungeübte Ohren klingt das ebenso unverständlich wie das Gefiepse von R2-D2. Doch der blinde Proband Shlomo, der die Töne über einen Kopfhörer hört, grinst breit und sagt: „Ah, das ist eine Nase.“ Dann lässt er sich die Tonfolge noch einmal vorspielen. „Und da sind auch noch, ja, da sind zwei Nasenlöcher. Ich habe in der Mitte zwei Klicks gehört.“ Der Laptop-Bildschirm zeigt tatsächlich den weißen Umriss einer Nase auf schwarzem Hintergrund, mit zwei weißen Flecken als Nasenlöcher.

Die Übung zur Gesichtserkennung ist ein beeindruckendes Beispiel für den Einsatz von sogenannten Sinnesersatzgeräten („sensory substitution devices“, kurz SSD). Grundlage der auch Neurofeedback genannten Methode ist die außerordentliche Wandlungsfähigkeit des Gehirns. Sie ist beispielsweise im Spiel, wenn sich bei blinden Menschen Gehör und Tastsinn schärfen, um den fehlenden Sehsinn möglichst auszugleichen. Doch das Gehirn kann sogar lernen, bekannte Reize auf ganz neue Art zu verwerten. Und genau diese Fähigkeit wollen die Forscher mithilfe von SSD bei Patienten mit Sinnesverlusten wecken. Die Ärztin Amy Nau von der University of Pittsburgh sieht in solchen Geräten ein enormes Potenzial: „Sie können nicht nur Blinden helfen, sondern möglicherweise auch anderen Patienten, die durch Schlaganfall oder schwere Gehirnverletzungen einen ihrer Sinne verlieren.“

An der Hebrew University of Jerusalem üben Probanden wie Shlomo zum Beispiel, bestimmte Klänge einer Position im Raum zuzuordnen und durch Klangfolgen Gegenstände zu identifizieren. Dazu scannt ein Computerprogramm ein Bild ein und übersetzt es zeitgleich in Töne – und zwar von links nach rechts. Ein Ton signalisiert den Start, und danach wird die Y-Position der Bildpunkte durch die Tonhöhe kodiert. Je weiter oben ein Punkt im Bild liegt, desto höher klingt auch der korrespondierende Ton. Dementsprechend verwandeln sich Konturen in zusammenhängende Tonfolgen und schwarze Bereiche im Bild in Pausen zwischen den Tönen. Schon nach wenigen Stunden Übung sieht der Proband bei einer steigenden Tonfolge etwa – als einfachstem Beispiel – eine ansteigende Linie vor seinem geistigen Auge und ist in der Lage, sie zu zeichnen.

Der neueste SSD-Prototyp „EyeMusic“ aus Amedis Labor besteht aus einer Sonnenbrille mit integrierter Kamera und geht noch einen Schritt weiter. Mit ihm lernen die Probanden nicht nur Bilder auf dem Bildschirm, sondern Gegenstände und Personen im Raum zu „sehen“. Amedis Algorithmus übersetzt die mit der Kamera auf dem Brillensteg gefilmte Szene zunächst in ein vereinfachtes Schwarz-Weiß-Bild und dieses dann in Töne. Die Probanden können sogar Gesichtsausdrücke ihres Gegenübers interpretieren, etwa einen vor Überraschung runden Mund und ärgerlich zusammengezogene Augenbrauen.

Mit EyeMusic „erhören“ sie sogar fünf verschiedene Farben. Sie werden durch verschiedene Instrumente repräsentiert: Blau (Trompete), Rot (Reggae-Orgel), Grün (Synthesizer-Blasinstrument) und Gelb (Geige). Wer sich erst einmal nur auf die Form der Objekte konzentrieren will, kann sie sich rein in Weiß vorspielen lassen, die musikalische Übersetzung übernimmt in diesem Fall ein Chor. „Die Noten decken fünf Oktaven ab und wurden von Musikern danach ausgewählt, ob sie auch ein angenehmes Hörerlebnis bieten“, sagt Amedi. Zusätzliche Bildinformationen liefert die Lautstärke: Je heller das Objekt ist, desto lauter der zugehörige Ton. (rot)