Das Unsichtbare sichtbar machen

Funksignale und Deep Learning helfen Forschern, durch Wände zu sehen. Das führt nicht nur zu mehr Überwachung.

Lesezeit: 2 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen

(Bild: Shutterstock/TR)

Von
  • TR Online

Die maschinelle Bildverarbeitung kann mittlerweile eine beeindruckende Bilanz vorweisen: Wenn es darum geht, menschliche Gesichter und Objekte zu erkennen, ist Software zum Teil besser als der Mensch. Nun kommt ein weiterer Sieg über die menschlichen Sinne hinzu: Forscher haben Maschinen beigebracht, durch Wände zu sehen.

Anders als Menschen sind Maschinen nicht beschränkt auf einen ganz bestimmten kleinen Ausschnitt des elektro­magnetischen Spektrums. Sie können beispielsweise Radiowellen nutzen, die Wände und andere Hindernisse durchdringen, von menschlichen Körpern jedoch reflektiert werden. Menschen erzeugen also Störungen in der Ausbreitung dieser Wellen, die sich "sichtbar" machen lassen.

Bereits 2009 nutzten Joey Wilson und Neal Patwari WLAN-Funksignale, um auf diese Weise hinter verschlossene Türen zu sehen. Ihr System maß die Signalstärke an 34 verschiedenen Punkten außerhalb eines "Wohnzimmers" im ­Labor. Mithilfe der Messungen konnten die Wissenschaftler sich bewegende Objekte innerhalb dieses Raumes mit einer Genauigkeit von einem Meter erkennen. Trotz technischer Weiterentwicklungen sind diese Systeme aber noch immer nur begrenzt brauchbar: Ihre Auflösung ist gering, und die Bilder sind verrauscht und voller störender Reflexionen, die es schwer machen, das Geschehen wirklich zu verstehen.

TR 1/2020

Tianhong Li und Kollegen am MIT haben nun einen Weg gefunden, die komplementären Vorteile beider Methoden – der herkömmlichen Bildverarbeitung und der Nutzung von Radiowellen – miteinander zu kombinieren. Die Grundidee ist simpel: Sie haben einem KI-System beigebracht, Funkwellensignale mit den Gesten und Handlungen von Menschen zu verknüpfen. Um das System zu trainieren, nehmen die Forscher Videobilder derselben Szenen mit sichtbarem Licht und Radiowellen auf. Das neuronale Netz lernt dann, welche Verteilung von Funksignalen zu welchem Bild gehört. Als Ergebnis sieht das neue Radio Vision System in einer Vielzahl von Situa­tionen, in denen die Bildgebung im sichtbaren Bereich versagt, was Einzelpersonen vorhaben. "Wir stellen ein neuronales Netz­werkmodell vor, das menschliche Handlungen durch Wände und Okklusionen sowie bei schlechten Lichtverhältnissen erkennen kann", sagen Li und Co..

Die Schwierigkeit besteht allerdings darin, sicher­zustellen, dass sich der maschinelle Lernprozess auf die menschliche Bewegung und nicht auf andere Merkmale wie den Hintergrund konzentriert. Li und sein Team mussten also zu einem Trick greifen: In einem Zwischenschritt lernte die Maschine zunächst, Posen und Bewegungen normaler ­Kamerabilder mit dreidimensionalen Strichmännchen zu verknüpfen. Dann trainierten die Forscher das System darauf, die Bewegungen und Posen dieser Strichmännchen mit der gemessenen Verteilung der Funksignale zu verknüpfen. Wobei das Erlernen einer Fähigkeit beim Erlernen der jeweils anderen Fähigkeit hilft. Das Ergebnis: "Unser Modell erreicht eine vergleichbare Genauigkeit wie visuelle Handlungs­erkennungssysteme in sichtbaren Szenarien, funktioniert aber weiterhin genau, wenn Menschen nicht sichtbar sind", so die ­Forscher.

Mehr Infos

Die naheliegenden Anwendungen sind Szenarien, bei ­denen Bilder im sichtbaren Licht wegen schlechter Lichtverhältnisse nicht möglich sind, oder die Beobachteten sich im wahrsten Sinne des Wortes hinter verschlossenen Türen aufhalten. Für Polizei und Sicherheitsbehörden stellt das System tatsächlich einen großen Fortschritt dar, denn während sie bisher nur verschwommene Schemen sehen konnten, ist die Software in der Lage zu unterscheiden, ob jemand ein Telefon in der Hand hält oder jemand einen anderen mit einer Waffe bedroht.

Doch die Methode könnte nicht nur für verbesserte Überwachung sorgen, sondern auch zu mehr Datenschutz und Privatsphäre. Denn bei jeder Überwachung mit herkömm­lichen Kameras sind Menschen identifizierbar, was ­oftmals zu Datenschutzproblemen führt. Ein Funksystem hingegen hat nicht die Auflösung für eine Gesichtserkennung, erlaubt aber das Identifizieren von Handlungen. Sie könnten also zum Beispiel genutzt werden, um ältere Menschen zu Hause zu überwachen und Alarm zu schlagen, wenn eine Person stürzt, oder auch, wenn ihr Gang sich plötzlich drastisch verändert. Möglich wäre es dem Team um Li zufolge sogar, solch ein vollautomatisches Warnsystem in ein Smart-Home-System zu integrieren.

()