Neuronale Netze finden versteckte Strukturen

Wie bringt man einer Maschine bei, zuverlässig Gesichter oder andere für das menschliche Auge sofort erkennbare Strukturen zu registrieren? Forscher wollen das Problem mit Neuronalen Netzen lösen, die unbeaufsichtigt dazulernen

Neuronale Netze, in der Anfangszeit der Künstlichen Intelligenz noch das Mittel der Wahl, gelten inzwischen als relativ dumm. Das liegt an ihrem Grundprinzip: Man muss sie erst mit den richtigen Ausgangsdaten trainieren, damit sie die passenden Ergebnisse liefern können. Das funktioniert hervorragend, wenn genügend Startmaterial vorhanden ist. Derart konstruierte Maschinen haben aber den Nachteil, dass sie unter bestimmten Bedingungen scheitern müssen. Nämlich genau dann, wenn sich die eingebenen Daten zu stark vom Lern-Material unterscheiden. Ein neuronales Netz, das mit zehn Millionen Brillenträgern trainiert wurde, versagt, wenn einer davon seine Brille abnimmt. Und völlig ohne von außen beaufsichtigten Lernprozess ist eine solche Maschine zu gar nichts fähig. Die wissenschaftliche Argumentation dahinter lautet, dass die Eingangsdaten dem Ergebnis schon relativ nah sein müssen.

Dem wollen die Forscher Geoffrey Hinton und Ruslan Salakhutdinov von der University of Toronto mit einem im Wissenschaftsmagazin Science veröffentlichen Vorschlag abhelfen. Die Informatiker haben Neuronale Netze mit einer Selbstlernfähigkeit ausgestattet, die unbeaufsichtigt funktioniert.

Für dieses vorgeschaltete Training nutzten sie eine (von Hinton mitentwickelte) Konstruktion, eine beschränkte Boltzmann-Maschine. Die heißt so, weil sie die Physik der Wärme simuliert: Man schaut einem Stoff, der so heiß ist, dass seine Atome sich frei bewegen können, beim Abkühlen zu.

Den einzelnen Knoten des Netzwerkes ordnet man eine Temperatur (und damit eine Energie) zu, und simuliert das Erreichen des Energieminimums, indem man eine Abkühlung annimmt. Die neuen Werte (Temperaturen) der Knoten lassen sich dann stochastisch aus der Maxwell-Boltzmann-Verteilung berechnen.

Hinton und Salakhutdinov nutzen in mehreren Schichten eine spezielle Abwandlung der Boltzmann-Maschine, bei der Verbindungen zwischen den unsichtbaren Knoten nicht erlaubt sind (deshalb beschränkte Boltzmann-Maschine, RBM, genannt). Diese RBMs setzten sie mehrfach übereinander, wobei die Werte der unsichtbaren Knoten einer Schicht als Input für die folgende Schicht dienten.

Der Vorteil dieses Verfahrens, hebt der US-Forscher Garrison Cottrell in einem Science-Beitrag hervor liegt einerseits darin, dass seine Anwendbarkeit natürlich nicht auf die Gesichtserkennung beschränkt ist. Ganz allgemein lässt es sich dazu einsetzen, die Dimensionalität von Daten zu reduzieren. Eine Menge von Punkten im dreidimensionalen Raum könnte sich zum Beispiel durch eine von nur zwei Parametern erzeugte Kurve darstellen lassen.

Außerdem ist es jederzeit möglich, auch neue, dem neuronalen Netz bisher nicht bekannte Datenpunkte einzufügen. Und: Der Mechanismus arbeitet auch in die entgegengesetzte Richtung und kann aus den reduzierten Daten das Original (annähernd) wieder herstellen.

Es handelt sich dabei natürlich nicht um eine verlustfreie Kompression. Hinton und Salakhutdinov berichten, dass es ihnen unter anderem gelang, für aus 784 Pixeln bestehende Bilder jeweils sechs reelle Zahlen zu finden, aus denen sich das Ursprungsbild fast perfekt rekonstruieren ließ. Bei der Ähnlichkeits-Analyse von über 800.000 Reuters-Meldungen waren die von den Wissenschaftlern entwickelten Neuronalen Netze leistungsfähiger als andere verbreitete Verfahren wie die Latente Semantische Analyse.

http://www.heise.de/tp/artikel/23/23208/1.html