Software-Agenten entdecken den Doppelpass
Dr. Martin Riedmiller, Teamleiter der "Karlsruhe Brainstormers", über seine Chancen bei der diesjährigen RoboCup-Weltmeisterschaft in Seattle
Martin Riedmiller ist wissenschaftlicher Assistent am Institut für Logik, Komplexität und Deduktionssysteme an der Universität Karlsruhe. Schwerpunkte seiner Forschungstätigkeit sind Lernalgorithmen und neuronale Netze. Diese Technologien sind auch in die Programmierung virtueller Fußballspieler eingeflossen, die beim RoboCup in den Spielen der Simulationsliga mehrmals hintereinander hervorragend abschnitten: Die "Karlsruhe Brainstormers" wurden bei der Europameisterschaft 2000 in Amsterdam, bei der Weltmeisterschaft 2000 in Melbourne und bei den German Open 2001 in Paderborn jeweils Vizemeister. Der große Angstgegner ist das Team des FC Portugal. In der Simulationsliga, die ohne großen technischen Aufwand auskommt, können aber auch Neulinge und Außenseiter immer wieder für Überraschungen sorgen. Im Gespräch erläutert Riedmiller, wie er sich auf die bevorstehende WM in Seattle (2. - 10. August) vorbereitet und wofür die RoboCup-Technologie noch zu gebrauchen ist.
Herr Riedmiller, hatten Sie in den letzten Tagen Gelegenheit, die Tour de France zu verfolgen?
Martin Riedmiller: Nein, überhaupt nicht. Ich bin leider nicht auf dem neuesten Stand.
Da hätten Sie Gelegenheit gehabt, einen anderen "ewigen Zweiten" zu bewundern, der wacker weiter kämpft. Wie wichtig ist Ihnen die Platzierung beim RoboCup?
A (lacht): Wenn man ständig so nahe am Titel ist, wird man natürlich immer wieder danach gefragt. Da versucht man schon aus diesem Grund, zu gewinnen. Wir streben auf jeden Fall immer danach, ganz vorne mitzumischen.
Der sportliche Aspekt spielt also schon eine Rolle.
Martin Riedmiller: Auf jeden Fall. Wobei ich sagen muss, dass wir mit dem zweiten Platz sehr gut leben können. Wir sind froh, dass wir das Niveau über das letzte Jahr halten konnten. Auch bei den German Open Anfang Juni waren ja einige sehr starke Teams dabei. Aber dennoch nagt es natürlich an einem, den Titelgewinn immer wieder knapp zu verpassen.
Was können Sie denn tun, um Ihr Spiel zu verbessern? Ihre Spieler lernen ja selbstständig. Lassen Sie sie jetzt einfach nur immer wieder spielen, in der Hoffnung, dass sie nach und nach besser werden? Oder verändern Sie auch gezielt etwas an der Software?
Martin Riedmiller: Wir fahren auf beiden Schienen. Natürlich gibt es in der Software noch viele Schwächen, was bei einem so großen Projekt ganz normal ist. Das sind keine großen Fehler im Sinne von Programmabstürzen, sondern eher Unebenheiten, die man mit einfachen Mitteln beseitigen kann. Das ist die eine, konventionelle Schiene, mit der wir uns in dieser Woche noch intensiv beschäftigen. Die andere läuft über das Lernen. Ich habe zum Beispiel an diesem Wochenende unsere Mannschaft intensiv den Angriff trainieren lassen. Dabei haben sich die Spieler noch einmal bedeutend gesteigert. Die schießen jetzt auf hundert Angriffe zehn Tore mehr als vorher. Wenn dieser Trend anhält, sind wir eigentlich ganz gut gewappnet.
Das klingt wie ein ganz normales Fußballtraining, bei dem ja auch bestimmte Standardsituationen und Spielvarianten immer wieder geübt werden.
Martin Riedmiller: Ganz genau. Für die Verbesserung des Angriffs setzen wir unser Team immer wieder mit sieben Angreifern gegen acht Abwehrspielern vor das gegnerische Tor und lassen sie so lange spielen, bis sie entweder ein Tor erzielt haben oder der Gegner den Ball abgefangen hat. Dann wird wieder eine neue Situation vor dem Tor erzeugt und die Spieler müssen versuchen, sich zu verbessern.
Wie bringt man eigentlich einem Computer das Fußball spielen bei? Einem Kind kickt man den Ball zu und schaut, wie es reagiert. Aber ein Mensch bringt auch eine gewisse Grundausstattung mit, sowohl körperlich wie geistig. Ich nehme an, dass Spielerprogramme eine ähnliche Grundausstattung brauchen, auf der dann das weitere Training aufgebaut werden kann.
Martin Riedmiller: Es gibt tatsächlich Analogien zum Lernen beim Menschen. Wir haben den Spielern zunächst die Grundfertigkeiten beigebracht, haben sie lernen lassen, wie man zum Ball geht und wie man schießt. Darauf aufbauend konnten wir dann das Zusammenspiel im Team entwickeln.
Was müssen Sie den Spielern zeigen, was lernen sie selbst? Eine Flash-Animation auf Ihrer Team-Homepage vermittelt den Eindruck, als hätten Ihre Spieler von selbst den Doppelpass entdeckt.
Martin Riedmiller: Ja, das war auch so. Sie verfügten zuvor nur über die Fähigkeit, einen Pass zu spielen und konnten sich danach in jede beliebige Richtung weiterbewegen. Dabei haben sie dann selbstständig entdeckt, dass es günstig ist, sich nach dem Abspielen weiter in Richtung Tor zu bewegen und den Ball wieder anzunehmen. Als Menschen bezeichnen wir das als Doppelpass, aber für die Spielerprogramme ist es einfach nur eine günstige Kombination ihrer Möglichkeiten.
Haben Sie den ersten Doppelpass gefeiert?
Martin Riedmiller: Wir haben uns schon gefreut, als es das erste Mal passierte. Ein bisschen vielleicht wie Eltern sich freuen, wenn ihre Kinder wieder etwas Neues gelernt haben. Aber richtig gefeiert haben wir nicht. Das sparen wir uns für unsere Turniererfolge.
Gibt es neben Ihrem Ansatz des selbstständigen Lernens noch andere Hauptrichtungen in der Simulationsliga?
Martin Riedmiller: Es gibt Teams, die sich nur mit Programmierungs- und Softwareentwicklungsaspekten beschäftigen. Denen geht es in erster Linie darum, bei der Lösung eines komplexen Problems die Entwicklungsumgebung für die Programmierer so angenehm wie möglich zu gestalten. Die Platzierung beim RoboCup tritt dagegen eher in den Hintergrund. Andere Teams verfolgen die Strategie, allgemeines Fußballwissen so gut wie möglich in Software umzusetzen. Das ist eine Kunst für sich, die die Portugiesen sehr gut beherrschen. Sie können mit ihren Spielerprogrammen mittlerweile so umgehen wie ein Trainer, der seine Mannschaft auf ein bestimmtes Spiel einstimmt.
Das heißt, sie können sich auf verschiedene Gegner mit unterschiedlichen Strategien einstellen?
Martin Riedmiller: Genau. Sie schauen sich zum Beispiel unser Spiel an, ob es etwa sehr offensiv geführt wird oder über die Flügel geht, überlegen sich eine geeignete Gegenmaßnahme und schreiben sie ihren Spielern vor.
Könnte so etwas auch in der Halbzeitpause passieren, ähnlich wie beim menschlichen Fußball, wo in der Umkleidekabine neue Strategien besprochen werden und vielleicht Spieler ausgewechselt werden?
Martin Riedmiller: Die Portugiesen gehen sehr stark in diese Richtung. Im Moment wird die Festlegung der Strategie noch durch einen Menschen vorgenommen. Man kann sich aber auch ein Überwachungsprogramm vorstellen, dass das Spiel beobachtet, statistisch auswertet und daraus Anweisungen für die Spieler generiert. In Ansätzen gibt es das schon, aber da wird sich in nächster Zeit sicherlich noch mehr tun.
Sie kümmern sich bei den RoboCup-Turnieren auch immer wieder um die Veranstaltung eines ganz traditionellen Fußballspiels mit den menschlichen RoboCup-Teilnehmern. Von daher vermute ich, dass Sie früher bei Mannschaftsaufstellungen im Schulsport eher zu denen gezählt haben, die zuerst gewählt wurden.
Martin Riedmiller: Ich hatte zumindest immer den Ehrgeiz, nicht bei den letzten zu sein.
Sind Sie damit eine Ausnahme oder eher die Regel? Man könnte sich ja vorstellen, dass der RoboCup eine Gelegenheit ist für die körperlich ungelenken Mathematikgenies, den Sportskanonen von damals endlich mal zu zeigen, wie man richtig Fußball spielt.
Martin Riedmiller: Es ist eine Mischung. Es gibt Leute, die mit Fußball überhaupt nichts am Hut haben, aber hervorragend programmieren. Gerade unter meinen Studenten gibt es aber auch einige, die selber sehr gut kicken und dieses Fußballwissen in die Programme einfließen lassen. Generell ist es sicher so, dass die Begeisterung für eine Sache hilfreich ist, wenn man sich auch als Informatiker damit beschäftigt.
Hat sich in Ihrem Verhältnis zum Fußball, als Spieler oder Zuschauer, etwas geändert, seit Sie sich mit dem RoboCup beschäftigen?
Martin Riedmiller: Ich beobachte anders, als Zuschauer und als Spieler. Das ist wirklich frappierend, man fängt auf einmal an, in den Strukturen zu denken, nach denen man sonst die Programme baut. Neben den Lernalgorithmen arbeiten wir bei unseren Spielern auch mit einer Technik, wie man sie etwa von Schachprogrammen kennt: Da geht es darum, die nächsten drei, vier Spielzüge vorauszusehen. Diese Technik, die auf dem RoboCup-Spielfeld sehr gut funktioniert, wende ich auch zunehmend bei realem, menschlichen Fußball an. Ein geübter Fußballspieler macht das wahrscheinlich automatisch. Aber für mich als Freizeitsportler war das zunächst eine richtige Entdeckung.
Können Sie sich vorstellen, dass die RoboCup-Technologie irgendwann auch mal auf den professionellen, menschlichen Fußball zurückwirkt? Gerade Fußballsimulationen könnten doch bei der Entwicklung von Strategien für wichtige Begegnungen hilfreich sein.
Martin Riedmiller: Vorstellen kann ich mir das schon. Eins unserer Ziele ist es, über das selbstständige Lernen Spielzüge, Aufstellungen oder andere Aspekte zu entdecken, die im realen Fußball bislang verborgen geblieben sind. Fußball ist natürlich ein ziemlich gut verstandenes Spiel, zumindest in der Theorie, deshalb werden wir bis dahin noch einiges an der Leistungsfähigkeit unserer Lernalgorithmen verbessern müssen. Aber schon jetzt zeigen unsere Spieler immer wieder überraschende Verhaltensweisen. Wo der Computer bestimmt sehr nützlich sein kann, ist beim Verständnis des Mannschaftsspiels. Mit Hilfe von Simulationen könnte den Spielern zum Beispiel gezeigt werden, wohin sie auf dem Spielfeld laufen müssen, um die Raumabdeckung zu optimieren. Alles, was in Richtung Statistik geht, lässt sich gut auf das reale Spiel übertragen, auch als nachträgliche Fehleranalyse.
Haben Sie schon mal mit menschlichen Teams gegen Ihre Software-Agenten gespielt? Ich könnte mir vorstellen, dass das eine gute Inspirationsquelle für die weitere Softwareentwicklung wäre.
Martin Riedmiller: Am Anfang hatten wir vor, ein Team durch Menschen per Hand steuern zu lassen und diese Bewegungen dann vom Computer imitieren zu lassen. Das haben wir aber wieder aufgegeben, weil bei dem hohen Tempo des Spiels die Handsteuerung für elf Spieler kaum zu realisieren ist.
Ich hatte eher daran gedacht, jeweils einen Spieler durch einen Menschen zu steuern.
Martin Riedmiller: Das ist realistischer, aber dafür fehlt derzeit noch die Ausstattung. Für die German Open war so etwas eigentlich schon geplant. Vielleicht gelingt es jetzt in Seattle. Für das Spiel Mensch gegen Computer müsste man auf jeden Fall die Schnittstelle vereinfachen, etwa in dem Sinne, dass der Rechner die Mausbewegungen interpretiert und im gewünschten Sinn umsetzt, auch wenn sie nicht hundertprozentig präzise ausgeführt werden. Dann können die spezifisch menschlichen Qualitäten, also der Überblick über das Spielgeschehen und die Fähigkeit zu strategischen Entscheidungen, erst voll zum Tragen kommen.
Gehen vom RoboCup spürbare Impulse auf die Entwicklung allgemeiner Agententechnologie aus, oder ist der RoboCup eher umgekehrt ein Testfeld für anderweitig entwickelte Techniken?
Martin Riedmiller: Im Moment ist noch letzteres der Fall. Es ist ein großer Vorzug des RoboCup, dass er eine einheitliche Testumgebung für alle möglichen Ansätze bietet. Jetzt müssen wir erst einmal sehen, welche dieser Ansätze zur Lösung komplexer Probleme etwas taugen. Üblicherweise läuft es so, dass man einen Ansatz entwickelt und dann an einem einfachen Anwendungsbeispiel testet, was aber die Vergleichbarkeit unterschiedlicher Vorgehensweisen sehr schwierig macht. Wenn sich beim RoboCup einzelne Lösungsansätze erst einmal als robust bewährt haben, können sie allerdings auch wieder auf andere Anwendungen zurückwirken.
Was für andere Anwendungen gibt es denn für Ihre lernfähigen Software-Agenten?
Martin Riedmiller: Generell entsprechen die Grundfähigkeiten, über die in unserem Fall ein Fußballspieler verfügen muss, denen eines Roboters, der verschiedene Aufgaben beherrschen muss, also etwa möglichst schnell und energiesparend auf eine bestimmte Position zu fahren, Gegenstände sicher zu greifen und so weiter. Das sind Grundfertigkeiten, die man nicht einzeln von Hand programmieren möchte, sondern die die einzelnen Systeme auf die jeweilige, individuelle Situation zugeschnitten erlernen sollen. Dann gibt es andere Anwendungen in Richtung Regelungstechnik, etwa bei Temperaturregelungen. Und schließlich noch das relativ junge Gebiet des Multi-Agenten-Lernens, bei dem mehrere Agenten oder Roboter gemeinsam versuchen, eine Aufgabe zu lösen. In einer Fabrik mit mehreren Maschinen stellt sich zum Beispiel die Frage, wann welche Maschine welchen Auftrag bearbeiten soll, damit sich möglichst wenige Staus ergeben. Heutzutage ist das die Aufgabe eines Planers, der dabei natürlich auf Computerunterstützung zurückgreift. Unsere Vision ist es, Programme zu entwickeln, die selbstständig lernen, die optimale Auslastung zu finden.
Sie haben sich auch mit neuronalen Netzen beschäftigt. Die werden ja immer noch mit konventionellen Computern simuliert. Können Sie sich vorstellen, dass Roboter auch hardwaremäßig mit neuronalen Netzen ausgestattet werden?
Martin Riedmiller: Nein, eher nicht. Die Softwaresimulation ist schnell genug. Zu Beginn der Forschungen zu neuronalen Netzen glaubte man, mit Parallelrechnern schneller sein zu können. Aber inzwischen sind die sequentiellen Rechner so schnell geworden, dass man es sich leisten kann, auch größere Netze auf ihnen zu simulieren. Daher geht die Forschung heute eher in Richtung neuer Algorithmen und nicht in Richtung Hardware.
Auf Ihrer Homepage nennen Sie zwei Anwendungsbeispiele für neuronale Netze, die ich sehr spannend finde. Da geht es um die Vorhersage von Währungskursen und die Prognose der Verkaufszahlen der "Bild"-Zeitung. Was hat es denn damit auf sich?
Martin Riedmiller: Die Kursvorhersage ist ja ein alter Traum von Börsenhändlern. Wir haben das System vor etwa fünf Jahren für eine deutsche Bank entwickelt, die es in den USA für den Handel mit Dollars eingesetzt hat.
Waren die Bankleute mit dem System zufrieden?
Martin Riedmiller: Ja. Die Trefferquote lag mit ungefähr 53 Prozent zwar nur knapp über dem reinen Raten, hat aber ausgereicht, um Gewinne zu erzielen.
Und wovon hängen die Verkaufszahlen der "Bild"-Zeitung ab?
Martin Riedmiller: Ganz unterschiedlich. Die Saison spielt eine Rolle, der Wochentag, die Region...
Die Zahlen werden auch regional aufgeschlüsselt?
Martin Riedmiller: Das System soll sogar für jede einzelne Verkaufsstelle die zu erwartenden Verkaufszahlen ermitteln. Es ist ein Instrument zur Optimierung des Vertriebs, das gegenwärtig noch in der Entwicklung ist. Neuronale Netze sind älteren Prognoseverfahren deutlich überlegen. Wir versuchen jetzt noch, den Trainingsverlauf dieser Netze zu verbessern. Dabei geht es um Veränderungen in der Größenordnung von einem halben oder einem Prozentpunkt. Bei den gegebenen Auflagenzahlen kann das sehr viel Geld bedeuten.
Haben Sie schon mal versucht, die Totozahlen vorherzusagen?
Martin Riedmiller: Es gab dazu mal eine Ausschreibung am Institut. Aber wir haben es bald wieder sein lassen. Da sind einfach zu viele unsichere Faktoren im Spiel.
Und wie lautet Ihre Prognose für die diesjährige RoboCup-WM?
Martin Riedmiller: In der Simulationsliga nehmen ungefähr 40 Teams teil. Ein Platz unter den ersten fünf scheint mir realistisch. Alles andere wäre eine Freude.
Die "Karlsruhe Brainstormers" wollen unmittelbar im Anschluss an die Spiele ihres Teams Aufzeichnungen davon auf ihre Homepage stellen. Zum Betrachten ist keine spezielle Software nötig.
Darstellungsbreite ändern
Da bei großen Monitoren im Fullscreen-Modus die Zeilen teils unleserlich lang werden, können Sie hier die Breite auf das Minimum zurücksetzen. Die einmal gewählte Einstellung wird durch ein Cookie fortgesetzt, sofern Sie dieses akzeptieren.
