Menü

Atari-Klassiker: Bot spielt Q*bert und erreicht dank Bug "unmögliche" Highscores

Forscher haben evolutionäre Algorithmen auf Atari-Spieleklassiker losgelassen und untersucht, wie sie sich gegen das etablierte Reinforcement Learning schlagen. Dabei hat ihr Bot im Hüpfspiel Q*bert einen Bug gefunden, der "unmögliche" Highscores erlaubt.

Von
vorlesen Drucken Kommentare lesen 212 Beiträge
KI-Bot spielt Atari-Klassiker und findet Bug in Q*Bert

(Bild: Patryk Chrabąszcz (Screenshot aus Video))

Drei Forscher an der Universität Freiburg haben einen Bot mit künstlicher Intelligenz auf klassische Atari-Konsolenspiele angesetzt und untersucht, wie gut unterschiedliche Algorithmen des maschinellen Lernens dafür geeignet sind. Sie setzten auf Evolution Strategies (ES) und verglichen sie mit den Algorithmen des Reinforcement Learning (RL, bestärkendes Lernen), wie The Register schreibt.

In ihrer Forschungsarbeit "Back to Basics: Benchmarking Canonical Evolution Strategies for Playing Atari" (PDF-Datei) erproben Patryk Chrabaszcz, Ilya Loshchilov und Frank Hutter grundlegende ES-Algorithmen (Canonical ES) an Atari-Spielen, einer bekannten Deep-Learning-Herausforderung. Sie fütterten ihren Bot mit Daten aus Titeln wie Pong, Breakout oder Space Invaders und ließen ihn anschließend Spielstrategien ausprobieren, die zu möglichst hohen Punktzahlen führten.

Bei solchen Aufgaben galten bislang eher RL-Algorithmen als erfolgversprechend, in einigen Fällen erwiesen sich allerdings spezialisierte ES-Algorithmen als eine Alternative. Die Forscher wollten jedoch zeigen, dass auch grundlegende ES-Algorithmen eine vergleichbare oder bessere Performance bei Lösen einer Aufgabe liefern können als RL-Algorithmen. In manchen Fällen ist dieses Ergebnis auch eingetreten, allerdings versagten die ES-Methoden in einigen Fällen. Deshalb empfehlen die Forscher, beide Algorithmen-Arten zu kombinieren.

Bei dem Plattform-Hüpfspiel Q*bert von 1982 trickste der Bot ungeplant das Gamedesign aus. Der Bot verlor das Interesse daran, ein Level zu beenden und stürzte sich stattdessen mit einem Gegner auf den Fersen in den virtuellen Tod. Da der Gegner jedes Mal hinterhersprang, verlor der Spieler zwar ein "Leben", gewann jedoch durch das Erledigen des Gegners genug Punkte hinzu, um das Level endlos fortzusetzen.

In einem weiteren Fall fand die KI sogar einen Bug in Q*bert. Ist ein Level abgeschlossen ist, blinken die Plattformen und das Spiel müsste eigentlich zur nächsten Stufe wechseln. Der Bot lässt jedoch die Spielfigur wild herumhüpfen und dadurch Punkte sammeln, ohne das Level jemals abzuschließen.

Anzeige
Anzeige