KI lernt Videospiele selbst

Trends & News | News

KI lernt Videospiele selbst Daddler kennen die Situation: Wird ein neues Videospiel ausprobiert, dauert es meist eine Weile, bis man den Dreh raus hat und auf Highscore-Jagd gehen kann. Entscheidend für den Lernverlauf sind dabei Erfolg und...

Daddler kennen die Situation: Wird ein neues Videospiel ausprobiert, dauert es meist eine Weile, bis man den Dreh raus hat und auf Highscore-Jagd gehen kann. Entscheidend für den Lernverlauf sind dabei Erfolg und Misserfolg der eigenen Handlungen: Erfolg wird belohnt (Weiterspielen, mehr Punkte), Misserfolg bestraft. Ein solches Belohnungsprinzip kommt auch bei maschinellen Lernverfahren etwa in der Robotik in Form des sogenannten Reinforcement Learning („Bestärkendes Lernen“) zum Einsatz.

Wissenschaftler des zum Google-Konzern gehörenden KI-Spezialisten DeepMind haben die Technik des Reinforcement Learning jetzt mit einem künstlichen neuronalen Netzwerk kombiniert, um Software-Agenten im Selbstlernverfahren das Spielen von Arcade-Klassikern auf einer emulierten Atari-2600-Spielkonsole beizubringen. Ohne Informationen darüber zu haben, was man bei den jeweiligen Spielen genau tun muss, um Erfolg zu haben, habe das System insgesamt 49 verschiedene Spiele bereits nach kurzer Zeit beherrscht und dabei zum Teil sogar deutlich besser abgeschnitten als professionelle Spieletester, schreiben die Forscher im Fachmagazin Nature (siehe c’t-Link).

Voraussetzung beim Reinforcement Learning ist die Definition eines Ziels, das über eine Belohnungsfunktion beschrieben wird. Bei Spielen kann das Ziel beispielsweise lauten: „Erreiche möglichst viele Punkte“. Da der Agent zunächst nicht weiß, wie dieses Ziel zu erreichen ist, muss er nach dem Trial-and-Error-Prinzip agieren. Rückmeldungen der Umgebung signalisieren ihm aber, ob seine letzte Aktion gut (z. B. Punkt erzielt = Belohnung) oder schlecht war. Aktionen, die zu Belohnungen führen, merkt sich der Agent und entwickelt daraus eine Strategie, die darauf ausgerichtet ist, die Summe künftiger Belohnungen zu maximieren.

Als Input zur Strategieoptimierung dienten dem Software-Agenten bei den Atari-Spielen Daten, die das angebundene neuronale Netzwerk per Mustererkennung aus modifizierten Einzelbildern des Videospiels extrahiert hatte, sowie aktuelle Punktstände. Besonders gut schnitt das von den Wissenschaftlern auf den Namen „Deep-Q-Network“ (DQN) getaufte System bei den Spielen Video Pinball, Boxing und Breakout ab. Hier zeigten sich besonders steile Lernkurven. Beim Mauerstein-Abräumspiel Breakout erkannte das System zum Beispiel von selbst, dass es strategisch wichtig ist, zunächst eine durchgehende Öffnung an der Seite zu schaffen, damit der Spielball die Mauer dann auch von oben zerstören kann.

Google hatte die in London ansässige Firma DeepMind im Jahr 2014 übernommen. Der Kaufpreis soll bei rund einer halben Milliarde US-Dollar gelegen haben. Außerdem investierte der Konzern massiv in Robotik-Firmen. (pmz@ct.de)

Artikel kostenlos herunterladen

weiterführende Links