Bots und künstliche Intelligenzen erobern immer mehr Bereiche unseres Alltags und unserer Freizeit – und übertreffen dabei in ihren Leistungen nicht selten die des Menschen. Ein weiteres Beispiel für die enorme Lernfähigkeit solcher KI-Systeme präsentieren nun Forscher des Google-Forschungszentrums DeepMind. Sie haben erstmals Bots entwickelt, die ein First-Person-Multiplayer-Computerspiel beherrschen – und es sogar erfolgreicher spielen als ihre menschlichen Konkurrenten. Dies belege, dass KI-Systeme auch Teamwork lernen können, sagen die Wissenschaftler.
Kaum ein Technologiebereich hat in den letzten Jahren so rasante Fortschritte erlebt wie die künstliche Intelligenz. Dank neuronaler Netze sind diese Programme heute lernfähig und flexibel genug, um mit uns zu sprechen, selbstfahrende Autos zu steuern, Medizinern bei Diagnosen zu helfen oder komplexe Abläufe und Spiele zu beherrschen. In Strategiespielen wie Schach und Go haben KI-Systeme auf Basis neuronaler Netzwerke bereits menschliche Großmeister geschlagen – sie erreichten schon nach wenigen Tagen des Trainings ein Spielniveau, für das Menschen mehrere Jahre benötigen. Teilweise entwickelten die Algorithmen dabei sogar ganz neue, kreative Spielzüge. Doch in einem Bereich blieben die Leistungen der KI-Systeme bisher weit hinter den menschlichen zurück: im Teamwork. Eine der Schwierigkeiten liegt darin, dass man sich dafür in seine Partner hineinversetzen muss und vorhersagen, wie sie sich in einer bestimmten Situation wahrscheinlich verhalten werden.
Gemeinsame Jagd auf die Teamflagge
Diesem Problem haben sich nun Max Jaderberg und seine Kollegen vom Google-Forschungszentrum DeepMind in London angenommen. Als Test- und Trainingsumgebung für ihre Bots wählten sie den Ego-Shooter Quake III Arena, eines der bekanntesten 3D-Multiplayer First-Person Computerspiele. „Spiele dieser Art faszinieren Millionen von Nutzern, wegen ihres immersiven Gameplays, aber auch wegen der Herausforderungen, die sie im Bereich Strategie, Taktik, Hand-Auge-Koordination und Teamwork stellen“, erklären die Forscher. „Diese Komplexität macht die Multiplayer-Ego-Shooter gleichzeitig zu einem fruchtbaren Forschungsgebiet für die künstliche Intelligenz.“
Für ihr Experiment nutzten die Wissenschaftler eine spezifische Spielweise innerhalb von Quake III Arena – den sogenannten „Capture the Flag“-Modus. „Die Regeln dafür sind zwar einfach, aber die Dynamik ist komplex“, so Jaderberg und sein Team. In einer verwinkelten 3D-Umgebung müssen zwei Spieler-Teams versuchen, ihren Gegnern die Teamflagge abzujagen, während sie gleichzeitig ihre eigene Flagge schützen. Durch Schüsse mit Laserpistolen können die Spieler zudem Gegner temporär ausschalten und zur gegnerischen Basis zurückschicken. Das Team, das innerhalb von fünf Minuten die meisten Flaggen eingeheimst hat, gewinnt.
Besser als menschliche Spielerteams
In der Trainingsphase erzeugten die Forscher 30 verschiedene, auf neuronalen Netzwerken basierende Bots und ließen sie in tausenden von Spielen in immer neuen Umgebungen gegeneinander antreten. „Dadurch sind unsere Bots gezwungen, generalisierte Strategien zu entwickeln, statt sich einfach die Karte zu merken“, erklären Jaderberg und seine Kollegen. „Unsere Agenten müssen aus dem Nichts lernen, sich in der Spielumgebung zu orientieren, zu agieren, zu kooperieren und sich gegen die Gegner durchzusetzen.“ Als Rückmeldung diente der Gewinn oder Verlust des jeweiligen Matches. Im Laufe von 450.000 Spieldurchgängen bildete sich ein Bot – For The Win (FTW) getauft – heraus, der die Spielstrategien besonders erfolgreich gelernt hatte. Diesen und ein Team seiner Klone ließen die Forscher dann im eigentlichen Test gegen die im Spiel integrierten Figuren oder gegen menschliche Spieler antreten. Auch gemischte Teams aus Bots und Menschen absolvierten das Spiel.
Es zeigte sich: In nahezu allen Spielen waren die Bot-Teams den vom Spiel generierten oder menschlichen Gegnern überlegen. „Die FTW-Agenten übertrafen die Gewinnrate der Menschen in den allen Spielern zuvor unbekannte Umgebungen deutlich“, berichten Jaderberg und sein Team. „Ein Team aus zwei Menschen eroberte im Schnitt 16 Flaggen pro Spiel weniger als ein aus zwei FTW-Bots bestehendes Team.“ Eine bessere Chance hatten die menschlichen Spieler nur dann, wenn sie mit den Bots zusammen in einem Team spielten: „Als Teil eines Mensch-Bot-Teams beobachteten wir in fünf Prozent der Fälle einen Sieg über ein reines Bot-Team“, so die Forscher. „Dieses Ergebnis demonstriert, dass die trainierten Bots dazu fähig sind, mit zuvor unbekannten Teamkollegen zu kooperieren, auch mit Menschen.“
Die Bots entwickelten im Laufe der Zeit viele klassische Spielstrategien wie sie auch von erfahrenen menschlichen Spielern genutzt werden. Aber auch ganz neue Spielzüge traten auf. „Wenn die KI-Agenten in einer vielfältigen Umgebung mit anderen Akteuren trainiert werden, dann entwickeln sie ein komplexes und überraschend fortgeschrittenes Verhalten“, konstatieren Jaderberg und seine Kollegen. Das demonstriert, dass KI-Systeme durchaus Teamwork und komplexe Multiplayer-Situationen beherrschen können. Noch allerdings steht diese Entwicklung erst am Anfang, wie Jaderberg betont. Bis ein solches Teamwork von selbstlernenden künstlichen Intelligenzen auch im realen Alltag funktioniert, ist noch einiges an Entwicklungsarbeit nötig.