Thanatos - a learning RTS Game AI : Developing an AI capable of learning build orders in a Real Time Strategy Game Environment by using reinforcement learning

Abstract

Sanntidsspill (RTS) er utfordrende testplattformer for algoritmer som tar intelligente beslutninger i komplekse omgivelser. Interaksjon med disse spillene skjer i form av beslutninger som tas mens spillet foreløper. Å forbedre beslutningene over tid er en nøkkelkomponent for å oppnå suksess i RTS spill. I denne oppgaven undersøker vi de individuelle delene en generell RTS AI-spiller består av, påpeker viktigheten av "build orders", samt diskuterer hvordan "reinforcement learning" kan bli benyttet. Videre benytter vi en representasjon hvor beslutninger velges fra en mengde av beslutninger, tatt av ulike eksperter som kun lærer innenfor sitt eget ekspertisefelt. Til dette bruker vi en noe modifisert utgave av "blackboard architecture". I tillegg utsetter vi belønninger som gis til et spill har avsluttet. Med dette kan vi anta at beslutningene som tas vil forbedres, da i form av raskere og mer effektive "build orders". Vi implementerer konseptet beskrevet som en datamaskinstyrt AI-spiller i et fullt fungerende RTS miljø, kalt Wargus. Ved å eksperimentere med ulike parametere og utforskingsstrategier fant vi at beslutningene forbedret seg drastisk gjennom læringsfasen og menneskelignende strategier ble opplært. I tillegg så vi at den valgte utforskingsstrategien hadde stor innvirkning på hvor god opplæringen var.

Real-time strategy games are challenging test beds for intelligent decision making algorithms with their rich and complex environments. Interaction with these games are made in form of ingame decisions. Improving these decisions over time is a key feature to succeeding in RTS games. In this thesis we examine the consituent parts of a general RTS game AI, address the importance of build orders and discuss how reinforcement learning can be applied. Moreover, we employ a representation where a single decision is selected between the decisions of multiple experts, each learning only within its own field of expertise. For this we use a slightly modified version of a blackboard architecture. Additionally, the reinforcement rewards are delayed until the game has ended. With this we would expect to see an overall improvement of the selected actions, in terms of faster and more efficient build orders. We implement the concept described as a computer controllable player AI in a fully working RTS game environment called Wargus. By experimenting with various parameters and exploration strategies we found that the overall decisions were greatly improved and human-like winning strategies emerged. Additionally, the exploration strategies showed to influence the learning ability to a high degree.