심층 신경망과 리플레이 데이터를 이용한 실시간 전략 게임 인공지능 플레이어의 전략선택 모듈 설계 Design of Strategical Decision Making Model for Artificial Intelligence Player using Replay data and Deep Neural Network in Real-Time Strategy Games원문보기
실시간 전략 게임은 일반적으로 플레이어가 게임 상의 유닛을 제어해 자원을 채취하고, 건축물을 건설하고, 병력을 모아 전쟁하는 게임을 말한다. 고전적인 전략게임과 달리, 실시간으로 진행된다는 점에서 무수히 많은 탐색공간이 발생하고 지속적으로 변화하는 상태로 인해 게임 인공지능을 설계하는 입장에서 난관에 빠질 수밖에 없다. 또한 실시간이라는 게임의 속도에 대응하기 위해 순간순간 판단을 마쳐야하고 행동을 해야 한다는 제약또한 존재한다. 이러한 점 때문에 실시간 전략 게임에서 인공지능을 연구하고 개발하는데 있어 최신 기술을 접목하는데 어려움이 따른다. 인간 플레이어는 직관과 경험을 토대로 인공지능 플레이어보다 더 높은 게임 수준을 보여주고 있으며, 그 격차는 쉽사리 좁혀지지 않고 있다. 더 높은 수준의 플레이를 하는 실시간 전략 게임 인공지능 플레이어의 개발을 위해 다양한 시도가 이어져왔지만, 대부분의 연구는 상대적으로 쉬운 문제인 유닛 제어 부분에 집중되어 있으며, 전략 선택과 예측 등의 고수준의 사고를 요하는 문제에서는 진전이 미비하다. 따라서 본 연구에서는 리플레이 데이터와 ...
실시간 전략 게임은 일반적으로 플레이어가 게임 상의 유닛을 제어해 자원을 채취하고, 건축물을 건설하고, 병력을 모아 전쟁하는 게임을 말한다. 고전적인 전략게임과 달리, 실시간으로 진행된다는 점에서 무수히 많은 탐색공간이 발생하고 지속적으로 변화하는 상태로 인해 게임 인공지능을 설계하는 입장에서 난관에 빠질 수밖에 없다. 또한 실시간이라는 게임의 속도에 대응하기 위해 순간순간 판단을 마쳐야하고 행동을 해야 한다는 제약또한 존재한다. 이러한 점 때문에 실시간 전략 게임에서 인공지능을 연구하고 개발하는데 있어 최신 기술을 접목하는데 어려움이 따른다. 인간 플레이어는 직관과 경험을 토대로 인공지능 플레이어보다 더 높은 게임 수준을 보여주고 있으며, 그 격차는 쉽사리 좁혀지지 않고 있다. 더 높은 수준의 플레이를 하는 실시간 전략 게임 인공지능 플레이어의 개발을 위해 다양한 시도가 이어져왔지만, 대부분의 연구는 상대적으로 쉬운 문제인 유닛 제어 부분에 집중되어 있으며, 전략 선택과 예측 등의 고수준의 사고를 요하는 문제에서는 진전이 미비하다. 따라서 본 연구에서는 리플레이 데이터와 심층 신경망을 이용해 전략 선택 부분에서의 인공지능 플레이어 수준을 개선하는 방법을 제안하고 설계하였다. 인간 플레이어가 플레이한 게임의 리플레이 데이터로부터, 플레이어가 직면한 상황에서 행했던 전략 선택을 학습함으로써 인공지능 플레이어가 인간이 갖는 복잡한 판단 과정을 익히고 풀어낼 수 있다. 사용된 리플레이 데이터는 Blizzard사의 실시간 전략 게임인 스타크래프트에서 수집하였다. 리플레이 데이터로부터 유닛과 건축물, 지형의 정보를영향력 맵으로 표현하고 나타난 상황에서 인간 플레이어는 어떤 선택을 했었는지를 추론하여 심층 신경망에서 이를 학습하는 것이다. 본 연구에서는 합성곱 신경망과 ResNet을 이용한 22개의 심층 신경망 모델을 학습하였고 그에 대한 정확도를 평가하였다. 실험을 통해 합성곱 신경망과 ResNet이 표현된 데이터를 학습하는데 적절한 모델임을 알 수 있었고, 인간 플레이어의 전략 선택을 잘 학습했음을 알 수 있었다. 또한, 더 깊은 신경망을 이용함으로써 전략 선택의 의도를 더 정확하게 학습함을 알 수 있었다. 이를 통해, 실시간 전략 게임에서 인간 플레이어 같은 전략 선택을 위해, 심층 신경망과 변형된 기법을 이용해 모델을 구축하고 리플레이 데이터를 통해 학습을 하는 것이 좋은 방법이 될 것이라는 것을 알 수 있었다.
실시간 전략 게임은 일반적으로 플레이어가 게임 상의 유닛을 제어해 자원을 채취하고, 건축물을 건설하고, 병력을 모아 전쟁하는 게임을 말한다. 고전적인 전략게임과 달리, 실시간으로 진행된다는 점에서 무수히 많은 탐색공간이 발생하고 지속적으로 변화하는 상태로 인해 게임 인공지능을 설계하는 입장에서 난관에 빠질 수밖에 없다. 또한 실시간이라는 게임의 속도에 대응하기 위해 순간순간 판단을 마쳐야하고 행동을 해야 한다는 제약또한 존재한다. 이러한 점 때문에 실시간 전략 게임에서 인공지능을 연구하고 개발하는데 있어 최신 기술을 접목하는데 어려움이 따른다. 인간 플레이어는 직관과 경험을 토대로 인공지능 플레이어보다 더 높은 게임 수준을 보여주고 있으며, 그 격차는 쉽사리 좁혀지지 않고 있다. 더 높은 수준의 플레이를 하는 실시간 전략 게임 인공지능 플레이어의 개발을 위해 다양한 시도가 이어져왔지만, 대부분의 연구는 상대적으로 쉬운 문제인 유닛 제어 부분에 집중되어 있으며, 전략 선택과 예측 등의 고수준의 사고를 요하는 문제에서는 진전이 미비하다. 따라서 본 연구에서는 리플레이 데이터와 심층 신경망을 이용해 전략 선택 부분에서의 인공지능 플레이어 수준을 개선하는 방법을 제안하고 설계하였다. 인간 플레이어가 플레이한 게임의 리플레이 데이터로부터, 플레이어가 직면한 상황에서 행했던 전략 선택을 학습함으로써 인공지능 플레이어가 인간이 갖는 복잡한 판단 과정을 익히고 풀어낼 수 있다. 사용된 리플레이 데이터는 Blizzard사의 실시간 전략 게임인 스타크래프트에서 수집하였다. 리플레이 데이터로부터 유닛과 건축물, 지형의 정보를영향력 맵으로 표현하고 나타난 상황에서 인간 플레이어는 어떤 선택을 했었는지를 추론하여 심층 신경망에서 이를 학습하는 것이다. 본 연구에서는 합성곱 신경망과 ResNet을 이용한 22개의 심층 신경망 모델을 학습하였고 그에 대한 정확도를 평가하였다. 실험을 통해 합성곱 신경망과 ResNet이 표현된 데이터를 학습하는데 적절한 모델임을 알 수 있었고, 인간 플레이어의 전략 선택을 잘 학습했음을 알 수 있었다. 또한, 더 깊은 신경망을 이용함으로써 전략 선택의 의도를 더 정확하게 학습함을 알 수 있었다. 이를 통해, 실시간 전략 게임에서 인간 플레이어 같은 전략 선택을 위해, 심층 신경망과 변형된 기법을 이용해 모델을 구축하고 리플레이 데이터를 통해 학습을 하는 것이 좋은 방법이 될 것이라는 것을 알 수 있었다.
A real-time strategy game means, generally, play the game gathering resources, constructing buildings, training troops, and battle against enemy toward winning. It has a distinguishing feature from classic strategy game is “Real-Time”, which means game events flow in real-time. This real-time causes...
A real-time strategy game means, generally, play the game gathering resources, constructing buildings, training troops, and battle against enemy toward winning. It has a distinguishing feature from classic strategy game is “Real-Time”, which means game events flow in real-time. This real-time causes lots of search space, and constraint on decision-making. Players have to make decisions and acts in every moment. These constraints make difficult to adopt state-of-the-art to research and develop AI in real-time strategy games. The human player can show more high-level games than AI players, because of their intuitions and experiences. Many researchers and developers give it a try to catch this gap. However, almost attempts are not focusing on macro management, which needs high-level thinking likes decision-making and prediction, but micro-management, a relatively easy task. Therefore, this paper designs for learning strategical decision-making of human players using replay data and deep neural networks. The replay data used in this paper have been gathered from StarCraft(Blizzard Co.). From replay data, extract influence maps which include unit data, building data, terrain data. Also, inferred human player’s tactical decision to train neural network models based on this inference. In this paper, we trained 22 models include convolutional neural networks and residual neural networks, evaluate each model with accuracies, analysis with train/validation losses. The experiment was able to prove that the convolutional neural networks and residual neural networks show great efficiency in learning giving data, and that the models are able to learning human intentions with proper accuracy. Thus, future research on designing AI for real-time strategy games, using deep neural network, and their modifications, for models and replay data can be breakthrough to learning/inferring human high-level thinking.
A real-time strategy game means, generally, play the game gathering resources, constructing buildings, training troops, and battle against enemy toward winning. It has a distinguishing feature from classic strategy game is “Real-Time”, which means game events flow in real-time. This real-time causes lots of search space, and constraint on decision-making. Players have to make decisions and acts in every moment. These constraints make difficult to adopt state-of-the-art to research and develop AI in real-time strategy games. The human player can show more high-level games than AI players, because of their intuitions and experiences. Many researchers and developers give it a try to catch this gap. However, almost attempts are not focusing on macro management, which needs high-level thinking likes decision-making and prediction, but micro-management, a relatively easy task. Therefore, this paper designs for learning strategical decision-making of human players using replay data and deep neural networks. The replay data used in this paper have been gathered from StarCraft(Blizzard Co.). From replay data, extract influence maps which include unit data, building data, terrain data. Also, inferred human player’s tactical decision to train neural network models based on this inference. In this paper, we trained 22 models include convolutional neural networks and residual neural networks, evaluate each model with accuracies, analysis with train/validation losses. The experiment was able to prove that the convolutional neural networks and residual neural networks show great efficiency in learning giving data, and that the models are able to learning human intentions with proper accuracy. Thus, future research on designing AI for real-time strategy games, using deep neural network, and their modifications, for models and replay data can be breakthrough to learning/inferring human high-level thinking.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.