![[Fig. 1] DNN(Deep Neural Network)](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0001.png "[Fig. 1] DNN(Deep Neural Network)")
![[Fig. 2] Reinforcement Learning](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0002.png "[Fig. 2] Reinforcement Learning")
![[Fig. 3] PPO algorithm](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0003.png "[Fig. 3] PPO algorithm")
![[Fig. 4] ProGReGA Algorithm](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0004.png "[Fig. 4] ProGReGA Algorithm")
![[Fig. 5] ml-agents](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0005.png "[Fig. 5] ml-agents")
![[Fig. 6] Proposed Algorithm process](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0006.png "[Fig. 6] Proposed Algorithm process")
![[Fig. 7] Decision Making Algorithm](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0007.png "[Fig. 7] Decision Making Algorithm")
![[Fig. 8] Simulation environment](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0008.png "[Fig. 8] Simulation environment")
![[Fig. 9] ProGReGA Algorithm Distributed result](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0009.png "[Fig. 9] ProGReGA Algorithm Distributed result")
![[Fig. 10] Proposed Algorithm distributed result](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0010.png "[Fig. 10] Proposed Algorithm distributed result")
![[Fig. 11] ProGReGA Algorithm and Proposed Algorithm Fragmented cells](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0011.png "[Fig. 11] ProGReGA Algorithm and Proposed Algorithm Fragmented cells")
![[Fig. 12] ProGReGA Algorithm and Proposed Algorithm Fragmented Groups](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_f0012.png "[Fig. 12] ProGReGA Algorithm and Proposed Algorithm Fragmented Groups")
![[Table 1] Fragmented cells and groups](http://ocean.kisti.re.kr/downfile/bibText/kgames/KGOHCL/2019/v19n3/KGOHCL_2019_v19n3_5_t0001.png "[Table 1] Fragmented cells and groups")
선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
연합인증
연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.
이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.
연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.
한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.
다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)
연합인증 절차는 다음과 같습니다.
최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용
그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용
연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.
이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.
연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.
한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.
다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)
연합인증 절차는 다음과 같습니다.
최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용
그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용
연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.
다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기
Proximal Policy Optimization을 이용한 게임서버의 부하분산에 관한 연구
A Study on Load Distribution of Gaming Server Using Proximal Policy Optimization
원문보기
한국게임학회 논문지 = Journal of Korea Game Society, v.19 no.3, 2019년, pp.5 - 14
박정민 (홍익대학교 일반대학원 게임학과) , 김혜영 (홍익대학교 게임학부) , 조성현 (홍익대학교 게임학부)
초록
게임 서버는 분산 서버를 기본으로 하고 있다. 분산 게임서버는 서버의 작업 부하를 분산하기 위한 일련의 알고리즘에 의해 각 게임 서버의 부하를 일정하게 나누어서 클라이언트들의 요청에 대한 서버의 응답시간 및 서버의 가용성을 효율적으로 관리한다. 본 논문에서는 시뮬레이션 환경에서 기존 연구 방식인 Greedy 알고리즘과, Reinforcement Learning의 한 줄기인 Policy Gradient 중 PPO(Proximal Policy Optimazation)을 이용한 부하 분산 Agent를 제안하고, 시뮬레이션 한 후 기존 연구들과의 비교 분석을 통해 성능을 평가하였다.
Abstract
AI-Helper
The gaming server is based on a distributed server. In order to distribute workloads of gaming servers, distributed gaming servers apply some algorithms which divide each of gaming server's workload into balanced workload among the gaming servers and as a result, efficiently manage response time and...
주제어
표/그림 (13)
표/그림 (13)
AI 본문요약
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
- 그 중, Policy Gradient 기법 중 하나인 PPO(Proximal Policy Optimization)는 환경의 데이터를 샘플링하고 surrogate objective function을 최적화하는 것을 번갈아하는 방법으로 훨씬 간단하게 학습하고, 일반적이다[12]. 따라서 본 논문에서는 화면의 픽셀 데이터가 아닌 환경의 실제 데이터를 이용해 학습하기 위해 PPO를 선택했다.
- 본 논문에서는 데디케이트 서버를 기반으로 구현하는 MMORPG 서버 시스템에서 발생하는 부하를 적절하게 분산하는 방법에 대해서 조사하고 딥러닝을 부하분산에 적용해보는 연구를 한다. 2장에서는 기존 부하분산의 기준 및 기법들의 장단점을 알아보 고, 3장에서 본 논문에서 제안하는 알고리즘에 대해 설명하고, 4장에서 비교분석할 실험 환경과 구현 내용, 실험 결과에 대한 분석 및 결과를 정리하고, 5장에서 연구 결론 및 향후 연구 방향을 정리한다.
질의응답
| 핵심어 | 질문 | 논문에서 추출한 답변 |
|---|---|---|
| 게임 서버는 어떤 서버를 기본으로 하는가? | 게임 서버는 분산 서버를 기본으로 하고 있다. 분산 게임서버는 서버의 작업 부하를 분산하기 위한 일련의 알고리즘에 의해 각 게임 서버의 부하를 일정하게 나누어서 클라이언트들의 요청에 대한 서버의 응답시간 및 서버의 가용성을 효율적으로 관리한다. | |
| MMORPG서버란? | MMORPG(Massively Multi-player Online Role-Playing Game Server) 서버는 동일한 가상공간상에서 대규모 사용자가 동시에 접속해서 상호작용하는 게임의 서버를 말한다. 이러한 시스템에서는 사용자 규모에 따라 서버에 가해지는 부하가 결정된다. | |
| MMORPG서버에서 사해지는 부하는 어떻게 결정되는가? | MMORPG(Massively Multi-player Online Role-Playing Game Server) 서버는 동일한 가상공간상에서 대규모 사용자가 동시에 접속해서 상호작용하는 게임의 서버를 말한다. 이러한 시스템에서는 사용자 규모에 따라 서버에 가해지는 부하가 결정된다. |
참고문헌 (13)
-
Dongil Shin, Dongkyoo Shin, Minsoo Kim, Jaehong Jang, Hyunsook Yoon, Junghoon Lee,Changwan Han, "A Research on Implementation of Load Balancing Middleware for the Onlie Game Server", The Korean Institute of Information Scientists and Engineers, Vol. 27, No 2-1, p178-180, 2000.10
-
K.H. Yang, K.H. Shim, D.O. Ko, I.K. Park, J.S. Kim, "Technical Trend of Online Game Server", Electronics and Telecommunications Trends, Volume 16, No 4, p14-22 2001.8
-
Lim Soo Jung, Hong Dong Chul, Kim Soo Sung, Kim Sung Joo, Yu Seung Han, Joon Taek Han, Jang Tae Moo, Network analysis in 3D MMORPG online games", [KOCCA]Research Report, Korea Create Content Agency, 2010
-
Kang Jung Joong, "Online Game Server", Game Academy at Korea Game Industry Development Institute, p8-16, 2005.6
-
Carlos Eduardo Benevides Bezerra, Claudio Fernando Resin Geyer, "A Load Balancing Scheme for massively multiplayer online games", Multimedia Tools and Applications, Volume 45, Issue 1-3, p 263-289 2009.10
-
John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov, "Proximal Policy Optimization Algorithms", ArXiv 2017, arXiv:1707.06347v2, 2017.8
-
"Introducing: Unity Machine Learning Agents Toolkit", Unity Blog, 2017.9.19., 2019.3.7, https://blogs.unity3d.com/2017/09/19/introducing-unity-machine-learning-agents/
-
Beob Kyun Kim, Hang Jin Jang, Kang Soo You, "Load Balancing in Seamless Game with MigAgent", Journal of Internet Computing and Services, Volume 7, No 6, p51-62, 2006.12
-
Jeongjin Lee, Gilsoo Doo, Dongun Ann, Seungjong Chung,"Design of Dynamic Map-Divide System for Load Distribution of MMORPG (Massively Multi-player Online Role Playing Game)", The Korean Institute of Information Scientists and Engineers, Vol 32, No. 1, p802-804, 2005.7
-
J.Y. Lim, I.K. Park, J.Y. Chung, K.H. Shim, "Technical Trend of Distributed Game Server", Electronics and Telecommunications Trends, Volume 20, No 4, p93-102, 2005.8
-
Ashish Revar, Malay Andhariya, Dharmendra Sutariya, "Load Balancing in Grid Environment using Machine Learning - Innovative Approach", International Journal of Computer Applications, Volume 8, No.10, p31-34, 2010.10
-
Carlos Eduardo Benevides Bezerra, Joao Luiz Dihl Comba, Claudio Fernando Resin Geyer, "A Fine Granularity Load Balancing Technique for MMOG Servers Using a KD-Tree to Partition the Space",2009 VIII Brazilian Symposium on Games and Digital Entertainment, 2009.10
저자의 다른 논문 :
연구과제 타임라인
LOADING...
LOADING...
LOADING...
LOADING...
LOADING...
- [본원] 대전광역시 유성구 대학로 245 한국과학기술정보연구원
- [분원] 서울시 동대문구 회기로 66 한국과학기술정보연구원
- 문의처: helpdesk@kisti.re.kr
- 전화: 080-969-4114
Copyright KISTI. All Rights Reserved.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.