[논문]RIO와 HTM을 이용한 MMO 게임서버의 성능 개선

강수빈; 정내훈

doi:10.7583/jkgs.2020.20.6.13

[국내논문] RIO와 HTM을 이용한 MMO 게임서버의 성능 개선
Performance Improvement of MMO Gameservers Using RIO and HTM 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.20 no.6, 2020년, pp.13 - 22

강수빈 (한국산업기술대학교 디지털엔터테인먼트학과) , 정내훈 (한국산업기술대학교 게임공학부)

초록
AI-Helper

RIO는 윈도우의 최신 네트워크 API로 낮은 부하와 지연을 통해 높은 IO 성능을 발휘하도록 설계되었으며. 고성능의 네트워크 IO를 요구하는 대규모 동시접속(MMO) 게임 서버에 적합할 것으로 기대된다. 또한 HTM은 기존의 멀티스레드 동기화 방식보다 생산성과 성능이 우수하여 MMO 게임 서버에 적용 시 성능향상이 예상된다. 본 논문에서는 MMO 게임 서버에 RIO를 적용함과 동시에 RIO의 성능을 최대한 끌어내도록 구조를 개선하고, 기존의 시야 처리 알고리즘을 HTM 방식으로 변경하여 서버의 성능을 향상시켰다. 결과적으로 동시 접속자 수를 19%가량 증가시켰으며, 벤치마킹 프로그램을 사용하여 이를 검증하였다.

Abstract ▼ AI-Helper

RIO is a new network API for Windows that is designed to have high I/O performance through low overhead and latency. Using RIO, MMO game servers may have much performance benefits. In addition, HTM has better productivity and performance compared to existing synchronization methods, so adopting it may produce better performance, also. In this paper, we improved server performance by implementing a new MMO game server architecture optimized with RIO and HTM. The performance of the server was verified through a benchmark program, and the number of concurrent users increased by 19%.

주제어

표/그림 (9)

그림 [Fig. 1] RIO Communication Diagram
그림 [Fig. 2] Worker Thread Data Structure Tree
그림 [Fig. 3] HTM Start Method
그림 [Fig. 4] HTM End Method
그림 [Fig. 5] Viewlist copy with HTM
그림 [Fig. 7] Benchmark Program Image
표 [Table. 1] Hardware Specification
그림 [Fig. 6] Benchmark Result Graph
표 [Table 2] Benchmark Result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제시하는 Registered I/O와 HTM 을 적용한 서버와 기존의 IOCP로 구현된 서버와의 성능차이를 측정하기 위하여 벤치마크를 수행한다. 서버의 구동에 사용된 머신의 성능은 [Table 1]과 같다.
본 연구에서는 최신 I/O API인 Registered IO 와 Hardware Transactional Memory를 활용하는 새로운 MMO서버 구조를 제안하고, 이를 구현하였으며, 기존의 IOCP와 잠금방식의 게임 서버와의 성능 차이를 측정하였다. 기존의 IOCP방식에비하여 % Privileged Timee 최대 95%감소, 초당 시스템 호출 회수는 최대 53% 감소하였고, 궁극적으로 최대 동시 접속자 수는 최대 19% 상승하였다.
되어있다. 잠금을 이용하여 임계영역을 보호하는 것이 일반적이나, 잠금으로 인한 성능 저하가 클 수 있기 때문에 본 논문에서는 잠금을 제거하도록 구조를 최적화하였다.

가설 설정

1) I/O 작업 요청은 소켓에 연결된 RQ에 저장된다.

제안 방법

만일 트랜잭션이 성공했으나 다른 트랜잭션이 Fallback Path에 들어간 경우 (13 lin e) 트랜잭션을 abort한다. Abortcnt가 MAX_AB ORT_CNT를 넘을 때까지 트랜잭션을 실패한 경우 인자로 받은 lock을 걸고 Fallback Path를 실행(6-10 line)하여 강제로 진행하게 하였다.
HTM을 적용할 때 무한히 재시도하는 것을 막을 수 있는 Fall Back Path의 구현이 필요한데, 본 논문에서는 이를 잠금을 사용하여 구현하였으며 HTM과의 동기화를 위해 abortcnt와 is Locked라는 상태 변수를 추가하였다.
I/O완료 통지를 받는 CQ를 각 스레드마다 한 개씩 할당하고, RIODequeueCompletion 메서드 호출 시 자신의 스레드에 할당된 CQ만 사용하도록 하여 데이터 레이스를 제거하였다. 이를 위해 각 클라이언트들은 여러 스레드 중 하나에 고정되며 그 클라이언트가 사용하는 CQ는 할당된 스레드에서만 접근 가능하다.
RI O API는 낮은 레이턴시와 적은 지터(jitter)로 고성능이 필요한 어플리케이션에서 높은 초당 I/O 처리률 (IOPS)을 달성할 수 있도록 설계되었다.
1에서 언급한 메시지 큐를 사용하였다. Scatter/Gather I/O 효과를 최대한 이끌어 낼 수 있도록 전체 메시지 Commit 이후 다음 메시지 전송 사이에 20ms의 시간 간격을 세팅하여 RQ에 1개 이상의 메시지가모이도록 하였다. 이때 시간 간격은 4.
진행하였다. Skiplist의 메서드 실행 시메서드 전체를 하나의 트랜잭션으로 감싸는 Coa rse-grained HTM 버전과 실제 메모리 변경 부분만을 트랜잭션으로 감싸는 Fine-grained HTM 버전등으로 나누어 Lock-free, Lock-based, 이상치(Ideal) 등과 비교분석하였으며 Fine-grained HTM버전의 경우 성능이 Lock-Free버전과 큰 차이를 보이지 않음을 보였다[10].
결과적으로 메시지 전송시마다 다른 스레드와 중복되는 RQ접근을 없애고 Lock-Free Set[14]을 활용하여 구현한 메시지 큐에 대신 접근하도록 하여 RQ의 잠금을 제거하였다.
이를 피하기 위해 각 RQ의 접근을 클라이언트가 고정된 스레드에서만 하도록 하였고, 작업을 저장하는 메시지 큐를 클라이언트마다 두어 이를 통해서만 RQ의 접근을 하도록 하였다. 다른 클라이언트의 RQ접근이 필요한 경우 이 요청을 해당 클라이언트에 메시지 큐에 남기도록 하였으며, 이후 각 스레드가 I/O작업을 처리할 때 자신에 고정된 클라이언트들을 순회하며 저장된 요청을 RQ에 넘기도록 하였다.
또한 기존의 시야처리에 사용되던 동기화 알고리즘의 구현 방식을 HTM으로 변경하였다.
또한 빈번하게 사용하는 공유 자료구조이나 Lock-free구현이 어려워 임계영역을 잠금 방식으로 보호하던 시야 처리 자료구조를 HTM를 이용하여 임계영역을 보호하도록 구현하여 높은 병렬성을 얻도록 하였다. 이를 통해 궁극적으로 동시접속자 수를 극대화할 수 있는 MMO 게임 서버를 구현하였다.
최대 동시 접속자 벤치마크의 서버의 작업자 스레드는 36개로 설정하였다. 또한 최대 동시 접속자 이외의 수치를 측정하기 위하여 Windows의 성능 모니터 툴을 이용하여 % Privileged Time과 System Call /sec를 측정하였다. % Privileged Timee 커널 모드에서 프로세스 스레드가 코드를 실행하는데 소비한 경과 시간의 백분율을 나타내며 낮을수록 좋은 것으로 간주한다.
본 논문에서 설계한 게임서버는 RIO의 효율적인 사용을 위해 전용 스레드를 사용한 잠금 제거방식을 도입하였고, RIO의 deferred I/O를 활용하기 위해 브로드캐스트 시스템을 개선하였다. 또한 기존의 시야처리에 사용되던 동기화 알고리즘의 구현 방식을 HTM으로 변경하였다.
본 논문의 기준이 되는 서버는 시야처리를 사용하여 메시지 전송의 부하를 경감시켰다. 이때 시야에 들어온 클라이언트들의 동기화시에 어긋남을 막기 위하여 Viewlist라는 자료구조를 사용하였고 이는 unordered_set으로 구현되어 있다.
스트레스 테스트 클라이언트는 서버에 부하를 주어 최대 동시 접속자를 테스트 하는 목적으로 직접 제작하여 사용하였다. 스트레스 테스트 클라이언트는 하나의 프로세스에서 서버와 최대한 많은 접속을 유지하도록 설계하였다.
제작하여 사용하였다. 스트레스 테스트 클라이언트는 하나의 프로세스에서 서버와 최대한 많은 접속을 유지하도록 설계하였다. 최초 지정한 10ms마다 서버에 접속시도를 하고 접속에 성공한 클라이언트는 별도의 작업자 스레드에서 서버와 통신을 지속한다.
Scatter/Gather I/O 효과를 최대한 이끌어 낼 수 있도록 전체 메시지 Commit 이후 다음 메시지 전송 사이에 20ms의 시간 간격을 세팅하여 RQ에 1개 이상의 메시지가모이도록 하였다. 이때 시간 간격은 4.1절의 스트레스 테스트 클라이언트를 이용한 벤치마크를 사용하였으며 전송 시간간격을 0ms에서 100ms까지 10ms간격으로 변경하며 테스트하였다. 최종적으로 최대 동시 접속자 수치가 가장 높은 결과인 20ms 를 시간간격으로 선정하였다.
또한 빈번하게 사용하는 공유 자료구조이나 Lock-free구현이 어려워 임계영역을 잠금 방식으로 보호하던 시야 처리 자료구조를 HTM를 이용하여 임계영역을 보호하도록 구현하여 높은 병렬성을 얻도록 하였다. 이를 통해 궁극적으로 동시접속자 수를 극대화할 수 있는 MMO 게임 서버를 구현하였다.
클라이언트의 I/O의 동작 결과를 상대 클라이언트에 전송하려면 상대의 RQ에 접근해야 하는데 이때 데이터 레이스가 발생할 수 있고, 기존에는 이를 잠금을 사용하여 해결하였다. 이를 피하기 위해 각 RQ의 접근을 클라이언트가 고정된 스레드에서만 하도록 하였고, 작업을 저장하는 메시지 큐를 클라이언트마다 두어 이를 통해서만 RQ의 접근을 하도록 하였다. 다른 클라이언트의 RQ접근이 필요한 경우 이 요청을 해당 클라이언트에 메시지 큐에 남기도록 하였으며, 이후 각 스레드가 I/O작업을 처리할 때 자신에 고정된 클라이언트들을 순회하며 저장된 요청을 RQ에 넘기도록 하였다.

이론/모형

Intel사는 4세대 프로세서부터 HTM을 사용할 수 있도록 Transactional Synchronization Exten sions(TSX)[3]라는 추가 확장 기능을 제공하고 있으며 본 논문에서는 이 API를 활용하였다.
메시지 전송의 부하를 경감시켰다. 이때 시야에 들어온 클라이언트들의 동기화시에 어긋남을 막기 위하여 Viewlist라는 자료구조를 사용하였고 이는 unordered_set으로 구현되어 있다. 이 Viewlist 는 모든 스레드에서 접근하여 갱신 할 수 있어야 하기 때문에 데이터 레이스에 매우 취약하며, 이를 스레드 안전하게 접근 및 수정하기 위하여 잠금을 통해 데이터 레이스를 해결하였다.

성능/효과

4) 각 스레드는 지정된 CQ에서 완료통지를 꺼내어 처리하며 연관된 버퍼의 ID를 통해 데이터에 접근이 가능하다.
또한 추가적으로 RIO의 Deferred 옵션을 사용하는 것으로 시스템 호출 회수를 더욱 더 개선할 수 있는 것을 알 수 있다. HTMe Viewlist의 동기화에 사용이 되었으며 HTM을 실패 시 재시도 하는 경우 등의 모듈 자체의 오버헤드로 인하여 IOCP 를 RIO로 변환한 만큼의 성능향상은 보이지 않은 것으로 판단되지만, IOCP와 잠금을 사용한 서버에서 잠금을 HTM으로 변경하는 것만으로도 %Privileged Time과 초당 시스템 호출 회수를 감소 시켜 동시접속자 수를 향상시킬 수 있었다.
성능 차이를 측정하였다. 기존의 IOCP방식에비하여 % Privileged Timee 최대 95%감소, 초당 시스템 호출 회수는 최대 53% 감소하였고, 궁극적으로 최대 동시 접속자 수는 최대 19% 상승하였다. 향후 연구 과제로는 본 구현에서 제안한 Registered I/O의 사용법이 성능향상을 위해 메모리를 많이 사용하여 서버의 사양에 민감한 문제가 있어, 이를 최소화하는 방법에 대하여 연구하고자 한다.
이는 실제 통신에 사용되는 버퍼의 접근과 I/ O요청 완료를 확인하는 작업등에서 IOCP보다 R IO의 시스템 호출회수가 낮기 때문이다. 또한 추가적으로 RIO의 Deferred 옵션을 사용하는 것으로 시스템 호출 회수를 더욱 더 개선할 수 있는 것을 알 수 있다. HTMe Viewlist의 동기화에 사용이 되었으며 HTM을 실패 시 재시도 하는 경우 등의 모듈 자체의 오버헤드로 인하여 IOCP 를 RIO로 변환한 만큼의 성능향상은 보이지 않은 것으로 판단되지만, IOCP와 잠금을 사용한 서버에서 잠금을 HTM으로 변경하는 것만으로도 %Privileged Time과 초당 시스템 호출 회수를 감소 시켜 동시접속자 수를 향상시킬 수 있었다.
본 논문에서는 Intel사의 HTM구현인 TSX를사용하여 잠금을 사용하지 않는 알고리즘을 구현하였고 이를 이용하여 기존의 잠금 기반 프로그램의 구조를 크게 변경하지 않으면서 병렬성을 확보하여 성능상의 이점을 가져올 수 있었다.
본 연구에서는 RIO의 효율적인 적용을 위해 기존의 IOCP 게임서버의 클라이언트와 작업자 스레드의 할당 구조를 변경하였으며, 이를 통해 RIO API에 사용되는 공유 자료구조에 접근 시유발되는 데이터 레이스 문제를 해결할 수 있었다. 또한 빈번하게 사용하는 공유 자료구조이나 Lock-free구현이 어려워 임계영역을 잠금 방식으로 보호하던 시야 처리 자료구조를 HTM를 이용하여 임계영역을 보호하도록 구현하여 높은 병렬성을 얻도록 하였다.
최종적으로 기준이 되는 IOCP서버와 본 논문에서 제안하는 모든 방법을 적용한 RIO 서버를 비교하였을 때 Privileged Timee 최대 95%, 초당 시스템 호출 회수는 최대 53% 감소하였고, 최종적으로 최대 동시 접속자는 19% 증가하였다.

후속연구

기존의 IOCP방식에비하여 % Privileged Timee 최대 95%감소, 초당 시스템 호출 회수는 최대 53% 감소하였고, 궁극적으로 최대 동시 접속자 수는 최대 19% 상승하였다. 향후 연구 과제로는 본 구현에서 제안한 Registered I/O의 사용법이 성능향상을 위해 메모리를 많이 사용하여 서버의 사양에 민감한 문제가 있어, 이를 최소화하는 방법에 대하여 연구하고자 한다.

참고문헌 (15)

Hyun-jik Bae. "Game Server Programming Textbook", Gilbut. 2019.
Microsoft. "Registered Input/Output (RIO) API Extensions". https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windowsserver-2012-r2-and-2012/hh997032(vws.11)
Intel. "Intel® 64 and IA-32 Architectures Software Developer's Manual". Chap.16 Intel TSX Recommendations
Microsoft. "I/O Completion Ports". https://docs.microsoft.com/en-us/windows/win32/fileio/i-o-completion-ports
Sung-Ik Kim, "Lockless 게임서버 설계와 구현", NDC2012, 2012
KiNam KIM, Hye-Young Kim. "A study on gaming server Implementation as IOCP model applying load balance scheme in MMORPG." Korean Institute of Information Technology, Proceedings of KIIT Conference 2019.6 pp.612-615. 2019
Youngsik Kim, "A study of optimal spatial partition size and field of view in massively multiplayer online game server". International Journal of Applied Engineering Research. 12. pp.8174-8178. 2017.
Kim Y., Kim KN. "Design and Evaluation of a MMO Game Server". Software Engineering Research, Management and Applications (SERA 2018). Studies in Computational Intelligence, vol 789. Springer, Cham. 2019.
Takuya Nakaike, Rei Odaira, Matthew Gaudet, Maged M. Michael, and Hisanobu Tomari. "Quantitative comparison of hardware transactional memory for Blue Gene/Q, zEnterprise EC12, Intel Core, and POWER8." SIGARCH Comput. Archit. News 43, 3S. pp. 144-157. June 2015.
Marios Kardaras, Dimitrios Siakavaras, Konstantinos Nikas, Georgios Goumas, Nectarios Koziris. "Fast Con-current Skip Lists with HTM", Intl Symposium on High-Level Parallel Programming and Applications (HLPP). 2018.
Glazer Joshua L, Madhav Sanjay, "Multiplayer Game Programming", Gilbut, 2017
Tae-hyun Lim. "MMO 서버 개발 포스트 모템", NDC2012, 2012
Heung-sub Lee, "[야생의 땅: 듀랑고] 서버 아키텍처 Vol. 2", NDC2016, 2016
M. Herlihy and N. Shavit. "The Art of Multiprocessor Programming revised edition" Morgan Kaufmann Publishers Inc. 2012.
Microsoft. "Scatter/Gather I/O". https://docs.microsoft.com/en-us/windows/win32/winsock/scatter-gather-i-o-2

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증