[논문]io_uring I/O 모델을 통한 MMO 게임 서버의 성능개선

성소윤; 정내훈

doi:10.7583/jkgs.2020.20.6.31

io_uring I/O 모델을 통한 MMO 게임 서버의 성능개선
Improving performance of MMO game server using io_uring I/O Model 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.20 no.6, 2020년, pp.31 - 42

성소윤 (한국산업기술대학교 디지털엔터테인먼트학과) , 정내훈 (한국산업기술대학교 게임공학부)

초록
AI-Helper

MMO 게임 서버는 수천 명 이상의 대량 동시접속 시 성능저하를 막기 위해 운영체제에서 제공하는 고성능 I/O 모델을 사용해 구현해야한다. 하지만 운영체제에서 제공하는 I/O 모델들이 계속 발전하고 있음에도 불구하고 기존 어플리케이션들에 대한 적용은 즉각적으로 이루어지지 않고 있다. 이에 본 연구에서는 Linux의 새로운 I/O 모델인 io_uring을 MMO 게임 서버에 적용하였고, 이를 위해 기존의 서버 구조를 io_uring에 맞추어 최적화하였다. 이를 통해 개선된 성능을 대용량 접속 벤치마크 프로그램을 통해 확인하였다.

Abstract ▼ AI-Helper

To accept more than thousands of concurrent players, MMO Game servers should use high performance I/O APIs provided by the OS. Despite the continuous improvement of the I/O models, these new I/O APIs are not applied on the applications immediately. In this study, we proposed a new MMO game server architecture using io_uring, Linux's new I/O model. We implemented the proposed architecture and achieved performance improvements of the server on a stress test benchmark with high concurrent connections.

주제어

표/그림 (11)

그림 [Fig. 1] The structure of epoll I/O model
그림 [Fig. 2] The structure of io_uring model
그림 [Fig. 3] The structure of IOCP model
그림 [Fig. 4] The proposed structure of MMO
그림 [Fig. 5] The Stress Test Client
표 [Table 1] Experimental Setup
그림 [Fig. 6] Throughput of Servers
표 [Table 2] The number of system calls of MMO servers
그림 [Fig. 6] Box-Whisker model of Response time
그림 [Fig. 7] Cumulative Distribution of Response time
그림 [Fig. 9] Response time of each worker threads of epoll and io_uring server

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 io_uring 모델을 사용할 경우 시스템 콜 호출 횟수를 감소하기 위해 I/O 요청을 최대한 모아서 요청하도록 구조를 제안했다. 이로 인해 부하가 적은 상황에서는 epoll 서버의 응답시간이 유리할 수 있지만 처리량은 io_uring 서버가 더 높거나 유사했다.
본 논문에서는 서버의 성능을 측정하기 위한 벤치마크 프로그램 Stress Test Client를 직접 구현했다. 벤치마크 프로그램에서 과부하가 걸려 성능측정에 방해가 되는 것을 막기 위해 epoll I/O 모델을 사용해 구현했으며 실행되는 시스템의 CPU 코어 개수에 맞게 워커 스레드들을 생성하도록 구현했다.
본 논문에서는 연구를 위한 간단한 MMO 게임 서버를 구현했다. 다중 클라이언트 접속이 가능하며, broadcasting을 통해 주위 클라이언트들 사이의 이동을 동기화 했다.
이에 본 연구에서는 새로운 비동기 I/O 모델인 io_uring을 사용한 MMO 게임 서버 구조를 제안하고, 이를 통해 기존의 I/O 모델을 사용한 MMO 서버 보다 성능 향상을 이루는 것을 목표로 한다.

제안 방법

io_uring 모델을 사용한 MMO 서버의 시스템 콜 횟수가 기존 Linux I/O 모델인 epoll로 구현한 MMO 서버에 비해 감소했는지 확인하기 위해 perf[22]를 활용해 시스템 콜 횟수를 측정했다.
Linux의 대표적인 SELECT I/O API 로는 select[10], poll[11], epoll[6]이 존재한다. select와 polle 소켓들의 목록을 호출 할 때마다 입력받은 소켓들을 선형탐색하면서 준비상태를 확인한다. 따라서 준비완료 소켓 탐색시간이 O(n)로 성능이 느리다.
과부하 상황일 때 시스템 콜 횟수를 확인하기 위해 Stress Test Client를 통해 7000개의 클라이언트를 접속한 상황에서 실험을 진행했다. 이때 과부하 상황을 확인하기 위해 top[27]을 통해 CPU 사용량을 측정했고 iftop[28]을 통해 피크 상태일 때의 전송량을 함께 측정했다.
구현했다. 다중 클라이언트 접속이 가능하며, broadcasting을 통해 주위 클라이언트들 사이의 이동을 동기화 했다. 이때 상용 MMO 게임 서버와 같이 네트워크 I/O 최적화를 위해 주위의 클라이언트들을 판단하는 시야처리[20]를 구현했다.
스레드만 접근해야한다. 따라서 본 논문에서는 워커 스레드마다 io_uring 객체를 생성하고 이를 통해 각 io_uring 객체에 대해 한 스레드만 접근하도록 구현했다.
또한 구현된 서버에선 스레드 간 처리속도의 불균형을 막기 위해 새로운 클라이언트가 접속했을 때 현재 할당받은 클라이언트수가 가장 적은 스레드에게 새로운 클라이언트를 할당하도록 구현했다. [Fig.
먼저 메모리 할당/해제 시스템 콜들을 서버 실행 중 매번 호출하지 않기 위해 서버 실행을 시작 할 때 스레드마다 메모리 버퍼 풀(memory buffer pool)을 미리 할당했다. 또한 시야 처리를 위해 맵을 나눠 각 영역에 속해 있는 클라이언트들 정보를 관리하는 zone system[21]을 구현했다. 최적화 구현 과정에서 lock으로 인한 프로그램의 병렬성 감소를 막기 위해 본 연구에서는 lock-free 알고리즘을 사용했다.
벤치마크 프로그램에서 과부하가 걸려 성능측정에 방해가 되는 것을 막기 위해 epoll I/O 모델을 사용해 구현했으며 실행되는 시스템의 CPU 코어 개수에 맞게 워커 스레드들을 생성하도록 구현했다. 벤치마크 프로그램은 서버에 접속한 클라이언트의 수가 입력받은 클라이언트 수가될 때 까지 서버에 1ms 마다 새로운 클라이언트의 접속을 시도한다.
본 연구에서는 C++ 언어를 사용해 MMO 서버를 구현했으며, 실험환경은 [Table 1]과 같다. 구현한 서버를 5분 동안 2회 이상 실행해 기록된 측정값을 평균 내 결과 값으로 사용했다.
본 연구의 실험목적이 io_uring I/O 모델을 통한 성능변화를 측정하는 것이므로 다른 요소에서 과부하가 걸려 I/O 모델의 변경에 따른 영향을 측정하지 못할 가능성을 배제하기 위해 실험에 사용한 모든 서버에서 동일하게 메모리 관리, 게임 맵, lock 사용으로 인한 과부하와 같은 구성요소들을 다음과 같은 방식으로 최적화 했다. 먼저 메모리 할당/해제 시스템 콜들을 서버 실행 중 매번 호출하지 않기 위해 서버 실행을 시작 할 때 스레드마다 메모리 버퍼 풀(memory buffer pool)을 미리 할당했다.
새로운 비동기 I/O 모델인 io_uring을 MMO 게임 서버에 적용해 성능을 개선하기 위해 본 논문에서는 먼저 간단한 MMO 서버를 구현했다. 3.
다중 클라이언트 접속이 가능하며, broadcasting을 통해 주위 클라이언트들 사이의 이동을 동기화 했다. 이때 상용 MMO 게임 서버와 같이 네트워크 I/O 최적화를 위해 주위의 클라이언트들을 판단하는 시야처리[20]를 구현했다. 맵 크기는 가로 400칸, 세로 400칸 이며 시야를 20 칸으로 정하였다.
서버는 16 개의 워커 스레드를 생성해 메인 스레드까지 총 17개의 스레드로 실행된다. 이때 현재 Linux의 고성능 서버 어플리케이션들에서 많이 사용되고 있는 epoll I/O 모델과 성능을 비교했다.

대상 데이터

이때 상용 MMO 게임 서버와 같이 네트워크 I/O 최적화를 위해 주위의 클라이언트들을 판단하는 시야처리[20]를 구현했다. 맵 크기는 가로 400칸, 세로 400칸 이며 시야를 20 칸으로 정하였다. 서버에 접속하면 맵 내의 무작위위치를 배정받고 상하좌우로 움직여 맵 안을 이동할 수 있다.

이론/모형

앞서 zone system의 zone을 위한자료구조로 lock-free set[23]을 이용해 lock 없이 동기화를 구현했고 EBR 메모리 재활용 기법[24]을 사용해 메모리 재활용 과정의 lock 또한 제거했다. 마지막으로 클라이언트 간의 상호작용을 위해 lock-free queue[25]를 사용해 서로 다른 스레드에 속한 클라이언트 간의 통신을 lock을 사용하지 않고 구현했고 동일하게 EBR을 메모리 재활용 기법으로 사용했다. 어떤 클라이언트에서 이벤트가 발생하면 해당 이벤트를 주위의 다른 클라이언트들에게 알리기 위해 시야 범위 내에 있는 zone들의 lock-free set을 탐색하고, 해당 zone에 속한 클라이언트들을 담당하고 있는 워커 스레드의 lock-free queue를 통해 메시지를 전달한다.
Lock-free는 멀티스레드 알고리즘의한 종류로서 스레드 간 자료구조 업데이트 충돌 시에도 진행성을 보장하는 Non-Blocking 알고리즘[22]의 일종으로, 고성능 멀티스레드 자료구조 구현에 많이 사용된다. 앞서 zone system의 zone을 위한자료구조로 lock-free set[23]을 이용해 lock 없이 동기화를 구현했고 EBR 메모리 재활용 기법[24]을 사용해 메모리 재활용 과정의 lock 또한 제거했다. 마지막으로 클라이언트 간의 상호작용을 위해 lock-free queue[25]를 사용해 서로 다른 스레드에 속한 클라이언트 간의 통신을 lock을 사용하지 않고 구현했고 동일하게 EBR을 메모리 재활용 기법으로 사용했다.
또한 시야 처리를 위해 맵을 나눠 각 영역에 속해 있는 클라이언트들 정보를 관리하는 zone system[21]을 구현했다. 최적화 구현 과정에서 lock으로 인한 프로그램의 병렬성 감소를 막기 위해 본 연구에서는 lock-free 알고리즘을 사용했다. Lock-free는 멀티스레드 알고리즘의한 종류로서 스레드 간 자료구조 업데이트 충돌 시에도 진행성을 보장하는 Non-Blocking 알고리즘[22]의 일종으로, 고성능 멀티스레드 자료구조 구현에 많이 사용된다.

성능/효과

io_uring I/O 모델을 통해 과부하 상황에서 구현한 MMO 게임 서버의 시스템 콜 호출 횟수를 epoll을 사용한 경우보다 47배 이상 감소할 수 있었다. 이로 인해 과부하 상황의 보낸 패킷에 대한 응답시간이 100ms 이상 감소했다.
이때 어플리케이션이 CQ를 확인하는 과정은 시스템 콜을 동반하지 않는다. 결과적으로 I/O 요청들을 모아서 커널에 게 알려줄 때만 시스템 콜이 필요하기 때문에 기존의 I/O 모델들 보다 시스템 콜 부하를 현저히 감소시킬 수 있다. 또한 SQ와 CQ를 공유해 데이터들을 주고받기 때문에 이전 비동기 I/O 모델에서 I/O 요청과 완료과정에서 발생하던 커널 메모리 영역과 사용자 메모리 영역 사이의 메모리 복사 또한 제거했다.
기존 epoll을 사용한 MMO 서버에 io_uring 모델을 적용해 이와 같은 과부하 상황에서 초당 시스템 콜 횟수를 47배 이상 감소시킬 수 있었다.
마찬가지로 Windows에서도 RIO(Registered I/O)[8] 모델이 2016년 도입되었다. 두 모델 모두 운영체제와 어플리케이션이 I/O 요청과 완료를 주고받을 때 공유메모리 큐(Queue)를 사용하여 시스템 콜을 줄였다. 그러나 고성능 I/O 모델들이 계속 발전했음에도, 기존 어플리케이션들에 대한 적용이 이루어진 것은 발견할 수 없었다.
이로 인해 과부하 상황의 보낸 패킷에 대한 응답시간이 100ms 이상 감소했다. 또한 최대 응답시간, 응답시간의 분상에서도 io_uring 서버가 더 뛰어난 성능을 보였다.
본 연구에서 io_uring I/O 모델을 통한 MMO 서버의 성능 개선이 예상보다는 크지는 않았는데, 이번 연구에서의 여러 실험결과와 진행 중인 또 다른 연구를 통해 I/O 발생량이 늘어날수록 io_uring I/O 모델을 통한 성능 개선이 큰 것을 확인할 수 있었다. 따라서 본 연구에서 진행한 실험의 패킷 크기가 작고 피크일 때의 전송량이 300Mb 정도로 I/O 발생량 적은 것이 원인으로 보인다.
총 16개의 워커 스레드를 생성했는데 CPU 사용량이 1, 600% 가까이로 각 워커 스레드가 한 코어를 대부분 사용하면서 동작하는 것을 확인할 수 있다. 기존 epoll을 사용한 MMO 서버에 io_uring 모델을 적용해 이와 같은 과부하 상황에서 초당 시스템 콜 횟수를 47배 이상 감소시킬 수 있었다.

후속연구

이로 인해 부하가 적은 상황에서는 epoll 서버의 응답시간이 유리할 수 있지만 처리량은 io_uring 서버가 더 높거나 유사했다. 따라서 본 논문에서 제안한, io_uring을 적용한 게임 서버 구조를 사용하면, 과부하 상황에서 고성능이 요구되는 MMO 게임 서버와 같은 서버들의 성능 개선에 도움이 될 수 있을 것으로 예상된다.

참고문헌 (29)

Dong-Eun Lee, "A Study on the Free-to-Play Model for Digital Games", Korea Game Society, Vol. 15, No. 6, pp107-119, 2015.
Weiglhofer, Martin, and Franz Wotawa. "Asynchronous input-output conformance testing." 2009 33rd Annual IEEE International Computer Software and Applications Conference. Vol. 1. IEEE, p. 154-159. 2009.
Bhattacharya, Suparna, et al. "Asynchronous I/O support in Linux 2.5." Proceedings of the Linux Symposium. p. 371-386. 2003.
https://kernel.dk/io_uring.pdf
https://www.thedailyprogrammer.com/2016/09/network-programming-io-multiplexing.html
https://man7.org/linux/man-pages/man7/epoll.7.html
https://docs.microsoft.com/ko-kr/windows/win32/fileio/i-o-completion-ports?redirectedfromMSDN
https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-r2-and-2012/hh997032(vws.11)
https://docs.oracle.com/cd/E26180_01/Platform.94/ATGInstallGuide/html/s0604threadcontextswitchingproblems01.html
https://man7.org/linux/man-pages/man2/select.2.html
https://man7.org/linux/man-pages/man2/poll.2.html
Gammo, L., Brecht, T., Shukla, A., Pariag, D., "Comparing and evaluating epoll, select, and poll event mechanisms", Proceedings of the Ottawa Linux Symposium, 2004.
https://nginx.org/en/
http://netty.io/
Zhang, Shungeng, et al. "The Impact of Event Processing Flow on Asynchronous Server Efficiency." IEEE Transactions on Parallel and Distributed Systems 31.3. 565-579. 2019.

상세보기
git://git.kernel.dk/liburing
https://docs.microsoft.com/en-us/windows/win32/api/winsock/nf-winsock-wsaasyncselect
https://docs.microsoft.com/en-us/windows/win32/api/winsock2/nf-winsock2-wsaeventselect
https://support.microsoft.com/en-gb/help/181611/socket-overlapped-i-o-versus-blocking-nonblocking-mode
https://www.slideshare.net/devcatpublications/ndc2013-19986939
Lee, Jong. "Method for processing the data distributed at online game server and a system thereof." U.S. Patent Application No. 11/496,931.
Michael, Maged M., and Michael L. Scott. "Simple, fast, and practical non-blocking and blocking concurrent queue algorithms." Proceedings of the fifteenth annual ACM symposium on Principles of distributed computing. p. 267-275. 1996.
Michael, Maged M. "High performance dynamic lock-free hash tables and list-based sets." Proceedings of the fourteenth annual ACM symposium on Parallel algorithms and architectures. p. 73-82. 2002.
Tim L. Harris. A pragmatic implementation of non-blocking linked-lists. In Proceedings of the International Conference on Distributed Computing (DISC'01). 300-314. 2001.
Valois, John D. "Implementing lock-free queues." Proceedings of the seventh international conference on Parallel and Distributed Computing Systems. p. 64-69. 1994.
http://www.brendangregg.com/perf.html
https://man7.org/linux/man-pages/man1/top.1.html
https://linux.die.net/man/8/iftop
MOSBERGER, David JIN, Tai. httperf-a tool for measuring web server performance. ACM SIGMETRICS Performance Evaluation Review, 26.3, p. 31-37, 1998.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증