[논문]심층강화학습 기반 서비스 그룹별 큐 관리 메커니즘

정설령; 이성근

doi:10.13067/jkiecs.2020.15.6.1099

초록
AI-Helper

인터넷을 기반으로 다양한 종류의 응용 서비스들을 제공하기 위해서 각 흐름 별로 서비스 품질을 보장하는 것은 이상적이지만, 이를 실현하는 것은 매우 어려운 일이다. 서비스 품질 요구조건이 같거나 비슷한 여러 흐름들을 동일한 그룹으로 지정하고, 그룹별로 서비스 품질을 제공하는 방안이 효율적이다. 라우터에서 적용되는 큐 관리 메커니즘은 데이터의 효율적으로 전송하고, 서비스 별로 차별화된 서비스 품질을 지원하기 위하여 매우 중요한 역할을 수행한다. 다양한 멀티미디어 서비스를 효율적으로 지원하기 위해서 지능적이고 적응적인 큐 관리 메커니즘 기능이 필요하다. 본 논문은 일정 기간 유입되는 각 흐름 그룹의 트래픽 정보와 현재의 네트워크 상태 정보를 기반으로 그룹별 패킷의 전달 여부를 결정하는 심층강화학습 기반의 지능형 큐관리 메커니즘을 제안한다.

Abstract ▼ AI-Helper

In order to provide various types of application services based on the Internet, it is ideal to guarantee the quality of service(QoS) for each flow. However, realizing these ideas is not an easy task.. It is effective to classify multiple flows having the same or similar service quality requirements...

In order to provide various types of application services based on the Internet, it is ideal to guarantee the quality of service(QoS) for each flow. However, realizing these ideas is not an easy task.. It is effective to classify multiple flows having the same or similar service quality requirements into same group, and to provide service quality for each group. The queue management mechanism in the router plays a very important role in order to efficiently transmit data and to support differentiated quality of service for each service. In order to efficiently support various multimedia services, an intelligent and adaptive queue management mechanism is required. This paper proposes an intelligent queue management mechanism based on deep reinforcement learning that decides whether to deliver packets for each group based on the traffic information of each flow group flowing in for a certain period of time and the current network state information.

주제어

표/그림 (4)

그림 그림 1. RED 큐 관리 알고리즘 Fig. 1 RED queue management algorithm
그림 그림 2. 심층강화학습 구성요소 Fig. 2 Components of deep reinforcement learning
그림 그림 3. 큐 관리를 위한 DRL 프레임워크 Fig. 3 DRL framework of queue management
그림 그림 4. 큐 관리를 위한 DQN 알고리즘 Fig. 4 DQN Algorithm for queue management

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

인터넷에서 서비스 품질 을 보장하기 위해서는 IP(:Internet Protocol) 의 큐 관 리 메커니즘과 TCP(:Transmission Control Protocol) 의 혼잡 제어 알고리즘이 중요한 역할을 수행한다. 본 논문에서는 IP 의 패킷 전달 정책의 적응적인 제어에 대해 논한다. IP 프로토콜은 각 패킷 헤더에 표시된 서비스 품질 정보를 기반으로 패킷을 목적지 노드 전 달하는 기능을 수행한다.
이러한 DRL을 적용한 네트워킹 분야 최적화에 대한 연구가 시도되었고, 많은 분야에서 우수한 성능 향상 결과를 나타내었다[3]. 본 논문은 일정 기간 유 입되는 각 흐름 그룹의 트래픽 정보와 현재의 네트워 크 상태 정보를 기반으로 그룹별 패킷의 전달 여부를 결정하는 DRL 기반의 지능형 큐 관리 메커니즘을 제 안한다. 본 논문의 구성은 다음과 같다.
라우팅, 서비스 품질 제어, 혼잡 제어 등 다양한 분 야에서 딥러닝과 강화학습을 통한 성능 향상 및 지능 화 연구가 매우 활발히 진행되고 있다. 본 논문은 최 근 다양한 분야에서 많은 장점을 나타내고 있는 심층 강화 학습 기술을 적용하여 새로운 인터넷 환경에서 적응적으로 동작할 수 있는 DQN 기반 큐 관리 메커 니즘에 설계에 대해 논했다. 현재 각 컴포넌트에 대해 구현 중에 있으며, 제안한 알고리즘에 대해서 다양한 환경에서의 시뮬레이션을 통한 성능 검증을 통하여 제안한 알고리즘의 성능이 흐름의 대역 보장 및 공정 성을 달성할 수 있는지에 대한 성능 분석을 수행할 계획이다.

제안 방법

에이전트는 행동을 수행하고, 환경으로부터 스칼라 형태의 보상값 r(st,at)을 받고, 환경의 변화된 다음 상태를 관찰한다. 에이전트 전체 에피소드 동안 환경 으로부터 얻어지는 누적 보상값을 최대화하는 정책을 찾도록 학습한다. 정책 π(at∣st) 또는 π(st) 는 상 태공간을 행동공간 (S → A)에 확률적 분포나 또는 결정적인 값의 형태로 대응하며, 특정 상태에서 취할 행동을 결정한다.
- 환경(Environment) : 각 라우터가 상호 연결된 인터넷을 의미하며, 각 라우터는 큐 관리 메커니즘으 로 추상화되며, N 개의 흐름 그룹별 차별화된 패킷 폐기 확률에 따라 패킷을 처리한다. 에이전트에게 네 트워크 특성을 나타내는 상태 정보를 제공하고, 에이 전트 행동에 따라 각 흐름 그룹별 패킷 전달 정책을 수행한다.
본 논문에서 설계한 DRL 기반 큐 관리 메커니즘 의 구성도를 그림 3 에 나타내었다. 제안한 메커니즘 은 네트워크 에지에서 동일한 트래픽 특성을 갖는 흐 름들을 동일한 그룹으로 분류하고, 라우터에서 각 그 룹 별로 차별화된 QoS 레벨은 보장한다. 동일하거나 유사한 서비스 품질을 요구하는 모바일 어플리케이션 을 동일한 흐름 그룹으로 배정하고, 패킷의 헤더 부분 에 흐름 그룹 식별자 정보를 마킹한다[11].

이론/모형

그림 3에 나타낸 바와 같이 DQN을 기반으로 QoS 제어 학습을 모델링하였으며, 시스템 모델은 POMDP (:Partially observable Markov decision process)을 이 용하였다. 본 논문에서 정의한 각 컴포넌트의 기능은 다음과 같다.
일정 기간 유입되는 각 흐름 그룹의 트래픽 정보와 현재의 네트워크 상태에 기반하여 그룹별 패킷의 폐 기 확률을 계산하고, 그에 따라 스케줄링을 수행하는 적응적 큐 관리 알고리즘을 적용한다. 심층강화학습 (Deep Reinforcement Learning : DRL)은 최종적으로 가장 큰 보상을 획득하기 위하여 환경과 상호 작용을 통해 얻게 되는 경험으로부터 스스로 학습할 수 있 다.
- 에이전트(Agent) : 현재의 상태 정보와 보상값을 기반으로 강화학습을 통해 얻어진 행동을 결정하여 큐 관리 메커니즘의 패킷 관리 정책에 반영한다. 학습 알고리즘은 DQN 방법을 통해 수행되며, Ts 주기마 다 보상값과 상태 정보를 기반으로 각 흐름 그룹별 패킷 폐기 확률에 대한 행동을 결정하여 이 값을 환 경에 적용한다. 행동 결정을 위한 정책은 e-greedy 방법에 따르므로, 학습 초기에는 다양하고, 충분한 탐 험(exploration)을 수행하며, 학습이 충분히 이루어지 면 이용(exploitation) 과정을 균형적으로 실현한다.

성능/효과

첫째, 여러 흐름 중에서 전송률이 높은 흐름이 큐를 많이 점유하게 되므로 라우터의 대역푹 은 전송률이 높은 흐름이 많이 차지하게 되어 서비스 제공의 불균형이 일어난다. 둘째, 큐의 길이를 상대적 으로 크게 설정하면, 큐에서는 손실이 발생할 확률은 낮아지게 되지만 패킷의 지연시간은 상대적으로 증가 하게 된다. 셋째, 혼잡 상황이 발생하여 큐가 가득 찼 을 때 이후에 유입되는 모든 패킷들은 연속해서 버려 지게 된다.
둘째, 큐의 길이를 상대적 으로 크게 설정하면, 큐에서는 손실이 발생할 확률은 낮아지게 되지만 패킷의 지연시간은 상대적으로 증가 하게 된다. 셋째, 혼잡 상황이 발생하여 큐가 가득 찼 을 때 이후에 유입되는 모든 패킷들은 연속해서 버려 지게 된다. TCP 혼잡제어 알고리즘에 의해 각 흐름 들은 일시적으로 패킷 전송률은 크게 낮추게 되고, 혼 잡 상황은 완화가 되지만 링크의 이용 효율을 낮아지 게 된다.
이러한 FIFO 기반의 큐 관리 메커 니즘은 단순하며 구현이 쉬운 반면에 몇 가지 문제점 을 나타낸다. 첫째, 여러 흐름 중에서 전송률이 높은 흐름이 큐를 많이 점유하게 되므로 라우터의 대역푹 은 전송률이 높은 흐름이 많이 차지하게 되어 서비스 제공의 불균형이 일어난다. 둘째, 큐의 길이를 상대적 으로 크게 설정하면, 큐에서는 손실이 발생할 확률은 낮아지게 되지만 패킷의 지연시간은 상대적으로 증가 하게 된다.

후속연구

패킷 전송 또는 패킷 폐기 등 두 가지 행동으로 지정하였다. 향후 성능분석 결과에 따라 이산화된 확 률 분포 형태로 조정될 수 있다
본 논문은 최 근 다양한 분야에서 많은 장점을 나타내고 있는 심층 강화 학습 기술을 적용하여 새로운 인터넷 환경에서 적응적으로 동작할 수 있는 DQN 기반 큐 관리 메커 니즘에 설계에 대해 논했다. 현재 각 컴포넌트에 대해 구현 중에 있으며, 제안한 알고리즘에 대해서 다양한 환경에서의 시뮬레이션을 통한 성능 검증을 통하여 제안한 알고리즘의 성능이 흐름의 대역 보장 및 공정 성을 달성할 수 있는지에 대한 성능 분석을 수행할 계획이다.

참고문헌 (11)

K. Zhu and E. Hossain, "Virtualization of 5G cellular networks as a hierarchical combinatorial auction," IEEE Transaction on Mobile Computing, vol. 15, no. 10, Oct. 2016, pp. 2640 - 2654.

상세보기
S. Lee, "Design and Application of LoRa-based Network Protocol in IoT Networks," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 6, pp. 1089 - 1095, 2020.

원문보기 상세보기
Z. Xu et al. ,"Experience-Driven Networking: A Deep Reinforcement Learning Based Approach," Proc. IEEE INFOCOM, Honolulu, HI, USA, Apr. 2018.
S. Floyd and V. Jacobson, "Random early detection gateways for congestion avoidance, " IEEE/ACM Trans. Netw., vol. 1, no. 4, Aug. 1993, pp. 397-413.

상세보기
J. Kim, S. Lee, Koh, and J. Park, "Traffic Control Algorithm for Periodic Traffics in WSN," J. of the Korea Institute of Electronic Communication Sciences, vol. 5, no. 1, pp.44-50, 2010.
J. Kim, S. Lee, Koh, and C. Jung, "A Marking Algorithm for QoS Provisioning in WMSN," J. of the Korea Institute of Electronic Communication Sciences, vol. 5, no. 2, pp.193-204, 2010.
K. Nichols and V. Jacobson, "Controlling queue delay," ACM Queue, vol. 10, no. 5, May 2012, pp.1-14.
K. Arulkumaran, M. Deisenroth, M. Brundage and A. Bharath, "Deep reinforcement learning : a brief survey," IEEE Signal Process. Magazine, vol. 34, no. 6, Nov. 2017, pp.26-38.

상세보기
X. Huang, T. Yuan, G. Qiao and Y. Ren, "Deep reinforcement learning for multimedia traffic control in software defined networking," IEEE Network, vol. 32, no. 6, Dec. 2018, pp. 35-41.

상세보기
B. Guo, X. Zhang, Y. Wang, and H. Yang, "Deep Q-network based multimedia multi-service QoS optimization for mobile edge computing systems," IEEE Access, vol. 7, Nov. 2019, pp. 160961-160972.

상세보기
K. Xiao, S. Mao, and J. K. Tugnait, "TCP-Drinc: Smart congestion control based on deep reinforcement learning,". IEEE Access, vol. 7, Jan. 2019, pp. 11892-11904.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

심층강화학습 기반 서비스 그룹별 큐 관리 메커니즘
A Queue Management Mechanism for Service groups based on Deep Reinforcement Learning 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (4)

표/그림 (4)

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

심층강화학습 기반 서비스 그룹별 큐 관리 메커니즘 A Queue Management Mechanism for Service groups based on Deep Reinforcement Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (4) 모든 표/그림 보기

표/그림 (4) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

이성근 (40)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

심층강화학습 기반 서비스 그룹별 큐 관리 메커니즘
A Queue Management Mechanism for Service groups based on Deep Reinforcement Learning 원문보기

초록
AI-Helper

표/그림 (4)

표/그림 (4)

AI 본문요약
AI-Helper