[논문]A3C 기반의 강화학습을 사용한 DASH 시스템

최민제; 임경식

doi:10.14372/iemek.2022.17.5.297

A3C 기반의 강화학습을 사용한 DASH 시스템
A DASH System Using the A3C-based Deep Reinforcement Learning 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.17 no.5, 2022년, pp.297 - 307

최민제 (Kyungpook National University) , 임경식 (Kyungpook National University)

Abstract ▼ AI-Helper

The simple procedural segment selection algorithm commonly used in Dynamic Adaptive Streaming over HTTP (DASH) reveals severe weakness to provide high-quality streaming services in the integrated mobile networks of various wired and wireless links. A major issue could be how to properly cope with dynamically changing underlying network conditions. The key to meet it should be to make the segment selection algorithm much more adaptive to fluctuation of network traffics. This paper presents a system architecture that replaces the existing procedural segment selection algorithm with a deep reinforcement learning algorithm based on the Asynchronous Advantage Actor-Critic (A3C). The distributed A3C-based deep learning server is designed and implemented to allow multiple clients in different network conditions to stream videos simultaneously, collect learning data quickly, and learn asynchronously, resulting in greatly improved learning speed as the number of video clients increases. The performance analysis shows that the proposed algorithm outperforms both the conventional DASH algorithm and the Deep Q-Network algorithm in terms of the user's quality of experience and the speed of deep learning.

주제어

표/그림 (14)

그림 그림 1. DASH 시스템 구조 Fig. 1. The DASH System Architecture
그림 그림 2. Actor-Critic의 구조 Fig. 2. The Structure of Actor-Critic
그림 그림 3. A3C의 전역신경망 업데이트 방식 Fig. 3. A3C's Updating Method with The Global Neural Network
그림 그림 4. A3C 기반 DASH 시스템의 구조 Fig. 4. The Architecture of The A3C-based DASH System
표 표 1. 실험에 사용된 네트워크 환경 변수 Table 1. Network Environments Parameters
표 표 2. 실험에 사용된 세그먼트 정보 Table 2. Segment Information
그림 그림 5. 비디오 재생 시간에 따른 평균 세그먼트 품질의 변화, (40, 0.001, 10) Fig. 5. Changes of Average Segment Quality over Video Play Time, (40, 0.001, 10)
그림 그림 6. 비디오 재생 시간에 따른 평균 보상의 변화, (40, 0.001, 10) Fig. 6. Changes of Average Reward over Video Play Time, (40, 0.001, 10)
그림 그림 7. 비디오 재생 시간에 따른 평균 세그먼트 품질의 변화, (40, 0.01, 100) Fig. 7. Changes of Average Segment Quality over Video Play Time, (40, 0.01, 100)
그림 그림 8. 비디오 재생 시간에 따른 평균 보상의 변화, (40, 0.01, 100) Fig. 8. Changes of Average Reward over Video Play Time, (40, 0.01, 100)
그림 그림 9. 비디오 재생 시간에 따른 평균 세그먼트 품질의 변화, (40, 0.1, 10) Fig. 9. Changes of Average Segment Quality over Video Play Time, (40, 0.1, 10)
그림 그림 10. 비디오 재생 시간에 따른 평균 보상의 변화, (40, 0.1, 10) Fig. 10. Changes of Average Reward over Video Play Time, (40, 0.1, 10)
그림 그림 11. 네트워크 환경의 변화에 따른 평균 세그먼트 품질 Fig. 11. Average Segment Quality According to Network Conditions
그림 그림 12. 네트워크 환경의 변화에 따른 리버퍼링 횟수 Fig. 12. The Number of Rebuffering According to Network Conditions

참고문헌 (10)

J. Kua, G. Armitage, P. Branch, "A Survey of Rate Adaptation Techniques for Dynamic Adaptive Streaming Over HTTP," IEEE Communications Surveys and Tutorials, Vol. 19, No. 3, pp. 1842-1866, 2017.

상세보기
K. Miller, E. Quacchio, G. Gennari, A. Wolisz, "Adaptation Algorithm for Adaptive Streaming over HTTP," 2012 IEEE 19th International Packet Video Workshop, pp. 173-178, 2012.
M. Seufert, S. Egger, M. Slanina, T. Zinner, T. Hossfeld, P. Tran-Gia, "A Survey on Quality of Experience of HTTP Adaptive Streaming," IEEE Communications Surveys & Tutorials, Vol. 17, No. 1, pp. 469-492, 2015.

상세보기
I. S. Kim, S. Hong, S. Jung, K. Lim, "An Intelligent Video Streaming Mechanism based on a Deep Q-Network for QoE Enhancement," Journal of Korea Multimedia Society, Vol. 21, No. 2, pp. 188-198, 2018.
I. S. Kim, K. Lim, "The Effect of Segment Size on Quality Selection in DQN-based Video Streaming Services," Journal of Korea Multimedia Society, Vol. 21, No. 10, pp. 1182-1194, 2018.
V. Mnih, A. P. Badia, M. Mirza, A. Graves, T. Harley, T. P. Lillicrap, D. Silver, K. Kavukcuoglu, "Asynchronous Methods for Deep Reinforcement Learning," Proceedings of The 33rd International Conference on Machine Learning, PMLR 48:1928-1937, 2016.
T. Haarnoja, A. Zhou, P. Abbeel, S. Levine, "Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor," Proceedings of the 35th International Conference on Machine Learning, PMLR 80:1861-1870, 2018.
P. Juluri, V. Tamarapalli, D. Medhi, "QoE Management in DASH Systems Using the Segment Aware Rate Adaptation Algorithm," Proceeding of IEEE/IFIP Network Operations and Management Symposium, pp. 129-136, 2016.
V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, "Playing Atari with Deep Reinforcement Learning," NIPS Deep Learning Workshop 2013, arXiv preprint arXiv:1312.5602, 2013.
T. R. Henderson, M. Lacage, G. F. Riley, "Network Simulations with the ns-3 Simulator," Proceeding of Association for Comput ing Machinery Conference on Special Interest Group on Data Communication, pp. 527, 2008.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증