[논문]ISP의 OTT 트래픽 품질모니터링과 예측에 관한 연구

남창섭

doi:10.17661/jkiiect.2021.14.2.115

ISP의 OTT 트래픽 품질모니터링과 예측에 관한 연구
A Study on the Quality Monitoring and Prediction of OTT Traffic in ISP 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.14 no.2, 2021년, pp.115 - 121

남창섭 (Department of Mechanical ICT Engineering, Hoseo University)

초록
AI-Helper

본 논문은 급증하는 인터넷 트래픽예측을 위해 빅데이터와 인공지능기술을 이용하였다. 기존에 트래픽 예측에 관해 다양한 연구가 있었지만 최근 스마트폰이나 스트리밍 등 거대한 인터넷 트래픽을 유발하는 증가 요소를 반영하지는 못했다. 더불어 대용량 인기 게임 출시나 OTT(Over the Top)사업자의 신규 컨텐츠 제공과 같은 이벤트성 요소는 사전 예측이 더욱 어렵다. 이러한 특성으로 기존 방법으로는 ISP(Internet Service Provider)가 실시간적 서비스 품질관리나 트래픽 예측치를 네트워크 사업환경에 반영하기가 불가능하였다. 따라서 본 연구에서는 이러한 문제점을 해결하고자 기존 NMS와는 별개로 트래픽 데이터를 실시간적으로 탐색, 판별하여 수집하는 인터넷 트래픽 수집시스템을 구축하였다. 이를 통해 수집대상의 데이터를 자동등록할 수 있는 유연성과 탄력성을 확보하였으며 실시간 네트워크 품질모니터링을 가능하게 하였다. 또한 시스템에서 수집된 대량의 트래픽 데이터를 머신러닝(AI)으로 분석하여 OTT 사업자의 미래 트래픽을 예측하였다. 이를 통해 보다 과학적이고 체계적인 예측이 가능해졌으며 더불어 ISP 사업자 간의 연동 최적화와 대형 OTT 서비스의 품질확보가 가능할 수 있게 되었다.

Abstract ▼ AI-Helper

This paper used big data and artificial intelligence technology to predict the rapidly increasing internet traffic. There have been various studies on traffic prediction in the past, but they have not been able to reflect the increasing factors that induce huge Internet traffic such as smartphones and streaming in recent years. In addition, event-like factors such as the release of large-capacity popular games or the provision of new contents by OTT (Over the Top) operators are more difficult to predict in advance. Due to these characteristics, it was impossible for an ISP (Internet Service Provider) to reflect real-time service quality management or traffic forecasts in the network business environment with the existing method. Therefore, in this study, in order to solve this problem, an Internet traffic collection system was constructed that searches, discriminates and collects traffic data in real time, separate from the existing NMS. Through this, the flexibility and elasticity to automatically register the data of the collection target are secured, and real-time network quality monitoring is possible. In addition, a large amount of traffic data collected from the system was analyzed by machine learning (AI) to predict future traffic of OTT operators. Through this, more scientific and systematic prediction was possible, and in addition, it was possible to optimize the interworking between ISP operators and to secure the quality of large-scale OTT services.

주제어

표/그림 (10)

그림 그림 1. 트래픽 수집 서버의 역할 Fig. 1. Role of traffic collection server
그림 그림 2. 트래픽 수집 가상서버 구조 Fig. 2. traffic collection virtual server structure
그림 그림 3. 라우터 품질모니터링 그래프 Fig. 3. router quality monitoring graph
그림 그림 4. AI 트래픽예측 모델 Fig. 4. AI traffic prediction model
그림 그림 5. 데이터프레임 생성 절차 Fig. 5. Dataframe creation procedure
그림 그림 6. 트래픽예측과 시각화 Fig. 6. prediction & visualization
표 표 1. 데이터프레임 table 1. Dataframe
그림 그림 7. 트래픽 예측 결과 (90일간) Fig. 7. traffic forecast for 90 days providing network
그림 그림 8. 컴포넌트별 트래픽 시각화 Fig. 8. traffic visualization each component
표 표 2. 트래픽 증가율 (예측기준일로부터 90일간) table 2. Rate of traffic increase (90 days from the prediction base date)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

트래픽 예측을 위해서는 방대한 데이터를 머신러닝(AI)으로 분석하여 미래 트래픽 예측의 신뢰도를 한층 높였다. 따라서 과거 방식에서 벗어나 획기적인 모니터와 예측이 가능하도록 하였다. 또한 최근 코로나 이슈로 증대된 트래픽과 사전예측 곤란한 이벤트성 트래픽을 실시간적으로 반영하였다.
또한 최근에는 Youtube, Netflix 등 OTT (Over-the-top) 사업자의 증가로 인한 트래픽 폭등이 전체 네트워크에 영향을 미치게 되면서 트래픽 예측이 네트워크관리의 중요한 이슈가 되었다. 본 논문은 이러한 트래픽 현황을 효율적으로 모니터하고 OTT 트래픽의 미래를 정확히 예측하기 위해 인터넷 트래픽 수집시스템을 구축하고 방대한 데이터를 기반으로 OTT 미래트래픽을 예측하였다.
본 연구는 예측을 위해 우선 실제 ISP망에서 인터넷 트래픽 데이터를 실시간적으로 수집하는 인터넷 트래픽 수집 서버를 구축하였다. 그림1과 같이 수집 서버 구축을 통해 트래픽 모니터 예측을 모두 가능하도록 했다.
본 연구에서는 인터넷 트래픽 예측을 위해 우선 실제 운용되고 있는 네트워크 환경에서 트래픽 데이터 수집했다는 데 의미가 있다. 이를 통해 트래픽 모니터와 트래픽 예측이 함께 가능할 수 있었다.
기존 NMS에서는 트래픽 수집 오류와 Data 손실이 수시로 발생하는데 이러한 이슈를 수집 서버를 통해 해결했고 Data 수집대상의 수동 등록 절차도 자동으로 할 수 있도록 했다. 연구 결과의 보다 큰 성과는 불가능했던 네트워크 품질모니터링을 가능하도록 했다는 것이다. 대상 라우터로부터 7, 000여 개의 빅데이터를 탐색하여 1, 500여 개의 품질모니터링 그래프가 자동으로 생성되도록 하였다.
또한 네트워크 종단 호스트들 간의 인터넷 데이터 패킷이 어떻게 목적지로 이동하고 있는지를 파악하여 네트워크 상태를 진단할 수 있게 한다. 이와 같은 중요한 역할을 본 연구를 통해 구축된 트래픽 데이터 수집 서버를 통해 가능하도록 하였다.

제안 방법

2020년 3/4분기 후반부와 4/4분기 전반부의 OTT 트래픽은 전반적으로 증가됨을 예측하고 있다. 90일간의 예측데이터뿐만 아니라, 컴포넌트별로 시각화하여, trend로 “추세”를 예측하였으며 weekly와 yearly를 통해 “주계절성”과 “연계절성”을 분석하였다. 아래 그림 8을 보면 예측한 OTT 트래픽의 경우, 과거부터 지금까지 트래픽이 증가하는 추세를 보이고 있고, 휴일 등 특정 event가 있는 날에는 트래픽 사용량이 증가하는 모습을 보이고 있다.
IDE/웹브라우저 안에서 필요한 코드 부분을 실행하고 다양한 그래프를 통해 예측 데이터를 시각화하였다. 예측기능 구현은 크게 두 가지 부분으로 진행하였다.
다음은 생성한 미래 데이터의 Dataframe을 가지고 90일간의 데이터를 예측했다. 그리고 다양한 컴포넌트(trend, weekly, yearly)로 예측 결과를 시각화할 수 있게 하였다. 트래픽 예측절차와 시각화를 도식화하면 그림 6과 같다.
가능하도록 하였다. 그리고 시기별로 예측 상한값과 하한값을 추가 적용하고 90일간의 예측 기간을 정하였다. 다음은 생성한 미래 데이터의 Dataframe을 가지고 90일간의 데이터를 예측했다.
연구 결과의 보다 큰 성과는 불가능했던 네트워크 품질모니터링을 가능하도록 했다는 것이다. 대상 라우터로부터 7, 000여 개의 빅데이터를 탐색하여 1, 500여 개의 품질모니터링 그래프가 자동으로 생성되도록 하였다. 그래프가 웹브라우저를 통해 실시간으로 생성되면서 인터넷 품질을 직관적으로 관측할 수 있도록 했다.
이렇게 구성된 트래픽 데이터 수집 서버는 클라우드로 구축되었기 때문에 상황에 맞게 자유롭고 쉽게 확장, 축소가 가능하도록 했다. 또한 가상서버의 장애 시, 추가 백업 서버도 구동이 가능하도록 하였다. 이를 통해 유연성과 탄력성을 갖춘 트래픽 빅데이터 수집 환경을 확보할 수 있게 되었다.
된다. 또한 네트워크 종단 호스트들 간의 인터넷 데이터 패킷이 어떻게 목적지로 이동하고 있는지를 파악하여 네트워크 상태를 진단할 수 있게 한다. 이와 같은 중요한 역할을 본 연구를 통해 구축된 트래픽 데이터 수집 서버를 통해 가능하도록 하였다.
따라서 과거 방식에서 벗어나 획기적인 모니터와 예측이 가능하도록 하였다. 또한 최근 코로나 이슈로 증대된 트래픽과 사전예측 곤란한 이벤트성 트래픽을 실시간적으로 반영하였다. 이러한 현실적 데이터를 반영한 연구 결과는 시뮬레이션과는 또 다른 차원의 연구결과로 볼 수 있다.
먼저 Prophet의 Seasonality 요소를 모델에 반영하기 위해 python의 카렌다를 가져와 휴일이나 이벤트 정보를 모델에 반영하여 주, 월별 패턴 예측이 가능하도록 하였다. 그리고 시기별로 예측 상한값과 하한값을 추가 적용하고 90일간의 예측 기간을 정하였다.
본 연구에서는 Python 언어로 프로그래밍하여 데이터를 작업했으며 Interactive 형식의 라이브코드 제공과 시각화가 가능한 Jupyter Notebook에서 예측기능을 구현했다. IDE/웹브라우저 안에서 필요한 코드 부분을 실행하고 다양한 그래프를 통해 예측 데이터를 시각화하였다.
따라서 본 논문에서 이러한 점을 고려하여 시계열 분석/예측 라이브러리 Prophet을 활용하였다. 연구에 적용한 모델은 Trend, Seasonality, Holidays 3개의 주요 요소로 구성되어 있으며 식은 아래와 같다.
그 데이터값과 예측에 필요한 변수를 반영하여 머신러닝을 하게되고 인공지능 기반의 머신러닝 (AI) 트래픽 예측모델이 만들어진다. 이러한 과정을 통해 생성된 머신러닝(AI) 트래픽 예측모델을 통해 OTT 미래트래픽을 예측하였다. 인공지능기반 머신러닝(AI) 트래픽 예측모델은 그림 4와 같다.
이를 통해 트래픽 모니터와 트래픽 예측이 함께 가능할 수 있었다. 클라우드 기반의 모니터링 서버구축을 통해 기존 NMS의 트래픽수집오류 및 데이터 손실의 문제점을 개선하였다. 트래픽 예측을 위해서는 방대한 데이터를 머신러닝(AI)으로 분석하여 미래 트래픽 예측의 신뢰도를 한층 높였다.
그림1과 같이 수집 서버 구축을 통해 트래픽 모니터 예측을 모두 가능하도록 했다. 트래픽 수집 서버는 Azure 클라우드 플랫폼으로 구축하는 사례도 있지만 본연구에서는 기존 망관리 시스템과는 별개로 그림 2와 같이 클라우드 기반의 가상서버로 구축하였고 운용시스템은 사용자가 쉽게 설치하고 운용이 가능하도록 설계된 Ubuntu OS를 사용하였다[8]. 또한 가상서버는 분산 환경을 쉽게 구축할 수 있는도커와 실행에 필요한 시스템 환경을 모아서 관리하는 컨테이너로 구성하였다.

대상 데이터

과거 트래픽 데이터를 머신러닝(AI)으로 분석한 트래픽 예측모델과 예측을 위한 Dataframe 그리고 Prophet 라이브러리로 그림 7과 같이 미래 90일의 OTT 트래픽 데이터를 예측하였다. 진한 파란색 선이 모델이 예측한 결과값이고, 연한 파란색은 오차 범위, 점선은 상한값과 하한값을 나타낸다.

이론/모형

그리고 파라미터의 직관성과 튜닝의 용이성 그리고 반복을 통한 정확성 향상이다. 따라서 본 논문에서 이러한 점을 고려하여 시계열 분석/예측 라이브러리 Prophet을 활용하였다. 연구에 적용한 모델은 Trend, Seasonality, Holidays 3개의 주요 요소로 구성되어 있으며 식은 아래와 같다.

후속연구

이러한 현실적 데이터를 반영한 연구 결과는 시뮬레이션과는 또 다른 차원의 연구결과로 볼 수 있다. 본 연구 결과는 OTT 사업자와의 회선연동방식과 ISP의 백본 대역폭 구축 계획 등에 적극 활용이 가능하다. 아울러 예측이 어려운 인터넷 트래픽 폭등에 대비하고 OTT 서비스이용자의 체감 품질을 유지할 수 있게 되었다.
과거에는 스마트폰이나 스트리밍 같은 거대한 트래픽을 유발하는 요소가 없었다는 점과 대용량 인기 게임 출시나 OTT 사업자의 신규 컨텐츠 제공과 같은 사전파악이 어려운 이벤트성 요소가 없었다. 이러한 점을 생각하면 현재 트래픽 예측 연구에 필요한 요소는 더욱 다양하게 반영되어야 하고 이러한 예측 결과는 신뢰도를 유지할 수가 있을 것이다.
아울러 예측이 어려운 인터넷 트래픽 폭등에 대비하고 OTT 서비스이용자의 체감 품질을 유지할 수 있게 되었다. 향후 이러한 연구 경험을 토대로 검색어 API를 이용한 독자적인 인터넷 트래픽 예측 모델을 개발할 계획이다.

참고문헌 (13)

Tikunov, D. and Nishimura, T. "Traffic Prediction for Mobile Network using Holt-Winter's Exponential Smoothing", Telecommunications and Computer Networks, 15th International Conference, 1-5. 2007
H. NIE et al. "Hybrid of ARIMA and SVMs for Short-Term Load Forecasting," International Conference on Future Energy, Environment, and Materials, pp.1455-1460, 2012
Shu, Y., Yu, M., Yang, O., Liu, J. and Feng, H. "Wireless traffic modeling and prediction using seasonal ARIMA models", IEICE-transactions on Communications, 10, 3992-3999. 2005
L.R. Medsker, L.C. Jain ,"Recurrent Neural Network; Design and Applications",p.12-14, 2001
Luis G. B. R., Manuel P. C., Miguel, D. C. and Maria D. C. P. J., "An Application of Non-Linear Autoregressive Neural Networks to Predict Energy Consumption in Public Buildings," energies, 9(9), p.684, Aug. 2016.

상세보기
L.R. Medsker, L.C. Jain ,"Recurrent Neural Network; Design and Applications",p.12-14, 2001
DH Kim, MW Kim, BJ Lee, KT Kim, HY Youn, "Data Flow Prediction Scheme using ARIMA Model",Proceedings of the Korean Society of Computer Information Conference 26(2), 2018.7, 141-142
JKLee, IP Cho, SY Lee"A study on data collection environment and analysis using virtual server hosting of Azure cloud platform, Proceedings of the Korean Society of Computer Information Conference , 2020.7, 329-330
MH Ha, HG Sona, S. Kim,"A Study on Performance Analysis of ShortTerm Internet Traffic Forecasting Models",Proceedings of KICS. 2012, 19(3B), 415-422
SJ. Jung, DJ Kim, YH Kwon "A Fitness Verification of time Series Models for Network Traffic Predictions", Proceedings of KICS. 2004 29(2B), 217-227
SH Ji, Huru Hasanova, KS Shim, MS Kim. "Prediction of Traffic Usage Using Machine Learning Algorithm For Efficient Network Management",Proceedings of Symposium of KICS, 2018.1, 824-825
Jin Sheng, MS Seok, GY Kim, "Internet Traffic Prediction By Neural Networks", Proceedings of Symposium of KICS , 019.6, 211-213
JS Won, SW Kim, "VNF traffic Prediction Using Recurrent Neural Network", Proceedings of Symposium of The Institute of Electronics and Information Engineers 2018.6, 351-353

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증