[논문]A Packet Processing of Handling Large-capacity Traffic over 20Gbps Method Using Multi Core and Huge Page Memory Approache

Kwon, Young-Sun; Park, Byeong-Chan; Chang, Hoon

doi:10.9708/jksci.2021.26.06.073

초록
AI-Helper

본 논문에서는 멀티 코어 및 Huge Page 메모리 접근법을 이용한 20Gbps 이상의 대용량 트래픽 처리 가능한 패킷 처리 방법을 제안한다. ICT 기술이 발전함에 따라 전 세계 월 평균 트래픽은 2022년 396엑사 바이트에 이를 것으로 예측된다. 이러한 네트워크 트래픽의 증가와 동시에 사이버위협 또한 증가하고 있어 트래픽 분석에 대한 중요도가 높아지고 있다. 기존 고비용의 외산 제품으로 분석되고있는 트래픽은 단순히 통계 데이터를 저장함과 동시에 가시적으로 보여주는 것에 불과하다. 네트워크 관리자들은 다양한 구간에서 트래픽을 분석하기 위해 많은 트래픽 분석 시스템을 도입하여 분석하고 있으나, 망 전체의 통합된 트래픽을 확인할 수 없다. 또한, 기존 장비는 10Gbps급이 대부분이기 때문에 매년 증가되고 있는 트래픽을 빠른속도로 처리할 수 없다. 본 논문에서는 20Gbps 이상 대용량 트래픽 처리를 하기 방법으로 단일코어와 기본 SMA 메모리 접근법을 이용한 방법에서 멀티코어와 NUMA 메모리 접근법을 이용하여 고성능으로 패킷수신, 패킷검출, 통계까지 raw 패킷을 copy 없이 처리하는 과정을 제안한다. 제안한 방법을 이용하였때, 기존 장비보다 50%이상 트래픽이 처리되는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we propose a packet processing method capable of handling large-capacity traffic over 20Gbps using multi-core and huge page memory approaches. As ICT technology advances, the global average monthly traffic is expected to reach 396 exabytes by 2022. With the increase in network traffic...

In this paper, we propose a packet processing method capable of handling large-capacity traffic over 20Gbps using multi-core and huge page memory approaches. As ICT technology advances, the global average monthly traffic is expected to reach 396 exabytes by 2022. With the increase in network traffic, cyber threats are also increasing, increasing the importance of traffic analysis. Traffic analyzed as an existing high-cost foreign product simply stores statistical data and visually shows it. Network administrators introduce and analyze many traffic analysis systems to analyze traffic in various sections, but they cannot check the aggregated traffic of the entire network. In addition, since most of the existing equipment is of the 10Gbps class, it cannot handle the increasing traffic every year at a fast speed. In this paper, as a method of processing large-capacity traffic over 20Gbps, the process of processing raw packets without copying from single-core and basic SMA memory approaches to high-performance packet reception, packet detection, and statistics using multi-core and NUMA memory approaches suggest When using the proposed method, it was confirmed that more than 50% of the traffic was processed compared to the existing equipment.

주제어

표/그림 (21)

표 Table 1. HTTP Response Header
그림 Fig. 1. H/W Structure for Handling Large-Capacity Traffic
그림 Fig. 2. RSS = 2 < NIC Port 2
표 Table 2. Correlation Method
표 Table 3. Typical Machine Learning-based Traffic Classification
그림 Fig. 3. RSS = 4 < NIC Port 2
그림 Fig. 4. NUMA Architecture
그림 Fig. 5. NUMA Environment Verified with Linux Command
그림 Fig. 6. Apply Huge Page Pool
그림 Fig. 7. Before and After Applying Huge Page Pool
그림 Fig. 8. High-performance Traffic Processing Architecture
그림 Fig. 9. Check Handling Traffic over 20 Gbps
표 Table 4. L4 and L7 Metadata Format
표 Table 5. Packet Analyzer Specifications
표 Table 6. Experiment Environment
표 Table 7. Traffic Processing Test Result
그림 Fig. 10. L4 log Saves per Second
그림 Fig. 11. L7 Log Saves per Second
표 Table 8. L4 Metadata Processing Test Results
표 Table 9. L7 Metadata Processing Test Result
표 Table 10. Comparative Analysis

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 20Gbps 급 대용량 트래픽을 처리할 수 있는 방법을 제안한다. 이러한 메타데이터를 기반으로 트래픽의 상세 분석보다는 의심스러운 트래픽의 빠른 분석을 통해 우선적으로 이상 트래픽 가능성 정도를 판단할 수 있도록 한다.

제안 방법

본 논문에서 제안하는 20Gbps 이상 트래픽 처리 가능한 패킷 처리 방법은 패킷을 검출하는 H/W을 중심으로 검출한 패킷을 빠르게 분석할 수 있는 부분인 Kernel, Core Processing, 어플리케이션으로 나뉘며, Fig. 1과 같다.
본 논문에서는 기존 고비용의 외산 제품으로 분석되고 있는 네트워크상의 트래픽에 대해 단순히 통계 데이터를 저장 및 가시적으로 보여주는 것과 네트워크 관리자들이 다양한 구간에서 트래픽을 분석하기 위해 많은 트래픽 분석 시스템을 도입하여 분석하고 있으나, 망 전체의 통합된 트래픽을 확인하기가 어려운 점을 대체하기 위한 방법으로 20Gbps 이상의 대용량 트래픽 처리 가능한 패킷 처리 방법을 제안하였다. 제안한 방법은 L4 및 L7에 대한 메타데이터를 초당 20K/Logs와 15K/Logs의 저장 성능을 확보하여, 망 전체뿐만 아니라 세부적으로 트래픽 관리가 가능함을 확인할 수 있었다.
실험은 패킷 검출기가 패킷을 검출하는 과정에서 패킷분석기가 패킷 검출 및 분석하여 L4 모듈을 통한 L4 데이터 분석 및 L7 모듈을 통한 L7 분석 과정을 통해 최종적으로 20Gbps 급의 패킷 처리를 할 수 있는지를 확인하였다. 실험은 크게 세 가지로 나뉘며, 첫 번째, 패킷 분석기가 실제 트래픽을 20Gbps 급으로 트래픽을 처리하는지 확인하였으며, 두 번째, 패킷 분석기가 L4 메타데이터를 초당 20K 이상으로 Log를 저장하는지 확인하였고 마지막으로 패킷 분석기가 L7 메타데이터를 초당 15K 이상으로 Log 를 저장하는지 확인하였다.
실험은 패킷 검출기가 패킷을 검출하는 과정에서 패킷분석기가 패킷 검출 및 분석하여 L4 모듈을 통한 L4 데이터 분석 및 L7 모듈을 통한 L7 분석 과정을 통해 최종적으로 20Gbps 급의 패킷 처리를 할 수 있는지를 확인하였다. 실험은 크게 세 가지로 나뉘며, 첫 번째, 패킷 분석기가 실제 트래픽을 20Gbps 급으로 트래픽을 처리하는지 확인하였으며, 두 번째, 패킷 분석기가 L4 메타데이터를 초당 20K 이상으로 Log를 저장하는지 확인하였고 마지막으로 패킷 분석기가 L7 메타데이터를 초당 15K 이상으로 Log 를 저장하는지 확인하였다.
첫 번째, 패킷 분석기가 20Gbps 이상의 트래픽을 처리하는지 확인하였다. 시험절차는 Table.

성능/효과

실험결과를 종합적으로 확인했을 때, 기존 10Gbps급보다 본 논문에서 제안한 20Gbps급의 대용량 트래픽 처리 방법이 약 50% 향상된 트래픽 처리 및 로그 저장 기능을 확인할 수 있다.
본 논문에서는 기존 고비용의 외산 제품으로 분석되고 있는 네트워크상의 트래픽에 대해 단순히 통계 데이터를 저장 및 가시적으로 보여주는 것과 네트워크 관리자들이 다양한 구간에서 트래픽을 분석하기 위해 많은 트래픽 분석 시스템을 도입하여 분석하고 있으나, 망 전체의 통합된 트래픽을 확인하기가 어려운 점을 대체하기 위한 방법으로 20Gbps 이상의 대용량 트래픽 처리 가능한 패킷 처리 방법을 제안하였다. 제안한 방법은 L4 및 L7에 대한 메타데이터를 초당 20K/Logs와 15K/Logs의 저장 성능을 확보하여, 망 전체뿐만 아니라 세부적으로 트래픽 관리가 가능함을 확인할 수 있었다.
패킷 검출기 및 분석기의 패킷 수, 바이트 수, 패킷 드랍 카운트를 비교하였을 때, 누락 없이 모두 정상처리 된 것을 확인할 수 있었다.

후속연구

본 논문에서 제안한 방법을 사용하였을 경우, 추출된 메타데이터를 빅데이터화 하여 공격 의심 트래픽으로 분석하고 이상 트래픽을 탐지할 수 있는 raw 데이터로 활용할 수 있으며, 프로토콜, 어플리케이션 정보를 빅데이터화 하여 각종 통계자료로도 활용할 수 있다.
추후 연구로써, 각 프로토콜 및 어플리케이션에 대하여본 논문에서 제안한 방법으로 메타데이터를 추출 및 빅데이터 화 해야하며, 빅데이터 기반으로 이상 트래픽 탐지할 수 있는 연구가 필요하다.

참고문헌 (13)

Cisco, "Cisco Visual Networking Index: Forecast and Trends, 2017-2022," 2018. 11
D. I. Oh, "In the post-corona era, cyber attacks will intensify," Electronic Newspaper, 2020. 05, https://www.etnews.com/20200512000181
K. H. Jung, B. H. Lee and D. Yang, "Performance Analysis of Detection Algorithms for the Specific Pattern in Packet Payloads" Journal of the Korea Institute of Information and Communication Engineering, Vol. 22, No. 5, pp. 794-840, 2018. 02. DOI: https://doi.org/10.6109/jkiice.2018.22.4.794

원문보기 상세보기
S. H. Lee, J. C. Na and S. W. Son, "Traffic Analysis Technology Trends in Terms of Security," https://www.itfind.or.kr/WZIN/jugidong/1117/111701.htm
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio, "Generative adversarial nets. In Advances in Neural Information Processing Systems," NIPS'14: Proceedings of the 27th International Conference on Neural Information Processing Systems, Vol. 2, pp. 2672-2680, 2014. 03.
Schlegl Thomas, Philipp Seebock, Sebastian M. Waldstein, Ursula Schmidt-Erfurth and Georg Langs, "Unsupervised anomaly detection with generative adversarial networks to guide marker discovery," International Conference on Information Processing in Medical Imaging. Springer, Cham, 2017. 03.
H. J. Kim, H. S. Kim, D. M. Shin, "Design and Implementation of Tor Traffic Collection System Using Multiple Virtual Machines," Journal of Software Assessmnet and Valuation, Vol. 15, No. 1, pp. 1-9, 2019. 06. DOI: https://10.29056/jsav.2019.06.01

상세보기
S. Kim and S. Lee, "Automatic Malware Detection Rule Generation and Verification System", Journal of Internet Computing and Services(JICS), Vol. 20, No. 2, pp. 9-19, 2019. 09. DOI: https://doi.org/10.7472/jksii.2019.20.2.9

원문보기 상세보기
M. Thottan and C. Ji, "Anomaly Detection in IP Networks," IEEE Transactions on Signal Processing, vol. 51, no. 8, pp.2191-2204. 2003. 05. DOI: https://doi.org/10.3745/KTCCS.2020.9.5.113

원문보기 상세보기
J. K. Lee, S. J. Kim and T. Hong, "Analysis of Traffic and Attack Frequency in the NURION Supercomputing Service Network," KIPS Transactions on Computer and Communication Systems, Vol. 9, No. 5, pp.113-120, 2020. 01. DOI: https://doi.org/10.3745/KTCCS.2020.9.5.113

원문보기 상세보기
H. H. Lim, D. H. Kim, K. T. Kim and H. Y. Youn, "Traffic classification using machine learning in SDN," Winter Conference of the Korean Society of Computer and Information Technology, Vol. 26, No. 1, 2018. 01.
Vijayan, Jaikumar, McCann and Stefanie, "NUMA," Computerworld, Vol. 32, No. 23, 1998. 06.
S. Ahn, D. Kang and Y. Eom, "Analysis on the Characteristics and Performance Effects of Linux Huge Page," Journal of the Korean Society of Information Sciences, Vol. 2017, No. 06, pp. 73-75, 2017. 06.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

A Packet Processing of Handling Large-capacity Traffic over 20Gbps Method Using Multi Core and Huge Page Memory Approache 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (21)

표/그림 (21)

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

참고문헌 (13)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

A Packet Processing of Handling Large-capacity Traffic over 20Gbps Method Using Multi Core and Huge Page Memory Approache 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (21) 모든 표/그림 보기

표/그림 (21) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

참고문헌 (13)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

초록
AI-Helper

표/그림 (21)

표/그림 (21)

AI 본문요약
AI-Helper