[논문]보안로그 빅데이터 분석 효율성 향상을 위한 방화벽 로그 데이터 표준 포맷 제안

배춘석; 고승철

doi:10.13089/jkiisc.2020.30.1.157

보안로그 빅데이터 분석 효율성 향상을 위한 방화벽 로그 데이터 표준 포맷 제안
For Improving Security Log Big Data Analysis Efficiency, A Firewall Log Data Standard Format Proposed 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.30 no.1, 2020년, pp.157 - 167

배춘석 (수원대학교) , 고승철 (수원대학교)

초록
AI-Helper

최근 4차 산업혁명 도래의 기반을 제공한 빅데이터와 인공지능 기술은 산업 전반의 혁신을 견인하는 주요 동력이 되고 있다. 정보보안 영역에서도 그동안 효과적인 활용방안을 찾기 어려웠던 대규모 로그 데이터에 이러한 기술들을 적용하여 지능형 보안 체계를 개발 및 발전시키고자 노력하고 있다. 보안 인공지능 학습의 기반이 되는 보안로그 빅데이터의 품질은 곧 지능형 보안 체계의 성능을 결정짓는 중요한 입력 요소라고 할 수 있다. 하지만 다양한 제품 공급자에 따른 로그 데이터의 상이성과 복잡성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하고 품질저하를 초래하는 문제가 있다. 본 연구에서는 다양한 방화벽 로그 데이터 포맷 관련 사례와 국내외 표준 조사를 바탕으로 데이터 수집 포맷 표준안을 제시하여 보안 로그 빅데이터를 기반으로 하는 지능형 보안 체계 발전에 기여하고자 한다.

Abstract ▼ AI-Helper

The big data and artificial intelligence technology, which has provided the foundation for the recent 4th industrial revolution, has become a major driving force in business innovation across industries. In the field of information security, we are trying to develop and improve an intelligent security system by applying these techniques to large-scale log data, which has been difficult to find effective utilization methods before. The quality of security log big data, which is the basis of information security AI learning, is an important input factor that determines the performance of intelligent security system. However, the difference and complexity of log data by various product has a problem that requires excessive time and effort in preprocessing big data with poor data quality. In this study, we research and analyze the cases related to log data collection of various firewall. By proposing firewall log data collection format standard, we hope to contribute to the development of intelligent security systems based on security log big data.

주제어

표/그림 (13)

표 Table 1. Company A's Log Data Transfer Format
표 Table 2. Company B's Log Data Transfer Format
표 Table 3. Company C's Log Data Transfer Format
표 Table 4. Company D's Log Data Transfer Format
그림 Fig. 1. Integrated Log Management System Architecture
표 Table 5. Collection Log Format of Integrated Log Management System
표 Table 6. Major Overseas Standards for Security Logs
표 Table 7. Major Domestic Standards for Security Logs
표 Table 8. Issues on Non-Standardized Log Data
표 Table 9. Basic Principles of Data Standardization for Log Transfer
표 Table 10. Key Data Elements for Firewall Log Transfer
표 Table 11. Standard Data Log Format for Firewall Log Transfer
표 Table 12. Improved Example for Standard Data Log Format(Event_Time)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 방화벽 장비의 로그 수집 데이터 포맷 사례분석과 국내외 표준 조사를 통해 해당 로그 데이터 표준 포맷안을 제시하여 지능형 보안 체계 발전에 기여하고자 한다.

제안 방법

현장에서의 방화벽 운영관리 경험, 통합 로그관리 시스템 구축 및 운영 경험을 바탕으로 표준화 기본원 칙(안), 핵심 데이터 요소(안), 방화벽 로그 데이터 표준 포맷(안)을 제시 한다. 1)로그포맷현황 분석, 2)표준(안) 정의, 3)표준(안) 적용방안 수립의 3단 계로 연구를 진행하였으며, 표준화 기본원칙(안), 핵심 데이터 요소(안), 표준 포맷(안)은 2단계 세부연구 활동에서 도출 되었다. 제조사 엔지니어, 도입기 관의 보안 전문가, 운영 및 유지보수 담당자 등 다수 전문가를 통한 의견수렴 및 결과 검토를 수행하였다.
현장에서의 방화벽 운영관리 경험, 통합 로그관리 시스템 구축 및 운영 경험을 바탕으로 표준화 기본원 칙(안), 핵심 데이터 요소(안), 방화벽 로그 데이터 표준 포맷(안)을 제시 한다. 1)로그포맷현황 분석, 2)표준(안) 정의, 3)표준(안) 적용방안 수립의 3단 계로 연구를 진행하였으며, 표준화 기본원칙(안), 핵심 데이터 요소(안), 표준 포맷(안)은 2단계 세부연구 활동에서 도출 되었다.

대상 데이터

방화벽 로그 데이터 표준 포맷은 Table 11에 제시한 24개 데이터 요소로 정의 하였다. 해당 데이터 요소별 데이터 값의 예시 및 범위를 함께 제시하여 데이터 요건을 명확화 하였다.
본 연구의 범위는 방화벽 로그 데이터로 한다. 방화벽 로그 전송 포맷 사례와 로그 통합관리 솔루션의 로그 수집 포맷 분석을 통해 데이터 포맷 표준화 안을 제시한다.

성능/효과

로그 전송 데이터 표준화를 위해 우선적으로 Table 9와 같이 1)최우선적으로 핵심(필요) 데이터 요소 선정 및 검토가 선행되어야 한다. 2) 선정된 핵심 데이터요소는 컬럼으로 분류하여 로그포맷에 반영한다, 3) 기타 환경요소로부터 독립적인 로그포맷을 갖추어야 한다, 4) 로그포맷 표준화의 대상은 구조 및 용어이다, 5) 기관에서 관용화 된 용어는 우선하여 사용한다, 6) 사용빈도수와 분석가시성을 고려한다, 7) 연계성을 고려한다, 8) 영문명 사용을 원칙으로 하며, 9) 영문명 전환 시, 발음식은 최대한 지양하고, 10) 기관명은 해당 기관에서 사용하는 약어(영문)를 따른다, 11) 중간에 띄어쓰기를 포함하지 않는다, 12) 특수문자 사용과 띄어쓰기는 하지 않는다(“_”는 예외)와 같은 기본 원칙 12개를 정의하였다.
관련 선행 연구 결과를 보면, 조석상은 ‘방화벽 로그를 이용한 침입탐지정보 추출방법’에서 방화벽 로그 필드별 침입탐지 가설을 수립하고 시험환경에서 공격을 수행한 후 가설에 따른 스캔공격(3가지 유형), 디도스공격(6개 유형)을 탐지할 수 있음을 제시하였으며[3] 로그 데이터의 보안 유용성만을 제시 하는데 그쳤다.
본 연구의 범위는 방화벽 로그 데이터로 한다. 방화벽 로그 전송 포맷 사례와 로그 통합관리 솔루션의 로그 수집 포맷 분석을 통해 데이터 포맷 표준화 안을 제시한다.
보안 로그들과 관련한 국내외 표준들에서는 로그 수집을 목적으로 한 로그데이터 요건에 대해 표준화가 미진하며, 비 표준화된 보안 로그 데이터 환경으로 인해 관리상의 이슈, 기술상의 이슈들을 초래하고 보안투자의 축소, 빅데이터 및 인공지능 적용의 장애 물로 작용하고 있는 실정이다. 보안 로그 수집의 기반이 되는 방화벽 로그 데이터에 대한 포맷 표준화가 우선적으로 시급하게 진행될 필요가 있다.
Table 1 ~ Table 4는 각 사별 다양한 로그 전송 내역을 보여 주고 있다. 분석 및 활용을 잘 하기 위해 일부 필수 적으로 여겨지는 정보의 추가 필요, 핵심 데이터 정의 및 전송방안 제공 등 보완점이 도출 되었다.
로그 통합관리 시스템의 여러 사용자 그룹은 방화 벽장비 자체의 장애 식별 및 조치, 비정상 트래픽 분석, 불법 IP 접근 또는 유해사이트 접근 확인, 서비스 동작 여부 확인 등 다양한 활용을 목적으로 하고 있다. 이와 대비하여 데이터 컬럼 항목의 불일치, 데이터 누락 등 결함의 원인을 제공하고 목적 달성을 저해하는 다양한 방화벽 로그 수집 데이터 포맷에 대한 표준화가 절실하다.
특정 데이터센터에 도입된 국내 4개사의 방화벽 솔루션의 로그 데이터 전송 양식에 대한 분석을 한결과 메시지 항목 및 수, 속성 정보들이 각각 상이하여 로그 데이터의 효과적인 수집 및 분석에 저해 요소로 작용하고 있음을 확인 하였다. Table 1 ~ Table 4는 각 사별 다양한 로그 전송 내역을 보여 주고 있다.
예시로 아래 Table 12에서 이벤트 발생 시간을 제시하였다. 현행 4개사의 상이한 데이터 포맷은 제시된 표준 포맷으로 통합 및 고품질 데이터로 제공될 수 있다.

후속연구

향후에는 각 방화벽 제조사의 로그 데이터를 표준 모델로 변환하는 시스템 설계방안을 연구하고자 한다. 또한 방화벽 외의 다른 보안장비를 대상으로 로그 데이터 관련 표준 조사 및 연구를 지속 수행하고자 한다.
본 연구결과를 바탕으로 국내 보안 업계의 표준으로 정의할 필요가 있으며, TTA와 같은 표준화 기관의 주관으로 표준화를 위한 과제 선정, 관련 전문가 구성, 본 논문에서 제안 된 표준안 검토 및 보완, 수립된 표준에 대한 방화벽 제조업체들의 수용성 조사및 합의, 표준 변경사항 발생 시 관리 절차 수립 등을 추가로 수행할 필요가 있다. 향후에는 각 방화벽 제조사의 로그 데이터를 표준 모델로 변환하는 시스템 설계방안을 연구하고자 한다.
이와 같이 침입탐지 및 대응의 핵심 기반인 보안 로그의 빅데이터 분석을 통한 획기적인 보안 향상, 지능화된 대응체계로 나아가기 위해서는 다시 기본으로 되돌아가 우선 보안 로그 전처리를 효과적으로 할수 있도록 방화벽 로그 데이터 포맷 표준 정립을 위한 방안 연구가 필요하다.
본 연구결과를 바탕으로 국내 보안 업계의 표준으로 정의할 필요가 있으며, TTA와 같은 표준화 기관의 주관으로 표준화를 위한 과제 선정, 관련 전문가 구성, 본 논문에서 제안 된 표준안 검토 및 보완, 수립된 표준에 대한 방화벽 제조업체들의 수용성 조사및 합의, 표준 변경사항 발생 시 관리 절차 수립 등을 추가로 수행할 필요가 있다. 향후에는 각 방화벽 제조사의 로그 데이터를 표준 모델로 변환하는 시스템 설계방안을 연구하고자 한다. 또한 방화벽 외의 다른 보안장비를 대상으로 로그 데이터 관련 표준 조사 및 연구를 지속 수행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	통합 로그관리 시스템은 어떻게 구성되어 있는가?	통합 로그관리 시스템은 일반적으로 소스영역, 수집영역, 통합영역, 응용영역으로 구성되어 있으며 소스영역은 방화벽 장비로서 로그 수집요구에 대한 전송 서버 역할도 함께 가지고 있다.
	정규화 수준이 낮은 빅데이터는 어떤 원인이 되는가?	반면에 다양한 공급자의 장비별 발생된 대용량의 로그를 통합 및 분석하는 과정에서, 수집된 로그 데이터의 상이성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하는 문제가 있다.전처리 과정이 미흡해 정규화 수준이 낮은 빅데이터는 머신러닝 등을 통한 보안 인공지능 학습의 신뢰 수준을 상당히 저하시키는 품질저하 원인이 된다.
	한국정보통신기술협회(TTA)의 관련 표준 내역 중 세션 정보 메시지 교환 포맷 표준에서 방화벽(침입차단시스템)등의 보안로그 교환 포맷 정의가 가지는 한계점은?	관련 현황은 Table 7과 같다. 개발자 관점에서 보안 솔루션 개발 시 고려해야 할 모든 로그 클래스와 속성정 보를 정의하다 보니, 로그 통합관리 실무에서 필요한 로그 수집 수준보다 지나치게 많고, 수집된 보안 로그 사용자의 활용 용도에 맞지 않아 적용이 어려운 문제가 있다.

참고문헌 (28)

Young-Im Cho, "Big Data Technology and Major Issues in the Smart Age," Journal of Control, Robotics and Systems, Vol. 18, No. 4, pp. 23-33, 2012
Jong-hyun Kim, Sun-hee Lim, Ik-kyun Kim, Hyun-sook Cho, Byung-kyu Roh, "The Trend of Cyber Security Technology Using Big Data," Electronic Communication Trend Analysis, Vol. 28, No. 3, pp. 19-29, 2013
Seok-Sang Cho, "How to Extract Intrusion Detection Information Using Firewall Log," Master's Thesis, Graduate School of Chungnam National University, 2015
Jung-kook Park, "A Study on System Profile-based IT Threat Management: Focused on Alarm Events Generated by Intrusion Detection System," Master's Thesis, Dongguk University, Graduate School of International Information, 2002
Byung-Jin Jeon, Deok-Byung Yun, Shin-Sung Shin, "Integrated Monitoring System Using Log Data," Journal of Convergence Information, Vol. 7, No. 1, pp. 35-42, 2017

상세보기
Woo-young So, "A Study on Standardization of Integrated Security Management System," Journal of Convergence Security, Vol. 2, No. 2, pp. 109-121, 2002
Jong-Hyun Kim, Sun-Hee Lim, Ik-Kyun Kim, Hyun-Sook Cho, Byung-Gyu Roh, "The Trend of Cyber Security Technology Using Big Data," Electronic Communication Trend Analysis, Vol. 28, No. 3, pp. 19-29, 2013
Kim Do-Geun, Sung-Bin Pyo, Chang-Hee Kim, "A Study on the APT Attack Response Technology Based on Big Data Analysis Technology," Journal of Convergence and Knowledge Association, Vol. 4, No. 1, pp. 29-34, 2016
Duk-jo Chun, Dong-kyu Park, "A Cyber Threat Prediction Analysis Model Using Big Data Technology," Journal of the Korea Information Technology Society, Vol. 12, No. 5, pp. 81-100, 2014
Chan-young Choi, Dae-woo Park, "Analysis of APT Attack Prediction through Big Data Analysis," Journal of The Korea Institute of Information and Communication Sciences, Vol. 20, No. 6, pp. 1129-1135, 2016

원문보기 상세보기
Bo-Min Choi, Jong-hwan Kong, Sung-sam Hong, Myeong-mook Han, "Firewall Log Analysis Using NoSQL-based MapReduce," Journal of the Korea Institute of Information Security and Cryptology, Vol. 23, No. 4, pp. 667-677, 2013

원문보기 상세보기
Hye-Geun Lee, Young-Woon Kim, Ki-Young Kim, Jong-Seok Choi, "Design of Big Data Analysis System for Harmful Information Detection Using Splunk Platform," Journal of the Institute of Information, Electronics, and Communication Technology, Vol. 11, No. 1, pp. 76-81, 2018
Young-Taek Oh, In-Joon Cho, "Development of Integrated Security Control Service Model based on Artificial Intelligence Technology," Journal of the Korea Contents Association, Vol.19, No.1, pp. 108-116, 2019
Jung-bin Yoo, Min-sik Shin, Tae-kyung Kwon, "An Analysis of Trends in Malicious Code Identification Research Using Machine Learning," Journal of the Korea Institute of Information Security and Cryptology, Vol. 12-19, 2017
Mun-gu Lee, Chun-seok Bae, "Next-Generation Convergence Security Framework for Intelligent Sustainable Threat," Journal of the Institute of Electronics Engineers of Korea, Vol. 50, No. 9, pp. 92-99, 2013
Jun-Seok Lee, "A Study on Data Mining Preprocessing Tool for Efficient Database Marketing," Journal of Digital Convergence, Vol. 12, No. 11, pp. 257-264, 2014
Joon-Mo Cho, "The Effect of Normalized Preprocessing of Big Data on the Performance of Machine Learning," Journal of the KIECS, Vol. 14, No. 3, pp. 547-552, 2019
Seong-Hae Jeon, "Big Data Preprocessing Using Statistical Text Mining," Journal of Korean Institute of Intelligent Systems, Vol. 25, No. 5, pp. 470-476, 2015

원문보기 상세보기
Dong-hyun Kim, Seung-eon Yoo, Byung-jun Lee, Kyung-tae Kim, Hee-yong Yun, "Data Preprocessing for Efficient Machine Learning," Proceedings of the Korean Society of Computer Information, Winter Conference, Vol. 27, No. 1, pp. 48-50, 2019
R. Gerhards, "RFC 5424 The Syslog Protocol," IETF Request For Comments, 2009
B. Feinstein, G. Matthews, "RFC 4767 The Intrusion Detection Exchange Protocol (IDXP)," IETF Request For Comments, 2007
Karen Kent, Murugiah Souppaya, "NIST 800-92 Guide to Computer Security Log Management," National Institute of Standards and Technology Special Publication 800, 2006
Karen Scarfone, Paul Hoffman, "NIST 800-41 Guidelines on Firewalls and Firewall Policy," National Institute of Standards and Technology Special Publication 800, 2009
Telecommunications Technology Association, "TTAK.KO-12.0242 Session Information Message Exchange Format," Information and Communication Organization Standard (Korean Standard), 2014
Telecommunications Technology Association, "TTAK.KO-12.0279 Security Information Message Exchange Protocol," Korea Communications Standards, 2015
Telecommunications Technology Association, "TTAK.KO-12.0256 System Information Message Exchange Format for Security Control," Information and Communication Organization Standard (Korean Standard), 2014
Telecommunications Technology Association, "TTAK.KO-12.0229 Extended Intrusion Detection Message Exchange Format," Korea Communications Commission, 2013
Telecommunications Technology Association, "TTAK.KO-12.0003/R1 Guidelines for Selecting Intrusion Prevention System for Network Operators," Information and Communication Organization Standard (Korean Standard), 2006

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증