보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.
보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.
The log data generated by security equipment have been synthetically analyzed on the ESM(Enterprise Security Management) base so far, but due to its limitations of the capacity and processing performance, it is not suited for big data processing. Therefore the another way of technology on the big da...
The log data generated by security equipment have been synthetically analyzed on the ESM(Enterprise Security Management) base so far, but due to its limitations of the capacity and processing performance, it is not suited for big data processing. Therefore the another way of technology on the big data platform is necessary. Big Data platform can achieve a large amount of data collection, storage, processing, retrieval, analysis, and visualization by using Hadoop Ecosystem. Currently ESM technology has developed in the way of SIEM (Security Information & Event Management) technology, and to implement security technology in SIEM way, Big Data platform technology is essential that can handle large log data which occurs in the current security devices. In this paper, we have a big data platform Hadoop Ecosystem technology for analyzing the security log for sure how to implement the system model is studied.
The log data generated by security equipment have been synthetically analyzed on the ESM(Enterprise Security Management) base so far, but due to its limitations of the capacity and processing performance, it is not suited for big data processing. Therefore the another way of technology on the big data platform is necessary. Big Data platform can achieve a large amount of data collection, storage, processing, retrieval, analysis, and visualization by using Hadoop Ecosystem. Currently ESM technology has developed in the way of SIEM (Security Information & Event Management) technology, and to implement security technology in SIEM way, Big Data platform technology is essential that can handle large log data which occurs in the current security devices. In this paper, we have a big data platform Hadoop Ecosystem technology for analyzing the security log for sure how to implement the system model is studied.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이에 본 연구는 보안로그 분석을 통해 장비의 보안성을 강화하는 빅데이터 플랫폼 모델을 제안하는 것을 목적으로 하고 있다. 이러한 목적 달성을 위하여 본 연구는 빅데이터 플랫폼을 이용하여 보안장비에서 발생하는 로그를 통합적으로 분석하기 위한 모델을 제시하고, 이 모델 구현을 위한 Hadoop Echosystem과 Node.js 엔진을 이용한 세부 기술 구성 요소와 분석 UI 구현 방법을 제시한다.
이에 본 연구는 보안로그 분석을 통해 장비의 보안성을 강화하는 빅데이터 플랫폼 모델을 제안하는 것을 목적으로 하고 있다. 이러한 목적 달성을 위하여 본 연구는 빅데이터 플랫폼을 이용하여 보안장비에서 발생하는 로그를 통합적으로 분석하기 위한 모델을 제시하고, 이 모델 구현을 위한 Hadoop Echosystem과 Node.
제안 방법
TMS/ESM/EMS 등 다양한 보안 및 모니터링 솔루션에서 수집하는 데이터의 통합 분석을 통해 End-to-End 위협을 실시간 모니터링하여 서버 및 장비의 상태정보, 보안장비에서 외부 침입정보, 최종 단말에서 트래픽 정보를 수집하여 빅데이터에 대한 분석을 실시한다[7]. 침입자의 경로, 침입패턴 분석, 현재 침입상태의 정확한 알람기능 제공은 위험의 감소 및 사전진단을 가능하게 한다.
Hive는 Hadoop이 설치된 상태에서 사용되는 소프트웨어 엔진으로 Hadoop에 저장된 원본 데이터에 대한 스키마를 자체적으로 관리한다.데이터베이스, 테이블, 컬럼 등 스키마 정보를 관리하고 SQL문법을 이용해서 데이터를 처리한다. Hive는 자체적으로 MAP/REDUCE기능을 제공하기 때문에 Hadoop에 데이터를 저장할 때 자동적으로 분산 병렬처리 기능을 제공한다.
빅데이터 분석은 사용자 관점에서 데이터를 인지할 수 있는 시각화 서비스가 필요하다[5]. 빅데이터 시각화는 여러 가지 기법이 있으나 HTML5, JQuery, JSON, Java Script, ECMA Script 등의 표준적인 웹스크립트 기법으로 구글이 개발한 크롬의 V8엔진을 이용하여 인터 프리터 방식으로 서버에서 동작되는 Node.js 엔진을 이용한 시각화 방법을 제시한다.
특히 Hadoop은 데이터를 저장할 때 자동 데이터 복제 기능을 제공한다. 장애가 발생 하면 이미 복제되어 있는 데이터 블록을 이용하여 또 다른 DataNode 서버에 자동으로 데이터를 복구한다. 복제 기능은 디폴트로 3개의 동일한 데이터 블럭을 가지지만 복제 숫자는 다르게 설정이 가능하다.
저장된 데이터는 MAP/REDUCE방식으로 처리되고, 검색 엔진화된 플랫폼은 Script 처리된 환경에서 통합조회, 검색이 제공된다. 첫째, 저장은 대용량 분산 처리 기반 Hadoop으로 구현되며, 둘째, 검색은 다양한 보안장비 데이터를 Map/Reduce 방식으로 처리하여 검색엔진을 구현한다. 마지막으로 No-컴파일 방식의 ECMA Script 기반의 결과 값을 도출 하게 된다.
대상 데이터
[5,8] Hadoop Echosystem이라고 불리는 오픈소스들은 주로 Hadoop과 데이터 연동을 지원한다. 로그 데이터 수집처리는 Flume엔진을 이용하고, 관계형 데이터베이스에 존재하는 데이터의 수집은 Sqoop을 이용한다.
또한 보안로그와 기존의 Legacy시스템과의 상관관계를 분석하기 위해서 업무 데이터를 일부 수집할 수 있다. 이 경우 데이터 수집은 Sqoop엔진을 이용한다. Sqoop은 Oracle, MySQL, MS-SQL등 기존의 RDBMS형태의 데이터베이스에 있는 데이터를 SQL문으로 설정하여 Hadoop에 데이터를 저장하는 엔진이며, Sqoop은 RDBMS에 데이터베이스 연결 기술의 표준인 JDBC 연결을 통해서 고속으로 데이터를 가져오는 Command-Line 인터페이스 애플리케이션이다.
이론/모형
대량의 보안로그 파일 저장은 파일시스템 기반의 Hadoop을 사용한다. Hadoop은 데이터를 저장할 때 물리적으로 64MB단위의 데이터 블록 단위로 저장하며 데이터가 저장된 DataNode 서버는 논리적으로 Ring- Node 를 구성하여 물리적인 DataNode 서버가 마치 하나의 데이터 저장소처럼 동작한다.
보안장비에서 발생 로그를 장기간 저장하고 빠르게 검색 및 분석 가능한 방식으로 시각화 방법을 구현 하면 기존에 불가능했던 분석을 가능하도록 시스템을 구성할 수 있다. 특히, 시각화 부분은 Node.js방식을 이용하여 무거운 JVM방식의 웹서비스 구축 방식이 아닌 손쉬운 스크립트 방식으로 구현하였다. 이 방식은 다양한 보안로그 분석에 필요한 시나리오 방식의 Rule을 생성해서 시각화 서비스와 쉽게 매칭할 수 있는 방법으로 군집화 방식과 추적방식의 분석 방법을 제시하면 효과적으로 시각화된 보안로그 분석이 가능하다.
성능/효과
결론적으로 Flume 엔진은 대용량의 보안 로그 데이터를 Hadoop에 원활하게 저장하면서 병렬적으로 확장(Scale-out)가능하여 매우 유연성 있게 데이터를 고성능으로 수집 처리하는 기능을 가지고 있다.
후속연구
본 연구는 실증적 구현에도 불구하고 통계적 검증을 하지 못한 한계를 가지고 있다. 향후에 장기간 저장된 로그 데이터에 대한 더욱 다양한 보안로그 분석 기법과 Rule에 대한 연구와 실증적 분석 연구가 추가적으로 필요하다.
본 연구는 실증적 구현에도 불구하고 통계적 검증을 하지 못한 한계를 가지고 있다. 향후에 장기간 저장된 로그 데이터에 대한 더욱 다양한 보안로그 분석 기법과 Rule에 대한 연구와 실증적 분석 연구가 추가적으로 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
Sqoop이란 무엇인가?
이 경우 데이터 수집은 Sqoop엔진을 이용한다. Sqoop은 Oracle, MySQL, MS-SQL등 기존의 RDBMS형태의 데이터베이스에 있는 데이터를 SQL문으로 설정하여 Hadoop에 데이터를 저장하는 엔진이며, Sqoop은 RDBMS에 데이터베이스 연결 기술의 표준인 JDBC 연결을 통해서 고속으로 데이터를 가져오는 Command-Line 인터페이스 애플리케이션이다.
빅데이터 플랫폼 기술은 무엇을 필요로 하는가?
빅데이터 플랫폼 기술은 대용량의 데이터를 처리하기 위한 데이터 저장공간, 고성능 수집처리, 데이터 분석엔진, 빠르게 검색할 수 있는 검색엔진 그리고 분석된 데이터를 표현하기 위한 시각화 기술이 필요하다.
보안 장비에서 발생하는 보안로그는 개별 장비에서 자체 분석하거나 ESM을 통해서 통합적으로 전체 로그 관리하는 방법의 단점은 무엇인가?
일반적으로 보안 장비에서 발생하는 보안로그는 개별 장비에서 자체 분석하거나 ESM을 통해서 통합적으로 전체 로그 관리를 하고 있다. 이 방법은 데이터 저장 용량과 성능의 한계로 장기간 쌓인 빅데이터에 대한 분석을 할 수가 없으며 빠른 데이터 F검색도 불가능하다. 이는 사전적 보안성 강화와 보안 취약성에 대한 사전 진단이어려운 기능적 제약을 의미한다.
참고문헌 (15)
Cardenas, A. A. , Manadhata, P. K. , Rajan, S. P. : "Big Data Analytics for Security", IEEE SECURITY AND PRIVACY MAGAZINE Vol.11 No.6, 2013.
Dae-Soo Choi ,Gil-Jong Mun ,Yong-Min Kim, Bong-Nam Noh : "An Analysis of Large-Scale Security Log using MapReduce", Korean Institute Of Information Technology, Vol.9 No.8, 2011.
Forte, D. : "The importance of log files in security incident prevention", NETWORK SECURITY Vol.2009 No.7, 2009.
Jiaqi Zhaoa, Lizhe Wangb, Jie Taoc, Jinjun Chend, Weiye Sunc, Rajiv Ranjane, Joanna Kolodziejf, Achim Streitc, Dimitrios Georgakopoulose: "A security framework in G-Hadoop for big data computing across distributed Cloud data centres", Journal of Computer and System Sciences, Vol.80 No.5, 2014.
Kyoo-Sung Noh, Doosik Lee : "A study on implementation model for Big Data Platform", The Society of Digital Policy & Management, Spring Conference Paper, 2014.
Ok Hyun Ha: "A Study on Conversion Security Control System for Industrial Security", Korea Information Assuarance Society, Journal of Information and Security, Vol.9 No.4, 2009.
Tankard, Colin : "Big data security", Network Security. Jul2012, Vol. 2012 Issue 7, 2012.
Xin Liang Li , Jian De Zheng : "Improvement of Hadoop Security Mechanism", Applied Mechanics and Materials (Volumes 484 - 485), Green Power, Materials and Manufacturing Technology and Applications III Chapter 7: Computer and Numerical Technologies 912-915, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.