선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- NoSQL 데이터베이스는 단순한 SQL 검색이나 추가 작업을 위한 매우 최적화된 Key/Value 저장 공간방식이다. Latency와 Throughput과 관련하여 상당한 성능을 내는 것이 목적이다. NoSQL 데이터베이스는 빅데이터와 실시간 웹 어플리케이션 이용에 널리 쓰인다.
- 본 논문에서는 방화벽, 침입탐지시스템 등 막대한 양의 보안로그 데이터 분석을 위하여 하둡 기반 환경을 구축하고 데이터의 수집 및 저장을 위해 검색 엔진인 Elasticsearch를 이용하여 기존 방식에 비하여 처리 속도가 훨씬 빠른 보안 로그 데이터 분석시스템을 제안한다. 제안하는 시스템은 다양한 네트워크 환경에서 검색 엔진을 활용하여 보안 로그를 수집하고 검색엔진에 저장한 후 분석 과정을 거쳐서 원하는 데이터를 시각화하거나 조회가 가능하므로 효율적인 보안로그 데이터 분석에 유용하다.
- 본 논문에서는 이러한 문제를 해결하기 위하여 분산 검색엔진을 이용한 로그 분석시스템을 설계하고 구축하여 그 성능을 비교 분석하였다. 로그 데이터 수집, 처리, 저장 및 시각화를 위해 기존의 플럼, 플럼 HDFS 싱크, 하둡 기반 HBase, R-Hive 대신 로그스태시, 로그스태시 인덱서, Elasticsearch, Kibana를 각각 사용하여 두 시스템의 성능을 비교하였다.
제안 방법
- 먼저 비교 환경인 하둡 기반 환경의 에이전트에서 쌓인 로그를 콜렉터인 플럼 콜렉터가 보안 로그를 모아 HDFS 플럼 싱크를 통하여 분산파일 환경인 하둡에 저장한 후에 NoSQL인 HBase에 분산 저장한다. Hbase에 저장한 로그 데이터를 토대로 R-Hive를 통해 컬럼 단위로 분석을 하게 된다. 분석을 할 때에는 HBase에 저장 된 로그 데이터를 Hive를 통해 가상 테이블을 생성한 후에 SQL이 가능하도록 환경을 구성한다.
- 이 후 Kibana와 엘라스틱서치 Plugin을 통하여 로그 분석 및 통계가 가능하게 된다. Kibana에서 인덱스를 생성한 후에 앞에서 실행한 동일한 쿼리문을 사용하여 처리 속도를 비교하였다.
- 제안한 시스템의 로그 수집 단계에서 데이터 저장 및 속도 성능을 평가하기 위하여 현재 널리 사용되고 있는 하둡 기반의 보안 로그 데이터 분석 시스템과 비교하기 위한 실험 환경을 구축하였다. 또한, 로그 데이터의 용량을 증가시켜 각 테이블에 데이터를 저장하였다. 로그 분석 방법으로 엘라스틱서치를 이용한 로그 분석시스템에서는 Kibana를 사용하였으며, 비교 환경인 하둡 기반 로그 분석시스템에서는 HBase에 저장된 로그에서 데이터를 조회하기 위해 쿼리문의 필요성 때문에 Hive로 가상 테이블을 생성하여 SQL이 가능하도록 하였다.
- 또한, 엘라스틱서치 기반 보안 로그 데이터 분석시스템과 하둡 기반 보안 로그 분석시스템의 처리 속도를 비교하였다. 즉, 기존의 하둡 기반 방식의 NoSQL 데이터베이스인 HBase와 Elasticsearch의 성능을 비교하였다.
- 본 논문에서는 이러한 문제를 해결하기 위하여 분산 검색엔진을 이용한 로그 분석시스템을 설계하고 구축하여 그 성능을 비교 분석하였다. 로그 데이터 수집, 처리, 저장 및 시각화를 위해 기존의 플럼, 플럼 HDFS 싱크, 하둡 기반 HBase, R-Hive 대신 로그스태시, 로그스태시 인덱서, Elasticsearch, Kibana를 각각 사용하여 두 시스템의 성능을 비교하였다. 실험 결과 오픈소스 기반 분산 검색 엔진인 Elasticsearch를 사용하여 보안 로그 분석시스템을 사용할 경우 기존의 하둡 기반 보안 로그 분석시스템에 비하여 쿼리 처리시간 및 로그 데이터 처리 속도에서 매우 우수한 성능을 보임을 확인하였다.
- 실험 및 비교를 위해 분산 파일시스템과 맵리듀스를 위해 하둡을 설치하였다. 로그 데이터가 발생하면 로그스태시 Collector에서 로그 데이터를 전송하고, 오픈소스 검색엔진인 엘라스틱서치를 이용하여 저장을 한 후에 Kibana를 이용 하여 로그 통계 및 모니터링을 통해 확인이 가능하도록 구현하였다. 분산 검색엔진인 엘라스틱서치를 설치하여 실행하면 하나의 노드가 마스터 노드로 선정되게 된다.
- 이렇게 하면 분산검색엔진인 엘라스틱서치를 이용해 로그 데이터를 인덱싱하여 필요한 때에 실시간으로 데이터를 분석하고 검증할 수 있다. 마지막으로 웹브라우저 기반의 분석 및 검색엔진 인터페이스를 제공하는 Kibana를 이용하여 시각적으로 로그 통계 및 검색 리포트를 생성하고 그 결과를 시각화할 수 있게 된다.
- 먼저 비교 환경인 하둡 기반 환경의 에이전트에서 쌓인 로그를 콜렉터인 플럼 콜렉터가 보안 로그를 모아 HDFS 플럼 싱크를 통하여 분산파일 환경인 하둡에 저장한 후에 NoSQL인 HBase에 분산 저장한다. Hbase에 저장한 로그 데이터를 토대로 R-Hive를 통해 컬럼 단위로 분석을 하게 된다.
- 엘라스틱서치를 이용한 보안로그 분석시스템의 전체 구성도는 그림 3과 같다. 에이전트와 보안 디바이스에서 발생하는 보안 로그 데이터를 로그스태시 컬렉터를 이용하여 수집 후 로그스태시 인덱서와 엘라스틱서치 싱크를 이용해 엘라스틱서치에 저장하여 시각화 도구인 Kibana를 이용해 시각화 및 사용자 모니터링을 할 수 있도록 구성하였다. 제안하는 시스템은 크게 4가지 부분으로 구성된다.
- 엘라스틱서치를 이용하여 로그분석 성능을 평가하기 위해 테스트 환경을 구축하여 성능을 평가하였다. 제안한 시스템의 로그 수집 단계에서 데이터 저장 및 속도 성능을 평가하기 위하여 현재 널리 사용되고 있는 하둡 기반의 보안 로그 데이터 분석 시스템과 비교하기 위한 실험 환경을 구축하였다.
- 전체 40GB 로그 데이터를 10GB, 20GB 그리고 30GB로 나누어 실험을 진행하였다. 이처럼 용량이 다른 로그 데이터를 사용하여 엘라스틱서치 기반의 검색 및 분석시스템에 적용하여 검색 및 분석시간을 측정하였다.
- 로그 분석 방법으로 엘라스틱서치를 이용한 로그 분석시스템에서는 Kibana를 사용하였으며, 비교 환경인 하둡 기반 로그 분석시스템에서는 HBase에 저장된 로그에서 데이터를 조회하기 위해 쿼리문의 필요성 때문에 Hive로 가상 테이블을 생성하여 SQL이 가능하도록 하였다. 저장된 같은 로그 데이터를 통하여 결과값을 얻기 위한 쿼리문을 보내어 처리속도를 비교하는 실험을 하였다. 실험환경에서 사용한 Row 데이터는 데이터베이스에서 테이블의 단일 구조 데이터 항목을 말하며, GET 플로딩 공격 데이터를 사용하였다.
- 1로 이름이 바뀌어 저장이 된다. 전체 40GB 로그 데이터를 10GB, 20GB 그리고 30GB로 나누어 실험을 진행하였다. 이처럼 용량이 다른 로그 데이터를 사용하여 엘라스틱서치 기반의 검색 및 분석시스템에 적용하여 검색 및 분석시간을 측정하였다.
- 이후 결과값을 얻기 위해 쿼리문을 사용하여 처리 속도를 측정하였다. 제안하는 시스템은 에이전트 단에 쌓인 로그 데이터를 Logstash 콜렉터가 수집하여 인덱서에게 전달하고 이를 분산 검색엔진인 엘라스틱서치에 저장한다. 이 후 Kibana와 엘라스틱서치 Plugin을 통하여 로그 분석 및 통계가 가능하게 된다.
- 엘라스틱서치를 이용하여 로그분석 성능을 평가하기 위해 테스트 환경을 구축하여 성능을 평가하였다. 제안한 시스템의 로그 수집 단계에서 데이터 저장 및 속도 성능을 평가하기 위하여 현재 널리 사용되고 있는 하둡 기반의 보안 로그 데이터 분석 시스템과 비교하기 위한 실험 환경을 구축하였다. 또한, 로그 데이터의 용량을 증가시켜 각 테이블에 데이터를 저장하였다.
- 제안한 엘라스틱서치를 이용하여 보안로그 분석시 스템을 설계하고 구현하였다. 이 시스템은 보안장비에서 발생하는 로그 데이터 수집, 분석, 저장 및 데이터 시각화 등 전반적인 기능을 포함한다.
- 또한, 엘라스틱서치 기반 보안 로그 데이터 분석시스템과 하둡 기반 보안 로그 분석시스템의 처리 속도를 비교하였다. 즉, 기존의 하둡 기반 방식의 NoSQL 데이터베이스인 HBase와 Elasticsearch의 성능을 비교하였다. 처리속도 비교를 위해 성능 테스트에 사용된 로그 데이터는 약 1,000만 건의 로그 데이터(10GB), 약 2,000만 건 데이터(20GB) 그리고 약 3,000만건(30GB) 등 세 개의 데이터 셋으로 구성하였다.
대상 데이터
- 제안하는 시스템은 크게 4가지 부분으로 구성된다. 먼저, 로그스태시 컬렉터는 에이전트 부분에 존재하는 방화벽, 웹서버 등의 보안 장비에서 나오는 로그 데이터를 수집한다. 그 다음 로그스태시 인덱서에서 로그스태시 컬렉터로부터 로그 데이터 를 수집한 후에 엘라스틱서치에 데이터를 저장한다.
- 저장된 같은 로그 데이터를 통하여 결과값을 얻기 위한 쿼리문을 보내어 처리속도를 비교하는 실험을 하였다. 실험환경에서 사용한 Row 데이터는 데이터베이스에서 테이블의 단일 구조 데이터 항목을 말하며, GET 플로딩 공격 데이터를 사용하였다. 그림 5는 비교 실험 환경인 하둡 기반의 보안로그 분석 시스템과 분산 검색엔진인 엘라스틱서치를 이용한 보안로그 분석 시스템의 구조도를 나타낸다.
- 엘라스틱서치를 이용한 보안로그 시스템 환경을 구축하는데 총 4대의 서버가 사용되었다. 네임노드 1대와 3대의 데이터 노드로 구성하였으며, 네임노드의 운영체제는 Ubuntu 12.
- 즉, 기존의 하둡 기반 방식의 NoSQL 데이터베이스인 HBase와 Elasticsearch의 성능을 비교하였다. 처리속도 비교를 위해 성능 테스트에 사용된 로그 데이터는 약 1,000만 건의 로그 데이터(10GB), 약 2,000만 건 데이터(20GB) 그리고 약 3,000만건(30GB) 등 세 개의 데이터 셋으로 구성하였다. 그림 7은 두 시스템에서의 로그 데이터 처리 시간을 비교한 것이다.
데이터처리
- 이후 data node에서 검출된 기록을 Logstash가 해당되는 로그를 엘라스틱서치 저장소에 저장을 하게 된다. 그리고 나서 저장된 로그 데이터를 바탕으로 Kibana를 이용하여 분석 및 통계 그래프화하여 확인할 수 있도록 하였다.
- 분석을 할 때에는 HBase에 저장 된 로그 데이터를 Hive를 통해 가상 테이블을 생성한 후에 SQL이 가능하도록 환경을 구성한다. 이후 결과값을 얻기 위해 쿼리문을 사용하여 처리 속도를 측정하였다. 제안하는 시스템은 에이전트 단에 쌓인 로그 데이터를 Logstash 콜렉터가 수집하여 인덱서에게 전달하고 이를 분산 검색엔진인 엘라스틱서치에 저장한다.
이론/모형
- 또한, 로그 데이터의 용량을 증가시켜 각 테이블에 데이터를 저장하였다. 로그 분석 방법으로 엘라스틱서치를 이용한 로그 분석시스템에서는 Kibana를 사용하였으며, 비교 환경인 하둡 기반 로그 분석시스템에서는 HBase에 저장된 로그에서 데이터를 조회하기 위해 쿼리문의 필요성 때문에 Hive로 가상 테이블을 생성하여 SQL이 가능하도록 하였다. 저장된 같은 로그 데이터를 통하여 결과값을 얻기 위한 쿼리문을 보내어 처리속도를 비교하는 실험을 하였다.
성능/효과
- 실험 결과 오픈소스 기반 분산 검색 엔진인 Elasticsearch를 사용하여 보안 로그 분석시스템을 사용할 경우 기존의 하둡 기반 보안 로그 분석시스템에 비하여 쿼리 처리시간 및 로그 데이터 처리 속도에서 매우 우수한 성능을 보임을 확인하였다. 본 연구 결과는 기존의 보안 로그 분석시스템의 성능을 개선하는데 유용하게 사용될 수 있다.
- 실험 결과 10GB 로그 데이터의 경우 처리 속도의 차이는 10초 가량 차이가 나지만 로그 데이터가 20GB인 경우 처리 속도는 110초, 그리고 30GB의 경우 530초 가량 차이가 나는 것을 확인 할 수 있다. 즉, 로그 데이터가 증가하면 할수록 Elasticsearch의 로그 데이터 처리 속도가 HBase 보다 더욱 빨라짐을 알 수 있다.
- 로그 데이터 수집, 처리, 저장 및 시각화를 위해 기존의 플럼, 플럼 HDFS 싱크, 하둡 기반 HBase, R-Hive 대신 로그스태시, 로그스태시 인덱서, Elasticsearch, Kibana를 각각 사용하여 두 시스템의 성능을 비교하였다. 실험 결과 오픈소스 기반 분산 검색 엔진인 Elasticsearch를 사용하여 보안 로그 분석시스템을 사용할 경우 기존의 하둡 기반 보안 로그 분석시스템에 비하여 쿼리 처리시간 및 로그 데이터 처리 속도에서 매우 우수한 성능을 보임을 확인하였다. 본 연구 결과는 기존의 보안 로그 분석시스템의 성능을 개선하는데 유용하게 사용될 수 있다.
- 그림 6은 본 논문에서 제안하는 엘라스틱서치 기반 로그 분석시스템과 하둡 기반 로그 분석시스템의 Row 수에 따른 요청한 쿼리의 처리 속도를 비교한 그래프이다. 실험 결과 쿼리의 수가 5만건에서 10만건 사이의 경우 차이가 별로 없지만 50만건부터 쿼리의 수가 증가할수록 처리속도 차이가 커짐을 확인하였다. 즉, 쿼리 건수가 더욱 늘어나면 늘어날수록 엘라스틱서치 기반 로그 분석시스템의 성능이 하둡 기반 로그 분석시스템에 비하여 우수한 성능을 보임을 알 수 있다.
- 정보보안 측면에서 로그 데이터의 빅데이터 분석을 중요하게 고려하고 있고, 보안 솔루션도 도입되고 있지만 기업, 학교, 공공기관 등은 아직 로그 분석에 충분한 시간을 투자하지 못하는 것으로 나타났다. 방대한 양의 로그 데이터들 중 필터링을 하고 필요로 하는 정보를 얻기 위해서는 이벤트 간 상관관계 분석 기능을 향상시킬 필요가 있는데, 이는 ICT 및 보안 관리자들이 먼저 로그에 익숙해지고, 무엇이 정상이고 비정상인지에 대한 기준을 세우는 것이 필요한 시점이다[2][3].
- 본 논문에서는 방화벽, 침입탐지시스템 등 막대한 양의 보안로그 데이터 분석을 위하여 하둡 기반 환경을 구축하고 데이터의 수집 및 저장을 위해 검색 엔진인 Elasticsearch를 이용하여 기존 방식에 비하여 처리 속도가 훨씬 빠른 보안 로그 데이터 분석시스템을 제안한다. 제안하는 시스템은 다양한 네트워크 환경에서 검색 엔진을 활용하여 보안 로그를 수집하고 검색엔진에 저장한 후 분석 과정을 거쳐서 원하는 데이터를 시각화하거나 조회가 가능하므로 효율적인 보안로그 데이터 분석에 유용하다.
- 실험 결과 10GB 로그 데이터의 경우 처리 속도의 차이는 10초 가량 차이가 나지만 로그 데이터가 20GB인 경우 처리 속도는 110초, 그리고 30GB의 경우 530초 가량 차이가 나는 것을 확인 할 수 있다. 즉, 로그 데이터가 증가하면 할수록 Elasticsearch의 로그 데이터 처리 속도가 HBase 보다 더욱 빨라짐을 알 수 있다.
- 실험 결과 쿼리의 수가 5만건에서 10만건 사이의 경우 차이가 별로 없지만 50만건부터 쿼리의 수가 증가할수록 처리속도 차이가 커짐을 확인하였다. 즉, 쿼리 건수가 더욱 늘어나면 늘어날수록 엘라스틱서치 기반 로그 분석시스템의 성능이 하둡 기반 로그 분석시스템에 비하여 우수한 성능을 보임을 알 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.