최근 IT 분야에서 빅데이터 관리에 대한 관심이 급증하고 있으며, 빅데이터의 실시간 처리 문제를 해결하기 위해 많은 연구가 진행되고 있다. 네트워크상에서 주고받는 데이터를 실시간으로 저장하는 기능으로 인해 리소스가 많이 필요한 반면, 높은 비용적 측면 때문에 분석 시스템 도입에 문제가 야기 되고 있으며 이러한 문제점 해결을 위해 저비용 고효율성을 만족하는 시스템 재설계의 필요성이 증가되고 있다. 본 논문에서는 빅 데이터 관리를 위한 문서형 DB기반 로그관리 시스템을 설계하기 위해서 문서형 데이터베이스인 MongoDB를 사용하였으며, 제안하는 로그관리 시스템을 통해 고효율의 로그 수집 및 처리와 위,변조에 안전한 로그 데이터 저장을 확인한다.
최근 IT 분야에서 빅데이터 관리에 대한 관심이 급증하고 있으며, 빅데이터의 실시간 처리 문제를 해결하기 위해 많은 연구가 진행되고 있다. 네트워크상에서 주고받는 데이터를 실시간으로 저장하는 기능으로 인해 리소스가 많이 필요한 반면, 높은 비용적 측면 때문에 분석 시스템 도입에 문제가 야기 되고 있으며 이러한 문제점 해결을 위해 저비용 고효율성을 만족하는 시스템 재설계의 필요성이 증가되고 있다. 본 논문에서는 빅 데이터 관리를 위한 문서형 DB기반 로그관리 시스템을 설계하기 위해서 문서형 데이터베이스인 MongoDB를 사용하였으며, 제안하는 로그관리 시스템을 통해 고효율의 로그 수집 및 처리와 위,변조에 안전한 로그 데이터 저장을 확인한다.
Recently Big Data management have a rapid increases interest in IT field, much research conducting to solve a problem of real-time processing to Big Data. Lots of resources are required for the ability to store data in real-time over the network but there is the problem of introducing an analyzing s...
Recently Big Data management have a rapid increases interest in IT field, much research conducting to solve a problem of real-time processing to Big Data. Lots of resources are required for the ability to store data in real-time over the network but there is the problem of introducing an analyzing system due to aspect of high cost. Need of redesign of the system for low cost and high efficiency had been increasing to solve the problem. In this paper, the document type of database, MongoDB, is used for design a log management system based a document type of database, that is good at big data managing. The suggested log management system is more efficient than other method on log collection and processing, and it is strong on data forgery through the performance evaluation.
Recently Big Data management have a rapid increases interest in IT field, much research conducting to solve a problem of real-time processing to Big Data. Lots of resources are required for the ability to store data in real-time over the network but there is the problem of introducing an analyzing system due to aspect of high cost. Need of redesign of the system for low cost and high efficiency had been increasing to solve the problem. In this paper, the document type of database, MongoDB, is used for design a log management system based a document type of database, that is good at big data managing. The suggested log management system is more efficient than other method on log collection and processing, and it is strong on data forgery through the performance evaluation.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
반영구적 보존, 위·변조가 불가능한 매체 실시간 저장, 데이터의 무결성, 가용성, 책임 추적성을 강화하여 내·외부자에 의한 불법적 접근시도 및 악의적인 침입을 분석하여 차단 기능의 위험을 감지하고, 보안 사고의 사전 모니터링이 가능하다. 또한 보안사고 및 불법 거래 발생 시 명확한 원인 규명 및 책임소재를 입증하는 증거 자료로 활용하기 위해 사용한다.
MongoDB 스키마 구조 설계를 하기 전에 MongoDB를 이루는 구조적 특징을 우선 알아보고자 한다. 표 5는 RDBMS와 MongoDB의 객체를 비교한 것으로 MongoDB를 이루고 있는 구성들을 나열하였다.
제안 방법
시스템 H/A구성의 유연성을 만족하고 구축에 소용되는 비용의 효율성이 높으며 운영 기술의 진입 장벽 또한 비교적 낮은 자바스크립트 언어를 기반으로 하고 있다. 또한 기존 로그 관리 구조를 많이 해치지 않는 Log4j를 지원하고, 기존의 버그 추적이나 잘못된 거래 데이터 분석을 적용하기 위한 관리 시스템을 제안한다.
기존 Text File 시스템 기반 로그 저장 방법의 위·변조 문제를 해결하기 위해 문서형 데이터베이스 기반 로그관리 시스템을 제안한다.
Pattern Layout의 설계는 MongoDB 저장 형태의 결정 요인으로, 데이터의 조회 조건에 영향을 준다. 저장단위의 분리를 고려하여 Database에는 각각의 서버들을 맵핑하였으며, 제안하는 Pattern Layout은 차후 부하의 증가로 인한 문제, 통신 접근 제한, 권한 할당 문제를 쉽게 해결할 수 있도록 설계하였다. 또한 Collection의 단위는 사용자 또는 개발자의 혼란을 최소하기 현재 운영되고 있는 시스템의 Log Appender Name을 그대로 사용하였으며, 필드의 구조는 기본 MongoDB Pattern Layout을 통해 선언된 구조와 동일하게 설계하였다.
저장단위의 분리를 고려하여 Database에는 각각의 서버들을 맵핑하였으며, 제안하는 Pattern Layout은 차후 부하의 증가로 인한 문제, 통신 접근 제한, 권한 할당 문제를 쉽게 해결할 수 있도록 설계하였다. 또한 Collection의 단위는 사용자 또는 개발자의 혼란을 최소하기 현재 운영되고 있는 시스템의 Log Appender Name을 그대로 사용하였으며, 필드의 구조는 기본 MongoDB Pattern Layout을 통해 선언된 구조와 동일하게 설계하였다. 표 4는 MongoDB와 객체의 맵핑을 나타낸다.
이론/모형
본 논문에서는 유연한 데이터 스키마 구조가 가능하며 저비용 구축을 위해 오픈소스 제품 중에서 문서형 데이터베이스인 MongoDB를 적용하였다. 시스템 H/A구성의 유연성을 만족하고 구축에 소용되는 비용의 효율성이 높으며 운영 기술의 진입 장벽 또한 비교적 낮은 자바스크립트 언어를 기반으로 하고 있다.
성능/효과
제안하는 문서형 DB기반로그 관리 시스템은 BSON 형태의 MongoDB를 사용하고 있으며, 일부 데이터 구조는 Hex Edit에서 볼 수 있으나, 저장된 필드의 데이터를 조작하는 것은 불가능하기 때문에 기존의 위·변조 문제를 해결할 수 있다.
해당 파일명, 데이터 위치인 Line Number를 추출하며 대상 시각도 연, 원, 일 까지만 구분 할 수 있다. 반면 본 논문에서 제안하는 문서형 DB 기반 로그 관리 시스템은 MongoDB를 사용하여 기존 로그 저장 방식보다 구체적인 시간 정보까지 표현이 가능하다.
이로 인하여 시스템 성능 확장과 효율적인 부하분산이 필요하게 되었다. 성능분석을 통해 MongoDB를 이용한 Log 관리 시스템은 향상된 보안성을 지님과 동시에 편리한 수평적 확장과 부하분산 시스템을 쉽게 구축할 수 있음을 확인하였다. 또한 기존의 여러 시스템에 나누어져 있는 Log 파일 분석에 있어서 많은 어려움이 있었으나, 제안하는 문서형 DB 기반 로그 관리 시스템을 통해 큰 비용 없이 시스템을 확장할 수 있고 기존 Text 기반 로그 관리 시스템보다 높은 효율성을 확인할 수 있었으며, Log 정보의 다양한 활용성에 대한 가능성도 알 수 있게 되었다.
성능분석을 통해 MongoDB를 이용한 Log 관리 시스템은 향상된 보안성을 지님과 동시에 편리한 수평적 확장과 부하분산 시스템을 쉽게 구축할 수 있음을 확인하였다. 또한 기존의 여러 시스템에 나누어져 있는 Log 파일 분석에 있어서 많은 어려움이 있었으나, 제안하는 문서형 DB 기반 로그 관리 시스템을 통해 큰 비용 없이 시스템을 확장할 수 있고 기존 Text 기반 로그 관리 시스템보다 높은 효율성을 확인할 수 있었으며, Log 정보의 다양한 활용성에 대한 가능성도 알 수 있게 되었다.
질의응답
핵심어
질문
논문에서 추출한 답변
로그정보 수집의 목적은?
로그정보 수집의 목적은 개발자와 품질관리자, 시스템 운영자가 발견한 소프트웨어의 버그 또는 공격자, 부정사용자를 포함하는 비정상 사용자를 추적하는 것을 돕기 위한 소프트웨어이다. 즉 운영 중에 부정 사용자나 공격자 같은 데이터, 개발 과정에서 발견된 소프트웨어 버그의 상태변화 과정을 추적하기 위한 소프트웨어이다[3].
빅데이터를 사용하는 시대에서 넘처나는 정보와 오류에 대해 대처해야할 점은?
이러한 빅데이터를 사용하는 시대에 사용하는 정보의 양과 더불어 오류도 증가하고 있으며, 오류에 대한해결책을 해결하는데 많은 시간이 소모된다. 따라서 모니터링 또는 통계를 위한 시스템의 요구가 증가되고 있으며, 대응 시간 단축을 위한 관련 업무 프로세서가 동작하면서 발생하는 Log 데이터를 기반으로 하여 기존시스템 절차에 영향을 주지 않으면서 정보를 수집 할 수 있는 시스템의 필요성이 대두 되고 있다.
빅데이터 관리에 대한 관심이 급증한 배경은?
최근 IT 분야에서 다양한 정보 채널과 스마트 기기의 발달로 인해 정보의 생산, 유통, 보유가 기하급수적으로 증가하고 있으며, 이러한 데이터를 관리하는 빅데이터 관리에 대한 관심이 급증하고 있다.
참고문헌 (9)
Yeong-hwan Yong, "Advent of an era of big data", Korea the Journal of information technology, 2012.
Pete Warden, "Big Data Glossary", 2011.9.
Hye-won Cho, Youg-koo Han, Young-koo Lee, "A Nonfixed Log Area Management Technique in Block for Flash Memory DBMS", Journal of KIISE vol 5, 2010.10.
Wan-jib Kim, Heung youl Youn, "Compliance with the integrated management for compliance in a log of System", Journal of KIISC, vol 5, 2010.10.
Kristina Chodorow, "Scaling MongoDB", 2011.3.
Michael Dirolf, Kristina Chodorow, "MongoDB The Definitive Guide", O'Reilly Media, 2010.
Chang-ju Ryu, Seung-jo Han, "The Design of Log Management System for MongoDB", ICT conference, vol2, 2013.6.
Je-young Ryu, "Design and Implementation of Log Library for Embedded Software Development", KIISE conference, 2011.11.
Beom-gyun Choi, "Jakarta Project", 2004.3.
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.