[논문]로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법

이협건; 김영운; 박지용; 이진우

doi:10.17661/jkiiect.2018.11.5.593

로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법
MapReduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.11 no.5, 2018년, pp.593 - 600

이협건 , 김영운 (한국폴리텍대학 서울강서 캠퍼스 데이터분석과) , 박지용 (한양대학교 실용음악학과) , 이진우 ((주)시스원)

초록
AI-Helper

인터넷과 스마트기기의 발달로 인해 소셜미디어 등 다양한 미디어의 접근의 용이해짐에 따라 많은 양의 빅데이터들이 생성되고 있다. 특히 다양한 인터넷 서비스를 제공하는 기업들은 고객 성향 및 패턴, 보안성 강화를 위해 맵리듀스 기반 빅데이터 분석 기법들을 활용하여 빅데이터 분석하고 있다. 그러나 맵리듀스는 리듀스 단계에서 생성되는 리듀서 객체의 수를 한 개로 정의하고 있어, 빅데이터 분석할 때 처리될 많은 데이터들이 하나의 리듀서 객체에 집중된다. 이로 인해 리듀서 객체는 병목현상이 발생으로 빅데이터 분석 처리율이 감소한다. 이에 본 논문에서는 로그 분석처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과병합 단계로 구분하며 리듀서 객체의 수를 유동적으로 생성하여 병목현상을 감소시켜 빅데이터 처리율을 향상시킨다.

Abstract ▼ AI-Helper

Owing to the advancement of Internet and smart devices, access to various media such as social media became easy; thus, a large amount of big data is being produced. Particularly, the companies that provide various Internet services are analyzing the big data by using the MapReduce-based big data analysis techniques to investigate the customer preferences and patterns and strengthen the security. However, with MapReduce, when the big data is analyzed by defining the number of reducer objects generated in the reduce stage as one, the processing rate of big data analysis decreases. Therefore, in this paper, a MapReduce-based split big data analysis method is proposed to improve the log analysis processing rate. The proposed method separates the reducer partitioning stage and the analysis result combining stage and improves the big data processing rate by decreasing the bottleneck phenomenon by generating the number of reducer objects dynamically.

주제어

표/그림 (13)

그림 그림 1. 맵리듀스와 하둡 분산 파일 시스템의 구조 Fig. 1. The structure of MapReduce and HDFS
그림 그림 2. 하둡 분산 파일 시스템의 데몬을 활용한 맵리듀스 기반 빅데이터 분석 과정 Fig. 2. The process of MapReduce-based big data analysis using HDFS daemon
그림 그림 3. 맵리듀스의 주요 동작 단계 Fig. 3. The process of MapReduce
그림 그림 4. 로그 분석 유형별 리듀서 생성을 위한 의사 코드 Fig. 4. The pseudo code of create reduce object for log analysis types
그림 그림 5. 분석할 빅데이터 매칭을 위한 의사 코드 Fig. 5. The pseudo code for big data matching
표 표 1. 로그 분석 유형별 정의한 리듀서 객체의 수 Table 1. The count of reducer object for log analysis type
그림 그림 6. 제안한 기법의 주요 동작 단계 Fig. 6. The step of propose scheme
그림 그림 7. 맵 단계만 실행하기 위한 의사 코드 Fig. 7. The pseudo code of execution map step
그림 그림 8. 제안한 기법의 빅데이터 분석 처리 시간 Fig. 8. The big data analysis process time of proposed scheme
표 표 2. 성능평가를 위한 주요 환경 구성 Table 2. The environment for performance analysis
표 표 3. 제안한 기법의 구간별 빅데이터 분석 처리 시간 Table 3. The big data analysis process time of propose scheme for each section
그림 그림 9. 기존 기법과 제안한 기법의 빅데이터 분석 처리 시간 비교 Fig. 9. The comparison of existing scheme and proposescheme for big data analysis process time
표 표 4. 기존 기법과 제안한 기법의 구간별 빅데이터 분석 처리 시간 Table 4. The existing scheme and propose scheme for each section

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 본 논문에서는 로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과 병합 단계로 구분하여 구현한다.

제안 방법

이러한 결과가 발생한 이유는 맵리듀스 객체의 생성 수와 밀접한 관계가 있다. 날짜별 분할 빅데이터 분석 기법은 총 30개의 맵리듀스 객체를 생성하고, 요일별 분할 빅데이터 분석 기법은 총 7개의 맵리듀스 객체를 생성하고, 마지막으로 시간대별 분할 맵리듀스 빅데이터 분석 기법은 총 24개의 맵리듀스 객체를 생성한다. 시간대별 분할 빅데이터 분석 기법은 날짜별 분할 빅데이터 분석 기법에 비해 생성된 맵리듀스 객체의 수가 적었으며 요일별 분할 빅데이터 분석 기법에 비해 생성된 맵리듀스 객체의 수가 많았다.
본 장에서는 맵리듀스 기반 빅데이터 분석 기법을 살펴보고, 제안한 빅데이터 분석 기법을 구현하기 위해 요구사항을 분석한다
본 장에서는 제안한 맵리듀스 기반 분할 빅데이터 분석 기법에 대한 성능평가를 수행한다. 성능평가 항목은 앞서 관련 연구에서 분석한 요구사항을 기반으로 기존 맵리듀스 기반 빅데이터 분석 기법과 제안한 분할 빅데이터 분석 처리시간 및 분석 결과 병합 단계의 처리시간을 분석한다.
분석 결과 병합 단계는 맵리듀스의 리듀서 객체마다 생성되는 분석결과를 하나의 파일로 병합한다. 분석 결과 병합 단계에서의 결과 병합은 앞서 설명한 리듀서 분할 단계를 통해 실행이 완료된 맵리듀스의 결과 파일들을 맵리듀스의 맵 단계를 실행하여 병합한다. 따라서 분석 결과 병합 단계의 동작은 총 1번의 맵리듀스 동작과 추가적인 맵 단계 동작을 수행한다.
제안한 기법의 빅데이터 분석 처리 시간은 로그 분석 유형별 분할 빅데이터 분석 기법들의 맵리듀스 실행시간을 측정하고, 그 결과를 비교 분석한다. 분석 방법은 월요일이 1일인 날부터 30일까지의 생성된 로그 데이터를 분석하는데 발생한 처리시간을 측정한다. <그림 8>과 <표3>은 제안한 기법의 빅데이터 분석 처리 시간을 나타낸다.
성능평가를 위한 환경 구성은 아파치와 같은 웹서버에서 발생되는 웹 로그를 기반으로 빅데이터 분석을 수행하며, 하둡을 기반으로 완전 분산 모드를 구축하여 검증한다. 성능평가에 사용된 하둡의 버전으로 정식 배포된 2.
이에 본 논문에서는 로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과 병합 단계로 구분하여 구현한다. 리듀서 분할 단계는 로그 분석 유형에 맞춰 리듀서 객체 수를 유동적으로 생성하여 병목 현상을 감소시킨다.
제안한 분할 빅데이터 분석 기법은 앞서 설명한 요구사항 분석 결과에 적합하도록 병목 현상을 최소화하도록 설계한다. 제안한 기법의 리듀스 단계에서 생성되는 리듀서 객체를 유동적으로 생성한 뒤, 분석 결과의 유형에 따라 하나의 결과를 생성한다. 제안한 빅데이터 분석 기법의 구성은 리듀서 분할 단계와 분석 결과 병합 단계이다.
제안한 분할 빅데이터 분석 기법은 앞서 설명한 요구사항 분석 결과에 적합하도록 병목 현상을 최소화하도록 설계한다. 제안한 기법의 리듀스 단계에서 생성되는 리듀서 객체를 유동적으로 생성한 뒤, 분석 결과의 유형에 따라 하나의 결과를 생성한다.

대상 데이터

분석할 빅데이터 매칭은 로그 분석 유형에 따라 생성된 다 수의 리듀서 객체마다 처리해야할 로드 데이터를 매칭한다. 데이터 매칭은 맵리듀스 프레임워크에서 제공하는 파티셔너(Partitioner) 객체를 상속받아 오버라이드하여 사용한다. <그림 5>는 분석할 빅데이터 매칭을 위한 의사 코드를 나타낸다.
하둡 완전 분산 모드의 구성 노드는 1개의 네임노드와 2차 네임노드, 3개의 데이터 노드로 총 5개의 서버를 활용한다. 웹 로그 분석을 위한 분석 기간은 2018년 3월부터 5월까지 총 3개월로 정의하여 분석한다. 성능평가에 사용되는 맵리듀스 잡은 비정상적인 URL 접속 횟수를 분석 잡을 사용한다.
82 버전을 사용한다. 하둡 완전 분산 모드의 구성 노드는 1개의 네임노드와 2차 네임노드, 3개의 데이터 노드로 총 5개의 서버를 활용한다. 웹 로그 분석을 위한 분석 기간은 2018년 3월부터 5월까지 총 3개월로 정의하여 분석한다.

데이터처리

빅데이터 분석 처리 시간은 앞서 성능 분석한 시간대별 분할 빅데이터 분석 기법과 기존 기법의 실행시간을 측정하고, 그 결과를 비교 분석한다. 분석 방법은 앞서 성능 분석한 방법과 동일하다.
본 장에서는 제안한 맵리듀스 기반 분할 빅데이터 분석 기법에 대한 성능평가를 수행한다. 성능평가 항목은 앞서 관련 연구에서 분석한 요구사항을 기반으로 기존 맵리듀스 기반 빅데이터 분석 기법과 제안한 분할 빅데이터 분석 처리시간 및 분석 결과 병합 단계의 처리시간을 분석한다.
제안한 기법의 빅데이터 분석 처리 시간은 로그 분석 유형별 분할 빅데이터 분석 기법들의 맵리듀스 실행시간을 측정하고, 그 결과를 비교 분석한다. 분석 방법은 월요일이 1일인 날부터 30일까지의 생성된 로그 데이터를 분석하는데 발생한 처리시간을 측정한다.

이론/모형

성능평가를 위한 환경 구성은 아파치와 같은 웹서버에서 발생되는 웹 로그를 기반으로 빅데이터 분석을 수행하며, 하둡을 기반으로 완전 분산 모드를 구축하여 검증한다. 성능평가에 사용된 하둡의 버전으로 정식 배포된 2.82 버전을 사용한다. 하둡 완전 분산 모드의 구성 노드는 1개의 네임노드와 2차 네임노드, 3개의 데이터 노드로 총 5개의 서버를 활용한다.
앞서 설명한 맵리듀스 기반 빅데이터 분석 기법은 하둡의 핵심 기술 중에 하나인 맵리듀스를 활용하여 빅데이터 분석을 수행한다. 맵리듀스의 기본 설정은 리듀스 단계에서 생성되는 리듀서 객체를 한 개로 정의한다.

성능/효과

결과에 따르면, 시간대별 분할 빅데이터 분석 기법은 제안한 로그 분석 유형별 분석에서 가장 빠르게 빅데이터를 처리하였다. 빅데이터 처리 시간이 가장 느린 유형은 요일별 분할 빅데이터 분석이며, 30일 기준으로 시간대별 분할 빅데이터 분석 기법에 비해 약 28% 느리게 빅데이터를 분석하였다.
결과에 따르면, 제안한 기법과 기존 기법의 빅데이터 처리 시간은 30일 기준으로 2,869.초와 4,198초로 측정되었으며, 제안한 기법은 기존 기법과 비교하여 1,328.6초 빠르게 빅데이터 분석을 수행하였다.
분석할 빅데이터 매칭은 분할 생성한 리듀서 객체에 데이터를 매칭하는 것으로 파티셔너 객체를 상속하며 시작한다. 분석할 빅데이터 매칭에 사용된 함수는 크게 5가지로 etPartition, getTimeStamp, setDateReducer, setDateReducer와 setDateReducer 함수이다. getPartition 함수는 파티셔너 객체를 상속받아 오버라이드하고, 앞서 생성한 맵리듀스와 데이터간 매칭을 로그 분석 유형별로 수행한다.
빅데이터 분석 처리율은 1일부터 30일까지 제안한 기법이 기존 기법보다 평균적으로 약 32% 향상되었다.
결과에 따르면, 시간대별 분할 빅데이터 분석 기법은 제안한 로그 분석 유형별 분석에서 가장 빠르게 빅데이터를 처리하였다. 빅데이터 처리 시간이 가장 느린 유형은 요일별 분할 빅데이터 분석이며, 30일 기준으로 시간대별 분할 빅데이터 분석 기법에 비해 약 28% 느리게 빅데이터를 분석하였다.
날짜별 분할 빅데이터 분석 기법은 총 30개의 맵리듀스 객체를 생성하고, 요일별 분할 빅데이터 분석 기법은 총 7개의 맵리듀스 객체를 생성하고, 마지막으로 시간대별 분할 맵리듀스 빅데이터 분석 기법은 총 24개의 맵리듀스 객체를 생성한다. 시간대별 분할 빅데이터 분석 기법은 날짜별 분할 빅데이터 분석 기법에 비해 생성된 맵리듀스 객체의 수가 적었으며 요일별 분할 빅데이터 분석 기법에 비해 생성된 맵리듀스 객체의 수가 많았다.
분석 결과 병합 단계는 리듀서 객체들로부터 분할 저장되는 분석 결과들을 하나의 분석 결과로 병합한다. 이로 인해 제안한 기법은 기존 기법에 비해 약 32%의 향상된 빅데이터 처리율을 보였다. 향후, 빅데이터 분석 기법에 대한 연구는 다양한 시스템에서 발생시킨 로그들을 기반으로 심층적인 분석이 필요하다.

후속연구

이로 인해 제안한 기법은 기존 기법에 비해 약 32%의 향상된 빅데이터 처리율을 보였다. 향후, 빅데이터 분석 기법에 대한 연구는 다양한 시스템에서 발생시킨 로그들을 기반으로 심층적인 분석이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	맵리듀스란 무엇인가?	그러나 맵리듀스는 리듀스 단계에서 생성되는 리듀서 객체를 한 개로 정의하고 있다. 이로 인해 맵리듀스를 통한 빅데이터 분석은 Shuffle and Sort 단계를 통해 전달되는 많은 데이터들이 하나의 리듀서 객체에 집중적으로 모이게 되며, 병목 현상이 발생하게 된다.
	맵리듀스 기반 빅데이터 분석 기법이 하둡 분산 파일 시스템과 맵리듀스를 활용하여 분석하는 이유는 무엇인가?	맵리듀스[4]는 하둡의 필수 핵심 기술 중 하나로 방대한 양의 데이터들을 분산되어 설치된 노드들을 활용하여 처리 및 분석을 수행한다. 이 맵리듀스는 빅데이터 처리 및 분석 기술로 가장 보편화된 기술로 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS)을 기반으로 동작된다. 따라서 맵리듀스 기반 빅데이터 분석 기법은 기본적으로 하둡 분산 파일 시스템과 그 상위 스택인 맵리듀스를 활용하여 빅데이터를 분석한다.
	맵리듀스는 무엇을 기반으로 작동하는가?	맵리듀스[4]는 하둡의 필수 핵심 기술 중 하나로 방대한 양의 데이터들을 분산되어 설치된 노드들을 활용하여 처리 및 분석을 수행한다. 이 맵리듀스는 빅데이터 처리 및 분석 기술로 가장 보편화된 기술로 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS)을 기반으로 동작된다. 따라서 맵리듀스 기반 빅데이터 분석 기법은 기본적으로 하둡 분산 파일 시스템과 그 상위 스택인 맵리듀스를 활용하여 빅데이터를 분석한다.

참고문헌 (6)

H. G. Lee, Y. W. Kim & K. Y. Kim (2017), Implementation of an Efficient Big Data Collection Platform for Smart Manufacturing. Journal of Engineering and Applied Sciences, 12(2Si), 6304-6307.
Y. W. Kim & H. G. Lee (2017). Implementation of Big Data Analysis System to Prevent Illegal Sales in the Cable TV Industry. Journal of Engineering and Applied Sciences, 12(3Si), 6542-6545.
H. G. Lee, Y. W. Kim, K. Y. Kim & J. S. Choi. (2018). Design of GlusterFS Based Big Data Distributed Processing System in Smart Factory, Journal of Korea Institute of Information, Electronics, and Communication Technology, 11(1), 70-75.
E. H. Jeong & B. K. Lee. (2017). A Design of Hadoop Security Protocol using One Time Key based on Hash-chain, Journal of Korea Institute of Information, Electronics, and Communication Technology, 10(4), 340-349.

원문보기 상세보기
Y. S. Lee (2015). Authentication Method for Safe Internet of Things Environments, Journal of Korea Institute of Information, Electronics, and Communication Technology, 8(1), 51-58.

원문보기 상세보기
J. T. Seong (2017). Analysis of Signal Recovery for Compressed Sensing using Deep Learning Technique, Journal of Korea Institute of Information, Electronics, and Communication Technology, 10(4), 257-267.

원문보기 상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증