[논문]빅데이터 처리시간 감소와 저장 효율성이 향상을 위한 맵리듀스 기반 빅데이터 처리 기법 구현

이협건; 김영운; 김기영

doi:10.15207/jkcs.2018.9.10.013

빅데이터 처리시간 감소와 저장 효율성이 향상을 위한 맵리듀스 기반 빅데이터 처리 기법 구현
Implement of MapReduce-based Big Data Processing Scheme for Reducing Big Data Processing Delay Time and Store Data 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.9 no.10, 2018년, pp.13 - 19

이협건 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) , 김영운 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) , 김기영 (서일대학교 소프트웨어공학과)

초록
AI-Helper

맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

Abstract ▼ AI-Helper

MapReduce, the Hadoop's essential core technology, is most commonly used to process big data based on the Hadoop distributed file system. However, the existing MapReduce-based big data processing techniques have a feature of dividing and storing files in blocks predefined in the Hadoop distributed file system, thus wasting huge infrastructure resources. Therefore, in this paper, we propose an efficient MapReduce-based big data processing scheme. The proposed method enhances the storage efficiency of a big data infrastructure environment by converting and compressing the data to be processed into a data format in advance suitable for processing by MapReduce. In addition, the proposed method solves the problem of the data processing time delay arising from when implementing with focus on the storage efficiency.

주제어

표/그림 (11)

그림 Fig. 1. Step of MapReduce
그림 Fig. 2. Process of the MapReduce-based big data processing scheme
그림 Fig. 3. Pseudo code of the data translate algorithm
그림 Fig. 4. Pseudo Code of the data compress algorithm
그림 Fig. 5. Pseudo Code of the data re-create algorithm
표 Table 1. Environment for performance analysis
그림 Fig. 7. Comparison of the big data processing scheme delay time
그림 Fig. 6. Comparison of the wasted data store rate
표 Table 2. Defined system parameter
표 Table 3. Result of the wasted data store rate
표 Table 4. Comparison of the big data processing scheme delay time

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리 기법 구현하였다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시켰다.
이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리 기법을 제안한다. 제안하는 기법은 빅데이터 변환 단계와 빅데이터 재생성 단계로 구분하여 구현한다.

제안 방법

데이터 저장 용량 효율성 분석은 분산 모드로 설정된 하둡 분산 파일 시스템에 압축된 시퀀스 파일 형태의 로그와 일반 로그의 파일 증가에 따른 낭비되는 저장 용량 분석을 수행한다.
맵리듀스[3,4]는 방대한 양의 데이터를 분산된 멀티 노드를 활용하여 빅데이터를 처리한다. 맵리듀스는 크게 맵 함수와 리듀스 함수로 구성되며, 맵리듀스 프레임워크를 활용하여 맵 함수와 리듀스 함수의 구현을 통해 빅데이터 처리 및 분석을 수행한다. 맵리듀스를 통한 빅데이터 처리는 하둡 분산 파일 시스템에 존재하는 데이터만 처리가 가능하다 또한 맵리듀스의 실행은 하둡 환경에서만 가능하다.
본 장에서는 제안하는 맵리듀스 기반 빅데이터 처리 기법을 성능평가를 수행한다. 성능평가 항목은 앞서 관련 연구에서 도출한 요구사항을 기반으로 데이터 저장 용량 효율성과 빅데이터 처리 시간을 분석한다.
본 절에서는 앞서 설명한 맵리듀스와 기존의 맵리듀스 기반 빅데이터 처리 기법과 관련연구[9-15]에 제시하는 빅데이터 처리 기법에 대한 문제점을 도출하고, 요구사항을 분석한다.
본 장에서는 제안하는 맵리듀스 기반 빅데이터 처리 기법을 성능평가를 수행한다. 성능평가 항목은 앞서 관련 연구에서 도출한 요구사항을 기반으로 데이터 저장 용량 효율성과 빅데이터 처리 시간을 분석한다.
성능평가를 위한 환경 구성은 아파치와 같은 웹서버에서 발생되는 웹 로그를 기반으로 빅데이터를 처리하며, 하둡을 기반으로 분산 환경을 구축하여 검증한다. 하둡 기반 분산 환경은 서버들을 활용하여 3개의 데이터 노드와 1개의 네임노드 및 관리노드로 구성한다.
제안하는 기법은 빅데이터 변환 단계와 빅데이터 재생성 단계로 구분하여 구현한다. 제안하는 기법은 맵리듀스가 실행되기 전에 수행되며, 처리할 빅데이터를 맵리듀스 처리에 적합한 형태로 파일을 변환 및 압축을 통해 저장 용량 효율성을 증가시키고, 데이터 처리 시간을 감소시킨다.
이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리 기법을 제안한다. 제안하는 기법은 빅데이터 변환 단계와 빅데이터 재생성 단계로 구분하여 구현한다. 제안하는 기법은 맵리듀스가 실행되기 전에 수행되며, 처리할 빅데이터를 맵리듀스 처리에 적합한 형태로 파일을 변환 및 압축을 통해 저장 용량 효율성을 증가시키고, 데이터 처리 시간을 감소시킨다.
제안하는 맵리듀스 기반 빅데이터 처리 기법은 앞서 분석한 요구사항에 적합하도록 빅데이터 변환 단계와 빅데이터 재생성 단계로 구분하여 구현한다. 빅데이터 변환 단계와 빅데이터 재생성 단계는 맵리듀스가 실행되기 전에 수행한다.
파일 증가에 따른 낭비되는 저장 용량 분석은 배치 잡을 통해 하둡 분산 파일 시스템에 주기적으로 100MB 용량을 가진 웹 로그를 업로드하여 하둡 분산 파일 시스템의 블록에 낭비되는 용량을 분석한다. 파일 증가에 따른 저장 용량 분석의 비교 대상은 일반적인 하둡 분산 파일 시스템(이하 기존 기법, E-Scheme)과 업로드된 파일을 압축된 시퀀스 파일 형태로 변환한 하둡 분산 파일 시스템(이하 제안 기법, P-Scheme))이다.

대상 데이터

빅데이터 처리 시간 분석은 Table 1에 정의한 환경에 맞춰 빅데이터 환경을 구성하여 데이터 로드부터 맵리듀스 실행까지의 빅데이터 처리 시간을 측정한다. 빅데이터 처리 시간 분석에서 측정할 데이터는 기존 기법인 일반적인 웹 로그와 제안 기법의 압축된 시퀀스 파일과 압축되지 않은 시퀀스 파일이다. Fig.
2와 같이 맵리듀스 기반 빅데이터 처리 기법은 맵리듀스 프레임워크에 정의된 다양한 객체들을 활용하여 수집된 데이터들을 데이터 형태에 맞게 변환하며 로드한다. 수집되는 빅데이터들의 형태는 음악 제작 사용자의 이용 패턴 로그, 스트리밍, 바이너리 및 다양한 텍스트 형태의 파일들이다. 변환된 데이터들은 앞서 설명한 맵 함수 실행단계와 Shuffle and Sort 단계, 리듀스 함수 실행 단계를 거쳐 처리된다.
파일 증가에 따른 낭비되는 저장 용량 분석은 배치 잡을 통해 하둡 분산 파일 시스템에 주기적으로 100MB 용량을 가진 웹 로그를 업로드하여 하둡 분산 파일 시스템의 블록에 낭비되는 용량을 분석한다. 파일 증가에 따른 저장 용량 분석의 비교 대상은 일반적인 하둡 분산 파일 시스템(이하 기존 기법, E-Scheme)과 업로드된 파일을 압축된 시퀀스 파일 형태로 변환한 하둡 분산 파일 시스템(이하 제안 기법, P-Scheme))이다. [Table 2]는 저장용량 분석을 위한 정의한 환경 구성을 나타낸다.

이론/모형

데이터 변환 알고리즘은 맵리듀스의 설정 및 기본 실행을 위한 드라이버를 활용한다. 데이터 변환 알고리즘은 첫 번째로 맵리듀스 잡을 생성하여 다양한 환경 설정들을 정의한다.
맵리듀스 기반 빅데이터 처리 기법[6, 7, 8]은 자바 기반의 맵리듀스 프레임워크를 활용한다. 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 저장된 데이터를 처리 및 분석하기 위해 수집된 데이터를 로드하며 맵리듀스 전처리 과정을 거쳐 실행된다.

성능/효과

Fig. 6과 Table 3의 분석 결과에 따르면, 제안 기법에서 낭비되는 저장 용량은 417.6MB, 기존 기법은 5,880MB로 제안하는 기법은 기존 기법에 비해 약 93%의 저장 용량의 효율성을 보인다. 이러한 결과가 발생한 원인은 저장되는 여러 파일들이 하나의 시퀀스 파일로 변환 및 압축을 수행하고, 그 파일이 블록 단위로 나눠서 저장되기 때문이다.
7과 Table 4의 분석 결과에 따르면, 제안 기법에서 빅데이터 처리 시간은 초반에 약 2배 이상 느림을 알 수 있다. 그러나 제안 기법의 빅데이터 처리 시간은 처리할 데이터 양 및 수가 증가될수록 기존 기법과의 격차는 급속도록 감소하였으며, 특히 1.5G부터 제안 기법의 빅데이터 처리 시간이 기존 기법에 비해 약 2% 이상 빠르게 처리하고 있다. 따라서 제안 기법은 많은 양과 수의 데이터를 처리할 때 보다 빠른 빅데이터 처리 성능 보였다.
5G부터 제안 기법의 빅데이터 처리 시간이 기존 기법에 비해 약 2% 이상 빠르게 처리하고 있다. 따라서 제안 기법은 많은 양과 수의 데이터를 처리할 때 보다 빠른 빅데이터 처리 성능 보였다.
분석된 저장 용량 효율성은 저장되는 파일의 수가 증가하면 할수록 77%에서 95%까지 증가됨을 알 수 있다. 따라서 제안하는 기법은 파일이 증가할수록 저장 효율성이 증가된다.
제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시켰다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결하였다.
분석된 저장 용량 효율성은 저장되는 파일의 수가 증가하면 할수록 77%에서 95%까지 증가됨을 알 수 있다. 따라서 제안하는 기법은 파일이 증가할수록 저장 효율성이 증가된다.
이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리 기법 구현하였다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시켰다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	맵리듀스란 무엇인가?	맵리듀스[1,2]는 빅데이터 처리의 핵심 기술 중에 하나로 방대한 양의 데이터를 분산된 멀티 노드를 활용하여 처리한다. 맵리듀스 기반 빅데이터 처리 기술의 특징은 하둡 분산 파일 시스템에 저장된 빅데이터들의 처리를 수행하는 노드가 많으면 많을수록 데이터 처리 성능은 급격하게 향상된다.
	맵리듀스 기반 빅데이터 처리 기술의 특징은 무엇인가?	맵리듀스[1,2]는 빅데이터 처리의 핵심 기술 중에 하나로 방대한 양의 데이터를 분산된 멀티 노드를 활용하여 처리한다. 맵리듀스 기반 빅데이터 처리 기술의 특징은 하둡 분산 파일 시스템에 저장된 빅데이터들의 처리를 수행하는 노드가 많으면 많을수록 데이터 처리 성능은 급격하게 향상된다. 따라서 맵리듀스는 분산 처리 환경을 기반으로 구현된 빅데이터 처리기술이다.
	맵리듀스 기반 빅데이터 처리 기법의 처리 과정은 무엇인가?	수집되는 빅데이터들의 형태는 음악 제작 사용자의 이용 패턴 로그, 스트리밍, 바이너리 및 다양한 텍스트 형태의 파일들이다. 변환된 데이터들은 앞서 설명한 맵 함수 실행단계와 Shuffle and Sort 단계, 리듀스 함수 실행 단계를 거쳐 처리된다.

참고문헌 (15)

H. G. Lee, Y. W. Kim & K. Y. Kim (2017), Implementation of an Efficient Big Data Collection Platform for Smart Manufacturing. Journal of Engineering and Applied Sciences, 12(2Si), 6304-6307. DOI: 10.3923/jeasci.2017.6304.6307
B. Mahjani, S. Toor, C. Nettelblad & S. Holmgren (2016). A Flexible Computational Framework Using R and Map-Reduce for Permutation Tests of Massive Genetic Analysis of Complex Traits. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 14(2), 381-392. DOI: 10.1109/TCBB.2016.2527639

상세보기
Y. W. Kim & H. G. Lee (2017). Implementation of Big Data Analysis System to Prevent Illegal Sales in the Cable TV Industry. Journal of Engineering and Applied Sciences, 12(3Si), 6542-6545. DOI: 10.3923/jeasci.2017.6542.6545
H. G. Lee, Y. W. Kim, K. Y. Kim & J. S. Choi. (2018). Design of GlusterFS Based Big Data Distributed Processing System in Smart Factory, Journal of Korea Institute of Information, Electronics, and Communication Technology, 11(1), 70-75.
H. J. Park. (2016). A Study about Performance Evaluation of Various NoSQL Databases, Journal of Korea Institute of Information, Electronics, and Communication Technology, 9(3), 298-305.
H. G. Lee, Y. W. Kim, K. Y. Kim & J. S. Choi (2018). Design of Splunk Platform based Big Data Analysis System for Objectionable Information Detection, Journal of Korea Institute of Information, Electronics, and Communication Technology, 11(1), 76-81.
S. H. Kim, S. H. Chang & S. W Lee (2017). Consumer Trend Platform Development for Combination Analysis of Structured and Unstructured Big Data, Journal of Digital Convergence, 15(6), 133-143.
C. Y. Lee (2017). A Study on Synchronization Effect of A Multi-dimensional Event Database for Big Data Information Sharing, Journal of Digital Convergence, 15(10), 243-251.
Y. U. Jeong (2015). U-healthcare Service Management Scheme for Big Data of Patient Information, Journal of Convergence for Information Technology, 5(1), 1-6.
J. H. Ku (2017). A Study on the Platform for Big Data Analysis of Manufacturing Process, Journal of Convergence for Information Technology, 7(5), 177-182.
I. H. Joo (2017). Spatial Big Data Query Processing System Supporting SQL-based Query Language in Hadoop, Journal of Korea Institute of Information, Electronics, and Communication Technology, 10(1), 1-8.
Y. J. Baek, W. C. Jeong, S. W. Hong & J. H. Park (2017). A step-by-step service encryption model based on routing pattern in case of IP spoofing attacks on clustering environment, Journal of Korea Institute of Information, Electronics, and Communication Technology, 10(6), 580-586.
E. H. Jeong & B. K. Lee. (2017). A Design of Hadoop Security Protocol using One Time Key based on Hash-chain, Journal of Korea Institute of Information, Electronics, and Communication Technology, 10(4), 340-349.
Y. S. Lee (2015). Authentication Method for Safe Internet of Things Environments, Journal of Korea Institute of Information, Electronics, and Communication Technology, 8(1), 51-58.
J. T. Seong (2017). Analysis of Signal Recovery for Compressed Sensing using Deep Learning Technique, Journal of Korea Institute of Information, Electronics, and Communication Technology, 10(4), 257-267.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증