[논문]아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석

고정현; 여정모

doi:10.3745/ktsde.2015.4.2.77

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석
Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.4 no.2, 2015년, pp.77 - 82

(부경대학교 컴퓨터공학과) , 고정현 (부경대학교 컴퓨터공학과) , 여정모 (부경대학교 컴퓨터공학과)

초록
AI-Helper

빅데이터 기술은 데이터 처리 속도가 빠르다는 면에서 주목을 받고 있다. 그리고 관계형 데이터베이스(Relational Database: RDB)에 저장되어있는 대용량 정형 데이터를 더 빠르게 처리하기 위해서 빅데이터 기술을 활용하는 연구도 진행되고 있다. 다양한 분산 처리 도구들을 사용하여 분석 성능을 측정하는 연구는 많지만 분석하기 전 단계인 정형 데이터 적재의 성능에 관한 연구는 미미하다. 때문에 본 연구에서는 RDB 안에 저장되어있는 정형 데이터를 아파치 스쿱(Apache Sqoop)을 사용하여 분산 처리 플랫폼 하둡(Hadoop)으로 적재하는 성능을 측정하였다. 그리고 적재에 영향을 미치는 요인을 분석하기 위해 여러 가지 영향 요소를 변경해가면서 반복적으로 실험을 수행하였고 RDB 기반으로 구성된 서버 간의 적재 성능과 비교하였다. 실험 환경에서 아파치 스쿱의 적재 속도가 낮았지만 실제 운영하고 있는 대규모 하둡 클러스터 환경에서는 더 많은 하드웨어 자원이 확보되기 때문에 훨씬 더 좋은 성능을 기대할 수 있다. 이는 향후 진행할 적재 성능 개선 및 하둡 환경에서 정형 데이터를 분석하는 전체적인 단계의 성능을 향상시킬 수 있는 방법에 대한 연구의 기반이 될 것으로 예상한다.

Abstract ▼ AI-Helper

Big Data technology has been attracted much attention in aspect of fast data processing. Research of practicing Big Data technology is also ongoing to process large-scale structured data much faster in Relatioinal Database(RDB). Although there are lots of studies about measuring analyzing performance, studies about structured data loading performance, prior step of analyzing, is very rare. Thus, in this study, structured data in RDB is tested the performance that loads distributed processing platform Hadoop using Apache sqoop. Also in order to analyze the influence factors of data loading, it is tested repeatedly with different options of data loading and compared with data loading performance among RDB based servers. Although data loading performance of Apache Sqoop in test environment was low, but in large-scale Hadoop cluster environment we can expect much better performance because of getting more hardware resources. It is expected to be based on study improving data loading performance and whole steps of performance analyzing structured data in Hadoop Platform.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

스쿱에서도 단지 간단한 사용법만을 매뉴얼로 제시하고 있을 뿐이다. 그렇기 때문에 본 연구에서 스쿱을 사용하여 RDB에 저장된 정형 데이터를 하둡으로 적재하는 성능을 측정하고 적재 성능에 영향을 미치는 요인에 대해 연구하고자 한다.
기존에 사용하는 DW도 RDB로 구축된 경우가 대부분이다. 그렇기 때문에 본 연구에서는 스쿱의 적재 성능을 비교하기 위하여 RDB에서 RDB로 적재하는 성능과 RDB에서 하둡으로 적재하는 성능을 대비하여 진행하였다. 테스트 절차는 다음과 같다.
아파치 스쿱은 맵리듀스[7]를 기반으로 구현된 데이터 적재 프로그램이다. 특히 RDB 및 HDFS 사이에 데이터 적재가 가능하기 때문에 많은 프로젝트에서 널리 사용하고 있다.

제안 방법

스쿱에서도 Direct 옵션을 제공하고 있다. Direct옵션의 효과를 확인하기 위해 Direct 옵션을 적용하여 적재 테스트를 수행하였다.
RDB서버에 저장되어있는 테이블들을 오라클이 제공해주는 CTAS, DATAPUMP 방식으로 대상 RDB서버에 각각 한 번씩 적재하였고, 적재 시 Parallel Degree 옵션은 4로 지정하였다.
● Node수량이 동일한 경우에 Mapper수량에 따른 성능 차이 : 5개 SN로 구성된 환경에서 Mapper를 추가하여 테스트를 진행하였다.
하둡 클러스터의 Node수량 및 데이터를 분석할 때의 올바른 성능을 고려하면 최소한 기본값 이상으로 설정하여야 한다. 그렇기 때문에 본 논문에서 데이터를 분석 처리하는 성능을 고려하여 복제본의 수를 디폴트값으로 설정해 여러 번의 테스트를 추가로 수행하였다. 즉, 복제본 의 수를 3으로 설정하고 RDB에서 가져온 1TB 데이터를 복제정책을 적용하여 HDFS에서 3배까지 복제해서 저장하는 테스트를 수행하였다.
첫째, 하둡은 대용량 비정형 데이터를 효율적으로 저장할 수 있는 HDFS(Hadoop Distributed File System)를 제공한다. 둘째, 기존 단일 서버의 성능 부하 집중 문제를 해결하기 위해 여러 개 서버로 구성된 클러스터를 통해 부하를 분산시킨다. 또한 맵리듀스(MapReduce)를 통해서 개별적인 서버에서 진행되는 병렬처리 결과를 하나로 묶어 시스템의 과부하나 병목 현상을 줄였다.
둘째, 기존 단일 서버의 성능 부하 집중 문제를 해결하기 위해 여러 개 서버로 구성된 클러스터를 통해 부하를 분산시킨다. 또한 맵리듀스(MapReduce)를 통해서 개별적인 서버에서 진행되는 병렬처리 결과를 하나로 묶어 시스템의 과부하나 병목 현상을 줄였다. 셋째, 하둡은 여러 개 서버로 구성된 클러스터이기 때문에 하드웨어 장비를 추가시킴으로써 구성된 서버의 자원을 최대한 활용하여 성능이 선형적으로 향상된다.
그렇기 때문에 Mapper수량에 따른 성능 변화를 측정하기 위해 다음과 같은 두 가지 테스트를 진행하였다. 먼저 SN수량을 동일하게 한 뒤 Mapper수량을 늘려가면서 적재 시간을 측정하고, 그다음 Mapper수량을 동일하게 한 뒤 SN수량 을 늘려가면서 적재 시간을 측정하였다.
먼저 적재 테스트를 진행하기 전에 RDB서버에서 각각 다른 유형의 4개의 테이블을 이용하여 1TB의 테스트 데이터를 확보한 뒤, 각 테이블을 대상으로 테스트를 진행한다. 테이블의 상세정보는 Table 2와 같다.
하둡 환경 구성은 RDB보다 복잡도가 높고 아파치 스쿱 을 사용하여 적재할 때 하둡 클러스터의 서버 사양 및 다양한 옵션들을 고려하여 적절하게 설정하여야 성능을 제대로 발휘할 수 있다. 스쿱에서 지원하는 설정 중 적재 방법과 환경 구성 두 가지 측면에서 성능 영향 요인을 분석하였다.
스쿱이 출시된 후에 다양한 분야에서 많이 활용되고 있는데 아직 이와 관련된 연구는 미미하기 때문에 본 연구에서 여러 가지 테스트를 진행함으로써 스쿱을 사용하여 RDB에 있는 데이터를 HDFS로 적재하는 성능을 측정하였고, 성능에 영향을 미치는 요인에 대해 분석하였다.
앞서 언급한 데이터 적재 테스트를 진행하기 위해 RDB 서버 두 대와 하둡 클러스터를 구축하였다. 하둡 클러스터는 1대의 NN와 3대의 SN로 구성하였고, 점차 SN를 1대씩 추가해가면서 5대가 될 때까지 반복적으로 구성한 뒤 테스트하였다.
이 단계는 Mapper수량을 동일하게 4로 설정해둔 상태에 서 SN수량을 3대, 4대, 5대로 늘려가며 테스트를 수행하여 적재 시간을 측정하였다.
그렇기 때문에 본 논문에서 데이터를 분석 처리하는 성능을 고려하여 복제본의 수를 디폴트값으로 설정해 여러 번의 테스트를 추가로 수행하였다. 즉, 복제본 의 수를 3으로 설정하고 RDB에서 가져온 1TB 데이터를 복제정책을 적용하여 HDFS에서 3배까지 복제해서 저장하는 테스트를 수행하였다. 그리고 수행할 때 앞서 언급한 Mapper 수량도 적절하게 설정하였다.
앞서 언급한 데이터 적재 테스트를 진행하기 위해 RDB 서버 두 대와 하둡 클러스터를 구축하였다. 하둡 클러스터는 1대의 NN와 3대의 SN로 구성하였고, 점차 SN를 1대씩 추가해가면서 5대가 될 때까지 반복적으로 구성한 뒤 테스트하였다. 각 서버의 사양은 Table 1과 같다.
현재 환경에서 앞서 분석된 적재 성능 영향 요인을 적합하게 설정한 후에 적재 테스트를 수행한 결과를 RDB서버 간의 적재 시간과 비교해보았다.

성능/효과

3은 각 테이블의 CTAS, DATAPUMP를 사용한 적 재 시간 결과이다. CTAS 방식으로 적재할 때 DATAPUMP 방식보다 약 19% 정도 성능 향상을 보였다.
Mapper수량이 10으로 설정되었을 때 4일 때보다 약 26% 향상되었고 12부터 점차 감소하기 시작하여 20으로 변경한 후에는 적재 시간이 약 2 배 정도 많은 시간이 걸렸다. 때문에 Mapper수량을 설정할 때 하드웨어의 성능을 고려하여 적절하게 설정해주어야만 좋은 성능을 얻을 수 있다는 결론을 도출할 수 있다.
그러나 실제 운영환경에서는 하둡을 구성하는 서버 수량이 훨씬 많고 하드웨어 사양도 뛰어나기 때문에 보다 훨씬 좋은 효율을 기대할 수 있다. 또한 본 논문에서 제시한 요인들을 고려해서 적절하게 설정하면 적재 시간을 단축함으로써 RDB에 저장되어 있는 데이터에 대해 빅데이터 기술을 활용해 분석하여 결과 도출하는 전체 과정의 시간도 단축할 수 있다.
7에서와 같이 CTAS 방식에서 가장 좋은 적재 성능이 나타났다. 또한 이는 5대 SN으로 구성된 하둡 환경에서 Mapper수량을 10개로 설정하였을 때의 적재 성능보다 평균 30% 정도 빠른 것도 확인할 수 있다. 그리고 하둡 클러스터의 SN수량 및 Mapper수량이 늘어나면서 성능이 점차 향상되는 결과를 볼 수 있다.
본 연구에서 여러 절차의 테스트를 통해서 직접 경로 쓰기, Mapper수량, Node수량, 복제정책 등 요인들이 적재 성능에 미치는 영향을 보여주었다. 그리고 이런 성능 영향 요인들을 적절하게 조절하면 성능 향상을 보일 수 있다.
또한 맵리듀스(MapReduce)를 통해서 개별적인 서버에서 진행되는 병렬처리 결과를 하나로 묶어 시스템의 과부하나 병목 현상을 줄였다. 셋째, 하둡은 여러 개 서버로 구성된 클러스터이기 때문에 하드웨어 장비를 추가시킴으로써 구성된 서버의 자원을 최대한 활용하여 성능이 선형적으로 향상된다. 넷째, 값이 비싼 서버를 요구하지 않고 다양한 오픈 소스 소프트웨어를 무료로 사용할 수 있기 때문에 누구나 쉽게 하둡 클러스터를 구성하여 정형이 나 비정형 데이터를 처리할 수 있다[3].
그리고 이런 성능 영향 요인들을 적절하게 조절하면 성능 향상을 보일 수 있다. 최종적인 테스트 결과로 RDB 서버 사이에서 데이터를 적재하는 성능보다 더 나은 결과는 나타나지 않았다. 그 이유는 테스트를 진행할 때 실제 운영환경과 분석단계의 성능을 고려해서 복제정책을 적용하였기 때문이다.
테스트 결과의 요지는 Mapper가 활용할 수 있는 자원의 최대치를 넘는 자원이 있을 때, 즉 지정한 Mapper의 수량이 처리할 수 있는 것보다 많은 노드에서 가용자원이 남아있을 때, 더 이상의 Mapper를 늘리지 않고 단지 Node수량을 증가시키는 것으로는 더 나은 성능을 얻을 수 없다는 것이다. 반드시 SN수량에 맞추어서 적절하게 Mapper수량을 설정해야 좋은 성능을 얻을 수 있다.

후속연구

앞서 분석한 요인들을 고려하고 복제정책을 사용한 후 종합적인 성능을 비교한 결과를 볼 때 적재할 데이터의 양이 적은 RDB의 적재 성능이 더 빠르다고 볼 수 있다. 그렇지만 SN수량을 증가시키고 그에 맞게 Mapper수량을 늘림에 따라서 적재 성능이 향상되는 것을 보였기 때문에 실제 운영환경에서 추가적으로 더 많은 SN을 사용한다면 스쿱의 적재 성능이 많이 향상되어 복제정책으로 인해 더 많은 데이터를 적재함에도 불구하고 RDB와 비슷한 성능을 보이거나 그보다 나은 성능을 보일 것으로 예상한다.
향후에 본 연구를 토대로 다양한 빅데이터 분석 프로그램과 결합해서 전체 단계의 RDB 정형 데이터를 빅데이터 플랫폼에서 처리하는 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	하둡은 무엇인가?	하둡은 수많은 컴퓨터들을 네트워크로 연결한 후 데이터를 분산시켜 처리하는 오픈 소스 프레임워크이다. 단일 서버를 사용하여 대용량 데이터를 처리할 때의 성능 한계를 넘어서 고자 최근에 큰 주목을 받고 있다.
	아파치 스쿱이 많은 프로젝트에서 널리 사용되는 이유는 무엇인가?	아파치 스쿱은 맵리듀스[7]를 기반으로 구현된 데이터 적재 프로그램이다. 특히 RDB 및 HDFS 사이에 데이터 적재가 가능하기 때문에 많은 프로젝트에서 널리 사용하고 있다. 스쿱은 모든 적재 과정을 자동화하며 병렬처리 방식으로 작업하며, 좋은 내고장성(Fault tolerance)을 지원한다[8-9].
	빅데이터가 주목받기 시작한 이유는 무엇인가?	RDB는 지난 수십 년 동안 다양한 형태의 데이터베이스를 제치고 수많은 산업 분야에서 데이터를 저장, 관리하는 데 사용되어왔다. 그러나 최근 데이터의 폭증으로 인해 대용량 데이터를 저장, 분석, 처리하는 데 한계를 느끼기 시작하면서 빅데이터가 주목받기 시작했고 관련된 다양한 기술들이 등장하였다. 다양한 기술들 중 하둡은 대용량 데이터의 분석 및 처리의 한계점을 넘을 수 있는 가능성을 보였고 빅데이터 처리 표준 기술의 중심축을 담당하게 되었다.

참고문헌 (12)

Apache Hadoop [Internet], http://hadoop.apache.org
Apache Sqoop [Internet], http://sqoop.apache.org
Lee Hyunjong, "Use of Big Data Hadoop Platform," in Journal of Communications and Networks, Vol.29, No.11, 2012.
Shvachko, K., Hairong Kuang, Radia, S., and Chansler, R., "The Hadoop Distributed File System," in Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on, Mar., 2010.
HooYoung Ahn, KyongHa Lee, SooHo Lee, YoonJoon Lee, SangMin Lee, and YoungKyun Kim, "An Efficient Method for Enhancing the Storage Efficiency in Hadoop DFS," in Journal of KISS : computing practices, Vol.19, No.3, 2013.
Dae Soon Choi, Jeehong Kim, and Young Ik Eom, "Analyses of Replica Placement Schemes in Distributed File Systems," in Journal of Computing Science and Engineering, Vol.39, No.1A, 2012.
Tom White, "Hadoop: The Definitive Guide, Third Edition," O'Reilly/Yahoo Press, 2012.
Kathleen Ting, Jarek Jarcec Cecho, "Apache Sqoop Cookbook," O'Reilly, 2013.
Rinusha Irudeen, Sanjeeva Samaraweera, "Big data solution for Sri Lankan development: A case study from travel and tourism," in Advances in ICT for Emerging Regions, 2013 International Conference on.
Nodar Momtselidze, Alex Kuksin "Hadoop Integrating with Oracle Data Warehouse and Data Mining," in Journal of Technical Science and Technologies, Vol.2, No.1, 2013.
Ankit Jain, "Instant Apache Sqoop," Packt Publishing Ltd, 2013.
Ognjen V. Joldzic, Dijana R. Vukovic, "The Impact of Cluster Characteristics on HiveQL Query Optimization," in Telecommunications Forum (TELFOR), 2013 21st.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석
Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석 Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

고정현 (1) 여정모 (20)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석
Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper