[논문]ArangoDB기반 벤치마킹 시스템 설계 및 구현

최도진; 백연희; 이소민; 김윤아; 김남영; 최재용; 이현병; 임종태; 복경수; 송석일; 유재수

doi:10.5392/jkca.2021.21.09.198

ArangoDB기반 벤치마킹 시스템 설계 및 구현
Design and Implementation of a Benchmarking System Based on ArangoDB 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.9, 2021년, pp.198 - 208

최도진 (충북대학교 정보통신공학과) , 백연희 (충북대학교 빅데이터학과) , 이소민 (충북대학교 정보통신공학과) , 김윤아 (충북대학교 빅데이터학과) , 김남영 (충북대학교 빅데이터학과) , 최재용 (충북대학교 정보통신공학과) , 이현병 (충북대학교 정보통신공학과) , 임종태 (충북대학교 정보통신공학과) , 복경수 (원광대학교 SW융합학과) , 송석일 (한국교통대학교 컴퓨터공학과) , 유재수 (충북대학교 정보통신공학과)

초록
AI-Helper

ArangoDB는 대용량 데이터 저장을 위해 많은 응용에서 활용되고 있는 NoSQL 데이터베이스 시스템이다. ArangoDB와 같은 새로운 NoSQL 데이터베이스 시스템을 실제 환경에 적용하기 위해서 성능을 평가해 줄 수 있는 벤치마킹 시스템이 필요하다. 본 논문에서는 응용 계층뿐만 아니라 커널 계층에서의 성능이 측정 가능한 ArangoDB 기반 벤치마킹 시스템을 설계하고 구현한다. 클러스터 환경에서의 NoSQL 데이터베이스 시스템 성능을 측정하기 위해서 YCSB를 일부 수정한다. 또한, 기존 자료 분석을 통해 실세계에서 발생하는 세가지 워크로드 유형을 정의한다. 세 가지 워크로드 유형의 벤치마킹을 통해 ArangoDB에서 활용 가능한 워크로드를 도출하였고, 응용 계층뿐만 아니라 커널 계층의 성능이 가시화될 수 있음을 입증하였다. 기존 데이터베이스에서 ArangoDB로 데이터 이전 작업이 필요한 환경에서는 본 시스템의 벤치마킹을 통해 적용 가능성과 리스크 검토가 가능할 것으로 기대된다.

Abstract ▼ AI-Helper

ArangoDB is a NoSQL database system that has been popularly utilized in many applications for storing large amounts of data. In order to apply a new NoSQL database system such as ArangoDB, to real work environments we need a benchmarking system that can evaluate its performance. In this paper, we design and implement a ArangoDB based benchmarking system that measures a kernel level performance well as an application level performance. We partially modify YCSB to measure the performance of a NoSQL database system in the cluster environment. We also define three real-world workload types by analyzing the existing materials. We prove the feasibility of the proposed system through the benchmarking of three workload types. We derive available workloads in ArangoDB and show that performance at the kernel layer as well as the application layer can be visualized through benchmarking of three workload types. It is expected that applicability and risk reviews will be possible through benchmarking of this system in environments that need to transfer data from the existing database engine to ArangoDB.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 ArangoDB가 실제 환경과 유사하게 구축된 환경에서 벤치마킹을 수행할 수 있는 벤치마킹 시스템을 설계하고 구현한다. 제안하는 시스템은 클러스터 환경에서 벤치마킹을 수행하기 위해서 기존 벤치마킹 도구인 YCSB를 기반으로 한다.
본 논문에서는 실제 환경과 유사한 ArangoDB 벤치마킹 시스템을 설계하고 구현하였다. 제안하는 시스템은 클러스터 환경에서 벤치마킹을 수행하기 위해서 기존 벤치마킹 도구인 YCSB를 일부 수정하였다.

제안 방법

본 논문에서는 실제 응용과 유사한 환경에서의 벤치마킹을 수행하기 위해서 세 가지 워크로드 유형을 제시한다. 세 가지 워크로드 유형은 기존의 NoSQL 기반의 응용 사례를 기반으로 만들어졌다.
제안하는 시스템은 클러스터 환경에서 벤치마킹을 수행하기 위해서 기존 벤치마킹 도구인 YCSB를 일부 수정하였다. 제안하는 기법은 Block I/O를 추적하기 위한 I/O tracer를 제안하였다. 실험 결과 분석을 통해 I/O tracer 기반의 커널 계층 I/O 연산의 성능이 측정 가능함을 입증하였다.
제안하는 벤치마킹 시스템의 타당성과 실효성을 입증하기 위해서 ArangoDB 클러스터에 대한 벤치마킹을 수행한다. [표 3]은 본 논문에서 수행한 성능 평가환경을 나타낸다.
기존 YCSB에서는 단일 데이터베이스에 대해서만 벤치마킹이 가능하기 때문에 실제로 ArangoDB가 클러스터 환경으로 구성되었다 하더라도 하나의 클러스터 노드에 대해서만 벤치마킹을 수행하고 각 클러스터 노드별로 벤차미킹 결과(BM result)가 생성되는 구조로 동작한다. 제안하는 수정된 YCSB는 ArangoDB 클러스터를 지원하기 위해서 YCSB의 ArangoDB 인터페이스에 호스트 목록을 추가하는 다중 호스트(multi host) 기능과 복제 계수(replication factor)를 설정하는 복제기능을 추가하였다.
제안하는 시스템은 클러스터 환경에서 벤치마킹을 수행하기 위해서 기존 벤치마킹 도구인 YCSB를 기반으로 한다. 제안하는 시스템은 보조 기억 장치에 대한 Block I/O 추적 기술을 활용하여 응용 계층의 성능뿐만 아니라 커널 계층에 대한성능까지 측정할 수 있다. 실험 결과 분석을 통해 제안하는 기법의 타당성 및 실효성을 입증한다.
본 논문에서는 ArangoDB가 실제 환경과 유사하게 구축된 환경에서 벤치마킹을 수행할 수 있는 벤치마킹 시스템을 설계하고 구현한다. 제안하는 시스템은 클러스터 환경에서 벤치마킹을 수행하기 위해서 기존 벤치마킹 도구인 YCSB를 기반으로 한다. 제안하는 시스템은 보조 기억 장치에 대한 Block I/O 추적 기술을 활용하여 응용 계층의 성능뿐만 아니라 커널 계층에 대한성능까지 측정할 수 있다.
본 논문에서는 실제 환경과 유사한 ArangoDB 벤치마킹 시스템을 설계하고 구현하였다. 제안하는 시스템은 클러스터 환경에서 벤치마킹을 수행하기 위해서 기존 벤치마킹 도구인 YCSB를 일부 수정하였다. 제안하는 기법은 Block I/O를 추적하기 위한 I/O tracer를 제안하였다.

데이터처리

[표 3]은 본 논문에서 수행한 성능 평가환경을 나타낸다. 동일한 성능을 가진 3대의 서버를 ArangoDB 클러스터로 구성하였으며, 리눅스 CentOS 환경에서의 성능 평가를 수행한다. 각 서버는 Intel Core i7-6700 CPU 3.

성능/효과

성능평가 결과 세 가지 워크로드 유형 중 ArangoDB에서 활용 가능한 워크로드를 도출할 수 있었다. 또한, 응용 계층의 성능 결과를 통해 적재 단계와 실행 단계에서 특정 구간에 병목 현상이 발생하는 지점을 파악할 수 있었다. 커널 계층의 결과 분석을 통해서도 벤치마킹 수행 도중 생기는 I/O의 변화 패턴을 확인함으로써, 기존에는 응용 계층의 응답 시간만으로 분석하였던 정보들 이외에도 커널계층의 평가 결과와의 연계를 통해 벤치마킹에 따른 성능 분석의 다양한 시각을 제공 할 수 있었다.
그리고, I/O 연산의 요청 형태가 단일 레코드, 특정 범위 레코드에 대한 읽기 쓰기 형태로 매우 단순하기 때문에 실제 환경에서의 질의 유형을 분석하고 구현해야 할 필요가 있다. 마지막으로, 응용 계층에서의 I/O 연산과 실제 Block I/O의 연관성을 보여주지 못하는 단점이 존재한다. 향후에는 실제 환경에서의 질의 유형 분석을 통해 실제 환경과 유사한 연산을 구현할 예정이다.
본 논문의 한계점은 다음과 같다. 먼저, YCSB에서의가상 I/O 요청 연산은 멀티 스레드 형태로 생성되더라도, 단일 서버에서만 발생되기 때문에 실제 환경과 동일한 환경을 구현했다고는 볼 수 없다. 그리고, I/O 연산의 요청 형태가 단일 레코드, 특정 범위 레코드에 대한 읽기 쓰기 형태로 매우 단순하기 때문에 실제 환경에서의 질의 유형을 분석하고 구현해야 할 필요가 있다.
마지막으로 개인화 추천의 경우 20ms의 지연시간과 46ms의 지연시간을 나타냄을 확인할 수 있었다. 성능 평가 결과 콘텐츠 캐싱의 응용보다는 개인화 추천이나 SNS 메신저 응용에 더욱 적합한 데이터베이스 시스템임을 알 수 있었다.
정의한 워크로드 기반의 성능 평가를 통해 실제 환경과 유사한 환경에서의 벤치마킹이 가능함을 입증하였다. 성능평가 결과 세 가지 워크로드 유형 중 ArangoDB에서 활용 가능한 워크로드를 도출할 수 있었다. 또한, 응용 계층의 성능 결과를 통해 적재 단계와 실행 단계에서 특정 구간에 병목 현상이 발생하는 지점을 파악할 수 있었다.
제안하는 기법은 Block I/O를 추적하기 위한 I/O tracer를 제안하였다. 실험 결과 분석을 통해 I/O tracer 기반의 커널 계층 I/O 연산의 성능이 측정 가능함을 입증하였다. 추가로 본 논문에서는 실제 응용을 바탕으로 하는 실제 응용 워크로드들을 정의하였다.
특히 GC(Garbage Collection)가 실행 단계보다 높게 발생하기 때문에 I/O 처리 시간이 증가하는 것으로 분석 할 수 있다. 이를 통해 제안하는 기법은 응용 단계뿐만 아니라 커널 영역의 I/O 응답 시간 모두 측정 및 가시화가 가능함을 입증하였다.
추적 결과는 노드별로 측정 가능하며, 설명의 편의를 위해 본 논문에서는 노드 1개의 결과만을 가시화하였다. 이전 결과와 마찬가지로 YCSB의 적재 단계에서 많은 쓰기 연산이 발생하여 커널 내부의 모든 I/O 처리 층에서 I/O의 응답 시간이 높게 나오는 것을 확인할 수 있다. 특히 GC(Garbage Collection)가 실행 단계보다 높게 발생하기 때문에 I/O 처리 시간이 증가하는 것으로 분석 할 수 있다.
추가로 본 논문에서는 실제 응용을 바탕으로 하는 실제 응용 워크로드들을 정의하였다. 정의한 워크로드 기반의 성능 평가를 통해 실제 환경과 유사한 환경에서의 벤치마킹이 가능함을 입증하였다. 성능평가 결과 세 가지 워크로드 유형 중 ArangoDB에서 활용 가능한 워크로드를 도출할 수 있었다.
또한, 응용 계층의 성능 결과를 통해 적재 단계와 실행 단계에서 특정 구간에 병목 현상이 발생하는 지점을 파악할 수 있었다. 커널 계층의 결과 분석을 통해서도 벤치마킹 수행 도중 생기는 I/O의 변화 패턴을 확인함으로써, 기존에는 응용 계층의 응답 시간만으로 분석하였던 정보들 이외에도 커널계층의 평가 결과와의 연계를 통해 벤치마킹에 따른 성능 분석의 다양한 시각을 제공 할 수 있었다. 제안하는 기법의 실제 적용을 통해 ArangoDB로 이전 작업이 필요한 상황에서의 적용 가능성과 리스크 검토가 가능할 것으로 기대된다.

후속연구

먼저, YCSB에서의가상 I/O 요청 연산은 멀티 스레드 형태로 생성되더라도, 단일 서버에서만 발생되기 때문에 실제 환경과 동일한 환경을 구현했다고는 볼 수 없다. 그리고, I/O 연산의 요청 형태가 단일 레코드, 특정 범위 레코드에 대한 읽기 쓰기 형태로 매우 단순하기 때문에 실제 환경에서의 질의 유형을 분석하고 구현해야 할 필요가 있다. 마지막으로, 응용 계층에서의 I/O 연산과 실제 Block I/O의 연관성을 보여주지 못하는 단점이 존재한다.
향후에는 실제 환경에서의 질의 유형 분석을 통해 실제 환경과 유사한 연산을 구현할 예정이다. 또한, YCSB 클러스터링을 통해 다중 클라이언트 환경을 고려한 벤치마킹 시스템을 설계할 예정이다.
커널 계층의 결과 분석을 통해서도 벤치마킹 수행 도중 생기는 I/O의 변화 패턴을 확인함으로써, 기존에는 응용 계층의 응답 시간만으로 분석하였던 정보들 이외에도 커널계층의 평가 결과와의 연계를 통해 벤치마킹에 따른 성능 분석의 다양한 시각을 제공 할 수 있었다. 제안하는 기법의 실제 적용을 통해 ArangoDB로 이전 작업이 필요한 상황에서의 적용 가능성과 리스크 검토가 가능할 것으로 기대된다.
마지막으로, 응용 계층에서의 I/O 연산과 실제 Block I/O의 연관성을 보여주지 못하는 단점이 존재한다. 향후에는 실제 환경에서의 질의 유형 분석을 통해 실제 환경과 유사한 연산을 구현할 예정이다. 또한, YCSB 클러스터링을 통해 다중 클라이언트 환경을 고려한 벤치마킹 시스템을 설계할 예정이다.

참고문헌 (20)

https://www.arangodb.com/, 2021.05.01.
C. F. ANDOR and B. PARV, "NoSQL Database Performance Benchmarking-A Case Study," Studia Informatica, Vol.63, No.1, pp.80-93, 2017.
T. G. Armstrong, V. Ponnekanti, D. Borthakur, and M. Callaghan, "Linkbench: A Database Benchmark based on The Facebook Social Graph," Proc. the 2013 ACM SIGMOD International Conference on Management of Data, pp.1185-1196, 2013.
S. Ray, B. Simion, and A. D. Brown, "Jackpine: A Benchmark to Evaluate Spatial Database Performance," In 2011 IEEE 27th International Conference on Data Engineering, pp.1139-1150, 2011.
G. Kang, D. Kong, L. Wang, and J. Zhan, "OStoreBench: Benchmarking Distributed Object Storage Systems Using Real-World Application Scenarios," In Benchmarking, Measuring, and Optimizing: Third BenchCouncil International Symposium Bench 2020, pp.90-105, 2020.
L. Sfaxi, and M. M. B. Aissa, "Babel: A Generic Benchmarking Platform for Big Data Architectures," Big Data Research, Vol.24, 100186, 2021.

상세보기
S. Kashyap, S. Zamwar, T. Bhavsar, and S. Singh, "Benchmarking and Analysis of Nosql Technologiesm," Int J Emerg Technol Adv Eng, Vol.3, No.9, pp.422-426, 2013.
D. Fernandes and J. Bernardino, "Graph Databases Comparison: AllegroGraph, ArangoDB, InfiniteGraph, Neo4J, and OrientDB," In DATA, pp.373-380, 2018.
L. Meiling, "Benchmarking Multi-model Databases with ArangoDB and OrientDB," 2017.
R. Gunawan, A. Rahmatulloh, and I. Darmawan, "Performance Evaluation of Query Response Time in The Document Stored NoSQL Database," In 2019 16th International Conference on Quality in Research (QIR): International Symposium on Electrical and Computer Engineering, pp.1-6, 2019.
S. Chen, A. Ailamaki, M. Athanassoulis, P. B> Gibbons, R. Johnson, I. Pandis, and R. Stoica, "TPC-E vs. TPC-C: Characterizing the New TPC-E Benchmark via an I/O Comparison Study," ACM Sigmod Record, Vol.39, No.3, pp.5-10, 2011.

상세보기
B. F. Cooper, A. Silberstein, E. Tam, R. Ramakrishnan, and R. Sears, "Benchmarking Cloud Serving Systems with YCSB," Proc. the 1st ACM symposium on Cloud computing, pp.143-154, 2010.
S. Patil, M. Polte, K. Ren, W. Tantisiriroj, L. Xiao, J. Lopez, and B. Rinaldi, "YCSB++ Benchmarking and Performance Debugging Advanced Features in Scalable Table Stores," Proc. the 2nd ACM Symposium on Cloud Computing, pp.1-14, 2011.
S. Friedrich, W. Wingerath, F. Gessert, N. Ritter, E. Pldereder, L. Grunske, and D. Ull, "NoSQL OLTP Benchmarking: A Survey," In GI-Jahrestagung, pp.693-704, 2014.
O. Erling, A. Averbuch, J. Larriba-Pey, H. Chafi, A. Gubichev, A. Prat, and P. Boncz, "The LDBC Social Network Benchmark: Interactive Workload," Proc. the 2015 ACM SIGMOD International Conference on Management of Data, pp.619-630, 2015.
A. D. Brunelle, and Alan D, "Block IO Layer Tracing: blktrace," HP, Gelato-Cupertino, 2006.
https://github.com/iovisor/bcc, 2021.05.01.
https://medium.com/netflix-techblog/revisiting-1-million-writes-per-second-c191a84864cc, 2021.05.01.
T. Harter, D. Borthakur, S. Dong, A. S. Aiyer, L. Tang, A. C. Arpaci-Dusseau, and R. H. Arpaci-Dusseau, "Analysis of HDFS under HBase: A Facebook Messages Case Study," Proc. USENIX conference on File and Storage Technologies, pp.199-212, 2014.
Y. Chen, X. Qin, H. Bian, J. Chen, Z. Dong, X. Du, Y. Gao, D. Liu, J. Lu, and H. Zhang, "A Study of SQL-on-Hadoop Systems," Proc. Workshops on Big Data Benchmarks, Performance Optimization, and Emerging, pp.154-166, 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증