[논문]In-memory data grid 기술을 활용한 택시 애플리케이션 성능 향상 기법 연구

최치환; 김진혁; 박민규; 권가은; 정승현; 프란코 나자레노; 조완섭

doi:10.7465/jkdi.2015.26.5.1035

In-memory data grid 기술을 활용한 택시 애플리케이션 성능 향상 기법 연구
Enhancing the performance of taxi application based on in-memory data grid technology 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.26 no.5, 2015년, pp.1035 - 1045

최치환 (충북대학교 바이오정보기술학과) , 김진혁 (충북대학교 빅데이터학과) , 박민규 (충북대학교 비즈니스데이터융합학과) , 권가은 (충북대학교 비즈니스데이터융합학과) , 정승현 (충북대학교 정보산업공학과) , 프란코 나자레노 (충북대학교 바이오정보기술학과) , 조완섭 (충북대학교 경영정보학과)

초록
AI-Helper

최근 빅데이터 분야에서 데이터를 메모리에 적재 후 빠르게 처리하는 인메모리 컴퓨팅 기술이 새롭게 부각되고 있다. 인메모리 컴퓨팅 기술은 과거 대용량 메모리와 다중 프로세서를 탑재한 고성능서버에 적용 가능하였지만, 점차 일반 컴퓨터를 초고속 네트워크로 연결하여 분산 병렬처리가 가능한 구조로 변화하고 있다. 본 논문은 In-memory data grid (IMDG) 기술을 택시 애플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상시키는 기법을 제안한다. IMDG 기술을 적용한 경우 기존의 데이터베이스 기반의 웹서비스에 비해 처리속도와 처리량이 평균 6~9배정도 증가하며, 또한 부하량에 따른 처리량 변화의 폭이 매우 작음을 확인 하였다.

Abstract ▼ AI-Helper

Recent studies in Big Data Analysis are showing promising results, utilizing the main memory for rapid data processing. In-memory computing technology can be highly advantageous when used with high-performing servers having tens of gigabytes of RAM with multi-core processors. The constraint in network in these infrastructure can be lessen by combining in-memory technology with distributed parallel processing. This paper discusses the research in the aforementioned concept applying to a test taxi hailing application without disregard to its underlying RDBMS structure. The application of IMDG technology in the application's backend API without restructuring the database schema yields 6 to 9 times increase in performance in data processing and throughput. Specifically, the change in throughput is very small even with increase in data load processing.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 IMDG 기술을 택시 어플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상 시키는 기법을 제안하였다. 기존의 DBMS기반 택시 애플리케이션의 웹서비스를 ‘읽기 (검색)’과 ‘쓰기 (업데이트)’ 처리요청으로 분류 후, ‘읽기’ 처리요청은 IMDG로 그리고 ‘쓰기’ 처리요청은 DBMS로 처리부를 분리하여 서비스 처리요청을 향상시켰다.
본 연구에서는 IMDG 기술을 활용한 택시 애플리케이션 성능 향상 기법을 제안한다. 일반적으로IMDG 기술은 네트워크로 연결된 일반 컴퓨터를 이용하여, 하나의 컴퓨터에서 처리하기 어려운 데이터를 분산·병렬처리는 것이다.
본 절에서는 기존의 택시 애플리케이션의 구조 변경 없이도 성능 향상이 가능한 서버 애플리케이션 구조를 제안한다. 택시 애플리케이션은 실시간 처리를 요구하는 시스템이므로 일반적으로 고려해야하는 사항은 다음과 같다.
이러한 한계점을 극복하기 위해 본 연구에서는 IMDG 기술을 활용하면서도 ‘데이터 의 일관성’ 문제를 해결할 수 있는 기법을 기술한다.
이전 절까지 전반적인 애플리케이션의 성능을 향상시킬 수 있는 구조에 대해 기술하였다. 본 절에서는 주변택시 검색 방법을 3가지로 나누어 설명하고, 각 방법의 장단점을 설명한다

제안 방법

이전 절까지 전반적인 애플리케이션의 성능을 향상시킬 수 있는 구조에 대해 기술하였다. 본 절에서는 주변택시 검색 방법을 3가지로 나누어 설명하고, 각 방법의 장단점을 설명한다
성능 평가는 ‘읽기’요청에 대하여 3가지 다른 방법을 각각 DBMS와 IMDG에 적용한 후, 택시량 증가에 따른 요청 처리시간과 처리량을 측정하였다.
이러한 요구사항을 충족시키기 위해 기존의 웹서비스 요청부분을 ‘읽기’와 ‘쓰기’로 단순화하고 ‘읽기’는 IMDG에서, ‘쓰기’는 DBMS에서 담당하여 처리하는 방법을 사용한다.

성능/효과

메모리 기술의 발전과 보급이 확대되면서 단위 소자 당 생산 비용이 지속적으로 감소하고 있음을 확인 할 수 있다. 18개월마다 반도체 칩의 밀도가 2배로 늘어난다는 무어의 법칙과 더불어 전력소모, 동작속도 또한 발전하였다. 하지만 하드디스크 기술의 성장은 다른 하드웨어 기술 발전 속도에 비해 상대적으로 매우 뒤쳐져있다.
2는 각 DBMS와 IMDG의 평균 처리시간을 나타낸다. DBMS의 경우 Case2와 Case3의 평균 처리 속도가 Case1에 비해 각각 57배, 46배 향상되었다. IMDG의 경우도 Case2와 Case3의 평균 처리 속도가 Case1에 비해 각각 43배, 48배 향상됨을 확인 할 수 있다.
DBMS의 경우 Case2와 Case3의 평균 처리 속도가 Case1에 비해 각각 57배, 46배 향상되었다. IMDG의 경우도 Case2와 Case3의 평균 처리 속도가 Case1에 비해 각각 43배, 48배 향상됨을 확인 할 수 있다.
ii) 읽기의 경우 IMDG의 유연한 수평적 확장성과 메모리의 빠른 처리 장점을 가진다. iii) 타 애플리케이션에서 DBMS로 트랜잭션 데이터를 요청을 처리하더라도 데이터의 일관성을 위반하는 것을 방지할 수 있다.
Park (2015)는 key-value 저장소의 Redis, IMDG의 Hazelcast, 그리고 오픈소스 기반의 DBMS MariaDB 간의 성능비교 실험을 수행하였다. 그 결과 Hazelcast와 같은 IMDG 가 Redis에 비해 약17.5% 정도 더 많은 양의 트랜잭션을 수행할 수 있는 것으로 나타났고, 또한 MariaDB에 비해서도 약 573배 정도 더 높은 처리량 (throughput)을 보였다. IMDG는 분산 환경 구성으로 노드 증가에 따라 더 좋은 성능을 보여주었다.
‘읽기’ 처리요청은 총 3가지 방법으로 나누어 각각 DBMS와 IMDG의 처리속도와 처리량을 측정하였다. 그 결과, 같은 방법을 사용할 경우 IMDG의 성능이 우수함을 확인하였다.
따라서 분산·병렬 기술 적용이 대용량 데이터 처리에도 적합하다는 결론을 도출하였다.
또한 본 연구의 단순 ‘읽기/쓰기’ 분리 처리구조는 기존 데이터베이스의 변경 없이도 IMDG 기술을 기존 시스템에 적용가능하다.
이중화 된 단일노드의 IMDB인 Kairos와 분산·병렬기술을 적용한 IMDB인 Kairos-D의 벤치마크에서 단일 노드에서 이중화 된 Kairos가 분산모듈이 추가된 Kairos-D에 비해 약 1.4% 가량 빠른 성능을 보였다.
3은 택시의 수가 증가함에 따른 IMDG와 DBMS의 처리량 감소비율을 나타낸다. 택시의 수가 5만대씩 증가함에 따라 DBMS의 경우 처리량이 Case1은 평균 34%, Case2는 29%, Case3은 31% 감소하였으며, IMDG의 경우 Case1은 41%, Case2는 11%, Case3은 10% 감소하여 Case1을 제외한 나머지 Case2와 Case3에서 처리량 감소가 DBMS보다 낮음을 확인 할 수 있다.

후속연구

하지만 DBMS의 경우 공간색인을 이용하여 성능을 향상시키는 여러 가지 알고리즘이 제안되었으나, IMDG의 경우 공간색인을 공식적으로 지원하지 않기 때문에 공간색인을 이용한 방법을 적용하지 못하였다는 한계점을 가진다. 이러한 한계점을 보완하기 위해 향후 연구는 IMDG의 분산 공간데이터에 대한 분산 공간색인을 적용방법 및 성능을 향상 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인메모리 컴퓨팅 기술은 어떻게 변화하고 있는가?	최근 빅데이터 분야에서 데이터를 메모리에 적재 후 빠르게 처리하는 인메모리 컴퓨팅 기술이 새롭게 부각되고 있다. 인메모리 컴퓨팅 기술은 과거 대용량 메모리와 다중 프로세서를 탑재한 고성능서버에 적용 가능하였지만, 점차 일반 컴퓨터를 초고속 네트워크로 연결하여 분산 병렬처리가 가능한 구조로 변화하고 있다. 본 논문은 In-memory data grid (IMDG) 기술을 택시 애플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상시키는 기법을 제안한다.
	데이터베이스에 IMDG 기술을 적용하면 어떻게 되는가?	본 논문은 In-memory data grid (IMDG) 기술을 택시 애플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상시키는 기법을 제안한다. IMDG 기술을 적용한 경우 기존의 데이터베이스 기반의 웹서비스에 비해 처리속도와 처리량이 평균 6~9배정도 증가하며, 또한 부하량에 따른 처리량 변화의 폭이 매우 작음을 확인 하였다.
	인메모리 컴퓨팅 기술에는 무엇이 있는가?	인메모리 컴퓨팅 (in-memory computing; IMC)은 기존에 주로 하드디스크에 저장하던 데이터를 메모리에 저장후 처리하는 컴퓨팅 기술을 의미한다. 주요 IMC 기술은 DRAM, FLASH, SSD (solidstate disk)와 같은 하드웨어 기술뿐만 아니라 In-Memory Database, In-memory data grid, Inmemory analysis, Complex event processing, In-memory messaging처럼 데이터의 저장 및 관리, 실시간 분석, 메시징을 모두 아우르는 소프트웨어 기술로서의 애플리케이션, 프레임워크, 플랫폼 등을모두 포함한다. Figure 1.

참고문헌 (9)

Arora, I. and Gupta, A. (2014). Improving performance of cloud based transactional applications using in-memory data grid. International Journal of Computer Applications, 107, 14-19.
Bahl, B., Sharma, V. and Rajpal, N. (2012). Boosting geographic information system's performance using in-memory data grid. BVICAM's International Journal of Information Technology, 4, 468-473.
Gade, K. (2010). A non-singular horizontal position representation. The Journal of Navigation, 63, 395-417.

상세보기
Han, S., Jin, S. and Kim, Y. (2011). An architecture of a high performance distributed main memory database management system for massive data. The Korean Institute of Information Scientists and Engineers, 38, 141-148.
Kim, T., Na, J. and Cho, W. (2006). PC-based hybrid grid computing for huge biological data processing. Journal of the Korean Data & Information Science Society, 17, 569-579.

원문보기 상세보기
Kim, T., Na, J. and Cho, W. (2007). HyperDB - A high performance data analysis system based on grid computing technology. Journal of the Korean Data & Information Science Society, 18, 161-174.

원문보기 상세보기
Kim, Y. and Cho, K. (2013). Big data and statistics. Journal of the Korean Data & Information Science Society, 24, 959-974.

원문보기 상세보기
Park, J., Lee, S., Kang, D. and Won, J. (2013). Hadoop and MapReduce. Journal of the Korean Data & Information Science Society, 24, 1013-1027.

원문보기 상세보기
Park, M. (2015). A method to enhance the real-time processing performance of traffic big data by applying in-memory data grid technology, Master Thesis, Chungbuk National University, Cheongju.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증