[논문]효율적인 빅 데이터 마이닝을 위한 iSSD 기반 협업 처리 방안

조용연; 김상욱; 배덕호

doi:10.7840/kics.2017.42.2.460

[국내논문] 효율적인 빅 데이터 마이닝을 위한 iSSD 기반 협업 처리 방안
iSSD-Based Collaborative Processing for Big Data Mining 원문보기

한국통신학회논문지 = The Journal of Korean Institute of Communications and Information Sciences, v.42 no.2, 2017년, pp.460 - 470

조용연 (Hanyang University, Department of Computer and Software) , 김상욱 (Hanyang University, Department of Computer and Software) , 배덕호 (Samsung Electronics, Memory Business)

초록
AI-Helper

본 논문은 intelligent SSD (iSSD)를 통해 빅 데이터 마이닝을 효과적으로 처리하기 위한 방안에 대해서 소개한다. iSSD는 데이터 전송 비용을 줄이고 데이터가 저장된 장소와 가장 가까운 곳에서 데이터를 처리하기 위해, SSD 내부에 데이터 처리 능력을 부여한 장치이다. 본 논문에서는 먼저, iSSD의 등장 배경 및 효율적인 데이터 처리를 위한 iSSD 구조에 대해 소개한다. 더 나아가, iSSD를 이용하여 데이터 마이닝 알고리즘들을 빠르게 수행하는 방안을 소개한다. 끝으로, iSSD 뿐만 아니라 호스트 CPU, GPU 등 이질 (heterogeneous) 컴퓨팅 자원을 함께 활용하여 데이터 마이닝 알고리즘의 성능을 크게 향상시키는 협업 방안을 소개한다.

Abstract ▼ AI-Helper

We address how to handle big data mining effectively using the intelligent SSD (iSSD). ISSD is a storage device equipped with computing power inside SSD for reducing the transferring cost and for processing data nearby SSD where the data is stored. We first introduce the structural characteristics of iSSD for efficient data processing. Then, we present how to process data mining algorithms by using iSSD. Finally, we discuss how to improve the performance of data mining algorithms significantly by exploiting heterogeneous computing environment where host CPUs and GPU coexist for maximizing the performance.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 이러한 iSSD를 활용하여 데이터베이스에 초점을 맞추어 진행되었던 기존 연구들과 달리 데이터 마이닝에 초점을 맞추어 진행된 연구를 소개한다. 또한 iSSD 뿐만 아니라 다른 컴퓨팅 리소스를 함께 활용하는 방안에 대해서 논의하고자 한다.

가설 설정

실험 데이터는 100GB의 임의로 생성한 데이터를 사용한다. 데이터는 iSSD내에 각 셀에는 데이터가 고르게 저장되어 있어, 각 FMC 코어에서 균등한 데이터 IO가 발생한다고 가정한다. ;
본 논문은 하나의 머신에 하나의 CPU와 GPU 그리고 iSSD만이 장착되어 있는 환경을 가정하고 있다. 추후 연구로, 우리는 하나의 머신에 여러 개의 CPU와 GPU 그리고 iSSD가 장착된 협업 환경의 성능을 평가하고자 한다.

제안 방법

본 논문에서는iSSD의 등장 배경과 효율적인 빅데이터 처리를 위한 iSSD 내부 구조를 소개하였다. 또한, iSSD에서 데이터 마이닝 알고리즘을 효과적으로 수행하기 위한 전략들을 소개하였으며, 이를 정확도 높은 수행비용 모델을 설계하였다. 끝으로, iSSD와더불어 호스트 CPU와 GPU 등 이질 컴퓨팅 자원을 모두 활용하여 데이터를 더욱 효율적으로 처리하는 방안에 대해서 소개하였다.

대상 데이터

특정한 하나의 매개 변수 값을 변화시켜 가는 동안 다른 매개 변수 값들은 표에서 굵게 표시된 값으로 고정된다. 실험에 사용된 데이터는 합성 데이터를 사용하였다 ^[1]. 본 실험에서 사용할 k-means^[13], PageRank[^14], Apriori^[15] 총 세 가지 대표적인 데이터 마이닝 알고리즘들을 사용한다.

이론/모형

실험에 사용된 데이터는 합성 데이터를 사용하였다 ^[1]. 본 실험에서 사용할 k-means^[13], PageRank[^14], Apriori^[15] 총 세 가지 대표적인 데이터 마이닝 알고리즘들을 사용한다. 수식 9와10의 데이터 접근 비용을 계산하기 위해서 Samsung SSD datasheet를 사용하였다³⁾.
수립한 비용 모델의 정확도는 실험 결과의 신뢰도에 큰 영향을 미친다. 우리는 우선 수립한 비용 모델의 정확도를 검증하기 위해 Gem 5 시뮬레이터[16]을 사용하였다. Gem 5 시뮬레이터는 가상의 컴퓨팅 환경을 구축하여 그 위에서 cycle-level의 정확도로 프로그램을 수행할 수 있으며, 가상의 처리 장치들을 검증할 때 주로 사용된다^[16].
이 때,협업 성능을 높이기 위해서 각 프로세서가 어떠한 함수를 어떠한 시점에 처리할지 결정하기 위한 스케줄이 필요하다. 우리는 이질 환경에 적합한 스케줄을 획득하기 위해 대표적인 이질 스케줄링 알고리즘인 best imaginary level (BIL) 스케줄링[20]을 도입하였다. BIL 스케줄링은 주어진 프로세서들에서 가장 오랜 수행시간을 갖는 함수 (level이 높은 함수)를 우선 선택하고 이를 가장 빠르게 처리할 수 있는 프로세서에 스케줄링하며, 이 과정을 모든 함수에 대해서 반복적으로 수행한다^[20].

성능/효과

표 5는 각 알고리즘 별 서로 다른 처리 환경에서의 수행시간을 빠른 순서대로 정렬한 결괴이다. 실험 결과, 알고리즘의 수행시간은 협업 처리 환경이 Host CPU나 iSSD만 사용하는 경우보다 더욱 좋은 성능을 보였다. 특히, 모든 컴퓨팅 리소스를 활용한 협업 처리 환경에서 가장 좋은 성능을 보였다.
실험 결과를 통해 우리는 iSSD 기반의 ISP는 빅데이터 마이닝 알고리즘들을 효과적으로 처리할 수 있다는 사실을 확인 할 수 있으며, 더 나아가 iSSD 뿐만 아니라 다른 컴퓨팅 자원을 이용한다면 이들에 대한 처리 성능을 더욱 향상 시킬 수 있을 것으로 기대한다.

후속연구

추후 연구로, 우리는 하나의 머신에 여러 개의 CPU와 GPU 그리고 iSSD가 장착된 협업 환경의 성능을 평가하고자 한다. 더 나아가 분산 환경에서 각 머신이 협업 환경으로 이루어진 상황에 대한 성능을 평가하고자 한다.
본 논문은 하나의 머신에 하나의 CPU와 GPU 그리고 iSSD만이 장착되어 있는 환경을 가정하고 있다. 추후 연구로, 우리는 하나의 머신에 여러 개의 CPU와 GPU 그리고 iSSD가 장착된 협업 환경의 성능을 평가하고자 한다. 더 나아가 분산 환경에서 각 머신이 협업 환경으로 이루어진 상황에 대한 성능을 평가하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	iSSD의 장점은 무엇인가?	특히, 높은 I/O 대역폭, 짧은 access latency 등의 특성으로 인해 빅 데이터 저장 장치로 각광받는 solid-state drive (SSD) 대중화에 더불어 SSD 내부에 데이터 처리 능력을 부여함으로써,데이터가 저장된 가장 가까운 곳에서 데이터를 처리(in storage processing, ISP) 하고자 하는 intelligent SSD (iSSD)는 이러한 노력의 일환으로 볼 수 있다[1,6-8]. iSSD 내부에서 간단한 데이터 처리를 수행함으로써, 호스트 CPU로 전송되는 데이터의 양을 크게 줄일 수 있으며, 호스트 CPU의 부하를 줄이고 데이터전송을 위한 에너지 사용량을 줄일 수 있다.
	iSSD는 무엇인가?	본 논문은 intelligent SSD (iSSD)를 통해 빅 데이터 마이닝을 효과적으로 처리하기 위한 방안에 대해서 소개한다. iSSD는 데이터 전송 비용을 줄이고 데이터가 저장된 장소와 가장 가까운 곳에서 데이터를 처리하기 위해, SSD 내부에 데이터 처리 능력을 부여한 장치이다. 본 논문에서는 먼저, iSSD의 등장 배경 및 효율적인 데이터 처리를 위한 iSSD 구조에 대해 소개한다.
	active disk는 어떤 동작에서 데이터 처리 시간의 대부분을 소요했는가?	그러나 active disk는 하드 디스크의 낮은 내부 I/O 대역폭, 대용량의 데이터 의존적인 킬러 어플리케이션 부재, 그리고 저장 장치 인터페이스의 제약으로 인해 널리 사용되지 못하였다[8]. 특히, 자기 디스크를 회전시키며 데이터를 읽는 하드 디스크의 물리적 한계로 인해, 하드 디스크 내부에서 데이터를 처리할 때, 자기 디스크에서 데이터를 읽어오는데 데이터 처리 시간의 대부분을 소요하게 되었다. 최근, 빠른 랜덤 성능과 높은 I/O 대역폭을 바탕으로 SSD는 빅 데이터 시대의 저장 장치로 자리 잡고 있다.

참고문헌 (22)

D. Bae et al., "Intelligent SSD: a turbo for big data mining," in Proc. ACM CIKM 2013, pp. 1553-1556, 2013.
J. Dean and S. Ghemawat, "MapReduce: simplified data processing on large clusters," Commun. ACM, vol. 51, no. 1, pp. 107-113, 2008.

상세보기
K. Shavachiko, et al., "The hadoop distributed file system," in Proc. IEEE MSST 2010, pp. 1-10, 2010.
R. Greenwald, et al., Achieving extreme performance with Oracle Exadata, McGraw-Hill, 2011.
P. Francisco, The netezza data appliance architecture: A platform for high performance data warehousing and analytics, IBM Redbooks 3, 2011.
Y. Jo et, al., "On running data intensive algorithms with intelligent SSD and host CPU: a collaborative approach," in Proc. ACM SAC 2015, pp. 2060-2065, 2015.
J. Do, et al., "Query processing on smart SSDs: opportunities and challenges," in Proc. ACM SIGMOD 2013, pp. 1221-1230, 2013.
S. Kim, et al., "Fast, energy efficient scan inside flash memory SSDs," in Proc. ADMS 2011, Seattle, WA, Sept. 2011.
E. Riedel, G. Gibson, and C. Faloutsos, "Active storage for large-scale data mining and multimedia," in Proc. VLDB 1998, pp. 62-73, 1998.
D. Kim and S. Hwang, "An efficient wear-leveling algorithm for NAND flash SSD with multi-channel and multi-way architecture," J. KICS, vol. 39, no. 7, pp. 425-432, 2014.
Y. Jo, et al., "Collaborative processing of data intensive algorithms with CPU, intelligent SSD, and GPU," in Proc. ACM SAC 2016, pp. 1865-1870, 2016.
J. Zhang, M. Shihab, and M. Jung, "Power, energy and thermal considerations in SSD-Based I/O acceleration," in Proc. USENIX Workshop HotStorage, Philadelphia, PA, Jun. 2014.
D. Shin, et al., "Malicious traffic detection using k-means," J. KICS, vol. 41 no. 02, pp. 277-284, 2015.
L. Page, et al., The PageRank citation ranking: bringing order to the web, Technical Report, Stanford University, 1999.
J. Kim and K. Park, "Personalized group recommendation using collaborative filtering and frequent pattern," J. KICS, vol. 41, no. 07, pp. 768-774, 2016.

원문보기 상세보기
N. Binkert, et al., "The Gem5 Simulator," ACM SIGARCH Computer Architecture News, vol. 39, no. 2, pp. 1-7, 2011.

상세보기
Y. Jo, et al., "Data mining in intelligent SSD: simulator-based evaluation," in Proc. BigComp 2016, pp. 123-128, 2016.
V. Volkov and J. Demmel, "Benchmarking GPUs to tune dense linear algebra," in Proc. Int. Conf. Supercomputing(SC 2008), pp. 1-11, 2008.
S. Ryoo, et al., "Optimization principles and application performance evaluation of a multi-threaded GPU using CUDA," in Proc. ACM SIGPLAN 2008, pp. 73-82, 2008.
H. Oh and S. Ha, "A static scheduling heuristic for heterogeneous processors," in Euro-Par Parall. Process., pp. 573-577, 1996.
E. Lee and D. Messerschmitt, "Synchronous data flow," in Proc. IEEE, vol. 75, no. 9, pp. 1235-1245, 1987.
G. Jeh and J. Widom, "SimRank: a measure of structural-context similarity," in Proc. ACM SIGKDD 2002, pp. 538-543, 2002.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증