$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘
Parallel k-Modes Algorithm for Spark Framework 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.6 no.10, 2017년, pp.487 - 492  

정재화 (한국방송통신대학교 컴퓨터과학과)

초록
AI-Helper 아이콘AI-Helper

클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.

Abstract ▼ AI-Helper 아이콘AI-Helper

Clustering is a technique which is used to measure similarities between data in big data analysis and data mining field. Among various clustering methods, k-Modes algorithm is representatively used for categorical data. To increase the performance of iterative-centric tasks such as k-Modes, a distri...

주제어

#k-모드   #범주적 데이터   #클러스터링   #스파크  

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 스파크에는 기계학습을 지원하기 위해 Mllib이라는 라이브러리를 제공하고 있지만, 아직까지 수치형 데이터만을 처리할 수 있는 라이브러리만 제공된다.
  • 그러나 Mllib에는 연속적 데이터를 클러스터링하는 k-Means만 포함되어 있지만, 아직 카테고리컬 데이터를 클러스터링하는 알고리즘이 포함되어 있지 않아 범주적 데이터 처리가 불가능한 한계가 있다. 본 논문은 이러한 한계를 해결하고자 k-Modes 알고리즘을 스파크 환경에서 실행할 수 있는 알고리즘을 제공하고자 한다.

가설 설정

  • 4. 모든 객체에 대해 갱신된 k개 모드와 유사성을 구해서 그 결과값이 가장 큰 객체에 재할당한다.
  • k-Modes와 같이 발생된 대량의 워크로드를 효과적으로 분산 처리하기 위해 가정 우선적으로 등장한 플랫폼은 구글의 하둡(hadoop)이다. 하둡은 자바 기반의 분산ㆍ병행 프레임워크로빅데이터 처리를 위한 표준 플랫폼으로 하둡 분산 파일 시스템(HDFS)과 데이터를 분산시켜 처리한 뒤 하나로 합치는 기술인 맵리듀스(Map/Reduce) 프레임워크를 사용하여 데이터를 처리한다.
  • 데이터의 개수가 작을 때는 분산 처리를 위해 추가적으로 필요한 작업인 데이터 분할 및 병합 과정에 시간이 소모되어 오히려 스파크 환경의 실행 속도가 늦는 경우가 있다. 데이터 개수가 증가하면서 R은 수행속도가 급격히 증가한다. 하지만 스파크 환경에서는 데이터 개수가 증가해도 수행 속도의 증가량을 크지 않은 것을 알 수 있다.
  • 1은 k-Modes 알고리즘의 전체적인 실행 과정을 나타낸다. 주어진 데이터 집합 O = {o1, o2, ··· ,o6} 와 k = 2에 대하여 초기 최빈값을 구하기 위해 클러스터 1과 모드 2에 대해 랜덤하게 선택된 두 객체 o1과 o5를 할당한다고 가정한다. 랜덤으로 선택된 두 객체는 초기 클러스터의 최빈값으로 사용된다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
k-Means는 무엇인가? k-Means는 양적인 속성값을 갖는 데이터를 대상으로 데이터 객체 간 거리를 유클리드 거리1)로 정의하고 클러스터의 평균을 계산하고 비유사도 함수의 값이 최소화되는 방향으로 클러스터를 구성하는 방식이다. 그러나 k-Means는 양적인 속성값 즉 연속적 데이터에만 적용이 가능한 한계가 있다.
하둡의 단점은 무엇인가? 그러나 하둡은 처리과정에서 중간에 발생하는 데이터에 대한 읽기와 저장이 메모리와 디스크를 동시에 사용하기 때문에 디스크 I/O가 많이 발생하고 중간 데이터가 다른 노드로 복제되면서 네트워크 I/O 또한 크게 발생하는 문제가 있다. 따라서 분석 대상 데이터의 인메모리 처리를 기본으로 하여 보다 빠르고 지연 속도가 낮은 분석이 가능한 스파크[6]가 새로운 플랫폼이 대안으로 대두되었다.
스파크 어떤 객체 개념을 도입했는가? 최근 빅데이터를 처리하기 위한 범용적 분산 고성능 클러스터링 플랫폼 주목 받고 있는 스파크는 하둡의 맵리듀스 작업에서 성능의 병목현상으로 지목되던 디스크 I/O 비용을 최소화하고 데이터 분석 작업에 용이한 인메모리 컴퓨팅 기반의 범용적 데이터 분산처리 시스템이다. 또한, RDD라는 데이터 집합의 추상화 객체 개념을 도입하여 대용량 데이터에 대한 다양한 연산 작업이 가능하도록 한 것이 특징이다. RDD는 실제 물리적인 디스크에 저장된 데이터가 아닌 데이터 집합을 추상화하여 하나의 객체로 표현한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (6)

  1. Z. Huang, "A Fast Clustering Algorithm to Cluster Very Large Categorical Data Sets in Data Mining," In Research Issues on Data Mining and Knowledge Discovery, pp.281-297, 1997. 

  2. Y. Sun, Q. Zhu, and Z. Chen, "An Iterative initial points refinement algorithm for categorical data clustering," Pattern Recognition Letters, Vol.23, pp.875-884, 2002. 

    상세보기 crossref

  3. P. S. Bradley and U. M. Fayyad, "Refining Initial Points for K-Means Clustering," Proceedings of the 15th International Conference on Machine Learning (ICML98), San Francisco, Morgan Kaufmann, 1998. 

  4. S. S. Khan, "A. Ahmad, Cluster center initialization algorithm for Kmeans clustering," Pattern Recognition Letters, Vol.25, No.11, pp.1293-1302, 2004. 

    상세보기 crossref

  5. S. S. Khan and S. Kant, "Computation of Initial Modes for K-modes Clustering Algorithm using Evidence Accumulation," IJCAI-07, pp.2784-2789, 2007. 

  6. Z. Huang, "Extensions to the k-means algorithm for clustering large data sets with categorical values," Data Mining Knowl. Discov., Vol.2, No.2, pp.283-304, 1998. 

    crossref

저자의 다른 논문 :

관련 콘텐츠

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로