$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

빅 데이터 분석을 위한 지지벡터기계
Support vector machines for big data analysis 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.24 no.5, 2013년, pp.989 - 998  

최호식 (호서대학교 정보통계학과) ,  박혜원 (서울시립대학교 통계학과) ,  박창이 (서울시립대학교 통계학과)

초록
AI-Helper 아이콘AI-Helper

최근 산/학계에서 주목받고 있는 빅 데이터는 정의상 한꺼번에 자료를 메모리에 올려 분석할 수 없기 때문에 기존의 데이터마이닝 시대에 개발된 일괄처리 (batch processing) 방식의 알고리즘을 적용할 수 없게 된다. 따라서 가장 시급히 해결해야 하는 문제는 기존의 여러 가지 기계학습방법을 빅 데이터에 적용할 수 있도록 분산처리 (distributed processing)를 수행하는 적절한 알고리즘을 개발하는 것이라 볼 수 있다. 본 논문에서는 분류문제에서 각광받는 지지벡터기계 (support vector machines)의 여러 알고리즘을 살펴보고자 한다. 특히 빅 데이터 분류문제에 유용할 것으로 예상되는 온라인 타입 알고리즘과 병렬처리 알고리즘에 대하여 소개하고, 이러한 알고리즘들의 성능 및 장단점을 선형분류에 대한 모의실험을 통해서 살펴본다.

Abstract ▼ AI-Helper 아이콘AI-Helper

We cannot analyze big data, which attracts recent attentions in industry and academy, by batch processing algorithms developed in data mining because big data, by definition, cannot be uploaded and processed in the memory of a single system. So an imminent issue is to develop various leaning algorit...

주제어

#분산처리   #온라인 알고리즘   #일괄처리   #합의  

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 분류문제의 대표적인 학습법인 지지벡터기계의 여러 알고리즘을 살펴보고, 빅 데이터 분류문제에 적합할 것으로 예상되는 온라인 타입의 PEGASOS 알고리즘과 병렬처리 알고리즘인 ADMM을 소개하였다. 또한 이 두 알고리즘을 일괄처리 방식의 구현 알고리즘인 LIB-SVM과 모의실험을 통해 훈련시간과 시험오차를 비교하였다.
  • 최근 지지벡터기계 (support vector machines)는 비정상적인 신호의 탐지 (Park, 2011), 만족도 비교 (Pi 등, 2011), 기업 도산 예측 (Park 등, 2012) 등 다양한 분류문제에서 각광받고 있다. 본 논문에서는 지지벡터기계의 여러 가지 구현 알고리즘을 살펴보고, 빅 데이터 분류문제에 유용할 것으로 예상되는 Shalev-Shwartz 등 (2011)의 온라인 타입 알고리즘인 PEGASOS (Primal Estimated sub-GrAdient SOlver for Support vector machines) 와 Forero 등 (2010)에서 제안된 병렬 알고리즘을 소개하고, 모의실험을 통하여 알고리즘들의 장단점을 살펴보고자 한다.
  • 우선 선형적으로 분리가능한 경우에 대하여 살펴보자. 이 경우에는 모든 훈련자료점을 완벽히 분리하는 선형 분류함수가 무수히 많이 존재하므로 최적화 관점에서 해가 무수히 많이 존재하는 문제점이 있다.
  • 이 절에서는 입력공간과 출력공간이 각각 X⊂#p과 Y={±1}인 이진분류문제에서의 지지벡터기계에 대하여 소개한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
빅 데이터 분석을 위한 주요 접근법으로 무엇이 있는가? 빅 데이터 분석을 위한 주요 접근법은 훈련자료 (train data)의 일부를 표본 추출한 후 일괄처리 알고리즘을 적용하는 방법, 일괄처리 알고리즘을 병렬로 구현하는 방법, 그리고 훈련자료를 하나씩 (혹은 몇 개씩 묶음으로) 학습하는 온라인 알고리즘 (online algorithm) 등으로 구분할 수 있다. 이러한 여러 접근법들중 병렬처리 (parallel processing) 혹은 온라인 학습 알고리즘 등이 실질적으로 빅 데이터 분석에 의미있는 접근법으로 여겨진다.
훈련자료를 선형적으로 분리가능한 경우 어떠한 문제가 있는가? 우선 선형적으로 분리가능한 경우에 대하여 살펴보자. 이 경우에는 모든 훈련자료점을 완벽히 분리하는 선형 분류함수가 무수히 많이 존재하므로 최적화 관점에서 해가 무수히 많이 존재하는 문제점이 있다. 따라서 해의 유일성을 보장하고 좋은 분류함수를 구하기 위하여, 다음과 같이 분류경계와의 거리인 소위 마진 (margin) 을 최대화하는 분류함수를 추구하게 된다.
빅 데이터에 기존의 데이터마이닝 시대에 개발된 일괄처리 방식의 알고리즘을 적용할 수 없는 이유는? 최근 빅 데이터 (big data)에 대한 관심이 고조되고 있는데, 통계적 관점에서 빅 데이터와 관련된 주요 사안들로는 빅 데이터에 적용될 수 있는 분석 알고리즘의 개발과 사회망 (social network) 등의 새로운 형태의 자료의 분석 방법론의 개발 등을 들 수 있다. 특히 빅 데이터는 이름에서 내포하듯이 자료를 한번에 메모리에 올려 분석할 수 없기 때문에 기존의 데이터마이닝 시대에 개발된 일괄처리 (batch processing) 방식의 알고리즘을 적용할 수 없게 된다. 따라서 가장 시급히 해결해야 하는 문제는 기존의 여러 가지 기계학습방법을 빅 데이터에 적용할 수 있도록 분산처리 (distributed processing)를 수행하는 적절한 알고리즘을 개발하는 것이라 볼 수 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (17)

  1. Bordes, A., Bottou, L. and Gallinari, P. (2008). SGD-QN: Careful quasi-Newton stochastic gradient descent. Journal of Machine Learning Research, 10, 1737-1754. 

  2. Bottou, L. and Bousquet, O. (2008). The tradeoffs of large scale learning. In Advances in Neural Information Processing Systems, 20, 161-168. 

  3. Boyd, S., Parikh, N., Chu, E., Peleato, B. and Eckstein, J. (2010). Distributed optimization and statistical learning via the alternating direction method of multipliers. Foundations and Trendsr in Machine Learning, 3, 1-122. 

    상세보기 crossref

  4. Cortes, C. and Vapnik, V. (1995). Support vector networks. Machine Learning, 20, 273-297. 

    상세보기

  5. Duchi, J. and Singer, Y. (2009). Efficient online and batch learning using forward-backward splitting. Journal of Machine Learning Research, 10, 2873-2898. 

  6. Fan, R.-E., Chen, P.-H. and Lin, C.-J. (2005). Working set selection using second order information for training SVM. Journal of Machine Learning Research, 6, 1889-1918. 

  7. Forero, P. A., Cano, A. and Giannakis, G. B. (2010). Consensus-based distributed support vector machines. Journal of Machine Learning Research, 11, 1663-1707. 

  8. Franc, V. and Sonnenburg, S. (2008). Optimized cutting plane algorithm for support vector machines. In Proceedings of the 25th International Conference on Machine Learning, ACM, 320-327. 

  9. Hsieh, C.-J., and Chang, K.-W., Lin, C.-J., Keerthi, S. S and Sundararajan, S. (2008). A dual coordinate descent method for large-scale linear SVM. In Proceedings of the 25th International Conference on Machine Learning, ACM, 408-415. 

  10. Park, C., Kim, Y., Kim, J., Song, J. and Choi, H. (2013). Data mining using R, 2nd Edition, Kyowoo Publisher, Seoul. 

  11. Park, D.-J., Yun, Y.-B. and Yoon, M. (2012). Prediction of bankruptcy data using machine learning techniques. Journal of the Korean Data & Information Science Society, 23, 569-577. 

    원문보기 상세보기 crossref

  12. Park, H.-J. (2011). Online abnormal events detection with online support vector machine. Journal of the Korean Data & Information Science Society, 22, 197-206. 

  13. Pi, S.-Y., Park, H.-J. and Ryu, K.-H. (2011) An analysis of satisfaction index on computer education of university using kernel machine. Journal of the Korean Data & Information Science Society, 22, 921-929. 

  14. Platt, J. C. (1999). Fast training of support vector machines using sequential minimal optimization. In Advances in Kernal Methods - Support Vector Learning, MIT Press, 185-208. 

  15. Shalev-Shwartz, S., Singer, Y., Srebro, N. and Cotter, A. (2011). Pegasos: Primal estimated sub-gradient solver for SVM. Mathematical Programming B, 127, 3-30. 

    상세보기 crossref

  16. Smola, A. J., Vishwanathan, S. V. N. and Le, Q. V. (2007). Bundle methods for machine learning. In Advances in Neural Information Processing Systems, 20, MIT Press, 1377-1384. 

  17. Zou, H. and Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society B, 67, 301-320. 

    상세보기 crossref

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로