[논문]고차원 대용량 자료분석의 현재 동향

장원철; 김광수; 김정연

doi:10.5351/kjas.2016.29.6.999

초록
AI-Helper

빅 데이터의 출현은 여러가지 과학적 난제에 대답 할 수 있는 기회를 제공하지만 흥미로운 도전을 또한 제공한다. 이러한 빅데이터의 주요 특징으로 "고차원"과 "대용량"을 들 수가 있다. 본 논문은 이러한 두 가지 특징에 동반되는 다음과 같은 도전문제에 대한 개요를 제시한다 : (1) 고차원 자료에서의 소음 축적과 위 상관 관계; (ii) 대용량 자료분석을 위한 계산 확장성. 또한 본 논문에서는 재난예측, 디지털 인문학과 세이버메트릭스 등 다양한 분야에서 빅 데이터의 다양한 응용사례를 제공한다.

Abstract ▼ AI-Helper

The advent of big data brings the opportunity to answer many open scientic questions but also presents some interesting challenges. Main features of contemporary datasets are the high dimensionality and massive sample size. In this paper, we give an overview of major challenges caused by these two f...

The advent of big data brings the opportunity to answer many open scientic questions but also presents some interesting challenges. Main features of contemporary datasets are the high dimensionality and massive sample size. In this paper, we give an overview of major challenges caused by these two features: (1) noise accumulation and spurious correlations in high dimensional data; (ii) computational scalability for massive data. We also provide applications of big data in various fields including forecast of disasters, digital humanities and sabermetrics.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 눈문에서 통계학적 관점에서 빅데이터 분석에 대하여 알아보았다. 빅데이터의 주요특징인 고차원과 대용량으로 야기되는 여러가지 문제점에 대해서 알아보고 이를 해결하기 위한 통계학 분야의 최근 동향과 다양한 응용분야에 대해서 살펴보았다. 이 분야에 대한 보다 포괄적인 리뷰는 Fan 등 (2014)과Franke 등 (2016)을 참조하기 바란다.
고차원 대용량 자료의 적용분야는 매우 다양하며 이번 응용통계특집호에서는 특별히 천문학, 뇌인지과학, 생물정보학, 디지털인문학 등의 분야에 대한 리뷰논문과 사례연구를 소개하고 있다. 이 절에서는 국내 통계학분야에서 상대적으로 덜 알려진 재난예측, sabermetrics, 디지털 인문학에 대해서 알아본다.
빅데이터의 두 번째 유형인 대용량 자료의 경우 그 크기로 인해 전통적인 분석방법과 컴퓨팅 기반시설에 일대 혁신을 가져왔다. 이 절에서는 이러한 대용량 자료의 처리를 위한 컴퓨팅 환경과 빅데이터 분석에 있어서 중추적 역할을 하는 최적화이론의 최근 동향에 대해서 알아본다.

가설 설정

일반적으로 고차원자료분석에서 성김현상을 가정한다. 즉 대부분의 변수들은 소음(noise)이며 예측이나 분류를 위한 의미있는 변수의 갯수는 상대적으로 적다고 가정하는 것이다. 예를 들면 마이크로 어레이에서 특정 질병과 관련있는 유전자의 갯수는 극소수라고 가정하자.

제안 방법

구글은 N-gram viewer라는 온라인 서치엔진을 통해 “구글 도서관 프로젝트”에 있는 영어, 독일어, 스페인어 등 다양한 언어로 쓰여진 책들에서 N개의 연달아 등장하는 단어들의 빈도를 찾아볼 수 있도록 하였다.
구글은 또한 2011년부터 전세계의 박물관들의 전시품에 대해서도 “구글 아트 프로젝트(google art project)”라는 사업을 시도하여 작품들의 고화질 이미지 라이브러리를 구축하였다.
본 논문에서는 빅데이터 연구를 크게 두 주제로 나누어서 다룬다. 첫 번째는 빅데이터의 분석 방법에 관한 내용, 두 번째는 빅데이터의 응용사례에 관해 초점을 맞추었다.
이 눈문에서 통계학적 관점에서 빅데이터 분석에 대하여 알아보았다. 빅데이터의 주요특징인 고차원과 대용량으로 야기되는 여러가지 문제점에 대해서 알아보고 이를 해결하기 위한 통계학 분야의 최근 동향과 다양한 응용분야에 대해서 살펴보았다.

질의응답

핵심어	질문	논문에서 추출한 답변
	고차원 자료에서 생기는 주요특징은?	고차원 자료의 가장 큰 특징으로는 자료의 크기 n보다 차원의 크기 p가 크다는 데 있다. 이러한 고차원 자료에서 생기는 주요특징으로 소음 축적(noise accumulation)과 위 상관관계(spurious correlation)가 있으며 이러한 고차원 자료분석에 가장 많이 사용되는 방법은 차원축소와 벌점화를 통한 성김(sparsity)을 들 수 있다.
	IBM에서 제안한 빅데이터의 4V는?	사실 빅데이터의 경우 통일된 정의는 존재하지 않고 IBM에서 제안한 4V로 일컬어지는 크기(volume), 속도(velocity), 다양성(variety), 정확성(veracity)을 빅데이터의 주요특징으로 들고 있다. 통계학적 관점에서 이러한 특징을 가지는 빅데이터를 크게 “길쭉한(massive)” 과 “뚱뚱한(high-dimensional)” 자료로 나눌 수 있다.
	고차원자료분석에서 가정하는 성김현상이란?	일반적으로 고차원자료분석에서 성김현상을 가정한다. 즉 대부분의 변수들은 소음(noise)이며 예측이나 분류를 위한 의미있는 변수의 갯수는 상대적으로 적다고 가정하는 것이다. 예를 들면 마이크로 어레이에서 특정 질병과 관련있는 유전자의 갯수는 극소수라고 가정하자.

참고문헌 (18)

Bak, J. Y. and Oh, A. (2015). Five centuries of monarchy in Korea: mining the text of the annals of the Joseon dynasty. In Proceedings of the 9th SIGHUM workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities at the 53rd Annual Meeting of the Association for Computational Linguistics, 10-14.
Clauset, A., Shalizi, C. R., and Newman, M. E. J. (2009). Power-law distributions in empirical data. SIAM Review, 51, 661-703.

상세보기
Clauset, A. and Woodard, R. (2013). Estimating the historical and future probabilities of large terrorist events. Annals of Applied Statistics, 7, 1838-1865.

상세보기
Fan, J., Han, F. and Liu, H. (2014). Challenges of big data analysis. National Science Review, 1, 293-314.

상세보기
Fan, J. and Li, R. (2001). Variable selection via nonconcave penalized likelihood and its oracle properties. Journal of the American Statistical Association, 96 1348-1360.

상세보기
Fan, J. and Lv, J. (2008). Sure independence screening for ultrahigh dimensional feature space (with discussion). Journal of the Royal Statistical Society Series B, 70, 849-911.

상세보기
Franke, B., Plante, J.-F., Roscher, R., Lee, E.-S. A., Smyth, C., Hatefi, A., Chen, F., Gil, E., Schwing, A., Selvitella, A., Hoffman, M. M., Grosse, R., Hendricks, D., and Reid, N. (2016). Statistical inference, learning and models in big data. International Statistical Review, To appear.
Kim, D., Son, S.-W., and Jeong, H. (2014). Large-scale quantitative analysis of painting arts. Scientific Reports, 4, 7370.

상세보기
Ko, S. and Won, J.-H. (2016). Processing large-scale data with Apache Spark, The Korean Journal of Applied Statistics, To appear.
Kulldorff, M. (1997). A spatial scan statistic. Communications in Statistics: Theory and Methods, 26, 1481-1496.

상세보기
Lee, B., Kim, D., Kim, D., and Jeong, H. (2016). N-gram web service and stylometric analysis of Korean historical documents. New Physics: Sae Mulli, 66, 502-510.

상세보기
Park, J.-H., Lee, S.-Y., Kang, D. H. and Won, J.-H. (2013). Hadoop and Mapreduce. Journal of the Korean Data & Information Science Society, 24, 1013-1027.

원문보기 상세보기
Sawchik, T. (2015). Big Data Baseball: Math, Miracles, and the End of a 20 Year Losing Streak, Flatiron Books.
Sievert, C. (2015). Tools for harnessing 'MLBAM', 'Gameday' data and visualizing 'pictchfx', http://cpsievert.github.com/pitchRx
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society, Series B, 58, 267-288.
van de Geer, S. Buhlmann, P. Ritov, Y. A., and Dezeure, R. (2014). On asymptotically optimal confidence regions and test for high-dimensional models. Annals of Statistics, 42, 1166-1202.

상세보기
Witten, R. and Candes, E. (2013). Randomized algorithms for low-rank matrix factorizations: sharp performance bounds. Algorithmica, 63, 355-363.
Zhang, C.-H. (2010.) Nearly unbiased variable selection under minimax concave penalty. Annals of Statistics, 38, 894-942.

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

고차원 대용량 자료분석의 현재 동향
Current trends in high dimensional massive data analysis 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

질의응답

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

고차원 대용량 자료분석의 현재 동향 Current trends in high dimensional massive data analysis 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

질의응답

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

장원철 (11)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

고차원 대용량 자료분석의 현재 동향
Current trends in high dimensional massive data analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper