[논문]확률적 reduced K-means 군집분석

이승훈; 송주원

doi:10.5351/kjas.2021.34.6.905

확률적 reduced K-means 군집분석
Probabilistic reduced K-means cluster analysis 원문보기

응용통계연구 = The Korean journal of applied statistics, v.34 no.6, 2021년, pp.905 - 922

초록
AI-Helper

라벨 없이 진행되는 비지도 학습 중 하나인 군집분석은 자료에 어떤 그룹이 내포되어 있는지 사전 지식이 없을 경우에 군집을 발굴하고, 군집 간의 특성 차이와 군집 안에서의 유사성을 분석하고자 할 때 유용한 방법이다. 기본적인 군집분석 중 하나인 K-means 방법은 변수의 개수가 많아질 때 잘 동작하지 않을 수 있으며, 군집에 대한 해석도 쉽지 않은 문제가 있다. 따라서 고차원 자료의 경우 주성분 분석과 같은 차원 축소 방법을 사용하여 변수의 개수를 줄인 후에 K-means 군집분석을 행하는 Tandem 군집분석이 제안되었다. 하지만 차원 축소 방법을 이용해서 찾아낸 축소 차원이 반드시 군집에 대한 구조를 잘 반영할 것이라는 보장은 없다. 특히 군집의 구조와는 상관없는 변수들의 분산 또는 공분산이 클 때, 주성분 분석을 통한 차원 축소는 오히려 군집의 구조를 가릴 수 있다. 이에 따라 군집분석과 차원 축소를 동시에 진행하는 방법들이 제안되어 왔다. 그 중에서도 본 연구에서는 De Soete와 Carroll (1994)이 제안한 방법론을 확률적인 모형으로 바꿔 군집분석을 진행하는 확률적 reduced K-means를 제안한다. 모의실험 결과 차원 축소를 배제한 군집분석과 Tandem 군집분석보다 더 좋은 군집을 형성함을 알 수 있었고 군집 당 표본 크기에 비해 변수의 개수가 많은 자료에서 기존의 비 확률적 reduced K-means 군집분석에 비해 우수한 성능을 확인했다. 보스턴 자료에서는 다른 군집분석 방법론보다 명확한 군집이 형성됨을 확인했다.

Abstract ▼ AI-Helper

Cluster analysis is one of unsupervised learning techniques used for discovering clusters when there is no prior knowledge of group membership. K-means, one of the commonly used cluster analysis techniques, may fail when the number of variables becomes large. In such high-dimensional cases, it is common to perform tandem analysis, K-means cluster analysis after reducing the number of variables using dimension reduction methods. However, there is no guarantee that the reduced dimension reveals the cluster structure properly. Principal component analysis may mask the structure of clusters, especially when there are large variances for variables that are not related to cluster structure. To overcome this, techniques that perform dimension reduction and cluster analysis simultaneously have been suggested. This study proposes probabilistic reduced K-means, the transition of reduced K-means (De Soete and Caroll, 1994) into a probabilistic framework. Simulation shows that the proposed method performs better than tandem clustering or clustering without any dimension reduction. When the number of the variables is larger than the number of samples in each cluster, probabilistic reduced K-means show better formation of clusters than non-probabilistic reduced K-means. In the application to a real data set, it revealed similar or better cluster structure compared to other methods.

주제어

표/그림 (9)

그림 Figure 1: Example of true cluster structure in two-dimensional plane in simulation datasets.
표 Table 1: Comparison of average ARI and misclassification rates for each cluster analysis methods when the sample size for each cluster is 100 and c = 2.5
표 Table 2: Comparison of average ARI and misclassification rates for each cluster analysis methods when the sample size for each cluster is 50 and c = 5
표 Table 3: Comparison of average ARI and misclassification rates for each cluster analysis methods when the sample size for each cluster is 50 and c = 2.5
그림 Figure 2: ARI line plot for different number of variables and PSR level, when the number of samples for each cluster is 50 and c = 2.5.
표 Table 4: Variable description of Boston data
표 Table 5: Mean of the variable in original Boston data according to PRKM cluster result
그림 Figure 3: Location of objects in Boston data.
그림 Figure 4: Cluster structure for Boston data in two-dimensional planes produced by different cluster analysis methods.

참고문헌 (17)

Arabie P and Hubert L (1994). Cluster analysis in marketing research, Advanced Methods in Marketing Research, 160-189, Oxford: Blackwell.
Choi Y and Baek I (2017). Implication and lesson for city reconstruction experience in the United States, Monthly Housing Finance Report(in korean version), 157, 22-35.
Dempster A, Laird N, and Rubin D (1977). Maximum likelihood from incomplete data via the EM algorithm, Journal of the Royal Statistical Society, Series B (Methodological), 39, 1-38.

상세보기
De Soete G and Carroll JD (1994). K-means clustering in a low-dimensional euclidean space, New Approaches in Classification and Data Analysis, 212-219, Heidelberg: Springer.
Ding C, He X, Zha H, and Simon HD (2002). Adaptive dimension reduction for Clustering High Dimensional Data, Proc 2nd IEEE Intl Conf Data Mining, 147-154.
Ghahramani Z and Hinton GE (1996). The EM algorithm for mixtures of factor analyzers, Technical Report CRG-TR-96-1, University of Toronto, Canada.
Gilley OW and Pace RK (1996). On the Harrison and Rubinfeld data, Journal of Environmental Economics and Management, 31, 403-405.

상세보기
Harrison D and Rubinfeld DL (1978). Hedonic prices and the demand for clean air, Journal of Environmental Economics and Management, 5, 81-102.

상세보기
Milligan GW and Cooper MC (1985). An examination of procedures for determining the number of clusters in a data set, Psychometrika, 50, 159-179.

상세보기
Rocci R, Gattone SA, and Vichi M (2011). A new dimension reduction method: factor discriminant K-means, Journal of Classification, 28, 210-226.

상세보기
Roweis S (1998). EM algorithms for PCA and SPCA. Advances in Neural Information Processing Systems, Advances in Neural Information Processing Systems 10 - Proceedings of the 1997 Conference, 626-632, Elsevier.
Lee S (2021). Probabilistic reduced K-means cluster analysis, Master's thesis, Department of Statistics, Korea University, Korea(in korean version).
Timmerman ME, Ceulemans E, De Roover K, and Van Leeuwen K (2013). Subspace K-means clustering, Behavior Research Methods, 45, 1011-1023.

상세보기
Timmerman ME, Ceulemans E, Kiers HAL, and Vichi M (2010). Factorial and reduced K-means reconsidered, Computational Statistics and Data Analysis, 54, 1858-1871.

상세보기
Tipping ME and Bishop CM (1999a). Mixtures of probabilistic principal component analyzers, Neural Computation, 11, 443-482.

상세보기
Tipping ME and Bishop CM (1999b). Probabilistic principal component analysis, Journal of the Royal Statistical Society, Series B (Statistical Methodology), 61, 611-622.

상세보기
Vichi M and Kiers HAL (2001). Factorial K-means analysis for two-way data, Computational Statistics and Data Analysis, 37, 49-64.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증