[논문]주성분 분석과 나이브 베이지안 분류기를 이용한 퍼지 군집화 모형

전성해

doi:10.3745/kipstb.2004.11b.4.485

[국내논문] 주성분 분석과 나이브 베이지안 분류기를 이용한 퍼지 군집화 모형
Fuzzy Clustering Model using Principal Components Analysis and Naive Bayesian Classifier 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.11B no.4, 2004년, pp.485 - 490

초록
AI-Helper

자조의 표현에서 군집화는 주어진 데이터를 서로 유사한 개체들끼리 몇 개의 집단으로 묶는 작업을 수행한다. 군집화의 유사도 결정 측도는 맡은 연구들에서 매우 다양한 것들이 사용되었다. 하지만 군집화 결과의 성능 측정에 대한 객관적인 기준 설정이 어렵기 때문에 군집화 결과에 대한 해석은 매우 주관적이고, 애매한 경우가 많다. 퍼지 군집화는 이러한 주관적인 군집화 문제에 있어서 객관성 있는 군집 결정 방안을 제시하여 준다. 각 개체들이 특정 군집에 속하게 될 퍼지 멤버 함수값을 원소로 하는 유사도 행렬을 통하여 군집화를 수행한다. 본 논문에서는 차원 축소기법의 하나인 주성분 분석과 강력한 통계적 학습 이론인 베이지안 학습을 결합한 군집화 모형을 제안하여, 객관적인 퍼지 군집화를 수행하였다. 제안 알고리즘의 성능 평가를 위하여 UCI Machine Loaming Repository의 Iris와 Glass Identification 데이터를 이용한 실험 결과를 제시하였다.

Abstract ▼ AI-Helper

In data representation, the clustering performs a grouping process which combines given data into some similar clusters. The various similarity measures have been used in many researches. But, the validity of clustering results is subjective and ambiguous, because of difficulty and shortage about objective criterion of clustering. The fuzzy clustering provides a good method for subjective clustering problems. It performs clustering through the similarity matrix which has fuzzy membership value for assigning each object. In this paper, for objective fuzzy clustering, the clustering algorithm which joins principal components analysis as a dimension reduction model with bayesian learning as a statistical learning theory. For performance evaluation of proposed algorithm, Iris and Glass identification data from UCI Machine Learning repository are used. The experimental results shows a happy outcome of proposed model.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 일반적으로 분류 알고리즘으로 사용되는 NBC를 PCA와 결합하여 최적 군집화가 가능한 모형을 제안하였다. PCA를 통한 초기 군집수를 바탕으로 각 군집에 할당된 개체들의 입력벡터에 대한 평균(mean)과 표준편차 (standard deviation : s.
본 논문에서는 통계적 차원 축소 기법인 PCA와 베이지안학습에 기반한 분류 모형인 NBC를 이용하여 최적의 군집화를 위한 군집화 알고리즘을 제안하였다. 기존의 군집화 알고리즘은 단일 군집화 과정을 거치지만 제안 기법은 초기 군집 수 결정과 최적 군집 할당을 위한 퍼지 멤버함수 계산과정의 2단계 군집화 전략을 취하고 있다.

가설 설정

즉 芬", …/?)는 % 분포를 따르는 집단 1로부터 추출된 Ni개의 표본 데이터라고 가정한다. 위 식에서 'i.
(inde pendent, identical distributed) sample'은 임의 표본(random sample)을 의미한다. 또한 们는 평균 벡터 (mean vector) 仇 와 분산-공분산 행렬(variance-covariance matrix) M 를 갖는 가우시안 분포(Gaussian disti北ution) 라고 가정한다. 식 (응)의 데이터 구조로부터 각 집단의 사전 확률 분포(prior probability distribution)^.
NBC에서는 이러한 계산 비용을 최소화 하기 위하여 속성들 간의 조건부 독립성(conditional independence) 가정을 한다. 이 가정은 각 속성의 값들이 다른 속성의 값과 조건 독립으로써 속성들 간에 종속 관계가 존재하지 않는다는 것을 의미한다. 따라서 F(X|C;)는 다음식과 같이 간단히 계산될 수 있다.

제안 방법

따라서 위의 식은 좋은 성능의 군집에 대해서 보다 작은 값을 가지게 된다. 두 항(term)의 균형을 위한 상수는 명확한 군집의 구분을 가지는 인공 데이터를 이용한 휴리스틱(heuristic) 실험을 통해 0.1 로 결정되었다.
식 (1)을 만족하게 된다. 따라서 베이지안 학습을 통하여 퍼지 군집화를 위한 유사도 분할 행렬인 U를 구하였다.
본 논문에서는 군집화를 위한 학습 데이터의 입력 변수들에 대한 PCA를 수행하여 설명력이 높은 상위 3개의 주성분을 결정하고 이들 주성분들을 각 축으로 하는 3차원 산 점도를 그리고 이를 관찰하여 초기 군집수를 시각적으로 결정하였다⑶.
있다. 본 논문에서는 주어진 데이터로부터 나이브 베이지안 학습을 통한 최종 사후 확률 분포의 확률값으로서 퍼지 군집화를 위한 분할 행렬 U를 결정하였다. 퍼지 군집화를 위한 나이브 베이지안 학습에 사용되는 데이터 구조는 다음식과 같다.
식 (응)의 데이터 구조로부터 각 집단의 사전 확률 분포(prior probability distribution)^. 역시 가우시안 분포로 결정하였다. 이는 베이지안 학습의 사후 확률 분포의 계산을 쉽게 할 수 있는 공액 분포(conjugate distribution)의 특성을 이용하기 위함이다.
위의 3개의 군집에 대한 각각의 평균과 분산을 이용하여 사후 확률 분포로 사용할 가우시안 분포의 모수를 결정한다. 가우시안 분포의 모수는 주어진 데이터의 평균과 분산이기 때문이다.
이 방법은 매우 많은 계산 비용(computing cost)을 요구한다[7, 11]. 주어진 학습 데이터에 대한 분포인 우도 함수(likelihood function)도 마찬가지 이유로 가우시안 분포로 결정하였다. 따라서 군집화의 최종 U의 원소인 퍼지 멤버함수를 결정하기 위한 사후 확률 분포의 구조도 가우시안 분포가 된다.

대상 데이터

German의 Glass 데이터는 총 214개의 학습 자료로 이루어져 있다. 입력 변수들은 1개의 굴절률 변수와 성분을 나타내는 8개의 변수들(나트륨, 마그네슘, 알루미늄, 실리콘, 칼륨, 칼슘, 바륨, 철)로 이루어져 있다.
이들 데이터는 기존의 많은 기계 학습알고리즘의 객관적인 성능 평가를 위한 시험 데이터로 사용되었다. 따라서 본 실험에서에도 이들 데이터를 이용하였다.
이 때에는 사후 확률 계산에 있어서 마코프체인 몬테칼로(markov chain monte carlo : MCMC)와 같은 고급베이지안 계산(advanced Bayesian computing) 기법을 요구하게 된다[13]. 본 논문에서 사용되는 NBC는 베이즈 정리를 이용하여 개체 X를 다음의 조건을 만족하는 C, 에 할당한다. P(X\ C, )P(C, ) > P(X\ Cy)P(C;) for \<.
본 논문에서 제안하는 군집화 알고리즘의 성능 평가를 위하여 UCI Machine Learning Repository로부터 Iris와 Glass 데이터를 이용하였다. 이들 데이터는 기존의 많은 기계 학습알고리즘의 객관적인 성능 평가를 위한 시험 데이터로 사용되었다.
PCA는 입력벡터 X를 선형변환 시켜 정보의 손실을 최소화하면서 p보다 매우 작은 m 개의 새로운 인공변수를 생성함으로서, p차원 변이를 m 차원으로 축소하여 전체 데이터의 특성을 요약하여 전체 변수들 간의 복잡한 구조를 파악하고자 하는 것이다. 이 분석은 X의 원소들 간의 상관구조관계를 나타내는 Z를 분석대상으로 한다.
이용하였다. 이들 데이터는 기존의 많은 기계 학습알고리즘의 객관적인 성능 평가를 위한 시험 데이터로 사용되었다. 따라서 본 실험에서에도 이들 데이터를 이용하였다.

데이터처리

PCA를 통한 초기 군집수를 바탕으로 각 군집에 할당된 개체들의 입력벡터에 대한 평균(mean)과 표준편차 (standard deviation : s.d.)를 이용한 사전 확률 분포를 구하고 계속해서 베이즈 정리(Bayes' Theorem)를 적용한 사후 확률 분포를 이용하여 퍼지 군집화를 수행하였다. 제안 모형과 기존의 군집화 모형들과의 비교를 위한 측도로서는 분산과 군집수에 기 반한 VC 측도(variance criterion measure) 를 사용하였다[2].

이론/모형

)를 이용한 사전 확률 분포를 구하고 계속해서 베이즈 정리(Bayes' Theorem)를 적용한 사후 확률 분포를 이용하여 퍼지 군집화를 수행하였다. 제안 모형과 기존의 군집화 모형들과의 비교를 위한 측도로서는 분산과 군집수에 기 반한 VC 측도(variance criterion measure) 를 사용하였다[2].

성능/효과

Glass 데이터를 이용한 군집화 결과에서도 제안 방법에 의한 군집화 결과가 가장 유사성이 높은 개체들끼리 묶기고 있음을 알 수 있었다.
위의 표에 의하면 본 논문에서 제안한 군집화 기법의 VC 값이 가장 작음을 알 수 있다. 이는 제안 방법에 의한 군집화 결과가 다른 군집화 기법에 비해 군집내 분산은 상대적으로 작고, 군집간 분산은 크게 나타나고 있음을 확인할 수 있었다.
가장 작음을 알 수 있다. 이는 제안 방법에 의한 군집화 결과가 다른 군집화 기법에 비해 군집내 분산은 상대적으로 작고, 군집간 분산은 크게 나타나고 있음을 확인할 수 있었다. 모형 평가의 공정성을 유지하기 위하여 제안 방법과 비교되는 위의 다른 군집화 기법의 초기 군집수도 모두 3으로 통일하였다.
전통적으로 기계 학습 알고리즘들의 성능 평가를 위하여 사용되었던 2개의 학습 데이터를 이용한 실험에서 제안 기법의 성능이 기존의 것들에 비해 우수하게 나타나고 있음을 확인하였다. 향후 MCMC에 의한 베이지안 분류기를 이용하여 더 좋은 군집화 결과를 얻을 수 있는 연구가 기대되어 진다.

후속연구

향후 MCMC에 의한 베이지안 분류기를 이용하여 더 좋은 군집화 결과를 얻을 수 있는 연구가 기대되어 진다.

참고문헌 (14)

김기영, 전명식, 다변량 통계자료 분석, 자유아카데미, 1994
박민재, 전성해, 오경환, '붓스트랩 기법과 유전자 알고리즘을 이용한 최적 군집수 결정', 퍼지및지능시스템학회논문지, 제13권 제1호, pp.12-17, 2003

원문보기 상세보기
전성해, 오경환, 'MCMC 결측치 대체와 주성분 산점도 기반의 SOM을 이용한 희소한 웹 데이터 분석', 정보처리학회논문지D, Vol.10-D, No.2, pp.277-282, April, 2003

원문보기 상세보기
한진우, 전성해, 오경환, '군집화를 위한 베이지안 학습 기반의 퍼지 규칙 추출', 한국정보과학회 2003 춘계학술발표논문집(II), April, 2003
J. S. Liu, J. L. Zhang, M. L. Palumbo, C. E. Lawrence, 'Bayesian Clustering with Variable and Transformation Selections,' Bayesian Statistics 7, Oxford University Press, 2003
J. C. Bezdek, 'Pattern Recognition with Fuzzy Objective Function Algorithms,' Plenum Press, 1987
C. M. Bishop, 'Neural Networks for Pattern Recognition,' Clarendon Press : Oxford, 1998
D. Dumitrescu, B. Lazzerini, L. C. Jain, 'Fuzzy Sets and their application to Clustering and Training,' The CRC Press, 2000
J. Han, M. Kamber, 'Data Mining : Concepts and Techniques,' Morgan Kaufmann, 2000
R. J. Hathaway, J. C. Bezdek, 'Switching Regression Models and Fuzzy Clustering,' IEEE Trans. Fuzzy Sets, Vol.1, pp.195-204, 1993

상세보기
S. J. Press, 'Bayesian Statistics : Principles, Models, and Applications,' John Wiley & Sons, 1989
H. J. Zimmermann, 'Fuzzy Set Theory and Its Application,' Kluwer Academic Publishers Group, 2001
C. P. Robert, G. Casella, 'Monte Carlo Statistical Methods,' Springer, 1999
http://www.ics.uci.edu/~mlearn/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증