본 논문에서는 자료패턴을 분류하기에 적합한 특징을 추출하는 방법인, 클래스가 부가된 커널 주성분분석(class-augmented kernel principal component analysis)를 새로이 제안하였다. 특징추출에 널리 이용되는 부분공간 기법 중, 최근 제안된 클래스가 부가된 주성분분석(class-augmented principal component analysis)은 패턴 분류를 위한 특징을 추출하기 위해 이용되는 선형분류분석(linear discriminant analysis)등에 비해 정확한 특징을 계산상의 문제 없이 추출할 수 있는 기법이다. 그러나, 추출되는 특징은 입력의 선형조합으로 제한되어 자료에 따라 적절한 특징을 추출하기 어려운 경우가 발생한다. 이를 해결하기 위하여 클래스가 부가된 주성분분석에 커널 트릭을 적용하여 비선형 특징을 추출할 수 있는 새로운 부분공간 기법으로 확장하고, 실험을 통하여 성능을 평가하였다.
본 논문에서는 자료패턴을 분류하기에 적합한 특징을 추출하는 방법인, 클래스가 부가된 커널 주성분분석(class-augmented kernel principal component analysis)를 새로이 제안하였다. 특징추출에 널리 이용되는 부분공간 기법 중, 최근 제안된 클래스가 부가된 주성분분석(class-augmented principal component analysis)은 패턴 분류를 위한 특징을 추출하기 위해 이용되는 선형분류분석(linear discriminant analysis)등에 비해 정확한 특징을 계산상의 문제 없이 추출할 수 있는 기법이다. 그러나, 추출되는 특징은 입력의 선형조합으로 제한되어 자료에 따라 적절한 특징을 추출하기 어려운 경우가 발생한다. 이를 해결하기 위하여 클래스가 부가된 주성분분석에 커널 트릭을 적용하여 비선형 특징을 추출할 수 있는 새로운 부분공간 기법으로 확장하고, 실험을 통하여 성능을 평가하였다.
In this papwer, we propose a new feature extraction method, named as Class-augmented Kernel Principal Component Analysis (CA-KPCA), which can extract nonlinear features for classification. Among the subspace method that was being widely used for feature extraction, Class-augmented Principal Componen...
In this papwer, we propose a new feature extraction method, named as Class-augmented Kernel Principal Component Analysis (CA-KPCA), which can extract nonlinear features for classification. Among the subspace method that was being widely used for feature extraction, Class-augmented Principal Component Analysis (CA-PCA) is a recently one that can extract features for a accurate classification without computational difficulties of other methods such as Linear Discriminant Analysis (LDA). However, the features extracted by CA-PCA is still restricted to be in a linear subspace of the original data space, which limites the use of this method for various problems requiring nonlinear features. To resolve this limitation, we apply a kernel trick to develop a new version of CA-PCA to extract nonlinear features, and evaluate its performance by experiments using data sets in the UCI Machine Learning Repository.
In this papwer, we propose a new feature extraction method, named as Class-augmented Kernel Principal Component Analysis (CA-KPCA), which can extract nonlinear features for classification. Among the subspace method that was being widely used for feature extraction, Class-augmented Principal Component Analysis (CA-PCA) is a recently one that can extract features for a accurate classification without computational difficulties of other methods such as Linear Discriminant Analysis (LDA). However, the features extracted by CA-PCA is still restricted to be in a linear subspace of the original data space, which limites the use of this method for various problems requiring nonlinear features. To resolve this limitation, we apply a kernel trick to develop a new version of CA-PCA to extract nonlinear features, and evaluate its performance by experiments using data sets in the UCI Machine Learning Repository.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 앞서 언급한 선형 부분공간기법들 가운데 CA-PCA를 비선형 부분공간기법으로 확장하여 새로운 비선형 부분공간기법인, 클래스가 부가된 커널 주성분분석(CA-KPCA : class-augmented kernel principal component analysis)을 제안하고자 하였다. CA-KPCA는 LDA에 기반한 KDA, GDA 등의 비선형 부분공간기법들이 공동적으로 가지는, LDA에서 비롯된 계산상 문제를 가지지 않으면서도 분류에 더욱 적절한 비선형 특징을 또한 추출할 수 있다는 장점을 가진다.
본 논문에서는 자료패턴 분석 및 분류기 설계에 유용하게 이용될 수 있는 새로운 비선형 부분공간 특징추출기법인 CA-KPCA를 제안하였다. 제안한 기법은, 분류에 적합한 선형 특징을 계산상 문제없이 추출할 수 있는 부분공간 기법인 CA-PCA에 변형된 형태의 커널 트릭을 적용하여, 비선형 특징을 추출하도록 확장한 것이다.
이제 커널 트릭을 적용하여 비선형 부분공간기법으로 확장해보자. 앞서와 마찬가지로 고유벡터는 #로 표현되므로, 이를 이용하는 새로운 고유치문제를 아래와 같이 정의할 수 있다.
제안 방법
요컨대, 주어진 자료들 가운데 1개를 평가를 위해 선택하고 나머지 자료를 이용하여 설계된 분류기로 선택된 자료에 대한 분류성능을 평가하며, 이러한 과정을 반복하여 모든 자료 각각에 대한 분류성능을 구한 후에 옳게 분류된 정확성을 평가 지표로 삼는다. 본 실험에서는 선택된 1개를 제외한 나머지 자료, 곧 학습자료를 이용하여 특징을 추출한 후, 추출된 특징을 이용하여 1-nearest neighborhood (1-NN) 분류기를 구성한 후에, 평가 자료에 대한 분류기의 성공 여부를 구하였다.
본래의 자료 표현에 자료의 클래스에 관한 표현을 부가하고, 이에 대해 PCA를 수행함으로써 특징을 추출한다.
전체 평가는, 자료집합의 선택에 따른 성능차이를 무시할 수 있도록 leave-one-out(LOO) 교차검증법을 이용하였다. 요컨대, 주어진 자료들 가운데 1개를 평가를 위해 선택하고 나머지 자료를 이용하여 설계된 분류기로 선택된 자료에 대한 분류성능을 평가하며, 이러한 과정을 반복하여 모든 자료 각각에 대한 분류성능을 구한 후에 옳게 분류된 정확성을 평가 지표로 삼는다. 본 실험에서는 선택된 1개를 제외한 나머지 자료, 곧 학습자료를 이용하여 특징을 추출한 후, 추출된 특징을 이용하여 1-nearest neighborhood (1-NN) 분류기를 구성한 후에, 평가 자료에 대한 분류기의 성공 여부를 구하였다.
CA-KPCA는 LDA에 기반한 KDA, GDA 등의 비선형 부분공간기법들이 공동적으로 가지는, LDA에서 비롯된 계산상 문제를 가지지 않으면서도 분류에 더욱 적절한 비선형 특징을 또한 추출할 수 있다는 장점을 가진다. 제안된 CA-KPCA의 성능은, CA-KPCA에 의해 추출된 특징을 가지고 설계된 분류기의 분류성능을 평가기준으로 삼아 CA-PCA에 의해 추출된 특징을 이용한 분류기의 분류성능와 비교함으로써 실험적으로 확인하였다.
본 논문에서는 자료패턴 분석 및 분류기 설계에 유용하게 이용될 수 있는 새로운 비선형 부분공간 특징추출기법인 CA-KPCA를 제안하였다. 제안한 기법은, 분류에 적합한 선형 특징을 계산상 문제없이 추출할 수 있는 부분공간 기법인 CA-PCA에 변형된 형태의 커널 트릭을 적용하여, 비선형 특징을 추출하도록 확장한 것이다. 제안한 기법의 성능은 UCI Machine Learning Repository에 포함된 여러 자료집합을 이용하여 LOO 교차검증 방법을 통해 실험적으로 평가하였고, 그 결과 CA-KPCA가 CA-PCA에 비해 분류기 설계에 보다 유용한 특징을 추출할 수 있음을 확인하였다.
앞서 기술된 평가방법에 의한 실험 결과를 표 1에 제시하였다. 표 1의 각 행에는 각각 자료의 이름, 입력 수(자료 표현의 본래차원), 자료 수, 레이블 수가 제시되어 있고, 또한 마지막 열에는 해당 자료집합에 대하여 CA-PCA와 CA-KPCA를 이용하여 추출된 특징을 이용한 1-NN 분류기의 분류성능을 기록하였다. 분류성능은 백분율로 표시되었다.
대상 데이터
제안된 새로운 특징추출 방법의 성능을 평가하기 위하여 UCI Machine Learning Repository[9]에 포함된 여러 자료집합을 선택하여 이용하였다. 선택된 자료집합은 다양한 입력 수, 자료 수, 그리고 레이블 수를 지니고 있으며 이러한 특징은 표 1에 기술되었다.
데이터처리
전체 평가는, 자료집합의 선택에 따른 성능차이를 무시할 수 있도록 leave-one-out(LOO) 교차검증법을 이용하였다. 요컨대, 주어진 자료들 가운데 1개를 평가를 위해 선택하고 나머지 자료를 이용하여 설계된 분류기로 선택된 자료에 대한 분류성능을 평가하며, 이러한 과정을 반복하여 모든 자료 각각에 대한 분류성능을 구한 후에 옳게 분류된 정확성을 평가 지표로 삼는다.
성능/효과
결과를 살펴보면, 많은 경우 CA-KPCA에서 추출된 특징을 이용하는 경우, CA-PCA에서 추출된 특징에 비해 적게는 1-2%, 많게는 5%에 이르기까지 분류성능이 전반적으로 향상되고 있음을 확인할 수 있다. 특히 LENSES 자료집합에 대해서는 성능 향상이 두드러지게 나타나는 것을 확인할 수 있는데, 이는 LENSES 자료집합의 경우 자료들이 비선형으로 분포하는 부분이 있어 CA-KPCA가 CA-PCA에 비하여 더욱 적절한 특징을 추출할 수 있기 때문이라 생각된다.
때문에 이러한 클래스 표현에 비선형성을 부여하는 것은 자료 표현과 달리 분류 성능 자체에 큰 영향을 미치지 않을 수 있다. 둘째, 내적을 대신할 비선형함수가 자료 표현과 클래스 표현 모두를 입력으로 정의될 경우, 클래스을 알지 못하는 자료 곧 분류기 설계를 위하여 클래스가 알려진 자료가 아닌, 분류기를 실제 이용하고자 하는 자료에 대해서는 특징을 추출할 수 없게 된다는 문제가 있다. KPCA의 경우 (6)을 이용하여 새로운 자료에 대한 특징을 구하고자 할 때 ψ(xi, x)가 이용되는데, xi와 x가 클래스를 이용하여 결정되어야 하는 값이라면, 클래스을 알아내야 하는 자료에 대해서는 x를 계산할 수 없으므로 특징을 추출할 수 없게 된다.
본래의 자료 표현에 자료의 클래스에 관한 표현을 부가하고, 이에 대해 PCA를 수행함으로써 특징을 추출한다. 자료 표현만을 가지고 특징을 추출하는 PCA에 비해 분류에 적합한 특징을 추출할 수 있고, 분류에 적합한 특징을 추출하는 다른 기법인 LDA에 비해서는 계산상의 문제점을 가지지 않는다는 장점이 있다. 그리고 여기서 확인하게 될 또 다른 장점은 비선형 부분공간기법으로 쉽게 확장될 수 있다는 점이다.
선택된 자료집합은 다양한 입력 수, 자료 수, 그리고 레이블 수를 지니고 있으며 이러한 특징은 표 1에 기술되었다. 자료들은 다양한 응용분야에서 수집된 것으로, 이에 대한 성능으로부터 실제 문제에 제안된 기법을 응용할 경우의 성능을 추측할 수 있다.
제안한 기법의 성능은 UCI Machine Learning Repository에 포함된 여러 자료집합을 이용하여 LOO 교차검증 방법을 통해 실험적으로 평가하였고, 그 결과 CA-KPCA가 CA-PCA에 비해 분류기 설계에 보다 유용한 특징을 추출할 수 있음을 확인하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
CA-KPCA의 장점은 무엇입니까?
본 논문에서는 앞서 언급한 선형 부분공간기법들 가운데 CA-PCA를 비선형 부분공간기법으로 확장하여 새로운 비선형 부분공간기법인, 클래스가 부가된 커널 주성분분석(CA-KPCA : class-augmented kernel principal component analysis)을 제안하고자 하였다. CA-KPCA는 LDA에 기반한 KDA, GDA 등의 비선형 부분공간기법들이 공동적으로 가지는, LDA에서 비롯된 계산상 문제를 가지지 않으면서도 분류에 더욱 적절한 비선형 특징을 또한 추출할 수 있다는 장점을 가진다. 제안된 CA-KPCA의 성능은, CA-KPCA에 의해 추출된 특징을 가지고 설계된 분류기의 분류성능을 평가기준으로 삼아 CA-PCA에 의해 추출된 특징을 이용한 분류기의 분류성능와 비교함으로써 실험적으로 확인하였다.
선형 부분공간 기법이란 무엇을 의미합니까?
현재 특징 추출을 위해 다양한 기법들이 개발되어 왔는데, 널리 이용되는 기법들 가운데에 선형 부분공간(linear subspace) 기법이 있다. 선형 부분공간 기법은, 자료가 본래 표현된 공간의 선형 부분공간 가운데 목적에 적절한 특성을 지닌 것을 선택하고 그 위로 자료의 본래 표현을 투영(project)함으로써 특징을 추출하는 기법들을 의미한다. 대표적인 것으로는, 자료 분포를 잘 기술하면서도 저차원인 특징을 찾는 주성분분석(PCA: principal component analysis)[1]과, 자료를 쉽게 분류할 수 있는 저차원 특징을 찾는 선형판별분석(LDA: linear discriminant analysis)[2]이 있다.
대표적인 선형 부분공간 기법으로는 무엇이 있습니까?
선형 부분공간 기법은, 자료가 본래 표현된 공간의 선형 부분공간 가운데 목적에 적절한 특성을 지닌 것을 선택하고 그 위로 자료의 본래 표현을 투영(project)함으로써 특징을 추출하는 기법들을 의미한다. 대표적인 것으로는, 자료 분포를 잘 기술하면서도 저차원인 특징을 찾는 주성분분석(PCA: principal component analysis)[1]과, 자료를 쉽게 분류할 수 있는 저차원 특징을 찾는 선형판별분석(LDA: linear discriminant analysis)[2]이 있다. 최근에는 LDA 기반의 여러 기법들이 가지는 계산상의 문제를 가지지 않으면서도 LDA와 마찬가지로 자료 분류에 적합한 특징을 추출할 수 있는, 클래스가 부가된 주성분분석(CA-PCA: class-augmented principal component analysis)[3]이 새로 개발되었으며 성능에 대한 분석이 이루어졌다[4].
참고문헌 (9)
I. T. Jolliffe, Principal Component Analysis, Springer-Verlag, 1986.
K. Fukunaga, Introduction to Statistical Pattern Recognition, Morgan-Kaufmann, 1990.
M. S. Park and J. Y. Choi, "Feature Extraction Using Class-Augmented Principal Component Analysis (CA-PCA)", Lecture Notes in Computer Science, Vol. 4132, pp. 606-615, 2006.
M. S. Park and J. Y. Choi, "Theoretical Analysis On Feature Extraction Capability Of Class-Augmented PCA", Pattern Recognition, Vol. 42, Issue 11, pp. 2353-2362, 2009.
B. Scholkopf, A. Smola, and K.-R. Muller, "Nonlinear Component Analysis as a Kernel Eigenvalue Problem", Neural Computation, Vol. 10, No. 5, pp. 1299-1319, 1998.
S. Mika, G. Ratsch, J. Weston, B. Scholkopf, and K.-R. Muller, "Fisher Discriminant Analysis With Kernels", in Proceedings of 1999 IEEE Signal Processing Society Workshop on Nerual Networks for Signal Proceeding, Vol. 9, pp. 41-48, 1999.
G. Baudat and F. Anouar, "Generalizaed Discriminant Analysis Using A Kernel Approach", Neural Computation, vol. 12, pp. 2385-2404, 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.