얼굴인식 등과 같은 고차원 패턴인식에서 학습패턴의 수가 패턴 차원에 비해 매우 적을 경우 희소성 문제(the Small Sample Size problem)가 발생한다. 최근 이 문제를 해결하기 위하여 LDA, PCA+LDA, Direct-LDA 등을 비롯한 다양한 LDA-확장 법이 제안되었다. 본 논문에서는 LDA-확장 법으로 차원을 축소하기 전에 학습 패턴을 사전 클러스터링하여 서브 클래스 수를 증가시키는 방법으로 LDA-확장에 기반을 둔 식별기의 성능을 향상시키는 방법을 제안한다. LDA (또는 Direct-LDA)에서 축소된 특징공간의 차원은 학습패턴의 클래스 수로 제한되기 때문에 LDA의 식별 성능을 향상시킬 수 있도록 학습패턴을 사전에 클러스터링하여 서브 클래스의 수를 증가시키는 방법이다. 즉, 학습패턴의 특성공간(the eigen space)은 레인지 공간(the range space)과 널 공간(the null space)으로 구성되며, 레인지 공간의 차원은 클래스 수의 증가에 따라 증가한다. 따라서 변환 행렬을 구성할 때 클래스의 수를 늘려 널 공간을 최소화하게 되면 이 공간에 기인한 정보의 손실을 최소화 할 수 있다. 제안 방법을 X-OR 형태의 인공데이터와 AT&T와 Yale 벤취마크 얼굴영상 데이터베이스를 대상으로 실험한 결과 본 방법의 효용성을 확인하였다.
얼굴인식 등과 같은 고차원 패턴인식에서 학습패턴의 수가 패턴 차원에 비해 매우 적을 경우 희소성 문제(the Small Sample Size problem)가 발생한다. 최근 이 문제를 해결하기 위하여 LDA, PCA+LDA, Direct-LDA 등을 비롯한 다양한 LDA-확장 법이 제안되었다. 본 논문에서는 LDA-확장 법으로 차원을 축소하기 전에 학습 패턴을 사전 클러스터링하여 서브 클래스 수를 증가시키는 방법으로 LDA-확장에 기반을 둔 식별기의 성능을 향상시키는 방법을 제안한다. LDA (또는 Direct-LDA)에서 축소된 특징공간의 차원은 학습패턴의 클래스 수로 제한되기 때문에 LDA의 식별 성능을 향상시킬 수 있도록 학습패턴을 사전에 클러스터링하여 서브 클래스의 수를 증가시키는 방법이다. 즉, 학습패턴의 특성공간(the eigen space)은 레인지 공간(the range space)과 널 공간(the null space)으로 구성되며, 레인지 공간의 차원은 클래스 수의 증가에 따라 증가한다. 따라서 변환 행렬을 구성할 때 클래스의 수를 늘려 널 공간을 최소화하게 되면 이 공간에 기인한 정보의 손실을 최소화 할 수 있다. 제안 방법을 X-OR 형태의 인공데이터와 AT&T와 Yale 벤취마크 얼굴영상 데이터베이스를 대상으로 실험한 결과 본 방법의 효용성을 확인하였다.
For high-dimensional pattern recognition, such as face classification, the small number of training samples leads to the Small Sample Size problem when the number of pattern samples is smaller than the number of dimensionality. Recently, various LDA-extensions have been developed, including LDA, PCA...
For high-dimensional pattern recognition, such as face classification, the small number of training samples leads to the Small Sample Size problem when the number of pattern samples is smaller than the number of dimensionality. Recently, various LDA-extensions have been developed, including LDA, PCA+LDA, and Direct-LDA, to address the problem. This paper proposes a method of improving the classification efficiency by increasing the number of (sub)-classes through pre-clustering a training set prior to the execution of Direct-LDA. In LDA (or Direct-LDA), since the number of classes of the training set puts a limit to the dimensionality to be reduced, it is increased to the number of sub-classes that is obtained through clustering so that the classification performance of LDA-extensions can be improved. In other words, the eigen space of the training set consists of the range space and the null space, and the dimensionality of the range space increases as the number of classes increases. Therefore, when constructing the transformation matrix, through minimizing the null space, the loss of discriminatve information resulted from this space can be minimized. Experimental results for the artificial data of X-OR samples as well as the bench mark face databases of AT&T and Yale demonstrate that the classification efficiency of the proposed method could be improved.
For high-dimensional pattern recognition, such as face classification, the small number of training samples leads to the Small Sample Size problem when the number of pattern samples is smaller than the number of dimensionality. Recently, various LDA-extensions have been developed, including LDA, PCA+LDA, and Direct-LDA, to address the problem. This paper proposes a method of improving the classification efficiency by increasing the number of (sub)-classes through pre-clustering a training set prior to the execution of Direct-LDA. In LDA (or Direct-LDA), since the number of classes of the training set puts a limit to the dimensionality to be reduced, it is increased to the number of sub-classes that is obtained through clustering so that the classification performance of LDA-extensions can be improved. In other words, the eigen space of the training set consists of the range space and the null space, and the dimensionality of the range space increases as the number of classes increases. Therefore, when constructing the transformation matrix, through minimizing the null space, the loss of discriminatve information resulted from this space can be minimized. Experimental results for the artificial data of X-OR samples as well as the bench mark face databases of AT&T and Yale demonstrate that the classification efficiency of the proposed method could be improved.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존의 LDA(또는 LDA-확장 법) 에클러스터링 기법을 적용하여 클래스 수를 늘림으로써, 추출할 수 있는 특징의 수를 늘릴 수 있는 방법을 제안한다. 이 때, 클러스터링 할 클래스를 선정하기 위하여 학습 데이터를 대상으로 클래스 별로 군집 내부거리 * (intra-distamce)' 를 계산하여 클러스터링 할 클래스의 우선순위를 결정한다.
본 논문에서는 클래스별로 사전 클러스터링을 통하여 생성된 클러스터를 가상의 클래스로 취급하여 LDA, PCA+LDA, Direct-LDA 등의 차원 축소 법을 적용하는 방법을 제안하였다. 3차원 인공 데이터 XOR3와 실생활벤취마크 데이터 AT&T, Yale를 대상으로 제안 방법을 평가하는 실험을 하였다.
가설 설정
(2) 새로운 서브 클래스는 Direct-LDA의 학습에서 , 爲와 岛를 계산할 때 영향을 미친다. 기존의 Direct- LDA 에서 최대의 Tank(SQ 는 c—1 인 반면 제안 방법에서는 사전 클러스터링을 통하여 서브 클래스 c'를 생성할 때 최대의 m泌(觅)는 c'—1 (c'>c)로 증가하여 况의 레인지 공간의 차원이 증가한다.
제안 방법
제안하였다. 3차원 인공 데이터 XOR3와 실생활벤취마크 데이터 AT&T, Yale를 대상으로 제안 방법을 평가하는 실험을 하였다. 실험 결과, 제안 방법의 식별율이 기존의 방법보다 전체적으로 우수함을 확인하였다.
또한, 각 알고리즘의 수행을 처리내용에 따라 단계별로 나누어 측정하였다. LDA의 경우 전체 과정을 공분산 계산 단계, 변환행렬구성단계, 변환 행렬을 이용한 차원 축소단계로 나누어 측정하였다. 그리고 PCA+LDA는 여섯 단계로 나누어 측정하였고, Direct-LDA는 네 단계로 나누어 측정하였다.
LDA의 경우 전체 과정을 공분산 계산 단계, 변환행렬구성단계, 변환 행렬을 이용한 차원 축소단계로 나누어 측정하였다. 그리고 PCA+LDA는 여섯 단계로 나누어 측정하였고, Direct-LDA는 네 단계로 나누어 측정하였다. 그리고 모든 알고리즘에서 단계 0은 사전 클러스터링을 수행하는 단계이다.
이 때, 클러스터링 할 클래스를 선정하기 위하여 학습 데이터를 대상으로 클래스 별로 군집 내부거리 * (intra-distamce)' 를 계산하여 클러스터링 할 클래스의 우선순위를 결정한다. 그리크 높은 순위의 클래스부터 클러스터링 하여 해당 클래스를 구성하는 서브 클래스를 구하여 식별 성능을 향상시키는 방법을 제안한다.
즉, AT&T의 1번과 35번 클래스에 포즈나 배경, 또는 조명에 변화가 큰 얼굴영상들이 모여 있음을 알 수 있다. 따라서 이들 영상을 클러스터링하여 서브 클래스로 나누어 처리하였다.”
여기서는 AT&T 만을 대상으로 수행시간을 측정하였으며, 전체 데이터에 대한 leave-one-out 실험에 소요되는 시간을 측정한 값이다. 또한, 각 알고리즘의 수행을 처리내용에 따라 단계별로 나누어 측정하였다. LDA의 경우 전체 과정을 공분산 계산 단계, 변환행렬구성단계, 변환 행렬을 이용한 차원 축소단계로 나누어 측정하였다.
또한, 사전 클러스터링 할 클래스의 수 N을 결정하기 위하여 (즉, 서브 클래스의 수를 결정하기 위한 클러스터를 구하기 위하여) LDA, PCA+LDA, Direct-LDA 에 대한 식별 율의 변화를 관찰하였다. 클래스별로 군집 내부거리를 구하여 정렬한 다음, 가장 거리가 큰 클래스부터 클러스터링한 결과를 대상으로 차원을 축소하였다.
먼저 클러스터링 할 클래스를 결정하기 위하여 군집 거리를 측정하였다. 예를 들어, AT&T를 대상으로 우선순위 10 위내의 클래스번호는 각각 1, 35, 16, 31, 28, 11, 10, 36, 20, 2이었고, 클래스별 군집내부거리는 1.
이용하는 방법 등이 있다. 본 논문에서는 군집 내부거리 등을 참조하여 일부 클래스만을 클러스터링하는 방법을 이용한다.
이때 두 클래스는 각각 중심이 ((-2, -2)r, (2, 2)가와 {(2, -2)七 (-2, 2)♦인 두 개의 부분 집합으로 나누어 표준편차 1인 정규분포의 데이터를 100개씩 모두 43개를 생성하였다(그림 1 참조). 여기에 다시 4개의 부분집합별로 각각 중심이 0이면서 정규분포를 따르는 랜덤 수를 생성하여 세 번째 특징으로 추가한 3차원 데이터를 생성하였다(그림 2 참조). 여기서 두 클래스는 각각 X와 0 기호로 표시하였다.
먼저 학습패턴집합을 생성하는 단계는 a개의 입력패턴 집합으로부터 한 패턴을 제외한 후, 제외한 패턴을 입력패턴으로 사용하고 나머지 a—1 개의 패턴은 학습패턴 집합으로 사용하는 Leave-one-out 성능평가 방법 (이하, L법이라 함)을 사용하였다. 이는 입력 패턴 집합으로부터 1에서 n번째 패턴을 차례로 하나씩 평가패턴 (측정 패턴)으로 선정하는 방식으로, 서로 다른 학습패턴 집합을 생성하고 각 학습패턴에 대해 사전-클러스터링 단계에서부터 NN 식별단계까지의 과정을 n번 반복한 다음, 결과를 평균하여 인식 율을 계산하였다.
이러한 문제를 극복하기 위하여 본 연구에서는 각 클래스를 구성하는 클러스터들을 찾아서 서브 클래스를 구성하여 3, 를 계산함으로 식별 성능의 저하를 방지한다.
이상과 같이 클러스터링할 클래스의 개수 7V을 결정하여 사전 클러스터 링을 수행한 다음, LDA, PCA+LDA 및 Direct-LDA로 차원을 축소하였다. X0R3와 AT&T, Yale를 대상으로 기존 방법과 제안 방법의 식별율을 실험한 결과는 표 2와 같다.
클래스별로 군집 내부거리를 구하여 정렬한 다음, 가장 거리가 큰 클래스부터 클러스터링한 결과를 대상으로 차원을 축소하였다. 이와 같은 과정을 1부터 c까지 모든 클래스에 대하여 반복하면서 NN법으로 식별성능을 측정하였다.
제안 방법은 클러스터링단계, 특징추출단계, 식별단계로 나눌 수 있다. 각 단계별 내용은 다음과 같다.
제안 방법의 식별성능을 평가하기 위한 실험 방법은 학습패턴의 생성, 사전 클러스터링, 특징추출, 최-근방 이웃(nearest neighbor: NN) 식별의 단계로 이루어 졌다. 먼저 학습패턴집합을 생성하는 단계는 a개의 입력패턴 집합으로부터 한 패턴을 제외한 후, 제외한 패턴을 입력패턴으로 사용하고 나머지 a—1 개의 패턴은 학습패턴 집합으로 사용하는 Leave-one-out 성능평가 방법 (이하, L법이라 함)을 사용하였다.
클래스 별로 패턴벡터의 분산을 고려한 군집 내부거리를 구한 후, 군집 내부거리로 클래스들을 내림차순으로 정렬한다. 그리고 정렬된 클래스 중에서 상위 N개의 클래스만을 대상으로 클러스터링하여 찾은 클러스터를 서브 클래스로 생성한다.
대한 식별 율의 변화를 관찰하였다. 클래스별로 군집 내부거리를 구하여 정렬한 다음, 가장 거리가 큰 클래스부터 클러스터링한 결과를 대상으로 차원을 축소하였다. 이와 같은 과정을 1부터 c까지 모든 클래스에 대하여 반복하면서 NN법으로 식별성능을 측정하였다.
대상 데이터
Yale를 이용하였다. AT&T0는 92x112 크기의 영상을 1/4 크기로 축소하여 이용하였고 Yale"은 80x61 크기와 28x23 크기의 얼굴영역 만을 추출하여 이용하였다 E. 본 논문의 실험에서 이용한 데이터 셋의 특성은 표 1과 같다.
그림 3. 2차원으로 사상된 XOR3 인공데이터. (a) LDA, (b) 제안한 LDA, (c) 제안한 Direct-LDA
또한 실제의 벤취마크 데이터로 얼굴 데이터베이스 AT&T와 Yale를 이용하였다. AT&T0는 92x112 크기의 영상을 1/4 크기로 축소하여 이용하였고 Yale"은 80x61 크기와 28x23 크기의 얼굴영역 만을 추출하여 이용하였다 E.
하였다. 먼저 3차원 2-클래스의 인공데이터 “XOR3”를 생성하여 실험하였다. 이때 두 클래스는 각각 중심이 ((-2, -2)r, (2, 2)가와 {(2, -2)七 (-2, 2)♦인 두 개의 부분 집합으로 나누어 표준편차 1인 정규분포의 데이터를 100개씩 모두 43개를 생성하였다(그림 1 참조).
이론/모형
먼저 학습패턴집합을 생성하는 단계는 a개의 입력패턴 집합으로부터 한 패턴을 제외한 후, 제외한 패턴을 입력패턴으로 사용하고 나머지 a—1 개의 패턴은 학습패턴 집합으로 사용하는 Leave-one-out 성능평가 방법 (이하, L법이라 함)을 사용하였다. 이는 입력 패턴 집합으로부터 1에서 n번째 패턴을 차례로 하나씩 평가패턴 (측정 패턴)으로 선정하는 방식으로, 서로 다른 학습패턴 집합을 생성하고 각 학습패턴에 대해 사전-클러스터링 단계에서부터 NN 식별단계까지의 과정을 n번 반복한 다음, 결과를 평균하여 인식 율을 계산하였다.
그리고 정렬된 클래스 중에서 상위 N개의 클래스만을 대상으로 클러스터링하여 찾은 클러스터를 서브 클래스로 생성한다. 본 논문의 실험에서는 클러스터링을 위해 /c-means 알고리즘을 이용한다.
성능/효과
(1) 패턴벡터들의 분포형태가 다중 모형일 때 Fisher 판별함수는 식별에 적합하지 않다. 사전 클러스터링을 통하여 각 클래스를 2개(본 실험에서는 문제의 단순화를 위해 2개의 클러스터만 고려함)의 클러스터로 나누어 차원을 축소하여도 클래스의 구조는 유지된다.
먼저 AT&T의 경우 그림 4(a)에서와 같이, 기존의 Direct-LDA법으로 차원을 축소한 다음 NN법으로 식별하였을 경우 식별 율은 99.00(%)인데 반하여 하나의 클래스를 클러스터링한 다음 Direct-LDA법으로 차원을 축소하는 제안 방법의 식별 율은 98.75(%)이었다. 다시 클러스터링 클래스 수를 늘려감에 따라(서브 클래스 수를 증가시켜 감에 따라) 식별 율은 증감을 반복하면서 전체적으로 감소하였다.
끝으로, 제안 방법은 AT&T가 Yale에 비하여 식별성능이 저조하였다. 그 이유는 두 데이터 모두 포즈와 표정이 다른 반면, 배경과 조명 상태에서는 Yale이 AT&T와 비교하여 큰 차이를 보이고 있기 때문이다.
그러나 조명이나 배경의 변화가 큰 Yale 데이터에 대해서는 식별성능이 큰 폭으로 향상되었다. 따라서 고차원 얼굴 영상 데이터의 분포가 비선형적 다중 모형일 경우에 제안방법의 사전 클러스터링이 차원 축소에 효과적임을 확인하였다.
실험 결과, 제안 방법의 식별율이 기존의 방법보다 전체적으로 우수함을 확인하였다. 먼저 XOR3와 같은 2-클래스 문제의 경우 기존의 LDA에서는 특징을 1차원으로 밖에 뽑을 수 없는데 반해 제안한 방법은 보다 높은 차원으로 특징을 추출하여 인식률을 향상시킬 수 있다. 또한 Direct-LDA의 경우 비교적 얼굴 위치, 조명 상태, 표정 변화의 정도가 낮은 AT&T에 대해서는 제안 방법을 적용하였을 때 성능향상이 없거나 크지 않았다.
3차원 인공 데이터 XOR3와 실생활벤취마크 데이터 AT&T, Yale를 대상으로 제안 방법을 평가하는 실험을 하였다. 실험 결과, 제안 방법의 식별율이 기존의 방법보다 전체적으로 우수함을 확인하였다. 먼저 XOR3와 같은 2-클래스 문제의 경우 기존의 LDA에서는 특징을 1차원으로 밖에 뽑을 수 없는데 반해 제안한 방법은 보다 높은 차원으로 특징을 추출하여 인식률을 향상시킬 수 있다.
때문에 배경 및 조명 상태가 다를 경우 식 (19)에서와 같이 그레이 레벨은 클래스 내부거리의 계산에 큰 영향을 미치게 된다. 실험 결과는 이러한 상황을 반영한 것으로 제안 방법은 조명상태와 배경 등에 기인한 비선형 구조를 해결하는데 유용할 것으로 보여 진다.
제안한 방법은 우선순위가 높은 몇몇 클래스만을 대상으로 클러스터링을 수행하는 방법으로 간단하게 클래스의 비선형 구조를 찾아 인식률을 향상시킬 수 있는 장점이 있다. 본 논문의 구성은 다음과 같다.
표 2에서 X0R3를 대상으로 LDA를 수행할 경우 평균 인식률이 60.25에서 91.25(%)로 크게 상승하였다.
참고문헌 (17)
A. K. Jain, R. P. W. Duin, and J. Mao, 'Statical pattern recognition: a review', IEEE Trans. Pattern Anal. Intell. vol. 22, no. 1 pp. 4-37, March 2000
K. Fukunaga, Introduction to Statistical Pattern Recognition, Second Edition, Academic Press, San Diego, pp. 452-459, 1990
R. Duda, P. Hart, and D. Stork, Pattern Classification, Wiley, New York, 2001
김상운, MATLAB으로 배우는 패턴인식 및 학습, 홍릉과학출판사, 서울, 2005. 1
A. K. Jain and B. Chandrasekaran, 'Dimensionality and sample size consideration in pattern recognition', Handbook of Statistics, P. R. Krishnaiah and L. N. Kanal, Eds., vol. 2, pp. 835-855, 1982
M. Turk and A. P. Pentland, 'Face recognition using eigenfaces,' Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. pp. 586-591, 1991
P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman, 'Eigenfaces vs. Fisherfaces: recognition using class specific linear projection,'IEEE Trans. Pattern Anal. Machine Intell., vol. 19, no. 7, pp. 711-720, May 1997
J. Ye, R. Janardan, C. H Park, and H. Park, 'An optimization criterion for generalized discriminant analysis on undersampled problems', IEEE Trans. Pattern Anal. and Machine Intell., vol. 26, no. 8, pp. 982 -994, Aug. 2004
L. Chen, H. Liao, M. Ko, J. Lin, and G. Yu, 'A new LDA-based face recognition system which can solve the small sample size problem', Pattern Recognition, vol. 33, pp. 1713-1726, 2000
P. Yu and J. Yang, 'A direct LDA algorithm for high-dimensional data with application to face recognition', Pattern Recognition, vol. 34, pp. 2067-2070, 2001
H. Cevikalp, M. Neamtu, M. Wilkes, and A. Barkana, 'Discriminative common vectors for face recognition', IEEE Trans. Pattern Anal. and Machine Intell., vol. 27, no. 1, pp. 4-13, Jan 2005
S. -W. Kim, 'On solving the small sample size problem using a dissimilarity representation for face recognition', Lecture Note in Computer Science, vol. LNCS-4179, pp. 1174-1185, 2006
S. -W. Kim and B. J. Oommen, 'On optimizing kernel-based Fisher discriminant analysis using prototype reduction schemes', Lecture Note in Computer Science, vol. LNCS-4109, pp. 826-834, 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.