이 논문은 고차원의 데이터를 저 차원으로 줄이는 방법 중 하나인 특징추출에 대한 방법들의 특성을 비교한다. 비교대상 방법은 전통적인 PCA(Principal Component Analysis)방법과 시각피질의 특성을 보인다고 알려진 ICA(Independent Component Analysis), 국소기반인식을 구현한 NMF(Non-negative Matrix Factorization), 그리고 이의 성능을 개선한 sNMF(Sparse NMF)로 정하였다. 추출된 특징들의 특성을 시각적으로 확인하기 위하여 필기체 숫자 영상을 대상으로 특징추출을 수행하였으며, 인식기에 적용한 효과의 확인을 위하여 추출된 특징을 다층퍼셉트론에 학습시켜보았다. 각 방법의 특성을 비교한 결과는 응용하고자 하는 문제에서 어떤 특징을 추출하기 원하느냐에 따라 특징추출 방법을 선정할 때 유용할 것이다.
이 논문은 고차원의 데이터를 저 차원으로 줄이는 방법 중 하나인 특징추출에 대한 방법들의 특성을 비교한다. 비교대상 방법은 전통적인 PCA(Principal Component Analysis)방법과 시각피질의 특성을 보인다고 알려진 ICA(Independent Component Analysis), 국소기반인식을 구현한 NMF(Non-negative Matrix Factorization), 그리고 이의 성능을 개선한 sNMF(Sparse NMF)로 정하였다. 추출된 특징들의 특성을 시각적으로 확인하기 위하여 필기체 숫자 영상을 대상으로 특징추출을 수행하였으며, 인식기에 적용한 효과의 확인을 위하여 추출된 특징을 다층퍼셉트론에 학습시켜보았다. 각 방법의 특성을 비교한 결과는 응용하고자 하는 문제에서 어떤 특징을 추출하기 원하느냐에 따라 특징추출 방법을 선정할 때 유용할 것이다.
In this paper, feature extraction methods, which is one field of reducing dimensions of high-dimensional data, are empirically investigated. We selected the traditional PCA(Principal Component Analysis), ICA(Independent Component Analysis), NMF(Non-negative Matrix Factorization), and sNMF(Sparse NMF...
In this paper, feature extraction methods, which is one field of reducing dimensions of high-dimensional data, are empirically investigated. We selected the traditional PCA(Principal Component Analysis), ICA(Independent Component Analysis), NMF(Non-negative Matrix Factorization), and sNMF(Sparse NMF) for comparisons. ICA has a similar feature with the simple cell of V1. NMF implemented a "parts-based representation in the brain" and sNMF is a improved version of NMF. In order to visually investigate the extracted features, handwritten digits are handled. Also, the extracted features are used to train multi-layer perceptrons for recognition test. The characteristic of each feature extraction method will be useful when applying feature extraction methods to many real-world problems.
In this paper, feature extraction methods, which is one field of reducing dimensions of high-dimensional data, are empirically investigated. We selected the traditional PCA(Principal Component Analysis), ICA(Independent Component Analysis), NMF(Non-negative Matrix Factorization), and sNMF(Sparse NMF) for comparisons. ICA has a similar feature with the simple cell of V1. NMF implemented a "parts-based representation in the brain" and sNMF is a improved version of NMF. In order to visually investigate the extracted features, handwritten digits are handled. Also, the extracted features are used to train multi-layer perceptrons for recognition test. The characteristic of each feature extraction method will be useful when applying feature extraction methods to many real-world problems.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
앞에서 설명한 PCA, ICA, NMF, 및 sNMF를 "필기체 숫자영상”을 대상으로 실행하여 추출된 특징들을 비교하고자 한다. 필기체 숫자 영상을 대상으로 특징추출을 하는 이유는, 추출된 특징들이 어떠한 특성을 지녔는지 시각적으로 쉽게 확인하기 위해서이다.
특징추출은 고차원의 데이터를저차원의 데이터로 변환시키는 것이고, 특징선택은 변환 없이 고차원 데이터의 부분집합을 선택하는 것이다. 이 논문에서는 데이터의 변환에 관심을 두고서 특징추출에 대하여 고찰하고자 한다.
이 논문은 위에서 열거한 방법들 중 데이터로부터 선형적으로 특징을 추출하는 방법들의 특징을 비교하여, 향후 고차원의 데이터에서 특징을 추출하고자 할 경우에 어떤 방법을 사용할 지에 대한 기본 지식을 제공하고자 한다. 비교대상으로 삼은 선형적 특징추출 방법은전통적으로 많이 사용되는 PCAC2], 두뇌의 VI 시각피질과 특성이 유사하여 주목받은 ICAI5], 양의 값만을지니는 영상에서 추출해낸 특징이 두뇌의 "국소에 기반한 특징추출”과 유사하다고 알려진 NMFC4]와 이의 특징을 개선한 Sparse NMFW이다.
비교대상으로 삼은 선형적 특징추출 방법은전통적으로 많이 사용되는 PCAC2], 두뇌의 VI 시각피질과 특성이 유사하여 주목받은 ICAI5], 양의 값만을지니는 영상에서 추출해낸 특징이 두뇌의 "국소에 기반한 특징추출”과 유사하다고 알려진 NMFC4]와 이의 특징을 개선한 Sparse NMFW이다. 이 방법들을 필기체숫자 영상을 대상으로 시뮬레이션 하여 추출되는 특징들의 특성을 조사해보고자 한다. 필기체 숫자 영상을대상으로 선정한 이유는 특징추출 효과를 시각적으로쉽게 확인할 수 있기 때문이다.
가설 설정
) 는 신호원(source signal)의 cumulative density function0] 되도록 한다. 이제, yt 들이 지닌 결합엔트로피(joint entropy)가 최 대로 되도록 학습을 한다면 yt 들은 서로 독립이 될 것이다. 이는 u 의 요소들이 서로 독립인 것을 뜻하며, u 의 확률밀도함수는 신호원 S 와 같게 된다.
제안 방법
CEDAR 데이터베이스의 18, 468개의 학습패턴을 사용하여 특징 추출 후 MLP를 학습시켰으며, 2, 213개의시험패턴으로 일반화 성능을 측정하였다. MLP의 중간층 노드는 30개이고, 출력층 노드는 10개이다.
추출되는 특징들의 특성을 시각적으로 확인하기 위하여 필기체 숫자 영상을 대상으로 특징추출 시뮬레이션을 하였다. PCA는 저주파 성분부터 고주파 성분에 설쳐 다양한 전체적 모양의 특징과 특정 픽셀에 반응하는 특징을 추출하였다. ICA는 두뇌의 VI영역에 해당하는 단순한 선모양의 특징을 추출하였으며, PCA후에 ICA를 적용한 경우에 추출된 특징은 여러가지 곡선이나 복선의 복잡한 모양의 특징들이 추출되었다.
Section II에서 대표적인 선형적 특징추출 방법들인 PCA, ICA, NMF, 그리고 sNMF를 간략히 소개한다. Section HI에서 필기체 숫자 영상을 대상으로 각 방법을 사용하여 특징을 추출하고, 어떠한 특성을 지녔는지 실험적으로 분석한다「그리고, 각 특징추출을 이용한 인식실험도 실시한다. 마지막으로 Section IV에서 결론을 맺는다.
이 논문의 구성은 다음과 같다. Section II에서 대표적인 선형적 특징추출 방법들인 PCA, ICA, NMF, 그리고 sNMF를 간략히 소개한다. Section HI에서 필기체 숫자 영상을 대상으로 각 방법을 사용하여 특징을 추출하고, 어떠한 특성을 지녔는지 실험적으로 분석한다「그리고, 각 특징추출을 이용한 인식실험도 실시한다.
그리고, 추출된 특징들을 인식기에 직접 적용한 경우의 특성을 파악해보기 위하여, 각 방법에서 추출된 특징들로 MLP를 학습시켜 보았다. PCA와 NMF는 MLP 의 학습이 잘 이루어졌다.
앞에서는 PCA ICA, NMF, 및 sNMF를 이용하여 추출된 특징들이 서로 다른 특성을 지녔음을 필기체 숫자 영상을 통하여 시각적으로 확인하였다. 이들 특성을 기반으로 특징 추출이 필요한 경우에 응용문제를 해결하는데 적합하다고 여겨지는 특징추출 방법을 선정할 수 있을 것이다.
이 논문에서는 선형적 특징추출 방법인 PCA, ICA, NMF, 그리고 sNMF의 특성을 비교하였다. 추출되는 특징들의 특성을 시각적으로 확인하기 위하여 필기체 숫자 영상을 대상으로 특징추출 시뮬레이션을 하였다.
[그림 1]은 필기체 숫자 영상의 예를 보여준다. 이 숫자영상들 각각을 144차원의 벡터로 변환시킨 후 144x144 크기의 상관행렬을 만들어 PCA를 수행하였다. 그런 다음 얻어진 eigenvector들을 각각 다시 12x12 크기로 변환하여 [그림 2]에 그렸다.
이와 달리 ICA에 의해 고차원의 데이터를 저차원으로 축소하면서 추출되는 특징을 보기 위하여, PCA를먼저 적용한 후 그 결과에 대하여 ICA를 적용하여 보았다. 여기서, ICA의 전단계에 PCA 처리를 하는 것은 "사람의 망막에 주어진 영상이 LGN(Lateral Geniculate Nucleus)에서 상관관계가 제거된다[6]"고 알려진 작용을 적용한 것이다.
여기서, ICA의 전단계에 PCA 처리를 하는 것은 "사람의 망막에 주어진 영상이 LGN(Lateral Geniculate Nucleus)에서 상관관계가 제거된다[6]"고 알려진 작용을 적용한 것이다. 즉, 망막세포에 입력된 영상 신호가두뇌로 전달되는 과정 중에 LGN을 통과하게 되는 데, 망막에 입력된 영상의 각 pixel 간에 상관관계가 이 LGN을 통과하면서 제거되는 것을 PCA로 구현한 것이다. 일종의 화이트닝 (whitening) 효과가 이 단계에서 일어난다.
추출되는 특징들의 특성을 시각적으로 확인하기 위하여 필기체 숫자 영상을 대상으로 특징추출 시뮬레이션을 하였다. PCA는 저주파 성분부터 고주파 성분에 설쳐 다양한 전체적 모양의 특징과 특정 픽셀에 반응하는 특징을 추출하였다.
이들 특성을 기반으로 특징 추출이 필요한 경우에 응용문제를 해결하는데 적합하다고 여겨지는 특징추출 방법을 선정할 수 있을 것이다. 한편으로, 필기체 숫자 인식의 경우 각각의 특징 추출 방법을 활용한 인식결과를 확인해보기 위하여, 위와 같이 추출된 특징들을 인식하는 시뮬레이션을 수행하였다. 인식기는 다층퍼셉트론 (MLF multilayer perceptron)[12]을 사용하였으며 PC에서 c 프로그램으로 구현하였다.
대상 데이터
필기체 숫자 영상은 CEDAR 데이터 베이스[11]에 있는 18, 468개를 사용하였으며, 각각의 숫자 영상은 12 X 12 크기의 16 그레이 레벨 값을 지녔다. [그림 1]은 필기체 숫자 영상의 예를 보여준다.
이론/모형
이를 위하여 NMF 알고리즘에 sparseness를 부가하기 위하여 여러가지 알고리즘이 제안되었다. 그 중 하나인 H 에 sparseness를 부여한 sNMF 알고리즘을 이 논문에서 사용하고자 한다. 이를 위한 알고리즘은
필기체 숫자 영상을 대상으로 특징추출을 하는 이유는, 추출된 특징들이 어떠한 특성을 지녔는지 시각적으로 쉽게 확인하기 위해서이다. 여기서, 특징추출 및 그 결과의 그림그리기는 PC에서 Matlab을 이용하여 구현하였다.
한편으로, 필기체 숫자 인식의 경우 각각의 특징 추출 방법을 활용한 인식결과를 확인해보기 위하여, 위와 같이 추출된 특징들을 인식하는 시뮬레이션을 수행하였다. 인식기는 다층퍼셉트론 (MLF multilayer perceptron)[12]을 사용하였으며 PC에서 c 프로그램으로 구현하였다.
성능/효과
PCA와 NMF 특징추출의 경우는 학습이 아주 빠르게 잘 진행되었으며 성능도 비슷하게 좋음을 볼 수 있다. 500 epoch의 학습 종료 후 시험패턴에 대한 오인식률은 PCA는 5.06%, NMF는 5.18%이다 그렇지만, sNMF는학습 속도가 아주 느리며, 학습이 정체되고 더 이상 진행되지 못하는 양상을 보이고 있다. 그 이유는 sNMF에의해 얻어진 특징들의 계수가 sparse하게 되기 때문이다.
물론, 두뇌의 V4 영역이 복합특징을 추출하지만 여기서 추출된 것과는 연관성이 부족하다. NMF에 의해 추출된 특징은 입력 영상의 아주 국소적인 부분에 대한 특징들이 추출되어 두뇌의 국소기반 인식 기능과 유사하였으며, PCA 및 ICA 가 전체적인 모양의 특징을 주줄하는 것과는 아주 다름을 확인하였다. 마지막으로 sNMF를 적용하여 얻어진 특징들은 PCA 혹은 ICA 처럼 전체적인 모양은 아니지만 NMF에서 얻어지는 국소적인 특징 보다는 더 넓은 영역에서 특징이 추출되었다.
마지막으로 sNMF를 적용하여 얻어진 특징들은 PCA 혹은 ICA 처럼 전체적인 모양은 아니지만 NMF에서 얻어지는 국소적인 특징 보다는 더 넓은 영역에서 특징이 추출되었다. 또한 파라미터 조정을 통하여 추출되는 특징이 담당하는 영역을 조절할 수 있는 기능도 있음을 확인하였다.
그렇지만, 사람의 두뇌가 시각피질의 VI영역세포에 의해 단순 특징을 추출 후 이를 기반으로 V4영역의 세포에 의해 복잡한 특징 (con?>lex feature) 이 추출되는 것처럼[13], 단순한 특징을 기반으로 단계적인과정에 의해 복잡한 특징을 추출하고 이를 기반으로 인식기를 구현하고자 한다면 ICA에 의한 특징추출을 기반으로 복합특징추출을 구현할 수 있을 것이다. 또한, 전체적인 모양의 특징 추출(PCA 혹은 ICA)과 아주 국소적인 특징추출(NMF)의 중간 단계에서 다양한 특징추출을 원한다면 sNMF가 적합하다고 여겨진다. [표 1] 은 이러한 내용들을 요약한 것이다.
NMF에 의해 추출된 특징은 입력 영상의 아주 국소적인 부분에 대한 특징들이 추출되어 두뇌의 국소기반 인식 기능과 유사하였으며, PCA 및 ICA 가 전체적인 모양의 특징을 주줄하는 것과는 아주 다름을 확인하였다. 마지막으로 sNMF를 적용하여 얻어진 특징들은 PCA 혹은 ICA 처럼 전체적인 모양은 아니지만 NMF에서 얻어지는 국소적인 특징 보다는 더 넓은 영역에서 특징이 추출되었다. 또한 파라미터 조정을 통하여 추출되는 특징이 담당하는 영역을 조절할 수 있는 기능도 있음을 확인하였다.
학습이 잘 진행되지 않거나 아주 느리게 학습이 되었다. 마지막으로, PCA후 ICA를 적용한특징추출 방법은 MLP에서 학습이 전혀 진행되지 않았다. 즉, 추출된 특징을 바로 인식기에 입력할 경우는 ICA나 sNMF 처럼 추출된 값이 독립적이거나 sparse 하게 하는 방법은 적합하지 않고 PCA나 NMF 같은 방법이 적합하다.
[그림 3]은 이와 관련된 eigenvalue들을 보여주는데, 가로축은 eigenvector의 인덱스(1부터 144까지) 이고 세로축은 eigenvalue이다. 추출된 특징들이 저주파 성분부터 고주파 성분으로 다양하게 나타나며, 끝부분으로 갈수록 특정 pixel에만 작용하는 특징이 추출되었음을 알 수 있다. [그림 3]으로 부터는 인덱스가 100이상에서는 eigenvalue들이 거의 무시될 만큼 작은 것을 알 수 있다.
후속연구
그렇지만, 사람의 두뇌가 시각피질의 VI영역세포에 의해 단순 특징을 추출 후 이를 기반으로 V4영역의 세포에 의해 복잡한 특징 (con?>lex feature) 이 추출되는 것처럼[13], 단순한 특징을 기반으로 단계적인과정에 의해 복잡한 특징을 추출하고 이를 기반으로 인식기를 구현하고자 한다면 ICA에 의한 특징추출을 기반으로 복합특징추출을 구현할 수 있을 것이다. 또한, 전체적인 모양의 특징 추출(PCA 혹은 ICA)과 아주 국소적인 특징추출(NMF)의 중간 단계에서 다양한 특징추출을 원한다면 sNMF가 적합하다고 여겨진다.
이 논문에서 얻어진 결과는 향후 고차원의 데이터를 선형적인 방법의 특징추출을 통하여 저차원으로 변환시킬 경우 어떠한 성질의 특성이 추출되기를 원하는 지에 따라 적합한 특징추출 방법을 선정할 때 기초적인 자료로 활용할 수 있을 것이다.
통하여 시각적으로 확인하였다. 이들 특성을 기반으로 특징 추출이 필요한 경우에 응용문제를 해결하는데 적합하다고 여겨지는 특징추출 방법을 선정할 수 있을 것이다. 한편으로, 필기체 숫자 인식의 경우 각각의 특징 추출 방법을 활용한 인식결과를 확인해보기 위하여, 위와 같이 추출된 특징들을 인식하는 시뮬레이션을 수행하였다.
참고문헌 (13)
H. Kim and H. Park, "Sparse non-negative matrix factorizations via alternating non-negativity -constrained least squares for microarray data analysis," Bioinformatics, pp.1495-1502, 2007.
Keinosuke Fukunaga, Introduction to Statistical Pattern Recognition, Elsevier, 1990.
J. Ye, R. Janardan, Q. Li, and H. park, "Feature reduction via generalizaed uncrrelated linear discriment analysis," IEEE Trans. Knowledge and Data Engineering, Vol.18, pp.1312-1322, 2006.
T.-W. Lee, M. Girolami, A. J. Bell, and T. J. Sejnowski, "A unfying information -theoretic framework for independent component analysis," Computers & Mathematics with Applications, Vol.31. pp.1-21, 2000.
E. Doi, T. Inui, T-W. Lee, T. Wachtler, and T. J. Sejnowski, "Spatiochromatic receptive field properties derived from information-theoretic analyses of cone mosaic responses to natural scenes," Neural Computation, Vol.15, pp.397-417, 2003.
J. B. Tenenbaum, V. de Silva, and J. C. Langford, "A global geometric framework for nonlinear dimensionality reduction," Science, Vol.290, No.22, pp.2319-2323, 2000.
J.-M. Alonso and L. M. Martinez, "Functioanl connectivity between simple cells and complex cells in cat striate cortex," Nature Neuroscience, Vol.1, No.5, pp.395-403, 1998.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.