[논문]자가 조직화 지도의 커널 공간 해석에 관한 연구

정성문; 김기범; 홍순좌

doi:10.3745/kipstb.2006.13b.4.439

자가 조직화 지도의 커널 공간 해석에 관한 연구
A New Self-Organizing Map based on Kernel Concepts 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.13B no.4 = no.107, 2006년, pp.439 - 448

정성문 (국가보안기술연구소) , 김기범 (국가보안기술연구소) , 홍순좌 (국가보안기술연구소)

초록
AI-Helper

Kohonen SOM(Self-Organizing Map)이나 MLP(Multi-Layer Perceptron), SVM(Support Vector Machine)과 같은 기존의 인식 및 클러스터링 알고리즘들은 새로운 입력 패턴에 대한 적응성이 떨어지고 학습 패턴 자체의 복잡도에 대한 학습률의 의존도가 크게 나타나는 등 여러 가지 단점이 있다. 이러한 학습 알고리즘의 단점은 문제의 학습 패턴자체의 특성을 잃지 않고 문제의 복잡도를 낮출 수 있다면 보완할 수 있다. 패턴 자체의 특성을 유지하며 복잡도를 낮추는 방법론은 여러 가지가 있으며, 본 논문에서는 커널 공간 해석 기법을 접근 방법으로 한다. 본 논문에서 제안하는 kSOM(kernel based SOM)은 원 공간의 데이터가 갖는 복잡도를 무한대에 가까운 초 고차원의 공간으로 대응시킴으로써 데이터의 분포가 원 공간의 분포에 비해 상대적으로 성긴(spase) 구조적 특정을 지니게 하여 클러스터링 및 인식률의 상승을 보장하는 메커니즘 을 제안한다. 클러스터링 및 인식률의 산출은 본 논문에서 제안한 새로운 유사성 탐색 및 갱신 기법에 근거하여 수행한다. CEDAR DB를 이용한 필기체 문자 클러스터링 및 인식 실험을 통해 기존의 SOM과 본 논문에서 제안한 kSOM과 성능을 비교한다.

Abstract ▼ AI-Helper

Previous recognition/clustering algorithms such as Kohonen SOM(Self-Organizing Map), MLP(Multi-Layer Percecptron) and SVM(Support Vector Machine) might not adapt to unexpected input pattern. And it's recognition rate depends highly on the complexity of own training patterns. We could make up for and improve the weak points with lowering complexity of original problem without losing original characteristics. There are so many ways to lower complexity of the problem, and we chose a kernel concepts as an approach to do it. In this paper, using a kernel concepts, original data are mapped to hyper-dimension space which is near infinite dimension. Therefore, transferred data into the hyper-dimension are distributed spasely rather than originally distributed so as to guarantee the rate to be risen. Estimating ratio of recognition is based on a new similarity-probing and learning method that are proposed in this paper. Using CEDAR DB which data is written in cursive letters, 0 to 9, we compare a recognition/clustering performance of kSOM that is proposed in this paper with previous SOM.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 장에서는 kSOM(kemel-based Self Organizing Map) 의 기반 구조가 되는 전통적 SOM 알고리즘의 개념을 기술 한다. 또한 전통적 SOM의 한계와 이를 개선하기 위해 기계 학습에서 도입된 커널 공간 해석 기법에 대한 개념을 기술 한다.
본 논문은 기존의 Kohonen SOM에 커널 공간 해석기법을 접목함으로써 커널 공간에서의 kSOM 알고리즘을 제안 하고, 동일한 복잡도를 갖는 문제에 대해 기존의 알고리즘 과 비교 실험을 통해 성능의 향상을 검증하였다. 이는 기존의 비교사학습의 전통적 문제인 문제의 복잡도에 따른 클러 스터링 성능 하락의 단점을 해결할 수 있는 획기적인 접근 법이다.

제안 방법

2.1에서 설명한 Kohonen의 SOM 알고리즘에 커널 개념을 적용하여 새로운 학습 법칙을 유도한다.
그러나 노드 의 개수가 적으면, 클러스터간의 경계 영역에서의 중첩이 심 하게 발생하기 때문에 Kohonen SOM 뿐만 아니라 kSOM의 경우 역시 그 성능을 확인하기 어렵다. 둘 간의 성능 비교를 위해 정상적인 학습이 이루어질 수 있는 최소한의 특징 지 도 크기를 설정할 필요가 있으며, 2乂2, 3×3, 4x4형태로 점진적으로 지도의 크기를 확대하며 실험한 결과 5x5이상 인 경우 Kohonen SOM과 kSOM간의 성능차가 최대화되기 시작하므로, 실험은 5x5환경에서 수행한다.
본 논문에서 제안하는 kSOM(kemel-based SOM)은 Kohonen의 SOM 알고리즘에 대해 초기화 단계와 샘플링 단계는 동일 하며 유사성 탐색과 갱신의 단계에서 차이점이 존재한다.
본 논문에서는 커널 공간에서 새롭게 정의된 Kohone SOM 학습 모델을 커널 함수의 특징을 이용하여 벡터 내적으로 재구성함으로써 커널 공간의 성긴(sparse) 구조적 특징을 활 용하여 향상된 SOM 알고리즘을 제안하고, 제안된 알고리즘 의 수학적 증명을 통해 학습 알고리즘으로서의 수렴성을 증 명한다.
본 논문에서는 커널 함수의 특징을 이용하여 기존의 SOM 의 학습 법칙을 커널 공간상의 벡터 내적으로 치환함으로써 새로운 커널 공간 kSOM을 유도한다. 유도된 학습 법칙의 수렴성 여부를 증명하고 필기체 문자 인식 실험을 통해 비 교사학습의 인식률을 교사학습에 준하는 수준으로 향상시킬 수 있음을 증명한다.
본 장에서는 전통적인 Kohonen의 SOM과 본 논문에서 제안한 kSOM의 성능을 비교하는 실험을 수행한 결과를 분 석한다. 사용한 데이터는 CEDAR DB의 0~9 숫자에 대한 필기체 이미지와 TI46DB의。~9까지의 음성데이터이다.
이 절에서는 커널 공간의 개념을 설명하고, 적절한 커널 함수를 선택함으로써 비선형적 특성을 갖는 높은 복잡도의 데이터 분포를 선형적 특성을 갖는 데이터 분포로 재구성하는 커널 공간 해석 기법을 기술한다.
즉, 둘은 서로 다른 데이터를 사용한 SOM이라고 봐도 무방하 다. 제안한 알고리즘의 목표가 N차원 공간의 데이터를 M차 원 공간으로 전사(mapping)하여 데이터들 간의 분포에 변화가 발생하기를 기대하는 방법이다. 이때 데이터들의 분포는 사용한 커널 함수에 따라 다르기 때문에 정확히 모사할 수 없으나, 고 차원으로의 전사가 데이터 분포에 성김 특성을 부여하여 Kohonen SOM의 경우에 비해 상대적으로 명확한 클러스터링 결과를 보인다.
사용한 데이터는 CEDAR DB의 0~9 숫자에 대한 필기체 이미지와 TI46DB의。~9까지의 음성데이터이다. 필 기체 숫자는 18000개의 학습 패턴과 300B개의 테스트 패턴 으로 이루어져 있으며 12*12 크기의 픽셀과 각 픽셀은 15까지의 정수 값을 갖도록 정규화 하여 실험하며, 음성 데 이터는 0~9 영어 숫자 발음과 Enter, Space등의 10 명령어, A~Z의 알파벳 발음으로 이루어져 있으며 MFCC에 기반한 음성 특징 추출 방법으로 이용하여 64프레임으로 10ms 씩 이동하며 각 프레임은 30ms로 이루어지도록 하였다. 이때 각 프레임으로부터 12개씩의 MFCC 계수를 추출하여 768차 원(64프레임*12MFCC계수)을 구성하여 실험한다.
Kohonen의 SOM 알고리즘은 학습 단계 측면에서 크게 세 가지 과정(샘플링, 유사성 탐색, 갱신)으로 나눌 수 있으며, 학습 상태 측면에서는 크게 두 가지 단계(정렬, 수렴)로 나눌 수 있다. 학습은 샘플링, 유사성 탐색, 갱신과정을 반복함으 로써 비교사학습을 수행한다. 이때 학습은 특징지도(feature map)의 형태가 더 이상 움직이지 않는 임계점 안에 들어올 때까지 세 과정을 반복한다.

데이터처리

기존의 Kohonen SOM을 이용하여 트레이닝 패턴에 대해 클러스러링을 수행하고, 그 결과 각 노드를 대표하는 값을 선정하여, 임의의 입력에 대해 클러스터링 결과의 신뢰도를 테스트하고, 동일한 문제에 대해 kSOM을 적용하여 클러스 터링을 수행함으로써 기존 결과와 비교한다. 이때 인식률을 계산하는 방법은 다음과 같다.

이론/모형

본 논문에서는 문제의 복잡도를 해결하기 위한 접근법으 로 커널 공간 해석 기법을 적용한다. 원 공간에서의 데이터 분포가 복잡하더라도 커널 공간으로 대응시킴으로 선형적으 로 분리 가능한 형태로 데이터의 분포가 변환이 된다면 높은 수준의 클러스터링 결과를 기대할 수 있다.
본 절에서는 Kohonen이 제안했던 전통적 SOM[11]의 알고리즘을 기술한다.

성능/효과

실제 학습결과를 보면 0-3, 0-2, 1-3, 1-2 쌍 특징 지도에서 서로 접하는 공간에 놓여있다. 그러나 원 데이터의 유사성으로 인한 문제의 복잡도가 전혀 해결되지 않았기 때문에 각 클래스가 접하는 부분을 비롯한 중앙 영역에서 클러스터링이 거의 이 루어지지 않음을 확인할 수 있다.
본 논문에서 제안하는 kSOM역시 다차원으로 데이터를 대응 시킴으로써 데이터의 분포를 원 공간에 비해 상대적으로 성기게 만듦으로써 경계 영역에서의 모호성을 제거하고, 커널 기교를 이용하여 차원의 상승으로인한 계산량 증가 문제를 해결함으로써 비교사학습인 클러스터링에서도 SW[과 같은 결과를 이끌어 낸다.
실제 실험에서는 Gaussian RBF 커널 함수와, Polynomial 커널 함수를 사용하여 실험하였으며 CEDAR DB의 경우 Gaussian RBF의 경우 좋은 성능을 나타낸 반면, TI46 DB 의 경우 차원이 낮은 Polynomial 커널 함수일 경우 좋은 성능을 보였으며, Polynomial의 차원을 높일수록 급격히 성능 이 하락하였다.
즉, 하나의 노드가 계속적으로 경쟁에서 승리하여 선택 학습되거나, 경쟁에서 항상 밀려나 학습이 전혀 이루어지지 않더라도 발산하거나 진동하는 경우는 발생하지 않게 됨을 확인할 수 있다.

후속연구

92%에 이른다. 본 논문에서 제안한 비교 사학습의 성능 향상을 위한 접근법처럼, 문제의 복잡도를 해결할 수만 있다면 비교사학습을 통해서도 교사학습에 준 하는 수준의 높은 인식률을 얻을 수 있을 것으로 예상할 수 있다.
본 논문에서는 비교사학습 이론중 하나인 SOM을 대상으로 커널 공간 해석기법을 적용하였으나, 향후 MLP, RBF등 다양한 알고리즘에 대한 커널 공간 확장을 시도함으로써 추 가적인 성능향상이 예상된다.

참고문헌 (11)

V.N. Vapnik, 'The nature of statistical learning theory', Springer Verlag, New York, 1995
V.N. Vapnik, 'Statistical Learning Theory', Wiley, New York, 1998
K-R. Muller, et al., 'An Intoduction to Kernel-Based Learning Algorithms', IEEE Transactions on Neural Netwoks, Vol.12, No.2, March, 2001

상세보기
C.J.C. Burges, 'A Tutorial on Support Vector Machines for Pattern Recognition', Data Mining and Knowledge Discovery, Vol.2, pp.121-167, 1998

상세보기
Bernhard Scholkopf, et. al., 'Input Space vs. Feature Space in Kernel Based Methods', IEEE Transactions on Neural Netwoks, Vol.10, No.5, pp.1000-1017, 1999

상세보기
B. Scholkopf, 'Support vector learning', Oldenbourg Verlag, Munich, 1997
G. Baudat and F. Anouar, 'Generalized discriminant analysis using a kernel approach', Neural Computation, Vol.12, No.10, pp.2385-2404, 2000

상세보기
B. Scholkopf, A.J, Smola, and K-R. Muller, 'Nonlinear component analysis as a kernel eigenvalue problem', Neural Computation, Vol.10, pp.1299-1319, 1998

상세보기
Y.A. LeCun, et. al., 'Learning algorithms for classification: A comparison on handwritten digit recognition', Neural Networks, 1995
Sungmoon Cheong, Sang Hoon Oh and Soo- Young Lee, 'Support Vector Machines with Binary Tree Achitecture for Multi-Class Classification', Neural Information Processing Letters and Reviews, Vol.2, No.3, March, 2004
Simon Haykin, 'Neural Networks', Prentice Hall, 2nd Ed., 1999

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증