초록 ▼

뛰어난 일반화성능(Generalization performance)을 가진 Support Vector
Machine(SVM)을 이용하여 특정 응용 분야를 통한 커널 비교 분석, SVM을 다중-클
래스 분류 문제에 적용하기 위한 방법론 제시, 최적 SVM 분류기를 위한 커널 모델
선택 방법론 및 최적 Support Vector(SV)의 선택 방법론에 대한 연구를 목표로 한다.
Support Vector Machine(SVM)은 패턴 인식, 회귀분석, 분류 문제 등 수학과 통계
학, 인공지능, 컴퓨터 비젼 분

뛰어난 일반화성능(Generalization performance)을 가진 Support Vector
Machine(SVM)을 이용하여 특정 응용 분야를 통한 커널 비교 분석, SVM을 다중-클
래스 분류 문제에 적용하기 위한 방법론 제시, 최적 SVM 분류기를 위한 커널 모델
선택 방법론 및 최적 Support Vector(SV)의 선택 방법론에 대한 연구를 목표로 한다.
Support Vector Machine(SVM)은 패턴 인식, 회귀분석, 분류 문제 등 수학과 통계
학, 인공지능, 컴퓨터 비젼 분야 등 그 활용 범위가 매우 넓다. 이러한 응용분야에서
다른 방법론에 비해 SVM의 우수성이 입증되었음에도 불구하고, SVM은 본질적으로
해결되어야 할 문제점들을 많이 가지고 있다. 최적 SVM 커널의 선택 문제, 다중 클
래스 문제, 모수 결정 문제, 일반화 성능 향상 문제, 시간 단축 문제 등이 그것이다.
우리는 본 연구를 통해 SVM의 본질적인 특성을 파악하고 SVM을 실제 문제에 적용
시에 발생하는 문제점들에 대해 분석하고 해결책을 제시했다. 우리의 연구내용을 다
음과 같이 세 가지로 요약해 본다.
첫째, 우리는 SVM의 최적 커널을 선택하는 문제를 연구하였다. 우리는 먼저 SVM
에 일반적으로 적용되는 커널인 polynomial, RBF, Sigmoid 커널의 성능을 비교하였
다. 부스팅(boosting)방식을 커널의 최적화에 도입하여 각각의 주어진 응용 문제에 맞
게 비선형 커널이 최적화 되도록 수렴하도록 하는 방식을 연구하였다.
둘째, 우리는 SVM을 다중 클래스 문제를 효과적으로 해결할 수 있는 방안을 제시
하였다. SVM은 본질적으로 이진 분류 문제를 다루기에 이를 다중 클래스로 확장하
는 방식이 많이 연구되고 있다. 우리는 여기서 다중 클래스 문제를 해결하기 위한
N-Division 알고리즘을 제안하고 기존의 방식보다 우월함을 실험적으로 입증하였다.
셋째, 우리는 SVM의 일반화 성능 및 속도 향상을 위한 방법론을 연구하였다. SVM
의 일반화 성능향상을 위하여 가상 Support Vector(SV)를 고려하는 방식과 주어진
데이터의 고유성(invariant property)을 이용하는 방식을 연구하였다. 일반적으로
SVM은 주어진 학습데이터의 개수에 비례하여 테스트 시간이 늘어나는 경향이 있어
대용량의 데이터를 사용할 경우 실시간에 적용하기 어려운 문제점이 있다. 우리는
SVM 결정 함수를 선형으로 접근하는 방식인 축소 집합 방식으로 일반화 성능을 많
이 떨어트리지 않고 5배 이상의 속도 향상을 가져오는 방식을 연구하였다.
우리는 이번 연구를 통하여 SVM을 실제 문제의 적용에서 나타나는 문제점들을
SVM의 본질적인 특성을 분석함으로써 해결하였다. SVM의 본질적인 특성들이 연구
되었으며, SVM을 적용 시에 나타나는 최적 커널 선택 방법, 다중 클래스 문제 해결
방법, 일반화 성능 향상 및 테스트 속도 향상 방법 등에 대한 연구가 수행되었다. 이
를 통해 다양한 패턴 인식 문제에서 SVM의 활용이 용이해졌으며 SVM의 성능을 최
적화 시킬 수 있었다.

Abstract ▼

Our study is about the Support Vector Machine (SVM) that is well known as its
excellent generalization performance. The purpose of our study is to compare the
performance of SVM kernels, to propose the method that SVM can be applied to
multi-class problems, to find the optimal kernel and pa

Our study is about the Support Vector Machine (SVM) that is well known as its
excellent generalization performance. The purpose of our study is to compare the
performance of SVM kernels, to propose the method that SVM can be applied to
multi-class problems, to find the optimal kernel and parameters for SVM, and to
find optimal Support Vectors.
Support Vector Machines (SVMs) is well known as its good performance in
these area, SVM has many problems to be solved due to its inheritance, including
problems of selecting optimal SVM kernels, multi-class classification, determining
optimal parameters, improving generalization performance, reducing test time.
We studied the original properties of SVMs and analyzed difficulties in applying
SVM to the real-world problems, and proposed the solutions to them. Our study
can be summarized in the three categories.
First, we studied the ways to select optimal SVM kernels. We compared the
performance of the widely used kernels including Polynomial, Radial Basis
Kernel(RBF), Sigmoid. Also, we applied boosting method for kernel optimization,
which make nonlinear kernels converge in the adaptive way to various kind of
data.
Second, we proposed the new method to solve multi-class problems using SVM
effectively. SVM solves two-class classification problems in nature. Therefore,
there have been many attempts to solve multi-class problems using SVM. We
proposed N-Division Algorithm for the multi-class classification and proved that
our method is superior over others by experiments.
Third, We studied how to improve the generalization performance of SVM and
reduce the test time of SVM. In order to improve the generalization performance,
we considered Virtual Support Vectors and invariant properties of the given datafor
example, face data. In general, the longer the test time of SVM, the more
training data is given. So, we sometimes can not use SVM for the real-time
application. To improve testing time, we studied the reduced set method that
approximates the decision hyper-plane of SVM using least square method. It
reduces the test time by 5 times.
We solve the difficulties in applying SVM to real-world problems by analyzing
the nature of SVM. It includes selecting optimal SVM kernel, applying SVM to
multi-class problems, improving its generalization performance, and speeding up
its test time. Therefore, we can have better solutions to many real-world
classification problems more easily.

목차 Contents

• Ⅰ. 연구계획 요약문...3
• 1. 국문요약문...3
• Ⅱ. 연구결과 요약문...4
• 1. 국문요약문...4
• 2. 영문요약문...5
• Ⅲ. 연구내용...6
• 1. 서론...6
• 2. 연구방법 및 이론...6
• 제 1 절 SVM의 최적화에 대한 연구...6
• 1. SVM 커널 비교...6
• 2. 다중 클래스 SVM 분류기의 설계...8
• 3. 최적 분류를 위한 최적 SV 선정 방법 연구...10
• 4. 최적 분류를 위한 모델 선택 방법론 연구...12
• 제 2 절 SVM의 응용 및 실험...14
• 1. SVM을 이용한 변형의 고유성(invariance)에 대한 연구...14
• 2. 주성분분석(PCA)와 SVM을 이용한 2차원 얼굴 인식 엔진...16
• 3. 포즈에 강인한 3차원 얼굴 인식 방법론 ...17
• 3. 결과 및 고찰...19
• 4. 결론 ...19
• 5. 인용문헌...20