최근 기계학습 분야에서 커널머신을 이용한 대표적 분류기로 Adaboost가 주목받고 있다. Adaboost는 통계적 학습이론에 기반하여 뛰어난 일반화 성능을 보여주며, 다양한 패턴인식 문제에 적용되고 있다. 그러나, Adaboost는 이진 분류기이므로 다중표적 분류 문제에 곧바로 적용할 수 없다. 일반적으로 다중 분류 문제를 해결하는 기법으로 One-Vs-All 기법과 Pair-Wise 기법이 대표적이다. 이러한 두 기법은 다중 분류 문제를 여러 개의 이진 분류 문제로 분할하고, 이들을 다시 종합하여 최종 결정을 내리는 출력코딩이라는 일반적인 기법으로 실제 시스템 구성에 적합할만한 분류 성능을 보여주지 못하는 경우가 대부분이다. 본 논문에서는 이진 분류기인 Adaboost의 다중 분류 확장 방안으로 원형 기반 함수를 약한 분류기로 이용하는 Adaboost 기반 다중표적 분류 기법을 제안한다.
최근 기계학습 분야에서 커널머신을 이용한 대표적 분류기로 Adaboost가 주목받고 있다. Adaboost는 통계적 학습이론에 기반하여 뛰어난 일반화 성능을 보여주며, 다양한 패턴인식 문제에 적용되고 있다. 그러나, Adaboost는 이진 분류기이므로 다중표적 분류 문제에 곧바로 적용할 수 없다. 일반적으로 다중 분류 문제를 해결하는 기법으로 One-Vs-All 기법과 Pair-Wise 기법이 대표적이다. 이러한 두 기법은 다중 분류 문제를 여러 개의 이진 분류 문제로 분할하고, 이들을 다시 종합하여 최종 결정을 내리는 출력코딩이라는 일반적인 기법으로 실제 시스템 구성에 적합할만한 분류 성능을 보여주지 못하는 경우가 대부분이다. 본 논문에서는 이진 분류기인 Adaboost의 다중 분류 확장 방안으로 원형 기반 함수를 약한 분류기로 이용하는 Adaboost 기반 다중표적 분류 기법을 제안한다.
Adaboost is well known for a representative learner as one of the kernel methods. Adaboost which is based on the statistical learning theory shows good generalization performance and has been applied to various pattern recognition problems. However, Adaboost is basically to deal with a two-class cla...
Adaboost is well known for a representative learner as one of the kernel methods. Adaboost which is based on the statistical learning theory shows good generalization performance and has been applied to various pattern recognition problems. However, Adaboost is basically to deal with a two-class classification problem, so we cannot solve directly a multi-class problem with Adaboost. One-Vs-All and Pair-Wise have been applied to solve the multi-class classification problem, which is one of the multi-class problems. The two methods above are ones of the output coding methods, a general approach for solving multi-class problem with multiple binary classifiers, which decomposes a complex multi-class problem into a set of binary problems and then reconstructs the outputs of binary classifiers for each binary problem. However, two methods cannot show good performance. In this paper, we propose the method to solve a multi-target classification problem by using radial basis function of Adaboost weak classifier.
Adaboost is well known for a representative learner as one of the kernel methods. Adaboost which is based on the statistical learning theory shows good generalization performance and has been applied to various pattern recognition problems. However, Adaboost is basically to deal with a two-class classification problem, so we cannot solve directly a multi-class problem with Adaboost. One-Vs-All and Pair-Wise have been applied to solve the multi-class classification problem, which is one of the multi-class problems. The two methods above are ones of the output coding methods, a general approach for solving multi-class problem with multiple binary classifiers, which decomposes a complex multi-class problem into a set of binary problems and then reconstructs the outputs of binary classifiers for each binary problem. However, two methods cannot show good performance. In this paper, we propose the method to solve a multi-target classification problem by using radial basis function of Adaboost weak classifier.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 뛰어난 성능을 보이고 있는 이진 클래스 분류기 Adgst의 약한 분류기를 개선한 다중 클래스 분류 기법을 제안한다. 본 논문에서 제안하고자 하는 분류 모델은 기본적으로 아래의 요구조건을 충족시키기 위한 모델이다.
본 논문에서는 최근 기계학습 분야에서 통계적 학습이론에 기반하여 뛰어난 일반화 성능을 보여주고 있는 Adaboost를 기반으로 다중 클래스, 즉 다중 표적 분류 기법을 제안한다.
제안 방법
제안하는 알고리즘에서는 각 특징벡터를 평균으로 하고 100 레벨의 분산 값을 이용하여 약한 분류기를 구성하였다. 또한, 주어진 약한 분류기에 대하여 0.5 이 상의값을 가지는 영역 내에서만 분류 여부를 판단하도록 하였다. 이를 위하여 가우시안 함수를 평균의 위치에서 1 의 값을 가지도록 일반화 하였다.
본 논문에서는 원형 함수 기반의 아이다부스트 알고리즘을 이용한 다중 표적 분류 기법을 제안하였으며, 제안하는 알고리즘을 이용하여 다양한 환경의 다중 표적 분류 시스템을 구성하여 실험을 통해 성능을 검증하였다.
본 논문에서는 최근 기계학습 분야에서 통계적 학습이론에 기반하여 뛰어난 분류 성능을 보여주고 있는 Adabest에서 원형 기반 함수를 약한 분류기로 이용함으로써 다중 클래스 문제를 해결하는 방법을 제안하였 4- 제안한 방법은 방사형 영역에 대해 각 클래스의 분류 성능을 계산하여 가중치를 갱신해 나감으로써 각 클래스 자체의 분류 영역을 확보하고 클래스 자체 영역의 표현이 가능하였다. 이는 실험결과를 통해서 다중 클래스 분류에 있어서 좋은 결과를 보여준다는 것을 확인하였다.
이는 각 클래스 이외의 영역 부분은 어떤 클래스가 해당하게 되는지 알 수 없는 부분이기 때문에 클래스 분류에 있어 잘못된 결과를 초래하게 되며, 추가적인 클래스에 대한 적응과 주어진 클래스 이외에 불분명한 패턴 공간(unknown pattern space)에 대한 정의가 어렵다. 본 논문에서는, 이러한 단순 선형 약한 분류기를 대체하여 원형 기반 함수(Radial Basis Function, RBF)를 이용하여 방사형 영역으로의 분류모델을 제안하며, 이를 통하여 효과적인 다중 클래스 분류를 위한 Adaboost 모델을 생성한다.
5 이 상의값을 가지는 영역 내에서만 분류 여부를 판단하도록 하였다. 이를 위하여 가우시안 함수를 평균의 위치에서 1 의 값을 가지도록 일반화 하였다. 제안하는 알고리즘에서의 Adaboost 모델은 표 2와 같다
식 1은 1차원 가우시안 함수를 보여주고 있으며, 2차원 이상의 다차원 가우시안 함수의 경우 분산은 공분산행렬로 대체된다. 제안하는 알고리즘에서는 각 특징벡터를 평균으로 하고 100 레벨의 분산 값을 이용하여 약한 분류기를 구성하였다. 또한, 주어진 약한 분류기에 대하여 0.
획득된 이진 영상에서 다양한 각도와 크기의 객체(전투기, 헬기, 배)들을 정방형으로 잘라낸 후 특징값을 추출하였다. 특징값은 영상에서의 객체 비율, 영상에서의 객체 외곽선의 비율, 객체의 장축 및 단축 길이, 장축 길이와 단축 길이의 비율을 계산한 기하학적 특징값 5개, 저니크 모멘트(zernike moment)1131 25개, 불변 모멘트 (invariant moment)1141 7개로 총 37개의 특징값을 사용하였다.
대상 데이터
각 객체 영상의 형태가 비슷한 PKX 동영상에서 추출된 전투기 영상 1500장, 비냉각 검출기 동영상에서 추출된 헬기 영상 500장, 부양정 동영상에서 추출된 배영 상 300장에서 각 객체 영상의 50%를 학습하고, 나머지 50%를 분류 실험하였다.
각 객체 영상의 형태가 상이한 경우 제안하는 방법의 성능을 평가하기 위해서 각기 객체 영상의 형태가 상이한 성남 1D_2_21 동영상에서 추출된 전투기 영상 300장, PKX_04 동영상에서 추출된 헬기 영상 500장, 대전 1D_5_1 동영상에서 추출된 배 영상 500장에서 각 객체 영상의 50%를 학습하고, 나머지 50%를 분류 실험하였다. 그림 4에서는는 학습된 데이터와 분류 데이터의 형태가 상이한 경우 기존 분류 방법들과 제안하는 방법들과의 성능비교를 나타내고 있다.
특징값은 영상에서의 객체 비율, 영상에서의 객체 외곽선의 비율, 객체의 장축 및 단축 길이, 장축 길이와 단축 길이의 비율을 계산한 기하학적 특징값 5개, 저니크 모멘트(zernike moment)1131 25개, 불변 모멘트 (invariant moment)1141 7개로 총 37개의 특징값을 사용하였다. 각 영상에서 추출된 특징값을 기반으로 일부 데이터는 학습에 사용하고 나머지 데이터는 분류 실험에 사용하였다. 그림 1에서는 실험환경에 대한 구성도를 보여주고 있다.
본 논문에서는 적외선 촬영 기직로 획득된 동영상으로 3클래스로 구성된 총 6종류의 동영상을 이용하여 실험하였다’ 실험 데이터에 대한 자세한 내용은 표 3에서 볼 수 있다. 표 3의 동영상 명칭은 저장 동영상의 명칭이며, 각 동영상에 촬영된 표적 영상은 보안 사유로 인하여 본 논문에서는 공개를 하지 않는다.
획득된 이진 영상에서 다양한 각도와 크기의 객체(전투기, 헬기, 배)들을 정방형으로 잘라낸 후 특징값을 추출하였다. 특징값은 영상에서의 객체 비율, 영상에서의 객체 외곽선의 비율, 객체의 장축 및 단축 길이, 장축 길이와 단축 길이의 비율을 계산한 기하학적 특징값 5개, 저니크 모멘트(zernike moment)1131 25개, 불변 모멘트 (invariant moment)1141 7개로 총 37개의 특징값을 사용하였다. 각 영상에서 추출된 특징값을 기반으로 일부 데이터는 학습에 사용하고 나머지 데이터는 분류 실험에 사용하였다.
이론/모형
각 동영상의 프레임 으로부터 추출한 영상에서 배경 정보를 제거하고 객체 정보만을 이용하기 위해서 Otsu 알고리즘囲을 이용하여 이진 영상으로 변환한다. 획득된 이진 영상에서 다양한 각도와 크기의 객체(전투기, 헬기, 배)들을 정방형으로 잘라낸 후 특징값을 추출하였다.
성능/효과
실험 결과에서 확정 부분은 각 클래스에만 해당하는 영역을 사용한 분류 결과이고, 불확실포함 부분은 각 클래스 영역이 겹치는 부분을 포함하여 실험한 결과이다. 다중 클래스가 존재할 때 각 클래스간의 겹치는 영역을 배제하고 각 클래스에만 해당하는 영역을 고려하였을 때 95%이상의 좋은 결과를 보이고 있으며, 각 클래스 영역이 겹치는 부분까지 포함한 불확실 포함 결과도 80%이상의 결과를 볼 수 있다.
나타내고 있다. 실험결과를 살펴보면 학습된 데이터와 분류 실험에 사용된 데이터의 형태가 비슷함에도 불구하고 One-Vs-All 방법과 Pair-Wise 방법은 80%이하의 좋지 못한 분류 결과를 보여주고 있지만 제안하는 방법은 80%이상의 좋은 분류 결과를 보여주고 있다는 것을 볼 수 있다.
그림 4에서는는 학습된 데이터와 분류 데이터의 형태가 상이한 경우 기존 분류 방법들과 제안하는 방법들과의 성능비교를 나타내고 있다. 실험결과를 살펴보면 학습된 데이터와 분류 실험에 사용된 데이터의 형태가 상이하기 때문에 One-Vs-All 방법은 저조한 분류 결과를 보이고 Pair-Wise 방법은 어느 정도 좋은 분류 결과를 보여주고 있지만 제안하는 방법은 80%이상의 좋은 분류 결과를 보여주고 있다.
가능하였다. 이는 실험결과를 통해서 다중 클래스 분류에 있어서 좋은 결과를 보여준다는 것을 확인하였다. 향후 과제로 다중 클래스 분류 문제에 있어 각 클래스가 겹치는 영역이 크게 존재하는 경우 분류 성능을 향상시킬 수 있도록 추가적인 연구가 진행되어야 할 것이다.
후속연구
이는 실험결과를 통해서 다중 클래스 분류에 있어서 좋은 결과를 보여준다는 것을 확인하였다. 향후 과제로 다중 클래스 분류 문제에 있어 각 클래스가 겹치는 영역이 크게 존재하는 경우 분류 성능을 향상시킬 수 있도록 추가적인 연구가 진행되어야 할 것이다.
참고문헌 (14)
N. Cristianini, J. Shawe-Taylor, "An introduction to support vector machines and other kernel-based learning methods," Cambridge University Press, 2000.
Y. Freund, R.E. Schapire, "Experiments with a new boosting algorithm," In Proceedings of the IEEE International Conference of Machine Learning, pp. 148-156, 1996.
Y. Freund, R.E. Schapire, "A decision-theoretic generalization of on-line learning and application to boosting," Journal of Computer and System Sciences 55, pp. 119-139, 1997.
이기현, 권한준, 김용득, "Windows CE 5.0 기반의 AdaBoost 얼굴검출 알고리즘을 이용한 감시카메라 시스템 설계," 대한전자공학회 하계종합학술대회 논문지, 743-744쪽, 2008년 6월
박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구," 대한전자공학회논문지, 제45권 CI편, 제 4호, 1-11쪽, 2008년 7월
윤창용, 장석윤, 박민용, "수직면과 아다부스트를 사용한 실시간 교통 표지판 검출," 대한전자공학회논문지, 제46권 SC편, 제5호, 29-37쪽, 2009년 9월
박찬우, 김용민, 박기태, 문영식, "질감 필터를 이용한 눈 검출," 대한전자공학회논문지, 제46권 CI편, 제6호, 70-78쪽, 2009년 11월
P. Viola, M. Jones, "Rapid object detection using a boosted cascade of simple features," In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 511-518, 2001.
J. Ghosh, "Multiclassifier systems : back to the future," In Proceedings of the Int'l Workshop on Multiple Classifier Systems, Lecture Note on Computer Science, vol. 2364, pp. 1-15, 2002.
T. Hastie, R. Tibshirani, "Classification by pairwise coupling," Advances in Neural Information Processing Systems, vol. 10, pp. 507-513, 1998.
T.G. Dietterich, G. Bakiri, "Solving multiclass learning problems via error-correcting output codes," Journal of AI Research, vol. 2, pp. 263-286, 1995.
N. Otsu, "A threshold selection method from gray-level histogram," In IEEE Transactions on System, Man and Cybernetic, vol.9, pp. 62-66, 1979.
A. Khotanzard, Y. H. Hong, "Invariant image recognition by Zernike moments," In IEEE Transactions on Pattern Analysis and Machine Intelligence. vol. 12, pp. 489-497, 1990.
A. Mamistvalov, "N-dimensional moment invariants and conceptual mathematical theory of recognition of n-dimensional solids," In IEEE Transactions of Pattern Analysis and Machine Intelligence, vol. 20, pp. 819-831, 1998.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.