[논문]Support Vector Machine을 이용한 문맥 민감형 융합

허경용

doi:10.9708/jksci.2013.18.7.037

초록
AI-Helper

문맥 종속형 융합(CDF, Context Dependent Fusion)은 여러 분류기의 결과를 종합하여 성능을 향상시키는 융합 방법으로 주어진 문제의 문맥을 균일한 여러 문맥으로 나누고 각 문맥에서 문맥 종속적인 융합을 시도함으로써 기존 융합 방법에 비해 향상된 성능을 보여주었다. 하지만 CDF는 학습해야할 파라미터의 개수가 많아 학습 데이터가 적은 경우 잡음에 민감한 문제점이 있으며, 선형 알고리듬이라는 한계로 인해 문맥 추출 및 지역적 융합 과정에서 성능 저하의 원인이 된다. 본 논문에서는 CDF의 문제점을 완화할 수 있는 방법으로 SVM(Support Vector Machine)과 커널 주성분 분석을 이용한 CDF-SVM을 제안하였다. 커널 주성분 분석은 입력 벡터에 비선형 변환을 가함으로써 타원형이 아닌 비정형의 클러스터 생성이 가능하도록 해주며, SVM은 융합과정에서 비선형 경계의 생성을 가능하게 해주어 CDF의 선형성 제약을 극복하도록 해준다. 또한 목적함수에 정규화 항을 추가함으로써 잡음 민감성을 줄이도록 하였다. 제안한 CDF-SVM은 기존 CDF 및 그 변형들에 비해 나은 성능을 보여주었으며 이는 실험 결과를 통해 확인할 수 있다.

Abstract ▼ AI-Helper

Context dependent fusion (CDF) is a fusion algorithm that combines multiple outputs from different classifiers to achieve better performance. CDF tries to divide the problem context into several homogeneous sub-contexts and to fuse data locally with respect to each sub-context. CDF showed better per...

Context dependent fusion (CDF) is a fusion algorithm that combines multiple outputs from different classifiers to achieve better performance. CDF tries to divide the problem context into several homogeneous sub-contexts and to fuse data locally with respect to each sub-context. CDF showed better performance than existing methods, however, it is sensitive to noise due to the large number of parameters optimized and the innate linearity limits the application of CDF. In this paper, a variant of CDF using support vector machines (SVMs) for fusion and kernel principal component analysis (K-PCA) for context extraction is proposed to solve the problems in CDF, named CDF-SVM. Kernel PCA can shape irregular clusters including elliptical ones through the non-linear kernel transformation and SVM can draw a non-linear decision boundary. Regularization terms is also included in the objective function of CDF-SVM to mitigate the noise sensitivity in CDF. CDF-SVM showed better performance than CDF and its variants, which is demonstrated through the experiments with a landmine data set.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 논문에서는 위에서 언급한 CDF의 두 가지 문제점을 완화하기 위해 CDF의 비선형 변형인 CDF with Support Vector Machine(CDF-SVM)을 제안하였다. CDF-SVM 는 비선형 문맥 분할을 위해 커널 주성분분석을 전처리로 사용하였으며, 융합을 위해서는 SVM을 이용함으로써 CDF의 선형성을 제거하였다.

가설 설정

N개의 학습 데이터와 기대 출력(expected output)이 O = {o_i|i = 1,...,N}으로 주어졌다가 가정해보자. 데이터는 T개의 알고리듬이 개별적으로 처리하여 신뢰도 값 y_t= {y_ti|i = 1,.
CDF는 크게 문맥 감지와 융합의 두 부분으로 나눌 수 있다. 문맥 감지는 FCM과 마할라노비스 거리를 이용하여 이루어지므로 모든 클러스터는 볼록한(convex) 것으로 가정하고 있다. 하지만 특성 벡터의 차원이 높아질수록 균일한 클러스터가 볼록한 형태를 가지는 경우는 많지 않다.
융합을 위해 지금까지 제안된 많은 방법들은 크게 분류기 융합(classifier fusion)과 분류기 선택(classifier selection)의 두 가지로 나눌 수 있다. 분류기 융합은 융합에 사용된 모든 분류기들이 문제의 전체 영역에서 유용한 결론을 내릴 수 있다고 가정하고 전체 영역에서 모든 분류기의 신뢰도를 결합할 수 있는 방법에 집중한다. 하지만 문제 영역은 일반적으로 특성이 다른 몇 개의 영역으로 나눌 수 있으며 각 영역에서 특히 뛰어난 성능을 보이는 분류기가 있을 수 있음을 분류기 융합에서는 간과하고 있다.
융합의 경우 CDF는 선형 조합을 사용하고 있다. 이는 클러스터 내에서 선형 분류기에 의해 분류가 가능함을 가정한 것이다. 하지만이 역시도 실제 데이터의 경우 선형으로 분리가 불가능한 경우가 많다.

제안 방법

이 논문에서는 위에서 언급한 CDF의 두 가지 문제점을 완화하기 위해 CDF의 비선형 변형인 CDF with Support Vector Machine(CDF-SVM)을 제안하였다. CDF-SVM 는 비선형 문맥 분할을 위해 커널 주성분분석을 전처리로 사용하였으며, 융합을 위해서는 SVM을 이용함으로써 CDF의 선형성을 제거하였다. 또한 정규화를 포함함으로써 CDF-R 의 장점을 살리도록 하였다.
하지만 특징 공간을 커널 특징 공간으로 사상하는 경우 커널 특징 공간의 차원은 일반적으로 무한대가 되므로 각 특징값에 가중치를 부여하기가 어렵다. 따라서 이 논문에서는 특징 집합에 전처리 과정으로 비선형 변환을 가한 후 FCM을 수행함으로써 비선형 클러스터링의 효과를 얻도록 하였다. 비선형 변환은 PCA(주성분 분석, Principal Component Analysis)를 비선형으로 변환한 RKF-PCA(Robust Kernel Fuzzy PCA)[11]를 이용하였으며 유한 차원 L로 변환하였다.
CDF-SVM 는 비선형 문맥 분할을 위해 커널 주성분분석을 전처리로 사용하였으며, 융합을 위해서는 SVM을 이용함으로써 CDF의 선형성을 제거하였다. 또한 정규화를 포함함으로써 CDF-R 의 장점을 살리도록 하였다.
하이퍼 스펙트럴 영상을 이용하여 3개의 분류기를 작성하였으며 각기 스펙트럴 영상 분석에 많이 적용되는 기법인 WDW(whiten and de-whiten)[14], SAM(spectral angle mapper)[15], SCM(spectral correlation mapper)[16]을 사용하여 신뢰도 값을 얻었다. 얻어진 신뢰도는 하이퍼 스펙트럴 영상가 더불어 CDF-SVM의 입력으로 사용되어 최종 신뢰도 값을 얻기 위해 사용되었다. CDF-SVM의 결과를 얻기 위해 10-fold cross-validation 기법을 적용하였으며 CDF-SVM의 학습 및 테스트 알고리즘은 Matlab으로 구현하여 실험하였다.
이 절에서 제안하는 CDF-SVM(CDF with SVM)은 위의 두 가지 문제를 비선형 알고리듬을 도입함으로써 해결하였다. 클러스터링은 특징 공간이 아닌 커널 특징 공간(kernel feature space)에서 수행하는 K-FCM(Kernel FCM)[10]을 이용하면 비선형 클러스터링이 가능하다.
즉, CDF-SVM은 개별 분류기나 CDF-R에 비해 나은 성능을 보이고 있음을 알 수 있다. 이외에도 다양한 ROC 커브 비교 방법이 있지만 이 논문에서는 특정 PD에서 PFA의 신뢰 구간을 비교함으로써 성능을 비교하였다. 지뢰 탐지의 경우 일반적인 인식 문제에서와 같이 최종 결과를 인식률로 나타내는 경우는 드물며 ROC를 통해 지정한 PD에서의 PFA를 비교함으로써 알고리즘의 성능을 비교하는 것이 일반적이다.

대상 데이터

사용한 데이터는 비행기에서 하이퍼 스펙트럴 센서를 통해 획득한 하이퍼 스펙트럴 영상 (hyperspectral image)으로 원격 탐사에서 많이 사용된다. 데이터는 482개의 샘플로 구성되며 167개의 지뢰와 315개의 지뢰 이외의 대상 물체에 대한 데이터로 구성되어 있다. 하이퍼 스펙트럴 영상을 이용하여 3개의 분류기를 작성하였으며 각기 스펙트럴 영상 분석에 많이 적용되는 기법인 WDW(whiten and de-whiten)[14], SAM(spectral angle mapper)[15], SCM(spectral correlation mapper)[16]을 사용하여 신뢰도 값을 얻었다.
제안한 알고리듬의 유효성을 보이기 위해 CDF-SVM은 지뢰 탐지 데이터에 적용되었다. 사용한 데이터는 비행기에서 하이퍼 스펙트럴 센서를 통해 획득한 하이퍼 스펙트럴 영상 (hyperspectral image)으로 원격 탐사에서 많이 사용된다. 데이터는 482개의 샘플로 구성되며 167개의 지뢰와 315개의 지뢰 이외의 대상 물체에 대한 데이터로 구성되어 있다.
제안한 알고리듬의 유효성을 보이기 위해 CDF-SVM은 지뢰 탐지 데이터에 적용되었다. 사용한 데이터는 비행기에서 하이퍼 스펙트럴 센서를 통해 획득한 하이퍼 스펙트럴 영상 (hyperspectral image)으로 원격 탐사에서 많이 사용된다.

데이터처리

지뢰 탐지의 경우 일반적인 인식 문제에서와 같이 최종 결과를 인식률로 나타내는 경우는 드물며 ROC를 통해 지정한 PD에서의 PFA를 비교함으로써 알고리즘의 성능을 비교하는 것이 일반적이다. 비교를 위해서는 지뢰 탐지 문제에서 일반적으로 사용되는 85%, 90%, 95% PD에서 PFA의 신뢰 구간을 신뢰 수준 90%에서 비교하였으며 그 결과는 표 1과 같다. 표 1에 나타난 바와 같이 각 PD 값에서 신뢰 구간은 겹치지 않는다.

이론/모형

얻어진 신뢰도는 하이퍼 스펙트럴 영상가 더불어 CDF-SVM의 입력으로 사용되어 최종 신뢰도 값을 얻기 위해 사용되었다. CDF-SVM의 결과를 얻기 위해 10-fold cross-validation 기법을 적용하였으며 CDF-SVM의 학습 및 테스트 알고리즘은 Matlab으로 구현하여 실험하였다.
SVM은 전통적인 원형(prototype) 기반의 분류 방식이 아니라 분류 경계에 놓이는 샘플들을 기반으로 분류하는 방식으로 대표적인 비선형 분류기 중 하나이다. SVM은 그 자체로도 많은 분야에서 응용이 되고 있지만, CDF-SVM에서는 잡음 민감성을 줄이기 위해 데이터의 소속 도를 추가한 Fuzzy SVM(F-SVM)[13]을 사용하였다. RKF-PCA와 F-SVM을 이용하여 식 (6)을 수정한 CDF-SVM의 목적 함수는 식 (16)과 같다.
따라서 이 논문에서는 특징 집합에 전처리 과정으로 비선형 변환을 가한 후 FCM을 수행함으로써 비선형 클러스터링의 효과를 얻도록 하였다. 비선형 변환은 PCA(주성분 분석, Principal Component Analysis)를 비선형으로 변환한 RKF-PCA(Robust Kernel Fuzzy PCA)[11]를 이용하였으며 유한 차원 L로 변환하였다. (수식의 일관성을 위하여 L을 사용하였으며, L로 표시되던 특징 공간에서의 차원은 L′으로 표시하도록 한다.
융합의 위해서는 SVM(Support Vector Machine)[12]을 사용하였다. SVM은 전통적인 원형(prototype) 기반의 분류 방식이 아니라 분류 경계에 놓이는 샘플들을 기반으로 분류하는 방식으로 대표적인 비선형 분류기 중 하나이다.
데이터는 482개의 샘플로 구성되며 167개의 지뢰와 315개의 지뢰 이외의 대상 물체에 대한 데이터로 구성되어 있다. 하이퍼 스펙트럴 영상을 이용하여 3개의 분류기를 작성하였으며 각기 스펙트럴 영상 분석에 많이 적용되는 기법인 WDW(whiten and de-whiten)[14], SAM(spectral angle mapper)[15], SCM(spectral correlation mapper)[16]을 사용하여 신뢰도 값을 얻었다. 얻어진 신뢰도는 하이퍼 스펙트럴 영상가 더불어 CDF-SVM의 입력으로 사용되어 최종 신뢰도 값을 얻기 위해 사용되었다.

성능/효과

하지만 CDF는 선형 알고리듬이라는 한계가 있으며 학습해야할 파라미터의 개수가 많아 잡음에 민감한 단점을 가지고 있다. 이 논문에서는 이러한 CDF 및 그 변형들의 단점을 극복하기 위해 커널 주성분 분석과 SVM을 이용한 비선형 알고리듬인 CDF-SVM을 제안하였으며 실험 결과 기존의 CDF 및 그 변형들에 비해 우수한 성능을 보임을 확인할 수 있었다.
표 1에 나타난 바와 같이 각 PD 값에서 신뢰 구간은 겹치지 않는다. 즉 90% 신뢰 수준에서 CDF-SVM은 CDF-R에 비해 지정한 PD 값에서 나은 성능을 보여주는 것으로 알 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	융합을 위해 지금까지 제안된 많은 방법들은 어떻게 나누어지는가?	융합을 위해 지금까지 제안된 많은 방법들은 크게 분류기 융합(classifier fusion)과 분류기 선택(classifier selection)의 두 가지로 나눌 수 있다. 분류기 융합은 융합에 사용된 모든 분류기들이 문제의 전체 영역에서 유용한 결론을 내릴 수 있다고 가정하고 전체 영역에서 모든 분류기의 신뢰도를 결합할 수 있는 방법에 집중한다.
	문맥 민감형 융합은 무엇을 결합한 방법인가?	문맥 민감형 융합(context dependent fusion, CDF)은 분류기 융합과 분류기 선택을 결합한 방법이다[6]. CDF는 특징 공간을 K개의 균일한 영역으로 나누며 이처럼 특징 공간을 분할하는 점에서는 분류기 선택에서와 동일하다.
	문맥 민감형 융합은 어떤 점에서 분류기 선택과 동일한가?	문맥 민감형 융합(context dependent fusion, CDF)은 분류기 융합과 분류기 선택을 결합한 방법이다[6]. CDF는 특징 공간을 K개의 균일한 영역으로 나누며 이처럼 특징 공간을 분할하는 점에서는 분류기 선택에서와 동일하다. 특징 공간에서의 균일한 영역은 문맥(context)이라 정의되며 특정 문맥에서는 문맥에 적합한 융합이 이루어진다.

참고문헌 (16)

C.M. Bishop, "Pattern Recognition and Machine Learning," Springer, Singapore, 2007.
M. Minsky, "Logical versus analogical or symbolic versus connectionist or neat versus scruffy," AI Magazine, Vol. 12, No. 2, pp. 34-51, Jun. 1991.
L.I. Kuncheva, "Combining Pattern Classifiers," Wiley-Interscience, New York, 2004.
L.I. Kuncheva, "Clustering-and-selection model for classifier combination," Proceedings of the 4th International Conference on Knowledge-Based Intelligent Engineering Systems and Allied Technologies, pp. 185-188, 2000.
R. Liu and B. Yuan, "Multiple classifiers combination by clustering and selection," Information Fusion, Vol. 2, No. 3, pp. 163-168, Sep. 2001.

상세보기
H. Frigui, P. Gader, and A.C.B. Abdallah, "A generic framework for context-dependent fusion with application to landmine detection," Proceedings of SPIE Defense and Security Symposium, pp. 490-495, 2008.
Gyeongyong Heo, Paul Gader, and Hichem Frigui, "A Noise Robust Variant of Context Extraction for Local Fusion," Proceedings of the 2010 IEEE International Conference on Fuzzy Systems, pp. 1-6, 2010.
W.H. Press, S.A. Teukolsky, W.T. Vetterling, and B.P. Flannery, "Numerical Recipes: The Art of Scientific Computing," Cambridge University Press, New York, 3rd Ed. 2007.
N.R. Pal, K. Pal, J.M. Keller, and J.C. Bezdek, "A Possibilistic Fuzzy c-Means Clustering Algorithm," IEEE Transactions on Fuzzy Systems, Vol. 13, No. 4, pp. 517-530, Aug. 2005.

상세보기
M. Filippone, F. Camastra, F. Masulli, and S. Rovetta, "A survey of kernel and spectral methods for clustering," Pattern Recognition, Vol. 41, No. 1, pp. 176-190, Jan. 2008.

상세보기
Gyeongyong Heo, Paul Gader, and Hichem Frigui, "RKF-PCA: Robust Kernel Fuzzy PCA," Neural Networks, Vol. 22, No. 5-6, pp. 642-650, Jul.-Aug. 2009.

상세보기
V. Vapnik, "Statistical Learning Theory," John Wiley & Sons, New York, 1998.
C.-F. Lin and S.-D. Wang, "Fuzzy support vector machines," IEEE Transactions on Neural Networks, vol. 13, no. 2, pp. 464-471, Mar. 2002.

상세보기
R. Mayer, F. Bucholtz, and D. Scribner, "Object detection by using whitening/dewhitening to transform target signatures in multitemporal hyperspectral and multispectral imagery," IEEE Transactions on Geoscience and Remote Sensing, Vol. 41, No. 5, pp. 1136-1142, May 2003.

상세보기
R.H. Yuhas, A.F. Goetz, and J.W. Boardman, "Discrimination among semi-arid landscape endmembers using the spectral angle mapper (SAM) algorithm," Summaries of the 3rd Annual JPL Airborne Geoscience Workshop, pp. 147-149, 1992.
O.A. de Carvalho and P.R. Meneses, "Spectral correlation mapper (SCM): An improvement on the spectral angle mapper (SAM)," Summaries of the 9th Annual JPL Airborne Earth Science Workshop, pp. 65-74, 2000.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Support Vector Machine을 이용한 문맥 민감형 융합
Context Dependent Fusion with Support Vector Machines 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Support Vector Machine을 이용한 문맥 민감형 융합 Context Dependent Fusion with Support Vector Machines 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

허경용 (37)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Support Vector Machine을 이용한 문맥 민감형 융합
Context Dependent Fusion with Support Vector Machines 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper