[논문]Support Vector Regression을 이용한 이상치 데이터분석

전성해

doi:10.5391/jkiis.2008.18.6.876

Support Vector Regression을 이용한 이상치 데이터분석
An Outlier Data Analysis using Support Vector Regression 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.18 no.6, 2008년, pp.876 - 880

초록
AI-Helper

주어진 데이터에서 대부분의 다른 관측치들에 비해 지나치게 크거나 작은 관측치를 이상치라고 한다. 이상치는 몇 가지 원인에 의해 발생한다. 이상치를 포함한 데이터의 분석결과는 이 값을 포함하지 않은 경우와 크게 달라질 수 있다. 일반적으로 이상치는 탐지를 통하여 찾아내어 제거한 후에 데이터분석을 수행한다. 하지만 사기탐지, 네트워크 침입 등의 데이터 마이닝 분야에서는 이상치가 중요한 정보를 포함하고 있기 때문에 반드시 포함하여 데이터분석을 수행하여야 한다. 본 논문에서 다루는 회귀모형에서는 기존의 단순, 다중 회귀분석은 이상치에 대하여 안정된 모형을 구축하기 어렵기 때문에 표준화 잔차 또는 스튜던트화된 잔차를 이용하여 이상치를 찾아내고 제거한 후의 데이터분석 수행을 추천한다. 본 논문에서는 회귀모형에서 이상치를 포함하여 효과적으로 데이터분석을 수행할 수 있는 한 방법으로 Vapnik이 제안한 통계적 학습이론에 기반한 Support Vector Regression(SVR)을 이용하였다 인공 데이터를 생성한 모의실험 결과 기존의 회귀모형에 비해 SVR의 향상된 결과를 확인할 수 있었다.

Abstract ▼ AI-Helper

Outliers are the observations which are very larger or smaller than most observations in the given data set. These are shown by some sources. The result of the analysis with outliers may be depended on them. In general, we do data analysis after removing outliers. But, in data mining applications such as fraud detection and intrusion detection, outliers are included in training data because they have crucial information. In regression models, simple and multiple regression models need to eliminate outliers from given training data by standadized and studentized residuals to construct good model. In this paper, we use support vector regression(SVR) based on statistical teaming theory to analyze data with outliers in regression. We verify the improved performance of our work by the experiment using synthetic data sets.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

커널모수와 정규화상수는 SVR 성능에 직접적으로 영향을 준다. 본 논문에서는 격자탐색(grid searching)을 통하여 커널함수와 정규화상수의 최적값을 구한다.
본 논문에서는 일반적으로 데이터에 포함된 이상치가 분석에 반드시 포함되어야 하는 경우에 이상치를 포함한 데이터분석의 효과적 수행을 위하여 Vapnik이 제안한 통계적 학습이론에 기반의 SV玉을 제안하였다. 이상치를 포함한 데이터 공간의 모든 개체들을 커널함수를 이용하여 고차원의 형상 공간으로 사상시킨 후에 이 형상 공간에서 데이터분석을 수행하여 이상치의 영향을 감소시켰다.

가설 설정

본 논문에서는 연속형 데이터의 이상치만을 고려 대상으로 하였다. 범주형 데이터에서의 이상치 데이터 분석은 별도의 주관적 고려가 이루어져야 할 뿐만 아니라 연속형 데이터에서의 이상치 탐지 기준과는 다른 측도가 필요하기 때문에 본 논문에서는 다루지 않았다. 향후 연구과제로서 이 부분에 대한 연구가 진행될 것이다.
위식에서 오차항은 모든 관측치가 동일한 표준정규분포에서 생성된 것으로 가정하고 이와 같은 가정 하에서 오차항 데이터를 생성하였디..

제안 방법

하지만 경우에 따라서는 이상치가 전체 데이터에 대한 중요한 정보를 담고 있기 때문에 데이터분석 수행 과정에서 반드시 포함해야 할 경우가 발생한다. 대표적인 지도학습 방법인 회귀 모형 (regression model) 에서 전통적인 단순(simple), 다중(multiple) 회귀분석은 이 상치에 대하여 안정된 모형을 제공하지 못하기 때문에 표준화 잔차(standardized residual) 또는 스튜던트화된 잔차 (studentized residual)를 이용하여 이상치를 찾아내고, 제거한 후에 데이터분석의 수행을 추천한다[2, 3丄 본 논문에서는 이와 같은 회귀 모형에서 이상치를 포함한 데이터를 효과적으로 분석할 수 있는 하나의 방법으로 Vapnik이 제안한 통계적 학습이론(statistical learning theory)에 기반한 Support Vector Regression(SVR)을 제안한다 [4, 5, 6]. SVR 은 주어진 데이터공간(data space)의 개체들을 커널함수 (kernel function) 를 이용하여 고차원 (high dimension) 의형 상공 간(feature space)로 사상(mapping) 시킨 후에 이 형상 공간에서 데이터분석을 수행한다 [5].
본 논문에서는 1000개의 난수 중에서 한 개를 임의의 이상치로 대체하여 실험하였다. 즉 Y, XI, 그리고 X2의 1000번째 데이터 개체를 각각 10, 25, -5로 대체하였다.
관측치 개체로 정의된다. 본 논문에서는 마하라 노비스 거리 측도와 상자 그림을 통하여 이상치의 탐지가 확인되면 다음에서 설명되는 SVR을 이용하여 이상치를 포함하는 데이터 공간의 모든 개체들을 커널함수를 통하여 고차원의 형상 공간으로 사상시킨 후, 이 형상 공간에서 데이터의 분석모형을 구축한다. SVV의 이론적 기반이 되는 Vapnik 이 제안한 통계적 학습이론은 분류classification), 예측 (prediction), 그리고 군집(clustering)를 위한 구체적 분석모형인 SVM(support vector machine), SVR, 그리고 SVC(support vector clustering)의 3가지 학습 모형을 갖추고 있다⑸.
모든 기준들이 같은 결론을 제시하지는 않지만 나름대로 효과적인 방안을 제시하고 있다. 본 논문에서는 마하라 노비스 거리(Mahalanobis' distance)와 상자그림(box plot)을 이용하여 이상치에 대한 탐지를 수행하였다. 마하라 노비스 거리는 데이터 내의 변수 간의 상관관계를 포함한유클리W 거리(Euclidean distance)°11 대 한 일반적인 확장이다.
8는 오차항이다. 본 논문에서는 반응 변수는 1개로 고정하고 설명 변수를 1개인 경우(단순 회귀)와 2개 이상인 경우(다중회귀)로 구분하여 모의실험 데이터를 생성하였다. 확률모형에서 사용되는 확률분포는 일반적으로 대부분의 데이터에서 가정하는 정규분포를 사용하였다.
기반의 SV玉을 제안하였다. 이상치를 포함한 데이터 공간의 모든 개체들을 커널함수를 이용하여 고차원의 형상 공간으로 사상시킨 후에 이 형상 공간에서 데이터분석을 수행하여 이상치의 영향을 감소시켰다. 2개의 모의실험데이터를 이용한 실험을 통하여 일반적으로 사용되는 회귀모형에 비해서 SVR 모형이 향상된 성능을 확인하였다.
제안방법에 대한 성능평가를 위하여 본 논문에서는 인공데이터를 생성하여 모의실험을 수행하였다. 실험을 위한 데이터분석은 R-project를 이용하였다 [12].
하지만 해 공간의 크기에 비례하여 컴퓨팅 비용이 추가적으로 필요하게 된다. 최근에는 격자 탐색에 비해 빠르고 보다 정확한 커널모수와 정규화 상수의 탐색을 위하여 진화 컴퓨팅(evolutionary comput- ing)을 이용한 SVM, SVR, 그리고 SVC 모형이 제안되고 있다[9, 10, 11丄 하지만 이 방법들은 추가적으로 진화연산 알고리즘(evolving algorithnD에 대한 고려가 이루어져야 하기 때문에 본 논문에서는 격자 탐색을 이용하였다.

대상 데이터

또한 위 오른쪽의 상자 그림을 통하여 주어진 데이터의 상한과 하한을 벗어난 데이터 개체인 이상치를 확인할 수 있다. 두 번째 모의 실험 데이터는 다변량 정규분포(multivariate normal distribution)로부터 생성된 인공 데이터를 이용한다. 평균벡터(mean vector)는 다음과 같다.
2개의 모의실험데이터를 이용한 실험을 통하여 일반적으로 사용되는 회귀모형에 비해서 SVR 모형이 향상된 성능을 확인하였다. 본 논문에서는 연속형 데이터의 이상치만을 고려 대상으로 하였다. 범주형 데이터에서의 이상치 데이터 분석은 별도의 주관적 고려가 이루어져야 할 뿐만 아니라 연속형 데이터에서의 이상치 탐지 기준과는 다른 측도가 필요하기 때문에 본 논문에서는 다루지 않았다.
확률모형에서 사용되는 확률분포는 일반적으로 대부분의 데이터에서 가정하는 정규분포를 사용하였다. 첫 번째 모의실험데이터는 다음과 같은 단순회귀 모형의 경우로서 모두 1000개의 개체를 생성하였다.

이론/모형

다음 표는 이상치를 포함한 2개의 모의실험 데이터를 이용하여 실험한 결과이다. 실험 결과에서 비교되는 모형들 간의 성능 평가를 위한 측도로서 본 논문에서는 대부분의 예측 모형에서 사용되는 MSE(mean square error) 특도를 사용하였다.다음은 MSE에 대한 정의이다[7].
생성하여 모의실험을 수행하였다. 실험을 위한 데이터분석은 R-project를 이용하였다 [12]. 인공데이터 생성은 다음과 같은 확률 모형에 의한 난수를 생성하였다 [13, 14].
즉 모든 데이터에 대한 실제값과 예측값의 차이가 크게 발생하게 된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 이상치가 포함된 데이터 공간에서 고차원 형상 공간으로 모든 데이터를 사상시켜서 형상공간에서 데이터 분석이 이루어지는 SVR 모형을 사용한다.

성능/효과

이상치를 포함한 데이터 공간의 모든 개체들을 커널함수를 이용하여 고차원의 형상 공간으로 사상시킨 후에 이 형상 공간에서 데이터분석을 수행하여 이상치의 영향을 감소시켰다. 2개의 모의실험데이터를 이용한 실험을 통하여 일반적으로 사용되는 회귀모형에 비해서 SVR 모형이 향상된 성능을 확인하였다. 본 논문에서는 연속형 데이터의 이상치만을 고려 대상으로 하였다.
SVR의 정규화상수(c)와 커널모수(G) 의 값은 각각 격자 탐색을 통하여 결정된 최적 모수 값들이다. 결과를 통하여 SVR에 의한 이상치 포함 회귀 데이터의 분석이 과대적합(overfitting) 문제에도 적절한 해결책을 보여줄 것으로 보인다.
데이터공간에서 고차원의 형상 공간으로 사상되는 과정에서 전체 데이터에 대한 이상치의 영향은 줄어들게 된다. 본 논문의 제안 방법에 대한성능평가를 위하여 인공 데이터(synthetic data)를생성하여 모의실험을 수행한 결과 이상치를 포함한 데이터의 경우에 기존의 회귀 모형에 비해 SVR에 의한 데이터분석이 더 우수한 결과를 제공함이 확인되었다.
위 결과를 통하여 단순회귀 모형과 다중회귀 모형의 모든 데이터의 실험에서 SV氏에 의한 결과의 성능이 우수하게 나타남을 알 수 있다. SVR의 정규화상수(c)와 커널모수(G) 의 값은 각각 격자 탐색을 통하여 결정된 최적 모수 값들이다.
3개의 타원 중 ±3 범위의 경계를 나타내는 가장 바깥의 타원을 벗어난 개체들을 볼 수 있다. 즉 마하라 노비스의 거리 측도를 통하여 실험을 위하여 인공적으로 생성된 데이터 집합에 이상치가 포함되어 있음을 알 수 있다. 또한 위 오른쪽의 상자 그림을 통하여 주어진 데이터의 상한과 하한을 벗어난 데이터 개체인 이상치를 확인할 수 있다.

참고문헌 (14)

용환승, 나연묵, 박종수, 승현우, 이민수, 이상준, 최린 역, 데이터 마이닝, 인피니티북스, 2007
박성현, 회귀분석 제3판, 민영사, 2007
R. H. Myers, Classical and Modern Regression with Applications, Duxbury, 1989
C. J. Burges, 'A Tutorial on Support Vector Machine for Pattern Recognition', Data Mining and Knowledge Discovery, vol. 2, no. 2, pp. 121-167, 1998

상세보기
S. Haykin, Neural Networks A Comprehensive Foundation, Prentice Hall, 1999
V. Vapnik, Statistical Learning Theory, John Wiley & Sons, 1998
J. Han, M. Kamber, Data Mining Concepts and Techniques, Morgan Kaufmann, 2001
류기열, 박일렬, 최승두 역, 앤더슨의 통계학, 한올출판사, 2007
Sung-Hae Jun, 'A Co-Evolutionary Computing for Statistical Learning Theory', International Journal of Fuzzy Logic and Intelligent Systems, Vol. 5 No. 4, pp. 281-285, December 2005

원문보기 상세보기
전성해, '차분진화 기반의 Support Vector Clustering', 한국퍼지 및 지능 시스템학회 논문집, 제17권 제5호, pp.679-683, 2007

원문보기 상세보기
Sung-Hae Jun, Kyung-Whan Oh, 'A Competitive Co-Evolving Support Vector Clustering', Lecture Note in Computer Science (LNCS, ICONIP'2006), vol. 4232, pp. 864-873, Springer-Verlag, 2006
R-Project www.r-project.org
W. L. Martinez, A. R. Martinez, Computational Statistics Handbook with MATRAB, Chapman & Hall, 2002
S. M. Ross, Simulation, Academic Press, 1997

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증