[논문]불균형 자료에 대한 분류분석

김동아; 강수연; 송종우

doi:10.5351/kjas.2015.28.3.495

초록
AI-Helper

일반적인 2집단 분류(2-class classification)의 경우, 두 집단의 비율이 크게 차이나지 않는 경우가 많다. 본 논문에서는 두 집단의 비율이 크게 차이나는 불균형 데이터(unbalanced data)의 분류 문제에 대해서 다루고자 한다. 불균형 데이터의 분류방법은 균형이 맞는 데이터(balanced data)의 경우보다 분류하기 어려운 경우가 많다. 이런 자료에서 보통의 분류모형을 적용하게 되면 많은 경우에 대부분의 관측치가 큰 집단으로 분류 되는 경우가 많은데 실질적인 어플리케이션에서는 이런 오분류가 손해가 더 큰 경우가 대부분이다. 우리는 sampling 기법을 이용하여 다양한 분류 방법론의 성능을 비교 분석 하였다. 또한 비대칭 손실(asymmetric loss)을 가정한 경우에 어떤 방법론이 가장 작은 loss를 생성하는 지를 비교하였다. 성능 비교를 위해서는 오분류율(misclassification rate), G-mean, ROC, 그리고 AUC(Area under the curve) 등을 이용하였다.

Abstract ▼ AI-Helper

We study a classification problem of significant differences in the proportion of two groups known as the unbalanced classification problem. It is usually more difficult to classify classes accurately in unbalanced data than balanced data. Most observations are likely to be classified to the bigger ...

We study a classification problem of significant differences in the proportion of two groups known as the unbalanced classification problem. It is usually more difficult to classify classes accurately in unbalanced data than balanced data. Most observations are likely to be classified to the bigger group if we apply classification methods to the unbalanced data because it can minimize the misclassification loss. However, this smaller group is misclassified as the larger group problem that can cause a bigger loss in most real applications. We compare several classification methods for the unbalanced data using sampling techniques (up and down sampling). We also check the total loss of different classification methods when the asymmetric loss is applied to simulated and real data. We use the misclassification rate, G-mean, ROC and AUC (area under the curve) for the performance comparison.

주제어

질의응답

핵심어	질문	논문에서 추출한 답변
	sampling 방법은 어떤 방법을 사용할 수 있는가?	우리는 이런 경우에 원데이터를 사용해서 분류하는 것보다 어느 정도 성능을 개선할 수 있는 지를 simulation data와 실제 데이터를 이용하여 비교 분석하고자 한다. 이 경우에 사용할 수 있는 sampling 방법은 큰 집단에서 임의의 관측치 표본을 이용한 down-sampling이나 작은 집단에서 bootstrap sample이나 아주 작은 noise를 더한 sample을 이용한 up-sampling 방법을 사용할 수 있다. 이런 sampling 기법을 사용한 방법론으로는 SHRINK (Kubat 등, 1997)와 SMOTE (Chawla 등, 2002)가 있다.
	분류 문제 중 균형이 맞지 않는 데이터의 경우는 무엇이 있는가?	다양한 종류의 분류 문제들을 보면 균형이 맞는 데이터 보다는 균형이 맞지 않는 데이터의 경우를 종종 볼 수 있다. 예를 들어 스팸메일여부, 은행에서 대출해주는 기업의 파산여부, 공항입국자의 테러리스트 여부, 보험회사에서 고객의 가입여부 등등 여러 종류의 불균형 데이터들이 있다. 특히, 두 집단의 비율 차이가 아주 큰 경우에는 분류방법론을 이용하여 두 집단을 정확하게 분류하기가 쉽지 않다.
	sampling 기법을 사용한 방법론은 무엇이 있는가?	이 경우에 사용할 수 있는 sampling 방법은 큰 집단에서 임의의 관측치 표본을 이용한 down-sampling이나 작은 집단에서 bootstrap sample이나 아주 작은 noise를 더한 sample을 이용한 up-sampling 방법을 사용할 수 있다. 이런 sampling 기법을 사용한 방법론으로는 SHRINK (Kubat 등, 1997)와 SMOTE (Chawla 등, 2002)가 있다. 물론 up-sampling을 통해서 기존의 정보량보다 더 많은 것을 얻을 수는 없지만 두 클래스를 비슷한 규모로 만듦으로써 비슷한 weight을 줄 수 있는 장점이 있다.

참고문헌 (10)

Breiman, L. (2001). Random forests, Machine Learning, 45, 5-32.
Chawla, N., Bowyer, K., Hall, L. and Kegelmeyer, W. (2002). SMOTE: Synthetic minority over-sampling technique, Journal of Artificial Intelligence Research, 16, 321-357.
Chen, C., Liaw, A. and Breiman, L. (2004). Using random forest to learn imbalanced data, Technical Report 666.
Karatzoglou, A., Meyer, D. and Hornik, K. (2006). Support vector machines in R, Journal of Statistical Software, 15.
Kubat, M., Holte, R. and Matwin, S. (1997). Learning when negative examples abound. In Proceedings of ECML-97, 9th European Conference on Machine Learning, 146-153.
Kubat, M. and Matwin, S. (1997). Addressing the curse of imbalanced training sets: One-sided selection, Proceedings of the 14th International Conference on Machine Learning, 179-186.
Park, C., Kim, Y., Kim, J., Song, J. and Choi, H. (2011). Datamining using R, Kyowoo, Seoul.
R Development Core Team (2010). R: A Language and Environment for Statistical Computing, R Foundation for Statistical Computing, Vienna, Austria, ISBN 3-900051-07-0. http://www.R-project.org
Vapnik, V. (1998). Statistical Learning Theory, Wiley, New York.
Wu, G. and Chang, E. (2003). Class-boundary alignment for imbalanced dataset learning, In ICML 2003 Workshop on Learning from Imbalanced Data Sets II, Washington, DC.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

불균형 자료에 대한 분류분석
Classification Analysis for Unbalanced Data 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

불균형 자료에 대한 분류분석 Classification Analysis for Unbalanced Data 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

강수연 (1) 송종우 (23)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

불균형 자료에 대한 분류분석
Classification Analysis for Unbalanced Data 원문보기

초록
AI-Helper