[논문]연속형 반응변수를 위한 데이터마이닝 방법 성능 향상 연구

최진수; 이석형; 조형준

연속형 반응변수를 위한 데이터마이닝 방법 성능 향상 연구
A study for improving data mining methods for continuous response variables 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.21 no.5, 2010년, pp.917 - 926

최진수 (고려대학교 통계학과) , 이석형 (고려대학교 통계학과) , 조형준 (고려대학교 통계학과)

초록
AI-Helper

배깅과 부스팅의 기법은 예측력을 향상 시킨다고 알려져 있다. 이는 비교 실험을 통하여 성능이 검증 되었는데, 목표변수가 범주형인 경우에 특정 의사결정나무 알고리즘인 회귀분류나무만 주로 고려되었다. 본 논문에서는 의사결정나무 외에도 다른 데이터마이닝 방법도 고려하여 목표변수가 연속형인 경우에 배깅과 부스팅 기법의 성능 검증을 위한 비교 실험을 실시하였다. 구체적으로, 데이터마이닝 알고리즘 기법인 선형회귀, 의사결정나무, 신경망에 배깅 및 부스팅 앙상블 기법을 결합하여 8개의 데이터를 비교 분석하였다. 실험 결과로 연속형 자료에 대한 여러 데이터마이닝 알고리즘에도 배깅과 부스팅의 기법이 성능 향상에 도움이 되는 것으로 확인되었다.

Abstract ▼ AI-Helper

It is known that bagging and boosting techniques improve the performance in classification problem. A number of researchers have proved the high performance of bagging and boosting through experiments for categorical response but not for continuous response. We study whether bagging and boosting improve data mining methods for continuous responses such as linear regression, decision tree, neural network through bagging and boosting. The analysis of eight real data sets prove the high performance of bagging and boosting empirically.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 CART외에 다른 의사결정나무와 고전적인 회귀모형, 복잡한 결과를 주는 신경망모형도 연구 대상에 포함하고 상대적으로 연구가 미흡한 연속형 반응 자료에 대하여 앙상블 기법의 성능을 검증한다. 우리는 R을 사용하여 각 알고리즘의 예측력을 향상시킬 수 있는 배깅 (bagging) (Breiman, 1996)과 부스팅 (boosting) (Shestha와 Solomatine, 2004)의 성능 향상 실험을 실시한다.
본 논문에서는 앙상블 기법인 배깅, 부스팅이 연속형 반응변수를 위한 데이터마이닝 방법의 성능을 향상시키는 것에 대해 연구하였다. 실제 8가지 연속형 목표변수 데이터에 대해 평균제곱오차 및 시간을 각 알고리즘 및 기법에 대해 그 성능을 분석하였다.
설명변수는 20개 (범주형 설명변수 4, 연속형 설명변수 16)이고, 263개의 관측치로 이루어져 있다. 이 데이터는 1987년 야구선수들의 연봉을 이용하여 연봉을 높게 받기 위하여 어떤 것이 중요한 자료가 되는지 알아보고자 하는 데이터이다.

제안 방법

이 장에서는 본 논문에 사용된 데이터를 소개하도록 한다. 목표변수가 연속형인 변수를 갖는 총 8개의 데이터가 분석에 사용되었으며, 전체자료를 70%의 훈련용 (training) 자료와 30%의 검정용 (testing) 자료로 분할하여 분석하였다. 각 데이터에 대해 간략하게 살펴보면 다음과 같다.
본 논문에서는 목표변수가 연속형인 각 알고리즘에 대하여 3가지 앙상블기법을 R 프로그램을 사용하여 성능 비교하였다. 각 알고리즘을 간략하게 살펴보면 다음과 같다.
이에 반해 회귀 나무는 목표변수가 연속형인 경우에 생성되는 의사결정나무로서 목표변수의 평균에 의해 분리를 수행한다. 본 논문에서는 목표변수가 연속형인 경우인 회귀 나무를 실시한다. 이런 회귀나무에는 CART, GUIDE 등이 쓰이고 있다.
분석용 데이터가 불안정 (unstable)하다면, 배깅 분류기는 결합을 통해서 그 예측 정확도가 향상된다. 본 논문에서는 목표변수가 연속형일 경우를 실시한다.
본 논문에서는 CART외에 다른 의사결정나무와 고전적인 회귀모형, 복잡한 결과를 주는 신경망모형도 연구 대상에 포함하고 상대적으로 연구가 미흡한 연속형 반응 자료에 대하여 앙상블 기법의 성능을 검증한다. 우리는 R을 사용하여 각 알고리즘의 예측력을 향상시킬 수 있는 배깅 (bagging) (Breiman, 1996)과 부스팅 (boosting) (Shestha와 Solomatine, 2004)의 성능 향상 실험을 실시한다.
특정한 마디를 분리함으로써 분산이 줄어든다는 것은 동질적 성격을 가지고 있는 개체들은 같은 집단으로 이질적 성격을 가지고 있는 개체들은 다른 집단으로 나뉘었다는 것을 의미하므로, 분산을 가장 크게 감소시키는 분리조합이 최선의 분리를 이끌어 내는 것이다. 이를 알아보기 위해 CART의 R버전인 rpart 함수를 사용하였다.

데이터처리

본 논문에서는 앙상블 기법인 배깅, 부스팅이 연속형 반응변수를 위한 데이터마이닝 방법의 성능을 향상시키는 것에 대해 연구하였다. 실제 8가지 연속형 목표변수 데이터에 대해 평균제곱오차 및 시간을 각 알고리즘 및 기법에 대해 그 성능을 분석하였다. 그 결과 모든 데이터에 대해서 의사결정나무인 rpart (CART의 R버전)에서는 마지막 데이터를 제외하고 부스팅이 가장 좋은 방법으로 선택된 것을 알수 있었다.
본 절에서는 4장에서 소개된 데이터들에 대해 각 알고리즘 분석 결과를 살펴보기로 한다. 알고리즘의 비교 기준으로는 MSE (Mean Square Error)값이 사용되었다. 전체 반복실험횟수는 100번으로 실시하였다.

이론/모형

본 논문에서는 회귀 (regression)에 적합한 부스팅을 하기 위하여 Adaboost.RT (regression threshold)를 이용하였다 (Schrestha와 Solomatine, 2004).
이러한 여러 단일 분류기를 통합하는 방법은 목표변수가 연속형일 때와 범주형일 때 다르게 적용된다. 목표변수가 연속형 변수이면 평균을 이용하고, 범주형 변수이면 다중 투표 (majority vote) 방법을 사용한다. 이렇게 결합되어 형성된 분류기를 배깅 분류기라고 한다.

성능/효과

실제 8가지 연속형 목표변수 데이터에 대해 평균제곱오차 및 시간을 각 알고리즘 및 기법에 대해 그 성능을 분석하였다. 그 결과 모든 데이터에 대해서 의사결정나무인 rpart (CART의 R버전)에서는 마지막 데이터를 제외하고 부스팅이 가장 좋은 방법으로 선택된 것을 알수 있었다. 또한 의사결정나무인 GUIDE의 경우는 배깅과 부스팅 중에서 어느 한쪽이 좋은 방법으로 선택되기 보다는 경우에 따라서 더 좋은 방법으로 선택된 것을 알 수 있었다.
8로 가장 좋은 값을 나타냈다. 나머지 GUIDE, 선형회귀, 신경망에서는 25번 반복한 결과 15.1, 23.7, 19.2로 가장 좋은 값을 나타냈다.
그 결과 모든 데이터에 대해서 의사결정나무인 rpart (CART의 R버전)에서는 마지막 데이터를 제외하고 부스팅이 가장 좋은 방법으로 선택된 것을 알수 있었다. 또한 의사결정나무인 GUIDE의 경우는 배깅과 부스팅 중에서 어느 한쪽이 좋은 방법으로 선택되기 보다는 경우에 따라서 더 좋은 방법으로 선택된 것을 알 수 있었다. 선형회귀의 경우는 부스팅 보다 배깅이 더 좋은 방법으로 많이 선택된 것을 알 수 있었다.
하지만 그 격차가 거의 나지 않기 때문에이 역시 어느 한쪽이 좋은 방법으로 선택되었다고 말할 수 없다. 마지막으로 신경망인 경우는 모든 데이터에 대해서 부스팅이 가장 좋은 방법으로 선택된 것을 알 수 있었다.
본 논문의 결과, 어느 경우에서라도 배깅과 부스팅은 성능 향상의 도움이 된다는 것을 확인했다. 하지만 본 논문의 실험으로만 배깅과 부스팅의 성능을 단정 짓기에는 무리가 있을 수 있다.
5로 가장 좋은 값으로 나타났다. 선형회귀와 신경망 역시 부스팅에서 가장 좋은 값을 가지는 것으로 나타났다. 약간의 차이점으로는 반복이 50번했을 때 3567.
또한 의사결정나무인 GUIDE의 경우는 배깅과 부스팅 중에서 어느 한쪽이 좋은 방법으로 선택되기 보다는 경우에 따라서 더 좋은 방법으로 선택된 것을 알 수 있었다. 선형회귀의 경우는 부스팅 보다 배깅이 더 좋은 방법으로 많이 선택된 것을 알 수 있었다. 하지만 그 격차가 거의 나지 않기 때문에이 역시 어느 한쪽이 좋은 방법으로 선택되었다고 말할 수 없다.
4로 가장 좋은 결과를 나타냈다. 이와는 다르게 GUIDE와 선형회귀는 배깅을 50번 반복한 결과 3664.0, 3749.1로 가장 좋은 결과를 나타냈다.
9로 가장 좋은 값으로 나타났다. 이와는 다르게 GUIDE와 선형회귀에서는 배깅에서 가장 좋은 값으로 나타났는데 반복수가 각각 50번, 25번일 때 7.9, 11.3로 가장 좋은 값으로 나타났다. 신경망에서는 배깅을 25번 했을 때의 값과 부스팅을 50번 했을 때의 값이 동일하게 12.
표 5.2 Dmabase data의 분석 결과를 보면 rpart에서는 배깅을 50번 반복한 MSE값과 배깅을 50번 반복한 MSE값과 부스팅을 50번 반복한 MSE값이 0.262로 같은 값으로 가장 좋은 값으로 나타났다. GUIDE와 신경망 경우에는 부스팅을 50번 반복한 값이 0.

질의응답

핵심어	질문	논문에서 추출한 답변
	신경망은 어떻게 구성되어 있는가?	신경망 (neural network)은 사람 뇌의 구조를 모방한 비선형 기법이다. 신경망은 입력층 (input layer), 은닉층 (hidden layer) 그리고 출력층 (output layer)으로 구성되어 있다. 입력층으로부터 전달 되는 변수값들의 선형결합을 은닉층에서 비선형함수로 처리하여 출력층으로 전달하는 것이다.
	의사결정나무는 무엇인가?	의사결정나무란 의사결정규칙을 도표화하여 관심대상이 되는 집단을 몇 개의 소집단으로 분류하거나 예측을 수행하는 데이터마이닝 기법 중 하나이다 (박희창과 조광현, 2004). 분석과정이 나무구조에 의해 표현되기 때문에 분석과정을 쉽게 이해하고 설명할 수 있다는 장점을 가지고 있다.
	선형회귀분석을 선호하는 이유는 무엇인가?	선형회귀 (linear regression)는 목표변수가 연속형인 경우에 가장 일반적으로 사용하는 회귀분석이다. 이 분석을 선호하는 이유는 여러 함수형태 중에서 직선이 가장 단순하여 다루기가 쉽고, 모든 함수는 독립변수의 구간이 작을 때에 직선으로 근사하게 나타낼 수 있으며, 이론적으로 X와 Y의 결합분포가 이변량정규분포를 따른다면 Y의 조건부 기대치 E(Y\|X)는 X의 선형함수 즉 직선이 되기 때문이다. 모형은 다음과 같이 나타낸다.

참고문헌 (17)

박희창, 조광현 (2004). 의사결정나무기법에 의한 환경조사 모형화. , 15, 759-771

원문보기 상세보기
석경하, 류태욱 (2002). The efficiency of boosting on SVM. , 13, 55-64
이상복 (2001). 데이터마이닝기법상에서 적합된 예측모형의 평가 - 4개 분류예측모형의 오분류율 및 훈련시간 비교 평가 중심으로. , 12, 113-124

원문보기 상세보기
조영준, 이용구 (2004). 단층퍼셉트론 모형에서 초기치 최적화 방법에 관한 연구. , 15, 331-337

원문보기 상세보기
Berndt, E. (1991). The practice of economics: Classic and contemporary, reading, Mass, Addison-Wesley.
Breiman, L., Friedman, J. H., Olshen, R. A. and Stone, C. J. (1984). Classification and regression trees, New York, Chapman and Hall.
Breiman, L. (1996). Bagging predictors. Machine Learning, 24, 123-140.

상세보기
Cortez, P. and Morais, A. (2007). A data mining approach to predict forest fires using meteorological data, In Neves, J.M. and Santos, M.F. and Machado J.M.. New Trends in Artificial Intelligence: Proceedings of the 13th EPIA 2007 - Portuguese Conference on Artificial Intelligence, December, Guimaraes, Portugal, 512-523.
Dietterich, T. G.(2000). An experimental comparison of three methods for constructing ensembles of decision trees: Bagging, boosting and randomization. Machine Learning, 40, 139-158.
Efron, B and Tibshirani, R. J (1994). Nonparametric regression and generalized linear models, New York, Chapman and Hall.
Ein-Dor, P. and Feldmesser, J. (1987). Attributes of the performance of central processing units: A relative performance prediction model. Communications of the ACM, 30, 308-317.

상세보기
Freund, Y. and Schapire, R. E. (1996). Experiments with a new boosting algorithm. Machine Learning, Proceedings of the Thirteenth International Conference 148-156. Morgan Kauffman, San Francisco.
Harrison, D. and Rubinfeld, D. L. (1978). Hedonic prices and the demand for clean air. Journal of Environmental Economics & Management, 5, 81-102.

상세보기
I-Cheng, Y. (1999). Design of high-performance concrete mixture using neural networks and nonlinear programming. Journal of Computing in Civil Engineering, 13, 36-42.

상세보기
Loh, W. Y. (2002). Regression trees with unbiased variable selection and interaction detection. Statistica Sinica, 12, 361-386.

상세보기
Quinlan, J. R. (1993). C4.5: Programs for Machine Learning, San Mateo, CA Morgan Kaufmann.
Shestha, D. L. and Solomatine, D. P. (2004). AdaBoost.RT: A boosting algorithm for regression problems, International Joint Conference on Neural Networks, Budapest, Hungary.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증