[논문]분위수 회귀나무를 이용한 변수선택 방법 연구

장영재

doi:10.5351/kjas.2016.29.6.1095

초록
AI-Helper

Koenker 등 (1978)에 의해 제안 된 분위수 회귀분석법은 독립변수들이 주어졌을 때, 종속변수의 조건부 분위수에 초점을 맞추어 독립변수들과 종속변수의 해당 특정 분위수와의 관계를 분석하는 방법이다. 선형프로그래밍법 등을 이용한 분위수 회귀의 추정 과정을 생각해 볼 때, 고차원 대용량 자료의 경우에는 모형 적합에 어려움을 겪을 수 밖에 없다. 따라서 분위수 회귀의 문제에 있어서도 차원 축소의 문제, 조금 더 폭을 좁혀 생각해보면 변수선택의 문제를 통해 의사 결정에 영향을 미치는 주요 요인들을 파악하거나 적절한 규모의 모형을 적합하는 과정이 중요하다고 할 수 있다. 본 논문에서는 분위수 회귀의 변수선택의 문제를 보다 직관적이고 간단하게 해결하기 위한 방법으로서 회귀나무 모형을 응용하여 한국야구위원회에 등록된 선수들의 연봉과 기록 데이터를 분석해 보았다. 분석 결과, 각 분위수 별로 소수의 주요 변수가 선택되어 차원축소의 효과를 얻을 수 있었다. 또한 해당 분위수별로 선택된 변수도 해석상 의미 있는 것으로 평가할 수 있었다.

Abstract ▼ AI-Helper

The quantile regression method proposed by Koenker et al. (1978) focuses on conditional quantiles given by independent variables, and analyzes the relationship between response variable and independent variables at the given quantile. Considering the linear programming used for the estimation of qua...

The quantile regression method proposed by Koenker et al. (1978) focuses on conditional quantiles given by independent variables, and analyzes the relationship between response variable and independent variables at the given quantile. Considering the linear programming used for the estimation of quantile regression coefficients, the model fitting job might be difficult when large data are introduced for analysis. Therefore, dimension reduction (or variable selection) could be a good solution for the quantile regression of large data sets. Regression tree methods are applied to a variable selection for quantile regression in this paper. Real data of Korea Baseball Organization (KBO) players are analyzed following the variable selection approach based on the regression tree. Analysis result shows that a few important variables are selected, which are also meaningful for the given quantiles of salary data of the baseball players.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 분위수 회귀분석의 변수선택의 문제를 보다 직관적이고 간단하게 해결하기 위한 방법으로서 회귀나무 모형을 원용하였다. 고차원 자료 분석의 관점에서 분위수 회귀나무 모형 방법을 구현해 보고 실제 자료를 분석해 보았다. 본 논문의 구성은 다음과 같다.
본 논문에서는 이러한 변수선택의 문제를 회귀나무 방법을 이용하여 직관적이고도 이해하기 쉽게 구현해 보았다. 곡률검정에 바탕을 두고 있는 조각별 선형 회귀나무의 틀을 유지하되 분위수 회귀 방법을 응용하여 변수 선택의 문제를 해결하고자 하였다. 한국야구위원회에 등록된 선수들의 자료를 바탕으로 분위수 회귀에 관한 변수 선택을 실시한 결과, 타자와 투수의 경우 모두 분위수 회귀 나무를 통해 독립변수의 수를 상당히 축소할 수 있는 것으로 나타났다.
다만, 교차타당화(cross-validation)를 이용한 모형 평가 및 예측력 향상에만 국한된 것으로 변수선택이나 모형축소 측면은 고려하지 않았다. 본 논문에서는 고차원의 분위수 회귀모형에 있어서 변수선택과 모형 축소 방법을 살펴보기로 한다. 기존 논문에서 다루었던 변수선택의 방법 대신 회귀나무를 이용하여 직관적이고 간단하게 구현하는 방법을 이용한다.
따라서 이러한 경우, 차원 축소의 문제가 중요한 과제로 부여된다. 본 논문에서는 이러한 변수선택의 문제를 회귀나무 방법을 이용하여 직관적이고도 이해하기 쉽게 구현해 보았다. 곡률검정에 바탕을 두고 있는 조각별 선형 회귀나무의 틀을 유지하되 분위수 회귀 방법을 응용하여 변수 선택의 문제를 해결하고자 하였다.
본 논문에서는 한국프로야구 선수들의 연봉과 직전년도 성적으로 이루어진 데이터를 분위수 회귀나무 모형을 통해 분석하였다. 2016년 개막일 로스터에 등록된 선수들을 기준으로 하되 직전년도인 2015년도 성적이 존재하는 선수들만 분석대상으로 하였다.
본장에서는 분위수 회귀나무를 이용하여 한국 프로야구 선수들의 연봉과 성적과의 관계를 분석해 보았다. 특히 투수와 타자 등 선수들의 직전년도 성적을 독립변수로 하고 올해의 연봉을 종속변수로 하여 분위수 별로 연봉에 영향을 미치는 변수들이 차이가 있는지를 살펴보기 위해 회귀나무를 이용한 변수 선택을 실시하였다.

가설 설정

본 절에서는 분위수 회귀모형을 간략히 정리해 보기로 한다. 종속변수 Y와 독립변수 X가 있다고 가정하고 X는 d차원의 변수라고 하자. 이 경우 α 백분위수, Q_α는 식 (2.

제안 방법

분위수 회귀 모형의 경우에도 이러한 점을 감안하여 변수선택에 관한 논의가 꾸준히 이루어져 왔다. 본 논문에서는 분위수 회귀분석의 변수선택의 문제를 보다 직관적이고 간단하게 해결하기 위한 방법으로서 회귀나무 모형을 원용하였다. 고차원 자료 분석의 관점에서 분위수 회귀나무 모형 방법을 구현해 보고 실제 자료를 분석해 보았다.
연봉을 기준으로 90 백분위, 50 백분위, 25 백분위 수, 즉 α = 0.9, 0.5, 0.25인 경우로 나누어 각각의 회귀나무를 통해 변수를 선택하고 그 변수들만으로 분위수 회귀모형을 적합해 보았다.
1은 타자와 투수의 성적을 나타내는 주요 변수들이다. 이러한 2015년도의 성적관련 변수들을 독립변수로, 2016년 개막일 당시의 선수들의 연봉을 종속변수로 하여 분위수 회귀나무 모형을 적합해 보았다. 연봉의 단위는 천만원이며 각 변수들은 변환하지 않은 형태의 자료를 그대로 사용하였다.
본장에서는 분위수 회귀나무를 이용하여 한국 프로야구 선수들의 연봉과 성적과의 관계를 분석해 보았다. 특히 투수와 타자 등 선수들의 직전년도 성적을 독립변수로 하고 올해의 연봉을 종속변수로 하여 분위수 별로 연봉에 영향을 미치는 변수들이 차이가 있는지를 살펴보기 위해 회귀나무를 이용한 변수 선택을 실시하였다. 모든 변수를 포함한 다중 분위수 회귀 모형을 적합할 경우 너무 많은 독립변수들이 존재하여 회귀계수 추정의 불안정성 등이 발생할 수 있으므로 이러한 변수 선택 과정은 모형 적합의 용이성 면에서도 의미가 있다고 하겠다.
그럼에도 불구하고 이러한 분석대상 백분위수 선정은 다소 임의적인 부분이 있으므로 결과 해석상 유의점이 존재한다. 포지션별로는 투수들과 타자들의 성적을 직접적으로 비교하기 어려우므로 투수와 타자는 별도로 구분하여 분석하였다. 데이터는 한국야구위원회 홈페이지(http://www.

대상 데이터

본 논문에서는 한국프로야구 선수들의 연봉과 직전년도 성적으로 이루어진 데이터를 분위수 회귀나무 모형을 통해 분석하였다. 2016년 개막일 로스터에 등록된 선수들을 기준으로 하되 직전년도인 2015년도 성적이 존재하는 선수들만 분석대상으로 하였다. 즉, 올해 처음 등록된 신인이나 군복무나 부상 등으로 2015년도 기록이 없는 선수들은 분석에서 제외하였다.
포지션별로는 투수들과 타자들의 성적을 직접적으로 비교하기 어려우므로 투수와 타자는 별도로 구분하여 분석하였다. 데이터는 한국야구위원회 홈페이지(http://www.koreabaseball.com/)에 공개된 2016년 개막일 당시의 로스터와 선수조회 기능을 이용하여 검색한 뒤 축적하였다. Table 3.
낮은 수준의 연봉의 경우는 대부분 신인급의 선수들로서 최저 기본연봉에 근접한 수준을 받으므로 성적에 민감하게 연동하여 연봉을 받는다고는 평가할 수 없기 때문이다. 이는 대체로 FA 계약 등과 관련된 선수들이 많이 분포되어 있는 높은 연봉수준에도 적용되는 사안이라고 볼 수 있으며 이를 감안하여 통상적인 95 백분위수 대신 90 백분위수를 분석대상으로 삼았다. 그럼에도 불구하고 이러한 분석대상 백분위수 선정은 다소 임의적인 부분이 있으므로 결과 해석상 유의점이 존재한다.

데이터처리

자세한 사항은 Chang과 Kim (2011)을 참조하기 바란다. 개별 변수뿐만 아니라 각 변수 쌍에 대해 교호효과 파악을 위한 카이제곱 검정(chi-squared tests)을 실시하여 가장 작은 p-값을 나타낸 변수를 선택하게 된다.

이론/모형

Chang (2010)에서 GUIDE의 조각별 선형회귀 나무 모형 중 한 형태인 단계적 선형회귀나무(stepwise linear regression tree) 모형을 이용하여 고차원 자료의 변수선택 방법을 제안한 바 있다. 그러나 분위수 회귀에는 동 방법의 직접적인 적용이 어려운 점을 감안하여 본 논문에서는 Chauduri와 Loh(2002)가 제안한 분위수 회귀 나무 알고리즘을 응용한다. 특별히 분위수 회귀의 문제에 있어서 변수선택 방법으로 상수항 모형 분위수 회귀나무를 이용하기로 한다.

성능/효과

6. 이상의 상수항 모형 적합을 통해 구현된 회귀 나무에 나타난 변수들의 리스트를 확인하고 이 선택된 변수들로만 전체 자료를 대상으로 새로운 분위수 회귀모형을 적합한다. 이 때, 적합하는 모형은 조각별 회귀나무 모형 중 하나의 형태인 다중 선형 회귀나무 모형을 적용하게 된다.
즉, 올해 처음 등록된 신인이나 군복무나 부상 등으로 2015년도 기록이 없는 선수들은 분석에서 제외하였다. 결과적으로 분석대상 선수들 수는 타자는 141명, 투수는 85명이었다. 연봉을 기준으로 90 백분위, 50 백분위, 25 백분위 수, 즉 α = 0.
2와 같다. 모두 나무구조가 형성되지 않고 단일 분위수 회귀모형으로 적합되었다.
실증분석 결과 타자와 투수의 경우 모두 분위수 회귀 나무를 통해 독립변수의 수를 상당히 축소할 수 있는 것으로 나타났다. 먼저 타자의 분석결과를 보면, α = 0.
곡률검정에 바탕을 두고 있는 조각별 선형 회귀나무의 틀을 유지하되 분위수 회귀 방법을 응용하여 변수 선택의 문제를 해결하고자 하였다. 한국야구위원회에 등록된 선수들의 자료를 바탕으로 분위수 회귀에 관한 변수 선택을 실시한 결과, 타자와 투수의 경우 모두 분위수 회귀 나무를 통해 독립변수의 수를 상당히 축소할 수 있는 것으로 나타났다. 분위수에 따라 차이는 있지만, 총 19개(타자) 또는 14개(투수) 중 2{3개의 변수만을 선택하여 모형 축소가 가능하였다.

후속연구

또한 실생활에서 접할 수 있는, 상대적으로 독립 변수의 수가 많고 구성도 복잡한 실제 데이터를 분석하였으나 차원의 수가 매우 큰 고차원 자료의 경우에는 동 연구 결과의 적용 가능성을 평가할 필요가 있다. 따라서 향후 강건성을 고려하는 동시에 변수의 수가 크게 증가함에 따른 변수 선택의 성능 변화 등에 대해서도 연구를 확장하는 등 심도 있는 검토가 필요하다 하겠다.
9인 경우 타자의 분석결과를 보면, H(안타 수), h2B(2루타 수), SLG(장타율) 등의 세 개의 변수가 선택되어 고액 연봉자의 경우 연봉에 미치는 주요 요인들로 나타났고, 투수의 경우 W(승리 수)와 SV(세이브 수)가 선택되어 최근투수의 임무가 분업화되면서 각 분야에서 뛰어난 성적을 보이는 선수들이 고액 연봉을 받고 있다는 사실을 뒷받침해 주었다. 실제 데이터를 분석하면서 주요 변수가 선택되는 등 의미 있는 결과를 얻었으나 본 연구는 다소 한계점을 지니고 있다. 회귀나무 자체의 단점이기도 하지만, 분위수 회귀나무 적용에 있어서도 수많은 변형이 가능하여 불안정성이 상존한다는 점이 제약으로 존재한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	선형계획법을 활용할 때 사용하는 알고리즘은?	선형계획법을 활용하여 추정하는 데 있어서는 대체로 반복(iteration)을 통해 해를 찾는 알고리즘을 이용하게 된다. 이 과정에서도 전역 최소값(global minimum)을 찾지 못할 가능성도 있고 X의 차원 d가 매우 클 경우에는 회귀계수의 추정이 어려울 뿐만 아니라 추정 과정에서 수렴하지 않을 가능성도 증가한다.
	회귀나무란?	회귀나무는 데이터를 특정 기준 변수값에 따라 재귀적으로 이분할 하면서 모형을 확장하고 과다적합을 방지하기 위해 교차 타당화 방법을 통해 적정 크기의 모형을 찾는 방법이다. 조각별 선형 회귀나무란 회귀나무 모형을 구축할 때 분기가 이루어 질 자식 노드(node)에서 선형모형을 적합한 뒤 이러한 선형모형의 잔차가 최소화되는 지점을 찾아 최적 분기점으로 설정해 나가는 방법이다.
	고차원 자료를 다루는 분위수 회귀분석에서 주의가 필요한 이유는?	선형계획법을 활용하여 추정하는 데 있어서는 대체로 반복(iteration)을 통해 해를 찾는 알고리즘을 이용하게 된다. 이 과정에서도 전역 최소값(global minimum)을 찾지 못할 가능성도 있고 X의 차원 d가 매우 클 경우에는 회귀계수의 추정이 어려울 뿐만 아니라 추정 과정에서 수렴하지 않을 가능성도 증가한다. 따라서, 고차원 자료를 다루는 분위수 회귀분석의 경우에는 더욱 주의를 요하게 된다.

참고문헌 (7)

Breiman, L., Friedman, J., Stone, C. J., and Olshen, R. A. (1984). Classification and Regression Trees, CRC press.
Chang, Y. (2010). The analysis of factors which affect Business Survey Index using regression trees. The Korean Journal of Applied Statistics, 23, 63-71.

원문보기 상세보기
Chang, Y. (2014). Multi-step quantile regression tree. Journal of Statistical Computation and Simulation, 84, 663-682.

상세보기
Chang, Y. and Kim, H. (2011). Tree-Structured Nonlinear Regression. The Korean Journal of Applied Statistics, 24, 759-768.

원문보기 상세보기
Chaudhuri, P. and Loh, W.-Y. (2002). Nonparametric estimation of conditional quantiles using quantile regression trees. Bernoulli, 8, 561-576.

상세보기
Koenker, R. and Bassett, G. (1978). Regression Quantiles. Journal of Econometrica, 46, 33-50.

상세보기
Loh (2002). Regression trees with unbiased variable selection and interaction detection. Statistica Sinica, 12, 361-386.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

분위수 회귀나무를 이용한 변수선택 방법 연구
Variable selection with quantile regression tree 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

분위수 회귀나무를 이용한 변수선택 방법 연구 Variable selection with quantile regression tree 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

장영재 (7)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

분위수 회귀나무를 이용한 변수선택 방법 연구
Variable selection with quantile regression tree 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper