[논문]Adaptive lasso를 이용한 희박벡터자기회귀모형에서의 변수 선택

이슬기; 백창룡

doi:10.5351/kjas.2016.29.1.027

Adaptive lasso를 이용한 희박벡터자기회귀모형에서의 변수 선택
Adaptive lasso in sparse vector autoregressive models 원문보기

응용통계연구 = The Korean journal of applied statistics, v.29 no.1, 2016년, pp.27 - 39

초록
AI-Helper

본 논문은 다차원의 시계열 자료 분석에서 효율적인 희박벡터자기회귀모형에서의 모수 추정에 대해서 연구한다. 희박벡터자기회귀모형은 영에 가까운 계수를 정확이 영으로 둠으로써 희박성을 확보한다. 따라서 변수 선택과 모수 추정을 한꺼번에 할 수 있는 lasso를 이용한 방법론을 희박벡터자기회귀모형의 추정에 쓸 수 있다. 하지만 Davis 등(2015)에서는 모의실험을 통해 일반적인 lasso의 경우 영이아닌 계수를 참값보다 훨씬 더 많이 찾아 희박성에 약점이 있음을 보고하였다. 이에 따라 본 연구는 희박벡터자기회귀모형에 adaptive lasso를 이용하면 일반 lasso보다 희박성을 비롯한 전반적인 모수의 추정이 매우 유의하게 개선됨을 보인다. 또한 adaptive lasso에서 쓰이는 튜닝 모수들에 대한 선택도 아울러 논의한다.

Abstract ▼ AI-Helper

This paper considers variable selection in the sparse vector autoregressive (sVAR) model where sparsity comes from setting small coefficients to exact zeros. In the estimation perspective, Davis et al. (2015) showed that the lasso type of regularization method is successful because it provides a simultaneous variable selection and parameter estimation even for time series data. However, their simulations study reports that the regular lasso overestimates the number of non-zero coefficients, hence its finite sample performance needs improvements. In this article, we show that the adaptive lasso significantly improves the performance where the adaptive lasso finds the sparsity patterns superior to the regular lasso. Some tuning parameter selections in the adaptive lasso are also discussed from the simulations study.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그 아이디어는 작은 추정값을 가지는 계수에 대해서 더 많은 가중벌점을 주어서 변수가 선택되지 못하게 하는 것이다. 따라서 본 논문은 adaptive lasso를 이용하여 희박벡터모형을 추정하였을 경우에 어떠한 성능향상을 기대할 수 있는지 모의실험을 통해서 밝히고자 한다. 구체적으로 adaptive lasso는 다음과 같이 정의된다.
즉 매우 큰 노이즈가 있는 sVAR 모형이나 차수가 높은 모형에서도 영이 아닌 계수를 매우 정확하게 선택함을 보인다. 또한 adaptive lasso에 필요한 튜닝 모수의 선택에 대해서도 심도 있는 논의를 한다.
희박벡터자기회귀모형은 매우 큰 다차원의 시계열 벡터들 간의 선형 종속관계를 연구할 때 효율적인 변수 선택 방법으로 잘 알려진 모형이다. 본 논문에서는 희박자기회귀모형의 계수 추정방법으로서의 adaptive lasso 벌점화에 대해 알아보고, 기존에 계수 추정방법으로 알려진 lasso와의 비교를 통해 adaptive lasso를 이용한 희박자기회귀벡터 모형 추정 성능을 알아보았다. 그 결과 lasso를 이용한 희박자기회귀벡터 모형 추정에서의 단점인 영이 아닌 계수를 과대 추정한다는 점이 adaptive lasso를 이용하면 크게 보완됨을 모의실험을 통해 확인했다.
본 장에서는 adaptive lasso 방법을 이용하여 희박벡터상관회귀 모형을 추정하였을 때 어떠한 성능을 보이는지에 대한 모의실험 결과를 보고한다. 본 모의실험에는 다음의 두 가지 자료생성과정(Data generating process)을 사용하였다.
본 절에서는 adaptive lasso의 추정 성능을 알아보기 위해서 튜닝 모수 γ = 1 및 표본 크기는 T =1000에 대해서 위에서 제시한 7가지 방법을 두 가지 DGP 모형에 적용한 결과를 보고한다.
6) 방법을 적용하였다. 이는 adaptive lasso에 의한 추정 성능의 향상 인지 혹은 노이즈 벡터의 분산-공분산을 고려하였기 때문에 얻어지는 성능 향상인지를 구별하기 위해 고안한 실험이다.

가설 설정

우선 다변량 시계열 자료 Y1, . . . , YT에 대해서 {Yt}는 인과과정(causal process)임을 가정하며 {Zt}는 {Ys, s < t}와 독립임을 가정한다.
으로 주어진 다변량 정규분포를 따른다고 가정하였다.

제안 방법

따라서 분산 공분산 행렬의 의존구도를 결정하는 모수인 δ 값을 1로, 표본크기 T를 500으로 고정 한 뒤, adaptive lasso 가중치 항에 적용되는 튜닝 모수인 γ의 선택에 대한 성능 차이를 비교해 보았다.
또한 이노베이션의 분산-공분산의 노이즈 정도에 따른 성능 차이를 보기 위해서 수식 (3.3)에서 모수 δ = 1, 5, 10세 가지 경우에 대해서 결과를 산출하였다.
본 논문에서 고려한 adaptive lasso의 성능이 표본 크기에 따라 어떻게 변화하는지에 대해서 알아보기 위해서 본 절에서는 adaptive lasso의 튜닝 모수 γ = 1에 대해서 이노베이션의 분산-공분산 모수 δ값을 5로 고정하고, 표본수가 200, 500, 1000으로 증가함에 따라 adaptive lasso 추정의 성능을 비교하였다.
본 장에서는 adaptive lasso 방법을 이용하여 희박벡터상관회귀 모형을 추정하였을 때 어떠한 성능을 보이는지에 대한 모의실험 결과를 보고한다. 본 모의실험에는 다음의 두 가지 자료생성과정(Data generating process)을 사용하였다. 첫 번째 DGP(DGP1)는 VAR(1) 모형에 여섯 개의 영이 아닌 계수를 가지는 sVAR(1; 6) 모형으로 모형식은
본 실험에서는 최소자승추정값(al-OSL), 최대우도추정량(al-MLE), i.i.d. 가정하의 lasso 추정량(al-Lasso), 릿지 추정량(al-Ridge) 네 가지 방법을 통해 얻어진 초기 추정값에 대해서 얻어진 분산-공분산 행렬 추정량 (2.3)–(2.5)을 사용하였다.
하지만, 차원에 따라 모수의 숫자는 제곱함수로 증가하는 차원의 저주를 가지고 있어서 고차원 자료의 경우 추정의 어려움뿐만 아니라 예측력의 저하와 해석의 어려움을 동반하는 등 많은 문제를 가지고 있다. 이에 대한 한 가지 해결책으로 VAR 모형의 계수들이 0에 가까운 값을 정확하게 0으로 둠으로써 추정하여야하는 계수의 숫자를 줄이는 소위 희박벡터자기상관회귀모형 (sparse VAR models; sVAR)이 높은 차원에서의 VAR 모형의 결점을 보완할 수 있는 모형으로 제안되었다.
표본 크기 T = 1000 그리고 δ = 1에 대해서 i.i.d. 가정하의 lasso 추정량을 초기값으로 사용한 adaptive lasso 추정방법과 Davis 등 (2015) 에서 사용한 분산-공분산 행렬을 고려한 lasso 추정량에 대해서 추정값에 대한 결과를 요약하였다.

대상 데이터

3절에서 살펴본다. 모든 모의실험 결과는 총 500번의 반복을 통해 산출하였다.

데이터처리

극좌표 하강 알고리즘 및 10-fold CV를 통한 튜닝모수 λ 선택을 통해 추정량 계산.
모의실험 결과 각 측도의 변수선택 성능을 요약하기 위한 통계량으로는 RMSE(root mean square error), 영이 아닌 계수의 수, MSP(mean squared proportion)를 고려하였다. 우선, RMSE는 추정량의 불일치도를 나타내기 위한 통계량으로 다음과 같이 정의된다.

이론/모형

릿지 추정량에서의 튜닝 모수 λ의 추정은 Cule과 De Iorio (2013)의 방법을 따랐다.
모수의 추정은 극좌표 하강 알고리즘(coordinate descent algorithm)에 기반하여 10-fold CV(crossvalidation)로 튜닝모수 λ를 추정하고 분산 공분산 행렬 ΣZ과 모수 α를 반복적으로 업데이트 하는 다음의 알고리즘을 사용한다.
현대의 급격한 과학 기술의 발전은 기존에는 상상할 수조차 없는 다양하고도 대용량의 데이터를 생산해 내었다. 본 연구에서는 시간에 따라 관측된 고차원의 대용량 시계열 자료를 매우 효과적으로 분석할 수 있는 벡터자기상관회귀 모형(vector autoregressive model; VAR)의 추정을 다룬다. VAR 모형은 변수들 사이의 종속관계(interdependence)를 고려하여 시간에 따른 종속 관계(temporal dependence)를 선형 종속관계로 나타내는 모형이다.
1은 첫 번째 DGP 모형인 sVAR(1; 6)에 대한 결과이다. 첫 네 열은 분산-공분산 행렬을 업데이트하는 알고리듬을 사용한 adaptive lasso 방법에서 초기값(OLS, MLE, Lasso, Ridge)에 따라 그 결과를 정리한 것이고, 다섯 번째 열의 Lasso는 Davis 등 (2015)에서 사용한 분산-공분산 행렬을 업데이트하는 lasso 방법을 나타낸다. 마지막 두개 열은 이노베이션 공분산에 대해서 i.
7)에서 Σ_Z를 I_K로 대체한 방법이다. 하지만 시계열 모형에서는 i.i.d. 가정을 하지 않으므로 Davis 등 (2015)에서 제안한 분산 공분산 행렬 업데이트 방법을 적용한 lasso 방법을 토대로 한 (2.6) 방법을 적용하였다. 이는 adaptive lasso에 의한 추정 성능의 향상 인지 혹은 노이즈 벡터의 분산-공분산을 고려하였기 때문에 얻어지는 성능 향상인지를 구별하기 위해 고안한 실험이다.

성능/효과

4에 요약되어 있다. DGP1과 같이 adaptive lasso가 lasso 방법보다 더 좋은 결과를 주었으며 OLS를 이용한 초기 추정값이 가장 좋은 결과를 주었다. DGP1과 비교하여 모형이 복잡해짐에 따라 RMSE를 비롯한 성능측도들이 감소하는 추세를 보여주지는 못하였지만 표본이 증가할수록 더 희박한 모형을 찾는 경향이 있었다.
DGP1과 같이 adaptive lasso가 lasso 방법보다 더 좋은 결과를 주었으며 OLS를 이용한 초기 추정값이 가장 좋은 결과를 주었다. DGP1과 비교하여 모형이 복잡해짐에 따라 RMSE를 비롯한 성능측도들이 감소하는 추세를 보여주지는 못하였지만 표본이 증가할수록 더 희박한 모형을 찾는 경향이 있었다. 이는 lasso 및 adaptive lasso 모두 가지고 있는 성질로 추가 연구가 필요한 흥미로운 점으로 보인다.
본 논문에서는 희박자기회귀모형의 계수 추정방법으로서의 adaptive lasso 벌점화에 대해 알아보고, 기존에 계수 추정방법으로 알려진 lasso와의 비교를 통해 adaptive lasso를 이용한 희박자기회귀벡터 모형 추정 성능을 알아보았다. 그 결과 lasso를 이용한 희박자기회귀벡터 모형 추정에서의 단점인 영이 아닌 계수를 과대 추정한다는 점이 adaptive lasso를 이용하면 크게 보완됨을 모의실험을 통해 확인했다. 특히, 분산 공분산 행렬을 업데이트 하며 adaptive lasso를 사용하였을 때 가장 높은 성능을 보임을 모의실험을 통해 밝혔으며 이를 위한 초기 추정값으로는 릿지 추정량의 경우 가장 낮은 성능을 보였으며 최소자승추정값(al-OLS) 혹은 i.
또한, 표본의 크기가 증가함에 따라 RMSE를 비롯한 성능측도가 감소하는 추세를 볼 수 있다. 또한 초기 값의 추정의 경우 릿지 추정량을 제외하고서는 그 우열을 가리기 힘드나 i.i.d.을 가정한 lasso 추정량이 모든 경우에서 근소하나마 가장 좋은 성능을 보였다. DGP2에 대한 결과는 Table 3.
가정하의 lasso 추정량(al-Lasso)가 표본 크기, 튜닝 모수 등에 대한 효과를 종합적으로 판단했을 때 가장 좋은 성능을 보였다. 또한, adaptive lasso의 튜닝 모수인 γ값이 증가할수록 영에 가까운 작은 계수들에 대해 가중치가 증가하므로 더 희박한 모형을 추정하나 γ값에 따라 매우 민감하게 변하지는 않아 대략 .5에서 1.5사이의 범위에서의 값의 경우 충분히 좋은 성능을 제공할 것이라 본다.
3는 DGP1에 대한 결과이다. 먼저 작은 표본수인 T = 200을 비롯한 본 실험에서 고려한 모든 경우에 대해서 adaptive lasso가 lasso 방법을 개선시키며 그 성능 또한 만족스러움을 볼 수 있다. 또한, 표본의 크기가 증가함에 따라 RMSE를 비롯한 성능측도가 감소하는 추세를 볼 수 있다.
먼저 adaptive lasso 방법이 lasso 방법에 비해서 작은 RMSE, 영이 아닌 계수의 참값인 0에 훨씬 더 가까운 값을 주며 MSP가 급격하게 작아짐을 볼 수 있다. 분산-공분산 행렬을 고려하지 않다 할지라도 adaptive lasso 방법은 lasso 방법보다 훨씬 더 좋은 성능을 보임을 알 수 있어, 본 실험을 통해서 adaptive lasso가 희박벡터상관회귀 모형의 추정에 있어서 매우 좋은 성능을 보임을 알 수 있다. 하지만 노이즈 정도인 δ가 커지면 분산-공분산 행렬을 고려한 방법이 그렇지 않은 adaptive lasso보다 더 좋은 성능을 보임을 알 수 있다.
2에서 찾아볼 수 있다. 첫 번째 실험 결과와 비슷하게 sVAR(2; 12)으로 AR의 차수가 높은 복잡한 모형에서도 adaptive lasso가 lasso 방법과 비교하여 훨씬 더 좋은 성능을 보임을 확인할 수 있다. 다만 복잡한 모형의 경우 또한 노이즈 정도인 δ의 값이 높아질수록 adaptive lasso 뿐만 아니라 lasso 방법이 좀 더 희박한 모형을 찾는 것은 흥미로운 사실로 이 부분에 대한 추후 연구가 필요하다고 판단된다.
특히, γ 값이 1 이상 값을 가질 때 영이 아닌 계수의 평균도 실제값인 6과 가깝고 RMSE와 MSP값도 낮아 높은 성능을 보임을 알 수 있으며 튜닝 모수 γ = 1, γ = 1.5, γ = 2로 증가하더라도 그 성능의 차이가 크지 않았다
그 결과 lasso를 이용한 희박자기회귀벡터 모형 추정에서의 단점인 영이 아닌 계수를 과대 추정한다는 점이 adaptive lasso를 이용하면 크게 보완됨을 모의실험을 통해 확인했다. 특히, 분산 공분산 행렬을 업데이트 하며 adaptive lasso를 사용하였을 때 가장 높은 성능을 보임을 모의실험을 통해 밝혔으며 이를 위한 초기 추정값으로는 릿지 추정량의 경우 가장 낮은 성능을 보였으며 최소자승추정값(al-OLS) 혹은 i.i.d. 가정하의 lasso 추정량(al-Lasso)가 표본 크기, 튜닝 모수 등에 대한 효과를 종합적으로 판단했을 때 가장 좋은 성능을 보였다. 또한, adaptive lasso의 튜닝 모수인 γ값이 증가할수록 영에 가까운 작은 계수들에 대해 가중치가 증가하므로 더 희박한 모형을 추정하나 γ값에 따라 매우 민감하게 변하지는 않아 대략 .
하지만, 영이 아닌 계수의 개수에 비해서 RMSE의 변화는 그리 크지 않아 희박벡터자기상관 모형의 추정에서 adaptive lasso의 튜닝 모수 γ의 영향은 우려만큼 크지 않으며 대략 γ값이 0.5∼1.5 사이의 값이면 실증 자료 분석에서 충분히 좋은 결과를 제공할 것으로 보인다.

후속연구

다만 복잡한 모형의 경우 또한 노이즈 정도인 δ의 값이 높아질수록 adaptive lasso 뿐만 아니라 lasso 방법이 좀 더 희박한 모형을 찾는 것은 흥미로운 사실로 이 부분에 대한 추후 연구가 필요하다고 판단된다.
초기값에 대한 효과는 릿지 추정량을 제외하고는 대부분 비슷한 성능을 보이고 있다. 릿지 추정량이 다중공선성을 가지는 공변량에 대한 좋은 추정량이기에 VAR 모형에서 좀 더 자연스러운 추정량이라고 생각하였고 또한 Zhang 등 (2008) 등에서는 릿지 추정량이 다차원 시계열의 추정에 있어서는 좋은 이론적인 성질을 가지고 있음을 보였지만, 이번 모의실험에서는 릿지 추정량이 예상만큼 좋은 성능을 보이지는 못해 추가 연구가 필요할 것으로 본다.
하지만 Davis 등 (2015)의 모의시험에 따르면 lasso 방법이 대체적으로 sVAR 모형의 계수추정에는 적합하나 0이 아닌 계수의 숫자가 참값보다 훨씬 크게 되는 단점이 있음을 보고하였다. 이에 따라 본 논문에서는 adaptive lasso를 사용할 경우 모형의 추정에 있어서 매우 드라마틱한 성능향상을 기대할 수 있음을 보인다. 즉 매우 큰 노이즈가 있는 sVAR 모형이나 차수가 높은 모형에서도 영이 아닌 계수를 매우 정확하게 선택함을 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	벡터자기상관회귀 모형의 기능은?	현대의 급격한 과학 기술의 발전은 기존에는 상상할 수조차 없는 다양하고도 대용량의 데이터를 생산해 내었다. 본 연구에서는 시간에 따라 관측된 고차원의 대용량 시계열 자료를 매우 효과적으로 분석할 수 있는 벡터자기상관회귀 모형(vector autoregressive model; VAR)의 추정을 다룬다. VAR 모형은 변수들 사이의 종속관계(interdependence)를 고려하여 시간에 따른 종속 관계(temporal dependence)를 선형 종속관계로 나타내는 모형이다.
	VAR 모형이 가지는 문제점은?	VAR 모형은 Sims (1980)를 비롯한 계량경제분야를 필두로 기상학, 환경, 금융 등에서 매우 높은 예측력을 가지는 모델임이 밝혀졌다. 하지만, 차원에 따라 모수의 숫자는 제곱함수로 증가하는 차원의 저주를 가지고 있어서 고차원 자료의 경우 추정의 어려움 뿐만 아니라 예측력의 저하와 해석의 어려움을 동반하는 등 많은 문제를 가지고 있다. 이에 대한 한 가지 해결책으로 VAR 모형의 계수들이 0에 가까운 값을 정확하게 0으로 둠으로써 추정하여야하는 계수의 숫자를 줄이는 소위 희박벡터자기상관회귀모형(sparse VAR models; sVAR)이 높은 차원에서의 VAR 모형의 결점을 보완할 수 있는 모형으로 제안되었다.
	벡터자기상관회귀 모형이란 무엇인가?	본 연구에서는 시간에 따라 관측된 고차원의 대용량 시계열 자료를 매우 효과적으로 분석할 수 있는 벡터자기상관회귀 모형(vector autoregressive model; VAR)의 추정을 다룬다. VAR 모형은 변수들 사이의 종속관계(interdependence)를 고려하여 시간에 따른 종속 관계(temporal dependence)를 선형 종속관계로 나타내는 모형이다. 보다 구체적으로 먼저 차원이 K인 다변량 시계열 자료 Y1, .

참고문헌 (14)

Arnold, A., Liu, Y., and Abe, N. (2008). Temporal causal modeling with graphical Granger methods, In Proceedings of the 13th ACM SIGKDD International Conference of Knowledge Discovery and Data Mining.
Cule, E., De Iorio, M. (2013). Ridge regression in prediction problems: automatic choice of the ridge parameter, Genetic Epidemiology, 37, 704-714.

상세보기
Identification of synaptic connections in neural ensembles by graphical models, Journal of Neuroscience Methods, 77, 93-107.

상세보기
Davis, R. A., Zang, P., and Zheng, T. (2015). Sparse vector autoregressive modeling, arXiv:1207.0520. Econometrica, 37, 424-438.
Hastie, T., Tibshirani, R., Wainwright, M. (2015). Statistical Learning with Sparsity: The Lasso and Generalizations, CRC press.
Huang, J., Ma, S., and Zhang, C.-H. (2008). Adaptive lasso for sparse high-dimensional regression models, Statistica Sincia, 18, 1608-1618.
Hsu, N.-J., Hung, H.-L., and Chang, Y.-M. (2008). Subset selection for vector autoregressive processes using lasso, Computational Statistics & Data Analysis, 52, 3645-3657.

상세보기
Lozano, A. C., Abe, N., Liu, Y., and Rosset, S. (2009). Grouped graphical Granger modeling for gene expression regulatory networks discovery, Bioinformatics, 25, 110-118.

상세보기
Lutkepohl, H. (2005). New Introduction to Multiple Time Series Analysis, Springer-Verlag, Berlin.
Song, S. and Bickel, P. J. (2011). Large vector auto regressions, arXiv:1106.3915.
Sims, C. A. (1980). Macroeconomics and reality, Econometrica: Journal of the Econometric Society, 1-48.
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso, Journal of the Royal Statistical Society, Series B, 58, 267-288.
Zhang, J., Jeng, X. J., and Liu, H. (2008). Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression, arXiv:0810.1644.
Zou, H. (2006). Adaptive lasso and its oracle properties, Journal of American Statistical Association, 101, 1418-1429.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증