[논문]시뮬레이션을 통한 다양한 로버스트 회귀추정량의 비교 연구

장수희; 윤정연; 전희주

doi:10.5351/kjas.2016.29.3.471

시뮬레이션을 통한 다양한 로버스트 회귀추정량의 비교 연구
A comparison study of various robust regression estimators using simulation 원문보기

응용통계연구 = The Korean journal of applied statistics, v.29 no.3, 2016년, pp.471 - 485

장수희 (동덕여자대학교 정보통계학과) , 윤정연 (한국금융연수원) , 전희주 (동덕여자대학교 정보통계학과)

초록
AI-Helper

회귀모형의 대표적인 추정법인 최소제곱법은 오차항의 분포가 정규분포를 따르고 이상치가 없는 상황에서는 최적이지만, 자료가 회귀모형의 가정을 만족하지 않을 경우 또는 이상치를 포함하는 경우와 같이 자료가 오염된 상황에서는 왜곡된 추정 결과를 준다. 따라서 이상치에 민감한 최소제곱법의 단점을 보완하기 위해 다양한 로버스트 추정방법이 제안되었다. 본 논문에서는 MLE를 기반으로 제안된 M 추정량, 순서형 통계량을 기반으로 제안된 L 추정량, 잔차의 순위를 기반으로 제안된 R 추정량 계열에서 높은 붕괴점 또는 높은 효율을 갖는 대표적인 추정량들을 다양한 모의실험을 통해 비교 연구하였다. 추정량의 성능을 비교하는데 효율성 뿐만 아니라 편의, 분산을 포함한 분포를 살펴보았다. 그 결과 실제 데이터 적용에는 MM 추정량과 GR 추정량이 좋은 성능을 가진 것으로 보였다.

Abstract ▼ AI-Helper

Least squares (LS) regression is a classic method for regression that is optimal under assumptions of regression and usual observations. However, the presence of unusual data in the LS method leads to seriously distorted estimates. Therefore, various robust estimation methods are proposed to circumvent the limitations of traditional LS regression. Among these, there are M-estimators based on maximum likelihood estimation (MLE), L-estimators based on linear combinations of order statistics and R-estimators based on a linear combinations of the ordered residuals. In this paper, robust regression estimators with high breakdown point and/or with high efficiency are compared under several simulated situations. The paper analyses and compares distributions of estimates as well as relative efficiencies calculated from mean squared errors (MSE) in the simulation study. We conclude that MM-estimators or GR-estimators are a good choice for the real data application.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이상치가 존재할 때 최소제곱 회귀추정량의 대안으로 사용되는 로버스트 추정방법들을 다양한 오염이 존재하는 경우를 상정하여 각 추정량들의 성능을 모의실험을 통해 비교하고자 하였다. 로버스트 회귀추정량을 비교하는 대표적인 척도인 붕괴점과 효율성을 기준으로 각 계열의 로버스트 회귀추정량들을 네 그룹으로 나누고 각 그룹에 속하는 대표적인 추정량들을 선정하였다.
본 절에서는 다양한 로버스트 회귀추정량(Huber-M, MM, LMS, LTS, R, GR, HBR)의 성능을 비로버스트 회귀추정량인 최소제곱추정량과 비교하고자 한다. 오염 상황에서 각 추정법의 성능을 두 가지방법으로 비교하였는데, 첫 번째는 각 회귀추정량들의 MSE를 편의와 분산으로 나누어 살펴보고 LS의 MSE 대비 상대 MSE의 비율인 asymptotic relative efficiency(ARE)을 통해 효율성을 비교하는 것이고, 두 번째는 추정된 회귀계수의 분포를 비교하는 것이다.

제안 방법

이들 척도를 기준으로 M 회귀추정량, MM 회귀추정량, LMS 회귀추정량과 LTS 회귀추정량, R 회귀추정량, 가중 Wilcoxon 추정량을 기반으로 한 GR 회귀추정량과 HBR 회귀추정량을 비교 대상으로 택하였다. 기존 연구에서 밝혀진 회귀추정량들을 시뮬레이션을 통해 비교하였다는 점에 있어서 Yu 등(2014)의 연구와 동일선상에 있지만 직관적으로 이해할 수 있도록 오염 상황을 설정하였다. 또한 Yu 등(2014)의 연구에서는 단순하게 추정치의 평균제곱오차만을 보았지만 본 연구는 추정치의 평균제곱오차를 변이와 분산으로 나누어 각 회귀추정량의 MSE 변화에 대한 설명을 하고자 했고 추정치의 분포를 boxplot을 통해 살펴보면서 좀 더 심도 있게 회귀추정방법의 성능을 비교하였다.
기존 연구에서 밝혀진 회귀추정량들을 시뮬레이션을 통해 비교하였다는 점에 있어서 Yu 등(2014)의 연구와 동일선상에 있지만 직관적으로 이해할 수 있도록 오염 상황을 설정하였다. 또한 Yu 등(2014)의 연구에서는 단순하게 추정치의 평균제곱오차만을 보았지만 본 연구는 추정치의 평균제곱오차를 변이와 분산으로 나누어 각 회귀추정량의 MSE 변화에 대한 설명을 하고자 했고 추정치의 분포를 boxplot을 통해 살펴보면서 좀 더 심도 있게 회귀추정방법의 성능을 비교하였다.
본 논문에서는 이상치가 존재할 때 최소제곱 회귀추정량의 대안으로 사용되는 로버스트 추정방법들을 다양한 오염이 존재하는 경우를 상정하여 각 추정량들의 성능을 모의실험을 통해 비교하고자 하였다. 로버스트 회귀추정량을 비교하는 대표적인 척도인 붕괴점과 효율성을 기준으로 각 계열의 로버스트 회귀추정량들을 네 그룹으로 나누고 각 그룹에 속하는 대표적인 추정량들을 선정하였다. 붕괴점은 추정량의 편의가 무한이 되지 않도록 하는 최소 오염 비율을 말하며, 이 중 표본의 일부를 얼마나 교체하여 통계량의 값이 무한대가 되는지를 판단하는 붕괴점의 개념을 사용하였다.
본 연구의 모의실험에서는 실제 데이터에서 나타날 수 있는 다양한 형태의 오염을 고려하였다. 결과를 분석해보면 대부분의 경우 로버스트 회귀추정량이 LS 방법에 비해 우수한 성능을 가지는 것을 볼 수 있다.
본 절에서는 다양한 로버스트 회귀추정량(Huber-M, MM, LMS, LTS, R, GR, HBR)의 성능을 비로버스트 회귀추정량인 최소제곱추정량과 비교하고자 한다. 오염 상황에서 각 추정법의 성능을 두 가지방법으로 비교하였는데, 첫 번째는 각 회귀추정량들의 MSE를 편의와 분산으로 나누어 살펴보고 LS의 MSE 대비 상대 MSE의 비율인 asymptotic relative efficiency(ARE)을 통해 효율성을 비교하는 것이고, 두 번째는 추정된 회귀계수의 분포를 비교하는 것이다. 모의실험에서 사용된 원자료의 모형은 y_i = β₀ + β₁x_i + ε_i, ε_i ∼ N (0, 1), X ∼ U (−2, 2)이고, β₀ = 0, β₁ = 1로 설정하고 크기가 50인 표본을 이용한 추정을 1,000회 반복하였다.
오염자료는 위치를 지정하기 위하여 이변량 정규분포(bivariate normal distribution; BVN)에서 생성했고, 오염자료의 X, Y 의 분산은 1, X, Y 간 상관계수는 0으로 설정했다.
본 논문에서의 효율성은 최소제곱 회귀추정량 대비 상대효율을 의미하며 회귀추정량들의 평균제곱오차(mean squared error; MSE)의 비율이다. 이들 척도를 기준으로 M 회귀추정량, MM 회귀추정량, LMS 회귀추정량과 LTS 회귀추정량, R 회귀추정량, 가중 Wilcoxon 추정량을 기반으로 한 GR 회귀추정량과 HBR 회귀추정량을 비교 대상으로 택하였다. 기존 연구에서 밝혀진 회귀추정량들을 시뮬레이션을 통해 비교하였다는 점에 있어서 Yu 등(2014)의 연구와 동일선상에 있지만 직관적으로 이해할 수 있도록 오염 상황을 설정하였다.

이론/모형

회귀모형(regression model)의 대표적인 방법인 최소제곱법(least squares method; LS)은 가정과 이상치(outlier)에 매우 민감하기 때문에, 자료가 회귀모형의 가정을 만족하지 않을 경우 또는 이상치를 포함하는 경우에 왜곡된 추정 결과를 준다. 따라서 이상치에 민감한 LS의 단점을 보완하기 위해 이상치의 가중치를 줄여 이상치에 민감하지 않은 로버스트 추정법이 사용된다. 대표적인 로버스트 추정방법에는 Huber (1973)에 의해 제안된 MLE를 기반으로 한 M 추정량 계열, Siegel (1982)에 의해 제안된 순서형 통계량을 기반으로 한 L 추정량 계열, Jaekel (1972)에 의해 제안된 잔차의 순위(rank)를 기반으로 한 R 추정량 계열이 있다.

성능/효과

본 연구의 모의실험에서는 실제 데이터에서 나타날 수 있는 다양한 형태의 오염을 고려하였다. 결과를 분석해보면 대부분의 경우 로버스트 회귀추정량이 LS 방법에 비해 우수한 성능을 가지는 것을 볼 수 있다. 낮은 효율성이 단점으로 부각된 LMS와 LTS는 이상치에 대해 저항력이 강하여 본 연구에서 시행된 모든 오염상황에서 일관적으로 가장 로버스트한 추정을 제공하며 편의제곱이 매우 작은 것을 볼 수 있었다.
낮은 효율성이 단점으로 부각된 LMS와 LTS는 이상치에 대해 저항력이 강하여 본 연구에서 시행된 모든 오염상황에서 일관적으로 가장 로버스트한 추정을 제공하며 편의제곱이 매우 작은 것을 볼 수 있었다. 결과적으로 효율성도 타 로버스트 방법에 비해 높은 것을 볼 수 있었다. 다만 추정량의 분산이 다른 추정량들에 비해 매우 크게 나타나므로 실제 데이터에 적용시에는 이를 주의할 필요가 있다.
결과를 분석해보면 대부분의 경우 로버스트 회귀추정량이 LS 방법에 비해 우수한 성능을 가지는 것을 볼 수 있다. 낮은 효율성이 단점으로 부각된 LMS와 LTS는 이상치에 대해 저항력이 강하여 본 연구에서 시행된 모든 오염상황에서 일관적으로 가장 로버스트한 추정을 제공하며 편의제곱이 매우 작은 것을 볼 수 있었다. 결과적으로 효율성도 타 로버스트 방법에 비해 높은 것을 볼 수 있었다.
다만 추정량의 분산이 다른 추정량들에 비해 매우 크게 나타나므로 실제 데이터에 적용시에는 이를 주의할 필요가 있다. 높은 붕괴점과 효율성을 동시에 가지고 있다고 알려진 MM 추정량은 오염수준이 10%인 경우 아주 좋은 성능을 보였지만 오염비율이 높아질수록 편의제곱이 커지며 성능이 떨어지는 것을 볼 수 있었다. 한편, R계열 추정량을 살펴보면 HBR 추정량은 GR 추정량보다 높은 붕괴점을 가지며, GR 추정량에서 손실된 효율을 회복하는 추정량으로 알려져 있지만 (Chang 등, 1999), 본 연구의 모의실험에서는 R 계열의 세 추정량이 비슷한 성능을 보이며, GR 추정량이 대체로 R 추정량과 HBR 추정량보다 더 나은 성능을 보이는 것을 볼 수 있었다.
1에서 ARE가 모두 1보다 작아 효율성 측면에서 LS가 모든 로버스트 방법보다 우수한 것을 볼 수 있다. 또한 타 로버스트 추정방법들에 비해 LMS와 LTS의 분산이 크고 결과적으로 낮은 효율성을 보인다는 것을 알 수 있다.
3의 오염된 자료를 가지고 로버스트 회귀추정량들의 분산, 편의제곱, MSE, ARE를 최소제곱추정량과 비교한 표이다. 기울기의 추정량을 중심으로 오염비율이 30%로 높은 경우 Huber와 MM을 제외하면 모든 경우에서 로버스트 추정량의 ARE가 1보다 큰 것을 보아 LS에 비해 효율성이 높은 것을 볼 수 있다. 오염비율이 10%로 낮을 경우에는 MM 추정량은 ARE가 가장 높아 효율성은 가장 크지만, 오염비율이 늘어날수록 편의가 커짐으로 해서 그 효율성이 점차 떨어짐을 알 수 있다.
모의실험에서 사용된 원자료의 모형은 yi = β0 + β1xi + εi, εi ∼ N (0, 1), X ∼ U (−2, 2)이고, β0 = 0, β1 = 1로 설정하고 크기가 50인 표본을 이용한 추정을 1,000회 반복하였다.
4를 보면 오염비율이 10%, 20%인 경우 로버스트 추정량의 ARE가 1보다 큰 것을 보아 LS에 비해 효율성이 높은 것을 볼 수 있다. 좀 더 자세히 보면 오염비율이 10%로 작은 경우에는 MM 방법이 ARE가 9.6674로 가장 효율적으로 나타나지만, 오염비율이 20% 이상인 경우에는 MM 추정량의 편의가 급격하게 증가하여 효율성은 떨어지는 것을 볼 수 있다. 반면에 LMS와 LTS는 오염비율이 늘어남에도 불구하고 타 로버스트 방법에 비해 높은 효율성을 유지한다.
높은 붕괴점과 효율성을 동시에 가지고 있다고 알려진 MM 추정량은 오염수준이 10%인 경우 아주 좋은 성능을 보였지만 오염비율이 높아질수록 편의제곱이 커지며 성능이 떨어지는 것을 볼 수 있었다. 한편, R계열 추정량을 살펴보면 HBR 추정량은 GR 추정량보다 높은 붕괴점을 가지며, GR 추정량에서 손실된 효율을 회복하는 추정량으로 알려져 있지만 (Chang 등, 1999), 본 연구의 모의실험에서는 R 계열의 세 추정량이 비슷한 성능을 보이며, GR 추정량이 대체로 R 추정량과 HBR 추정량보다 더 나은 성능을 보이는 것을 볼 수 있었다. 향후 연구는 위의 모의실험의 결과를 바탕으로 특이치가 존재하는 실 데이터에 본 연구에서 언급된 로버스트 회귀방법들을 적용하여 비교 연구하고자 한다.

후속연구

한편, R계열 추정량을 살펴보면 HBR 추정량은 GR 추정량보다 높은 붕괴점을 가지며, GR 추정량에서 손실된 효율을 회복하는 추정량으로 알려져 있지만 (Chang 등, 1999), 본 연구의 모의실험에서는 R 계열의 세 추정량이 비슷한 성능을 보이며, GR 추정량이 대체로 R 추정량과 HBR 추정량보다 더 나은 성능을 보이는 것을 볼 수 있었다. 향후 연구는 위의 모의실험의 결과를 바탕으로 특이치가 존재하는 실 데이터에 본 연구에서 언급된 로버스트 회귀방법들을 적용하여 비교 연구하고자 한다. 단순하게 오염상황에 대한 추정량의 로버스트성을 높이는 것이 실 데이터 분석의 목적이 아니라면 로버스트 추정 방법 중 MM 추정방법이나 GR 추정방법이 적절할 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최소제곱법의 단점을 보완하기 위해 사용되는 방법은?	회귀모형(regression model)의 대표적인 방법인 최소제곱법(least squares method; LS)은 가정과 이상치(outlier)에 매우 민감하기 때문에, 자료가 회귀모형의 가정을 만족하지 않을 경우 또는 이상치를 포함하는 경우에 왜곡된 추정 결과를 준다. 따라서 이상치에 민감한 LS의 단점을 보완하기 위해 이상치의 가중치를 줄여 이상치에 민감하지 않은 로버스트 추정법이 사용된다. 대표적인 로버스트 추정방법에는 Huber (1973)에 의해 제안된 MLE를 기반으로 한 M 추정량 계열, Siegel (1982)에 의해 제안된 순서형 통계량을 기반으로 한 L 추정량 계열, Jaekel (1972)에 의해 제안된 잔차의 순위(rank)를 기반으로 한 R 추정량 계열이 있다.
	최소제곱법이 왜곡된 추정 결과를 주는 경우는?	회귀모형의 대표적인 추정법인 최소제곱법은 오차항의 분포가 정규분포를 따르고 이상치가 없는 상황에서는 최적이지만, 자료가 회귀모형의 가정을 만족하지 않을 경우 또는 이상치를 포함하는 경우와 같이 자료가 오염된 상황에서는 왜곡된 추정 결과를 준다. 따라서 이상치에 민감한 최소제곱법의 단점을 보완하기 위해 다양한 로버스트 추정방법이 제안되었다.
	최소제곱법이 최적인 조건은?	회귀모형의 대표적인 추정법인 최소제곱법은 오차항의 분포가 정규분포를 따르고 이상치가 없는 상황에서는 최적이지만, 자료가 회귀모형의 가정을 만족하지 않을 경우 또는 이상치를 포함하는 경우와 같이 자료가 오염된 상황에서는 왜곡된 추정 결과를 준다. 따라서 이상치에 민감한 최소제곱법의 단점을 보완하기 위해 다양한 로버스트 추정방법이 제안되었다.

참고문헌 (16)

Bellio, R. and Ventura, L. (2005). An introduction to robust estimation with R functions, In Proceedings of the 1st International Workshop on Robust Statistics and R, Treviso, Department of Statistics, Ca'Foscari University, Italy.
Chang, W. H., Mckean, J. W., Naranjo, J. D., and Sheather, S. J. (1999). High-Breakdown rank regression, Journal of the American Statistical Association, 94, 205-219.

상세보기
Croux, C., Rousseeuw, P. J., and Hossjer. O. (1994). Generalized S-estimators, Journal of the American Statistical Association, 89, 1271-1281.

상세보기
Hettmansperger, T. P., McKean, J. W., and Sheather, S. J. (1997). Rank-based analyses of linear models, Handbook of Statistics, G.S. Maddala and C.R. Rao eds., Elsevier, 145-173.
Huber, P. J. (1973). Robust regression: asymptotics, conjectures and Monte Carlo, Annals of Statistics, 1, 799-821.

상세보기
Jaeckel, L. A. (1972). Estimating regression coefficients by minimizing the dispersion of residuals, Annals of Mathematical Statistics, 43, 1449-1458.
Mosteller, F. and Tukey, J. W. (1977). Data Analysis and Regression, A Second Course in Statistics, Addison-Wesley, MA.
Naranjo, J. D. and Hettmansperger, T. P. (1994). Bounded-influence rank regression, Journal of the Royal Statistical Society, Series B, 56, 209-220.
Rousseeuw, P. J. (1984). Least median of squares regression, Journal of the American Statistical Association, 79, 871-880.

상세보기
Rousseeuw, P. J. (1985). Multivariate Estimation with High Breakdown Point, 283-297 in Mathematical Statistics and Applications, Vol. B, edited by W. Grossman, G. Pflug, I. Vince, and W. Wetz. Dordrecht: Reidel.
Rousseeuw, P. J. and Croux, C. (1993). Alternatives to the median absolute deviation, Journal of the American Statistical Association, 88, 1273-1283.

상세보기
Rousseeuw, P. J. and Yohai, V. (1984). Robust Regression by Means of S-Estimators, Nonlinear Time Series Analysis, Lecture Notes in Statistics, 26, 256-272.
Siegel, A. F. (1982). Robust regression using repeated medians, Biometrika, 69, 242-244.

상세보기
Stromberg, A. J., Hossjer, O., and Hawkins, D. M. (2000). The least trimmed differences regression estimator and alternatives, Journal of the American Statistical Association, 95, 853-864.

상세보기
Yohai, V. J. (1987). High breakdown point and high efficiency robust estimates for regression, Annals of Statistics, 15, 642-656.

상세보기
Yu, C., Yao, W., and Bai, X. (2014). Robust linear regression: a review and comparison, (Working Paper), Department of Statistics, Kansas State University, Manhattan, Kansas, USA 66506-0802.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증