[논문]선형회귀에서 변수선택, 변수변환과 이상치 탐지의 동시적 수행을 위한 절차

서한손; 윤민

doi:10.5351/kjas.2020.33.1.001

선형회귀에서 변수선택, 변수변환과 이상치 탐지의 동시적 수행을 위한 절차
A procedure for simultaneous variable selection, variable transformation and outlier identification in linear regression 원문보기

응용통계연구 = The Korean journal of applied statistics, v.33 no.1, 2020년, pp.1 - 10

초록
AI-Helper

본 연구에서는 선형회귀모형에서 이상치와 변수변환을 고려한 변수선택 알고리즘을 다룬다. 제안된 방법은 잠재적 이상치를 탐지하여 제거한 후 변수변환 추정을 위해 최소 절사 제곱 추정법을 적용하며 가능한 모든 회귀모형을 비교하여 최종적으로 변수를 선택한다. 정확한 변수 선택과 추정된 모델의 적합도의 맥락에서 방법의 효율성을 보여주기 위해 실제 데이터 분석 및 시뮬레이션 결과가 제시된다.

Abstract ▼ AI-Helper

We propose a unified approach to variable selection, transformation and outliers in the linear model. The procedure includes a sequential method for outlier detection and a least trimmed squares estimator for variable transformation. It uses all possible subsets regressions for model selection. Some real data analyses and the simulation results are provided to show the efficiency of the methods in the context of the correct variable selection and the fitness of the estimated model.

주제어

표/그림 (3)

표 Table 3.1. Model selection results
표 Table 3.2. Variable selection results using the suggested method for the Stackloss data
표 Table 3.3. Model selection results for the Minitab Tree data

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 반응변수 변환을 고려하면서 이상치에 강건한 변수선택 방법을 제안한다. 제안된 방법은 반응변수 변환 모형에서 순차적으로 이상치를 탐지, 제외하며 최적의 변수선택은 가능한 모든 회귀 모형의 모형적합성을 비교하여 수행한다.
본 연구에서 제안된 변수선택 방법의 성취도를 평가하고 변수변환을 고려하지 않은 변수선택법과 비교하기 위하여 모의실험을 수행한다. 실험에 사용되는 관찰치중 정상관찰치는 Cheng (2005), Seo 등 (2012), Dupuis와 Victoria-Feser (2013)의 연구에서 사용된 모형과 유사하게 생성되며 데이터에 포함되는 비정상치는 이상치와 지레점(leverage point)으로 구분되어 다양한 비율로 설계된다.
본 연구에서는 선형모형에서 반응변수의 변환을 고려하고 이상치의 영향력을 배제한 변수선택 과정을 제안하였다. 제안된 방법에서는 이상치 탐지를 위해 순차적인 탐지법을 적용하며 반응변수 변환값은 탐지된 이상치를 제외한 절사제곱추정법으로 추정하고 최종적인 변수선택은 가능한 모든 모형을 비교하여 수행한다.

제안 방법

한 개의 특정 설명변수에 의한 1-변수 모형을 설정하고 이 모형을 기반으로 이상치를 고려한 반응변수 변환 값을 추정한다. 변수변환을 추정하는 과정에서 탐지된 이상치를 제거한 후 변수변환된 모형을 적합하여 모형의 적합도를 계산한다. 모든 1-변수 모형에 대해 이와 같은 과정을 반복하여 최적의 1-변수 모형을 결정하며 동일한 과정을 k-변수 모형, k = 2, .
본 연구에서 제안하는 변수변환 추정과정은 Seo 등 (2012)과 유사하게 순차적 이상치탐지법과 최대절사 우도추정법을 적용하여 다음과 같은 절차로 수행된다.
본 연구에서 제안하는 이상치, 변수변환, 변수선택을 동시에 고려하는 절차에서 주요 부분은 이상치의 영향력이 배제된 반응변수 변환을 추정하는 과정이다. 반응변수 변환은 멱 변환(power transformation)으로 한정하며 Box-Cox 변환 (Box와 Cox, 1964)을 사용한다.
이 데이터에 대하여 Atkinson (1985)은 스코어 검정 결과 반응변수 변환이 필요하며 이상치는 없다고 판단하였다. 본 연구에서는 범위 (0, 5)의 균등분포에서 생성한 두 개의 가변수 (X₃, X₄)를 Minitab Tree 데이터에 포함한 후 변수선택 문제를 시도하였다. 변수변환과정이 포함된 방법(TR)과 생략된 방법(NO-TR)을 적용한 결과는 Table 3.
이상치 검정 결과 탐지된 정상치군을 M이라고 하고 크기를 r이라고 할 때 M만을 사용해 변환계수의 잠정적인 추정값 λˆTP를 구한다.
본 연구에서는 선형모형에서 반응변수의 변환을 고려하고 이상치의 영향력을 배제한 변수선택 과정을 제안하였다. 제안된 방법에서는 이상치 탐지를 위해 순차적인 탐지법을 적용하며 반응변수 변환값은 탐지된 이상치를 제외한 절사제곱추정법으로 추정하고 최종적인 변수선택은 가능한 모든 모형을 비교하여 수행한다. 본 연구에서 제안한 방법을 Stackloss 데이터와 Minitab Tree 데이터에 적용한 결과 기존 연구와 변수선택이 대체로 일치하였고 변수변환이 고려됨에 따라 이상치 판정에 변화가 있었으며 추정된 모형의 설명력이 향상된 것을 알 수 있었다.
본 논문에서는 반응변수 변환을 고려하면서 이상치에 강건한 변수선택 방법을 제안한다. 제안된 방법은 반응변수 변환 모형에서 순차적으로 이상치를 탐지, 제외하며 최적의 변수선택은 가능한 모든 회귀 모형의 모형적합성을 비교하여 수행한다. 2장에서는 본 연구에서 제안한 변수선택과정에 관여된 변수변환 과정, 이상치 탐지방법, 최적변수 선택절차를 설명한다.
본 연구에서 제시하는 이상치와 반응변수 변환을 고려한 변수선택 방법의 절차는 대략적으로 다음과 같다. 한 개의 특정 설명변수에 의한 1-변수 모형을 설정하고 이 모형을 기반으로 이상치를 고려한 반응변수 변환 값을 추정한다. 변수변환을 추정하는 과정에서 탐지된 이상치를 제거한 후 변수변환된 모형을 적합하여 모형의 적합도를 계산한다.

대상 데이터

Stackloss 데이터는 3개의 독립변수 air flow (X₁), inlet temperature (X₂), concentration of acid (X₃)와 반응변수 stack loss (Y )에 대한 21개 관찰치로 구성 되어있으며 이 데이터에 관련된 많은 연구가 수행되었다. 일반적으로 관찰치 1, 3, 4, 21을 이상치로 판정된다 (Brownlee, 1965; Daniel과 Wood, 1980).
모의실험은 이상치가 없는 경우, 이상치가 존재하는 경우, 지레점이 포함된 경우, 이상치이면서 지레점 인 관찰치가 포함된 경우로 나누어 수행된다. 실험의 횟수는 총 100번이고 데이터의 크기는 n = 40이다. 설명변수의 크기는 p = 5이며 이중 실제모형에 포함되는 변수의 크기는 k = 2로 고정하고 그들 간의 상관관계를 나타내는 값 θ = 0.
Minitab Tree 데이터 (Ryan 등, 1976)는 펜실바니아주 Allegheny National Forest에서 표집된 흑체리 나무에 관한 자료이다. 자료는 지상 4.5 피트에서 잰 나무의 지름(X₁)과 나무의 높이(X₂), 나무의 부피(Y )를 담은 31개의 관찰치로 구성되어 있다. 이 데이터에 대하여 Atkinson (1985)은 스코어 검정 결과 반응변수 변환이 필요하며 이상치는 없다고 판단하였다.

이론/모형

검정을 통해 변수를 선택할 경우 변수변환과 이상치 제거등이 고려된 상황에서는 비내포 모형, 상이한 관찰치 크기의 문제로 인하여 모형 비교에 적절한 검정통계량을 찾는 것이 쉽지 않다. 따라서 특정기준에 의해 최적모형을 결정하는 절차를 따른다고 할 때 다양한 기준이 적용될 수 있으나 본 연구에서는 상이한 데이터 크기를 고려하는 수정-R²를 사용하여 모형을 선택한다.
본 연구에서 제안하는 이상치, 변수변환, 변수선택을 동시에 고려하는 절차에서 주요 부분은 이상치의 영향력이 배제된 반응변수 변환을 추정하는 과정이다. 반응변수 변환은 멱 변환(power transformation)으로 한정하며 Box-Cox 변환 (Box와 Cox, 1964)을 사용한다.
이상치 탐지과정에서 최초로 사용되는 기초 정상치군은 최소제곱추정치를 이용한 점진적 생성법으로 선정한다. 이 방법은 모든 관찰치를 회귀모형에 적합시킨 후 잔차가 가장 작은 p개의 관찰치를 선택하고 이 데이터를 기반으로 추정된 모형에서 |d_i|가 가장 작은 (p + 1)개의 관찰치를 선택한다.
이러한 점을 개선하기 위하여 Seo 등 (2012)은 최대절사우도추정량을 적용할 때 모형의 적합성에 벗어나는 관찰치를 이상치로 정의하고 사전에 이상치 크기를 결정할 필요 없이 각 모형마다 이상치를 탐지, 제거하는 방법을 제안하였다. 이상치 탐지를 위하여 사용되는 방법은 Hadi와 Simonoff (1993)가 제안한 순차적 방법이다. Hadi와 Simonoff (1993)이 제안한 순차적 이상치탐지법은 기초 정상치군에서 시작하여 각 단계별로 이상치군의 크기를 줄여가면서 이상치군에 대한 최종적인 이상치 여부를 결정한다.

성능/효과

본 연구에서 제안한 방법을 Stackloss 데이터와 Minitab Tree 데이터에 적용한 결과 기존 연구와 변수선택이 대체로 일치하였고 변수변환이 고려됨에 따라 이상치 판정에 변화가 있었으며 추정된 모형의 설명력이 향상된 것을 알 수 있었다. 다양한 이상치 설계와 변환계수 값을 가정한 모의실험은 제안된 방법이 이상치만 고려한 방법에 비해 변수선택과 모형설명력 측면에서 더 효율적임을 보여준다. 데이터 규모가 커서 가능한 모든 모형을 고려하는 것이 어려울 경우에는 Seo (2019)에서처럼 고려해야 할 모형의 숫자를 줄이기 위해 각 특정 변수크기의 최적모형을 기반으로 다음 단계의 최적모형을 선별하는 순차적 절차를 적용할 수도 있고 기초 정상치관찰치 수를 늘린 시점에서 이상치 탐지를 시작할 수 있다.
제안된 방법에서는 이상치 탐지를 위해 순차적인 탐지법을 적용하며 반응변수 변환값은 탐지된 이상치를 제외한 절사제곱추정법으로 추정하고 최종적인 변수선택은 가능한 모든 모형을 비교하여 수행한다. 본 연구에서 제안한 방법을 Stackloss 데이터와 Minitab Tree 데이터에 적용한 결과 기존 연구와 변수선택이 대체로 일치하였고 변수변환이 고려됨에 따라 이상치 판정에 변화가 있었으며 추정된 모형의 설명력이 향상된 것을 알 수 있었다. 다양한 이상치 설계와 변환계수 값을 가정한 모의실험은 제안된 방법이 이상치만 고려한 방법에 비해 변수선택과 모형설명력 측면에서 더 효율적임을 보여준다.

후속연구

각 독립변수들의 조합에 대해 제안된 과정을 통해 이상치와 변수변환을 고려한 모형이 추정되면 모형간 비교를 통해 변수선택이 완성된다. 일반적으로 변수선택은 가능한 모든 변수조합을 고려하는 방법과 순차적 선택방법을 통해 수행된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	회귀분석에 관련된 문제의 특징은 무엇인가?	회귀분석에 관련된 문제들은 서로 복합적으로 연관되어 있어서 각 문제에 대한 개별적인 해결 방법보다 여러 문제들을 동시에 고려하는 통합적 방법이 필요하다. 회귀분석의 대표적 주제인 변수선택, 이상치 탐지, 변수변환에 관련하여 복수의 주제를 동시에 다룬 방법들이 제안되고 있다.
	최대우도법추정법에서 이상치의 영향력을 배제하기 위한 추정방법은 무엇이 있는가?	Box-Cox 변환에서 모형변환계수 λ는 주로 최대우도추정법에 의해 추정되지만 최대우도추정법은 이상치에 영향을 받는다는 것이 잘 알려져있다. 최대우도법추정법에서 이상치의 영향력을 배제하기 위한 추정방법은 이상치에 해당하는 관찰치를 제외하고 계산하는 최대절사우도법(maximum trimmed likelihood estimation) (Hadi와 Luceno, 1997)이다. 우도계산에 포함되는 관찰치 집단을 M, 크기를 q라고 하고 βˆq는 변환계수가 λ일 때 β의 최대절사우도추정량이라고 할 때 최대절사우도추정량의 목표함수는 Lq(βˆq) = ∑ i∈M ℓ(βˆq; y(i)(λ))이 되며 Lq(βˆq)는 다음과 같이 분산에 대한 제곱 추정량과 반비례의 관계가 된다.
	선형회귀모형에서 이상치의 영향을 최소화 하는 방법은 무엇이 있는가?	선형회귀모형에서 비정규성이나 이분산성등을 해결하기 위해 고려되는 변수변환에서 변환추정 과정은 이상치의 영향을 받는다(Sakia, 1992). 이상치에 대비한 변수변환 절차는 강건추정량을 사용하거나 이상치를 제거하는 방법등이 있다. Atkinson (1986)은 변수변환과정에서 이상치에 의한 수렁현상(swamping phenomenon)을 방지하기 위해 두 단계 추정절차를 제안하였으며 Parker (1988)는 강건 추정량인 L1 추정량을 사용하여 변수변환 값을 추정하였다.

참고문헌 (25)

Atkinson, A. C. (1985). Plots, Transformations and Regression: An Introduction to Graphical Method of Diagnostic Regression Analysis, Oxford University Press, Oxford.
Atkinson, A. C. (1986). Diagnostic tests for transformation, Technometrics, 28, 29-37.

상세보기
Atkinson, A. C. and Riani, M. (2000). Robust Diagnostic Regression Analysis, Springer, New York.
Box, G. E. P. and Cox, D. R. (1964). An analysis of transformations (with discussion), Journal of Royal Statistical Society, Series B, 26, 211-246.
Brownlee, K. A. (1965). Statistical Theory and Methodology in Science and Engineering (2nd ed), Wiley, New York.
Carroll, R. J. and Ruppert, D. (1988). Transformation and Weighting in Regression (2nd ed), Wiley, New York.
Cheng, T. C. (2005). Robust regression diagnostics with data transformations, Computational Statistics and Data Analysis, 49, 875-891.

상세보기
Daniel, C. and Wood, F. S. (1980). Fitting Equations to Data: Computer Analysis of Multifactor Data, John Wiley & Sons, New York.
Dupuis, D. J. and Victoria-Feser, M. P. (2011). Fast robust model selection in large datasets, Journal of the American Statistical Association, 106, 203-212.

상세보기
Dupuis, D. J. and Victoria-Feser, M. P. (2013). Robust VIF regression with application to variable selection in large data sets, Annals of Applied Statistics, 7, 319-341.

상세보기
Gottardo, R. and Raftery, A. (2009). Bayesian robust transformation and variable selection: a unified approach, Canadian Journal of Statistics, 37, 361-380.

상세보기
Hadi, A. S. and Luceno, A. (1997). Maximum trimmed likelihood estimators: a unified approach, examples, and algorithms, Computational Statistics and Data Analysis, 25, 251-272.

상세보기
Hadi, A. S. and Simonoff, J. S. (1993). Procedures for the identification of multiple outliers in linear models, Journal of the American Statistical Association, 88, 1264-1272.

상세보기
Hoeting, J., Raftery, A. E., and Madigan, D. (1996). A method for simultaneous variable selection and outlier identification in linear regression, Computational Statistics and Data Analysis, 22, 251-270.

상세보기
Kim, S., Park, S. H., and Krzanowski, W. J. (2008). Simultaneous variable selection and outlier identification in linear regression using the mean-shift outlier model, Journal of Applied Statistics, 35, 283-291.

상세보기
McCann, L. and Welsch, R. E. (2007). Robust variable selection using least angle regression and elemental set sampling, Computational Statistics and Data Analysis, 52, 249-257.

상세보기
Parker, I. (1988). Transformations and influential observations in minimum sum of absolute errors regression, Technometrics, 30, 215-220.

상세보기
Ryan, T. A., Joiner, B. L., and Ryan, B. F. (1976). Minitab Student Handbook, Duxbury Press, Mass.
Sakia, R. M. (1992). The Box-Cox transformation technique: a review, The Statistician, 41, 169-178.

상세보기
Seo, H. S. (2018). Fast robust variable selection using VIF regression in large datasets, The Korean Journal of Applied Statistics, 31, 463-473.
Seo, H. S. (2019). Unified methods for variable selection and outlier detection in linear regression, Communications for Statistical Applications and Methods, 26, 575-582.

원문보기 상세보기
Seo, H. S., Lee, G. Y., and Yoon, M. (2012). Robust response transformation using outlier detection in regression model, The Korean Journal of Applied Statistics, 25, 205-213.

원문보기 상세보기
Wisnowski, J. W., Simpson, J. R., Montgomery, D. C., and Runger, G. C. (2003). Resampling methods for variable selection in robust regression, Computational Statistics and Data Analysis, 43, 341-355.

상세보기
Yeo, I. (2005). Variable selection and transformation in linear regression models, Statistics and Probability Letters, 72, 219-226.

상세보기
Zhou, J., Foster, D. P., and Ungar, L. H. (2006). Streamwise feature selection, Journal of Machine Learning Researches, 7, 1861-1885.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증