선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 대형 데이터의 변수선택법 중 강건성과 신속성 측면에서 제안된 VIF회귀, FRFS, 강건 VIF회귀의 모형추정과정에 대하여 소개 한다.
- 본 연구에서는 대형 데이터의 변수선택 문제에서 강건성과 신속성을 고려하여 stagewise 회귀와 α-알고리즘이 수행되면서 한 번의 이상치 탐지절차만 추가되는 방법을 제안하였다. 강건성의 관점에서 단계별로 이상치를 탐지하는 방법을 고려해 볼 수 있으나 대형데이터의 경우 계산량의 문제가 발생할 수 있다.
제안 방법
- 1. Out-of-sample mean absolute prediction errors of the models estimated by fast VIF and robust VIF regression, and outlier-detect VIF regression. Simulated data have n = 1000 cases with p including k = 5 target regressors, and θ, correlation among target regressors; a: (p = 100, θ = 0.
- Lin 등 (2011)과 Dupuis와 Victoria-Feser (2011, 2013)이 제안한 분산팽창계수(variance inflation factor; VIF) 회귀법은 모형평가과정에서 stagewise 회귀를 설정하여 변수들의 주변상관(marginal correlation)에 의해서 각 단계의 모형을 평가한다. 따라서 Lasso와 least angle regression (LARS)처럼 변수들의 다중공선성에 의한 추정치의 편기가 발생하지만 추정된 VIF로 이를 수정한다. VIF회귀법에서는 stagewise 회귀를 통해 고려된 변수의 선택여부를 α-investing 알고리즘으로 결정한다.
- 본 연구에서 제안한 방법은 속도와 강건성 측면에서 다른 방법들과 비교될 수 있으나 본 연구에서 제안한 방법과 계산량에 큰 차이가 없는 VIF회귀방법이 강건 VIF회귀방법이나 FRFS 방법보다 신속하므로 (Dupuis와 Victoria-Feser, 2013) 방법들 간 속도 비교는 생략한다. 또한 강건성 측면에서 강건 VIF회귀방법이 FRFS 방법보다 우수하므로 (Dupuis와 Victoria-Feser, 2013) 본 연구에서는 이상치제거 VIF회귀방법, VIF회귀방법, 강건 VIF회귀방법간 강건성을 비교하기로 한다.
- 본 논문에서 제시하는 방법은 VIF회귀 방법에서 VIF추정을 위해 추출되는 표본의 대상을 이상치가 제거된 데이터로 제한하는 것이다. 극단치 탐지는 각 단계에서 모형에 포함되는 변수의 구성에 따라 결과가 달라질 수 있다 (Hadi와 Simonoff, 1993).
- Fan과 Lv (2008)는 고차원 데이터의 변수선택 문제에서 모형에 포함될 가능성이 낮은 변수들을 일차적으로 탐지, 제거하는 방법을 제시하였다. 본 논문에서 제안하는 신속하고 강건한 변수선택 방법은 대형자료에 존재하는 극단치를 제거한 후 VIF회귀를 수행하는 것이다.
- 본 논문에서는 신속하게 수행되고 이상치에 강건한 변수선택 방법으로써, VIF회귀법에서 강건추정치를 사용하는 대신 잠재적인 이상치를 탐지하여 분석에서 제외하는 사전심사(pre-screening)과정을 제안한다. 또한 변수선택과정의 신속성을 위해 streamwise 절차와 간편한 이상치 탐지 방법을 적용한다.
- 본 연구에서 제안된 변수선택방법과 기존의 VIF회귀, 강건 VIF회귀의 강건성을 비교하기 위하여 모의 실험을 수행한다. 모의실험은 Dupuis와 Victoria-Feser (2013)에서 수행된 실험과유사하게 설계된다.
- 본 연구에서 제안한 방법은 속도와 강건성 측면에서 다른 방법들과 비교될 수 있으나 본 연구에서 제안한 방법과 계산량에 큰 차이가 없는 VIF회귀방법이 강건 VIF회귀방법이나 FRFS 방법보다 신속하므로 (Dupuis와 Victoria-Feser, 2013) 방법들 간 속도 비교는 생략한다. 또한 강건성 측면에서 강건 VIF회귀방법이 FRFS 방법보다 우수하므로 (Dupuis와 Victoria-Feser, 2013) 본 연구에서는 이상치제거 VIF회귀방법, VIF회귀방법, 강건 VIF회귀방법간 강건성을 비교하기로 한다.
- 실험 데이터에서 각 변수선택방법을 사용하여 최종 추정된 모형을 크기 n = 1000의 또 다른 실험 데이터에 적용하여 방법의 효율성을 측정한다. 효율성의 측도는 강건측도인 절대예측오차 중위수(median absolute prediction error; MAPE)를 사용한다.
대상 데이터
- 각 단계에서 극단치 탐지과정을 수행하면 정확성이 높아지는 반면 대형 자료의 경우 계산량이 과도하게 커진다. 본 연구에서는 모든 변수가 포함된 모형에서 각 관찰치별 t-검정을 통해 표본의 대상이 되는 데이터 집단을 구성하고 이 집단을 전 단계의 표본대상으로 사용한다. 따라서 기존의 VIF회귀에 한 번의 모형추정 과정이 추가되므로 계산량은 큰 변화가 없다.
- 실험의 횟수는 총 200번이고 각 데이터의 크기는 n = 1000이며 설명변수의 크기는 p = 100과 p = 1000이다. 실제모형에 포함되는 변수의 크기는 k = 5로 고정하고 그들 간의 상관관계를 나타내는 θ = 0.
- 자료 변수선택 방법을 실제 데이터에 적용하는 예제로서 Boston housing 자료 (Harrison과 Rubinfeld, 1978)를 사용하기로 한다. 1970년 인구조사의 결과인 Boston housing 자료는 보스턴 인근 주택가격의 중앙값과 이에 영향을 미치는 13개의 변수를 포함하고 있고 관찰치의 크기는 506개이다 (n = 506, p = 13).
이론/모형
- 본 논문에서는 신속하게 수행되고 이상치에 강건한 변수선택 방법으로써, VIF회귀법에서 강건추정치를 사용하는 대신 잠재적인 이상치를 탐지하여 분석에서 제외하는 사전심사(pre-screening)과정을 제안한다. 또한 변수선택과정의 신속성을 위해 streamwise 절차와 간편한 이상치 탐지 방법을 적용한다.
- P3 는 선택된 변수들 중에 실제모형에 포함되지 않은 변수가 포함된 비율, 즉 수렁현상(swamping phenomenon)이 발생한 비율이다. 비교대상의 세 가지 변수추출방법은 표와 그림에서 FastVIF, RobVIF, OutdVIF로 표기되며 각각 Lin 등 (2011)이 제안한 VIF 방법, Dupuis와 Victoria-Feser (2013)의 강건 VIF 방법, 본 연구에서 제안한 이상치 제거후 VIF 방법을 나타낸다.
- Dupuis와 Victoria-Feser (2013)는 그들이 제안한 FRFS 방법의 속도를 높이기 위하여 부표본(subsampling)을 사용할 수 있지만 대형데이터의 경우 계산량이 여전히 문제가 될 수 있음을 지적하면서 VIF회귀를 응용한 강건 신속 변수선택법을 제안하였다. 이 방법은 VIF회귀 과정에서 강건추정법으로 모형을 추정하여 다중공선성과 이상치에 대비하고 변수선택에서는 FRFS에서 사용한 t-검정통계량과 유사한 강건검정통계량을 사용한다. Dupuis와 Victoria-Feser (2013)는 VIF회귀법, FRFS, 강건 VIF회귀법들을 이행속도와 변수선택의 유효성 측면에서 비교하였다.
- 실험 데이터에서 각 변수선택방법을 사용하여 최종 추정된 모형을 크기 n = 1000의 또 다른 실험 데이터에 적용하여 방법의 효율성을 측정한다. 효율성의 측도는 강건측도인 절대예측오차 중위수(median absolute prediction error; MAPE)를 사용한다.
성능/효과
- 강건성의 관점에서 단계별로 이상치를 탐지하는 방법을 고려해 볼 수 있으나 대형데이터의 경우 계산량의 문제가 발생할 수 있다. 모의실험과 예제를 통해 본 연구에서 제안한 이상치 제거를 통한 변수선택방법은 기존의 강건추정법에 의한 변수선택방법보다 더 효율적이라는 것을 알 수 있다. 변수선택의 변수절차로 적용된 α-알고리즘에서 각종 모수에 대한 최적값은 여전히 해결해야 할 문제이며 많은 변수를 포함하는 대형데이터의 변수선택 문제에 대비하여 본 연구에서 제안한 이상치에 관련된 사전선별작업을 관찰치 뿐만 아니라 설명변수에도 동시에 적용하는 이차원 사전선별 과정을 추후에 연구해 볼 수 있다.
- 3은 일차선형모형 가정 아래 100회의 무작위 순서에 의해 변수선택법을 수행한 결과 각 변수마다 선택된 횟수를 나타낸다. 세 방법에서 공통적으로, 모든 시행에서 선택되는 변수는 ptratio, rm 이다. 다른 방법에 비해 OutdVIF는 crim, indus, zn변수를 상대적으로 더 자주 선택한다.
후속연구
- 모의실험과 예제를 통해 본 연구에서 제안한 이상치 제거를 통한 변수선택방법은 기존의 강건추정법에 의한 변수선택방법보다 더 효율적이라는 것을 알 수 있다. 변수선택의 변수절차로 적용된 α-알고리즘에서 각종 모수에 대한 최적값은 여전히 해결해야 할 문제이며 많은 변수를 포함하는 대형데이터의 변수선택 문제에 대비하여 본 연구에서 제안한 이상치에 관련된 사전선별작업을 관찰치 뿐만 아니라 설명변수에도 동시에 적용하는 이차원 사전선별 과정을 추후에 연구해 볼 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.