선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 의사결정 시 새로운 정보가 유입되면 사실에 대한 불 확실성이 줄어들어 최적에 가까운 의사 결정을 내리는 것을 가능하게 한다. 본 연구는 최적의 변수선택 기법 선택시 내려 지는 결정에 대한 불확실성을 줄여줄 것으로 사료된다. 예를 들어, 본 연구에서 GA는 최소 약 2,266초(약 38분)에서 최대 약 34,421초(약 10시간)의 시간이 변수선택을 하는데 소요되었다.
- 본 연구에서는 실제 산업 현장에서 가장 많이 사용되고 있는 다중선형회귀분석 기법에 대하여 여러 가지 변수선택기법을 적용했을 때의 결과를 비교하고자 각 기법의 성능을 예측 정확도 측면과 변수선택의 효율성 측면을 중심으로 실제 49개의 데이터에 대해 총 일곱 가지의 변수선택기법들을 실험적으로 평가하였다.
- 본 연구의 의의는 충분히 많은 수의 데이터셋을 이용하여 다양한 변수선택기법의 성능을 실증적으로 비교․평가했다는 것에 있다. 대부분의 데이터마이닝 및 머신러닝 알고리즘의 계산 복잡도는 모델 자체의 복잡도와 데이터의 복잡도(데이터 의 크기)에 복합적으로 영향을 받는다.
제안 방법
- 설명변 수 개수는 최소 7개, 최대 95개이고 관측치 개수는 최소 32개, 최대 515,344개이다. 각 데이터 셋에서 무작위로 전체 관측치 의 2/3씩 추출하고 표본을 구성하여 학습을 수행하고 나머지 1/3을 검증 데이터로 사용하여 예측 오차율을 산출하였다. 통 계적 유의성을 확보하기 위하여 이 절차를 각 데이터셋-변수 선택기법마다 30회 반복 실험을 수행하였으며, 유전 알고리즘 에 대해서만 10회 반복 실험을 수행하였다.
- λ는 축소추정을 할 때 회귀계수를 얼마나 축소할지 설 정하는데 쓰이는 값으로 λ가 클수록 회귀계수 크기가 많이 줄 어들도록 되어 있다. 그 외 다른 설정 값과 전진 선택법, 후방 소거법, 단계적 선택법의 설정 값은 R의 기본 설정 값을 사용 하였으며 모든 변수선택기법에 대하여 Bayesian Information Criterion(BIC)를 변수선택 기준으로 설정하였다.
- , 2013). 따라서 BIC는 모델이 복잡할 때 더 단순한 모델로 차원을 축소시킬 수 있고 유의하지 않은 변수가 적지 않을 때 모델의 예측 성능을 더 향상시킬 수 있기 때문에 본 실험에서 는 BIC를 기준으로 변수를 선택하였다. 즉 각 변수선택기법의 변수선택 단계에서 BIC의 값이 최소가 될 때의 변수를 선택하 여 그 차이를 비교 분석하였다.
- 적합도 함수(fitness function)는 염색체의 적합도를 평가하여 한 세대의 염색체 중 모델에 가장 적합한 염색체를 찾도록 하 는 함수로 다른 방법론들에서의 목적식과 유사하다. 변수선택 을 할 때에는 오차가 가장 작은 경우의 설명변수를 선택하도 록 하며 본 실험에서는 다른 기법과 마찬가지로 예측 모델의 성능 지표가 되는 BIC를 최소화 하는 변수 집합을 찾도록 적합 도 함수를 설정하였다. 이러한 과정은 미리 정의된 수만큼의 세대를 거쳐 반복되고 세대를 모두 마치면 유전 알고리즘은 완료된다.
- 변수선택의 궁극적인 목적은 예측 모델의 오차를 최소할 수 있는 최소한의 변수 집합을 선택하는 것이다. 본 연구에서는 총 일곱 가지의 변수선택법을 통해 다중선형 회귀모델을 학습하고 평가하여 각각의 변수선택법들 을 비교 분석하였다. 최적의 변수선택을 위해서는 전역적 탐색(exhaustive search)이 이상적이지만 이 기법은 데이터의 차원 이 증가할수록 높은 계산 복잡도가 요구되기 때문에 현실적으 로는 사용이 불가능하며 효율적인 지역적 탐색 기법을 통해 변수선택을 최적화할 필요가 있다.
- 통 계적 유의성을 확보하기 위하여 이 절차를 각 데이터셋-변수 선택기법마다 30회 반복 실험을 수행하였으며, 유전 알고리즘 에 대해서만 10회 반복 실험을 수행하였다. 실험 및 전처리에 는 R을 사용하였고 유전 알고리즘의 실험 설정 조건으로는 세 대 반복 수 10번, 세대 크기 50개, 교차 재생성 비율 0.8, 변이 비 율 0.1을 사용하였다. 축소 추정 기법의 설정 조건으로는 총 10,000개의 λ 중 각 데이터셋 별로 최적의 값을 선택하여 사용하였다.
- 따라서 다양한 데이터에 대한 실험을 통하여 여러 변수선택 방법론들을 비교/평가하는 연구는 실용적인 관점에 서 큰 의의를 갖는다고 할 수 있다. 이를 위하여 본 연구에서는 다중선형회귀분석에 대해 전진 선택법(forward selection), 후방 소거법(backward elimination), 단계적 선택법(stepwise selection), 유전 알고리즘(genetic algorithm), 그리고 축소 추정법인 ridge 회귀(ridge regression), lasso(least absolute shrinkage and selection operator), elastic net, 총 일곱 가지의 변수선택기법들의 결과를 비교 평가하고자 한다. 전체 변수사용 대비 예측 정확도와 변수 감소 비율, 실행 시간 등의 관점에서 분석을 수행하였으며 이를 위하여 총 49개의 데이터 셋을 사용하였다.
- 따라서 BIC는 모델이 복잡할 때 더 단순한 모델로 차원을 축소시킬 수 있고 유의하지 않은 변수가 적지 않을 때 모델의 예측 성능을 더 향상시킬 수 있기 때문에 본 실험에서 는 BIC를 기준으로 변수를 선택하였다. 즉 각 변수선택기법의 변수선택 단계에서 BIC의 값이 최소가 될 때의 변수를 선택하 여 그 차이를 비교 분석하였다. BIC는 다음 식 (6)과 같다.
- 각 데이터 셋에서 무작위로 전체 관측치 의 2/3씩 추출하고 표본을 구성하여 학습을 수행하고 나머지 1/3을 검증 데이터로 사용하여 예측 오차율을 산출하였다. 통 계적 유의성을 확보하기 위하여 이 절차를 각 데이터셋-변수 선택기법마다 30회 반복 실험을 수행하였으며, 유전 알고리즘 에 대해서만 10회 반복 실험을 수행하였다. 실험 및 전처리에 는 R을 사용하였고 유전 알고리즘의 실험 설정 조건으로는 세 대 반복 수 10번, 세대 크기 50개, 교차 재생성 비율 0.
대상 데이터
- 데이터는 [Table 1] 에 나타난 바와 같이 UCI(http://archive.ics.uci.edu/ml/) 데이터 저장소에서 22개, KEEL(http://sci2s.ugr.es/keel/datasets. php) 데이터 저장소에서 21개, 그리고 R(http://www.r-project.org/) 및 기타 원천으로부터 7개 총 49개의 다중선형회귀분석 이 가능한 데이터 셋을 수집하여 실험에 사용하였다.
- 이를 위하여 본 연구에서는 다중선형회귀분석에 대해 전진 선택법(forward selection), 후방 소거법(backward elimination), 단계적 선택법(stepwise selection), 유전 알고리즘(genetic algorithm), 그리고 축소 추정법인 ridge 회귀(ridge regression), lasso(least absolute shrinkage and selection operator), elastic net, 총 일곱 가지의 변수선택기법들의 결과를 비교 평가하고자 한다. 전체 변수사용 대비 예측 정확도와 변수 감소 비율, 실행 시간 등의 관점에서 분석을 수행하였으며 이를 위하여 총 49개의 데이터 셋을 사용하였다.
이론/모형
- 이때 선형 계수 값의 크기는 무한히 작아질 수 있지만 0이 될 수는 없다. 따라서 본 연구에서는 일정 임계치 이하의 작은 계수를 가지는 변수들을 소거를 통한 ridge 기반의 변수선택법을 사용하였다.
- 이때 선형 계수 값의 크기는 무한히 작아질 수 있지만 0이 될 수는 없다. 따라서 본 연구에서는 일정 임계치 이하의 작은 계수를 가지는 변수들을 소거를 통한 ridge 기반의 변수선택법을 사용하였다.
- 이때 ε는 기댓값은 0이고 분산이 일정한 정규분포를 따른다고 가정한다. 선형회귀분석의 회귀 계수를 추정하기 위해서 대표적으로 최소제곱법(ordinary least square; OLS)을 사용하며 다음과 같이 오차 제곱합을 최소화하는 회귀 계수를 추정하게 된다.
성능/효과
- 각 셀의 변수선택기법은 두 변수선택기법 중 오류 개선율 이 우수한 변수선택기법을 의미하며, 숫자는 검정의 유의확률 (p-value)을 의미한다.[Table 2]의 검증 결과를 볼 때, 평균적 으로 GA의 오류 개선율이 가장 높게 나타나나, 여타 기법과의 통계적인 차이는 유의미하지 않은 것으로 나타났다. 반면에 전진 선택법, 후방 소거법, 단계적 선택법의 경우 lasso와 elastic net에 비해 통계적으로 유의미하게 오류 개선율이 높다는 것을 확인할 수 있다.
- 각 셀의 변수선택기법 및 숫자의 의미는[Table 2]와 동일하다. [Table 3]의 검증결과를 볼 때 lasso가 모든 변수선택기 법 중에서 가장 효율적으로 변수선택을 수행한 것을 알 수 있 다. 또한 GA를 제외한 비축소추정 기반 변수선택기법인 단계 적 선택법, 전진 선택법, 후방 소거법은 GA와 ridge 회귀, elastic net에 비해 변수 감소 비율이 통계적으로 유의미하게 높게 나타났다.
- 결론적으로 전진 선택법, 후방 소거법, 단계적 선택법 방식이 예측 정확도와 변수 감소율 측면에서 유사한 결과를 도출해 내는 것으로 나타났으며, 고차원 데이터에서의 다중공 선성 문제 해결을 위한 ridge 회귀, lasso, elastic net은 비축소추 정 기반의 변수선택기법보다 항상 좋은 성능을 나타내지는 않는 것으로 확인되었다. ridge 회귀는 가장 안전하게 변수를 유 지하는 반면 높은 정확도를 보였으며, lasso는 예측력이 가장 낮지만 가장 높은 변수 감소율을 보여주어 고려된 변수선택기 법의 양 극단에 위치하는 것을 알 수 있었다.
- 예측 정확도 측면에서 유전자 알고리즘, ridge 회귀, 단계적 선택법, 후방 소거법, 전진 선택법, elastic net, lasso 순으로 예측력이 우수하게 나타났으며, 변수 감소율 측면에서 lasso, 단 계적 선택법, 후방 소거법, 전진 선택법, elastic net, 유전자 알 고리즘, ridge 회귀 순으로 변수가 효율적으로 감소됨을 알 수 있었다. 결론적으로 전진 선택법, 후방 소거법, 단계적 선택법 방식이 예측 정확도와 변수 감소율 측면에서 유사한 결과를 도출해 내는 것으로 나타났으며, 고차원 데이터에서의 다중공 선성 문제 해결을 위한 ridge 회귀, lasso, elastic net은 비축소추 정 기반의 변수선택기법보다 항상 좋은 성능을 나타내지는 않는 것으로 확인되었다. ridge 회귀는 가장 안전하게 변수를 유 지하는 반면 높은 정확도를 보였으며, lasso는 예측력이 가장 낮지만 가장 높은 변수 감소율을 보여주어 고려된 변수선택기 법의 양 극단에 위치하는 것을 알 수 있었다.
- 마지막으로 비축소추정 기반 변수선 택법 중에서 가장 효율적으로 변수의 수를 감소시킬 수 있는 방법론은 단계적 선택법인 것으로 나타났다. 단계적 선택법은 일반적으로 전진 선택법에 의한 변수의 수보다 같거나 적은 수의 변수를 선택하기 때문에 세 가지 변수선택기법 중 가장 효율적으로 변수선택을 수행하는 것으로 확인되었다.
- 전진 선택법이나 후방 소 거법의 경우 거의 모든 데이터에 대해서 모든 변수를 사용한 회귀모형과 예측력 측면에서 차이를 나타내지 않으나, 축소추 정법, 특히 lasso와 elastic net의 경우 상당히 많은 데이터셋에 서 상대적으로 낮은 예측 성능을 나타내고 있다. 둘째, 변수선 택을 위한 탐색 영역이 증가할수록 회귀모형의 성능이 향상될 가능성이 증가한다. 단계적 선택법이나 유전 알고리즘의 경우 전진 선택법과 후방 소거법 대비 예측력이 향상된 데이터셋의 수가 상대적으로 많은 것을 알 수 있다.
- 반면 ridge 회귀는 대부분의 데이터 셋에서 거의 모든 변수를 그대로 사용하는 것을 알 수 있는데, 이는 ridge 회 귀 자체가 회귀 계수를 0으로 만드는 것을 목적으로 하는 것이 아니기 때문으로 유추해볼 수 있다. 둘째, 비축소추정 기반 변수선택법 중에서는 유전 알고리즘의 변수 감소 비율이 가장 낮게 나타나는 것을 알 수 있다. 이는 유전자 알고리즘을 이용 하여 변수선택을 수행한 다수의 실제 사례에서도 확인할 수 있는 현상으로써(Kang et al.
- [Table 3]의 검증결과를 볼 때 lasso가 모든 변수선택기 법 중에서 가장 효율적으로 변수선택을 수행한 것을 알 수 있 다. 또한 GA를 제외한 비축소추정 기반 변수선택기법인 단계 적 선택법, 전진 선택법, 후방 소거법은 GA와 ridge 회귀, elastic net에 비해 변수 감소 비율이 통계적으로 유의미하게 높게 나타났다. 이 세 기법 사이에서는 단계적 선택법-후방소거법전진선택법 순으로 변수 감소 비율이 높은 것으로 나타났으나 통계적으로 유의미한 차이를 나타낸다고는 볼 수 없다.
- 예측 정확도 향상의 측면에서는 유전자 알 고리즘-ridge 회귀-단계적 선택법 순으로 효과적인 것으로 나타났으며, 변수 감소율 측면에서는 lasso-단계적 선택법-후방 소거법 순으로 효율적인 것으로 나타났다. 또한 계산 시간 효율성 관점에서는 전진 선택법-후방 소거법-lasso의 순으로 빠르게 결과를 얻을 수 있는 것으로 확인되었다.
- , 2015), 탐색 영역이 확장되면서 보다 많은 변수가 선택되는 것 으로 유추해볼 수 있다. 마지막으로 비축소추정 기반 변수선 택법 중에서 가장 효율적으로 변수의 수를 감소시킬 수 있는 방법론은 단계적 선택법인 것으로 나타났다. 단계적 선택법은 일반적으로 전진 선택법에 의한 변수의 수보다 같거나 적은 수의 변수를 선택하기 때문에 세 가지 변수선택기법 중 가장 효율적으로 변수선택을 수행하는 것으로 확인되었다.
- [Table 2]의 검증 결과를 볼 때, 평균적 으로 GA의 오류 개선율이 가장 높게 나타나나, 여타 기법과의 통계적인 차이는 유의미하지 않은 것으로 나타났다. 반면에 전진 선택법, 후방 소거법, 단계적 선택법의 경우 lasso와 elastic net에 비해 통계적으로 유의미하게 오류 개선율이 높다는 것을 확인할 수 있다. 이 세 가지 변수선택기법 사이에서는 단계적 선택법-후방 소거법-전진 선택법 순으로 오류 개선율이 높게 나타났으나, 이 차이에 대한 충분한 통계적 유의성은 확 보되지 않는 것으로 나타났다
- 만일 연구자가 사용할 데이터 에 적합한 기법을 찾기 위하여 모든 변수선택 기법을 적용해 본다면 더욱더 많은 시간이 소요될 것이다. 연구자가 계산 시 간 효율성을 고려한다면 예측 정확도 측면에서 ridge 회귀(최 소 약 0.04초, 최대 약 1.92초)와 단계적 선택법(최소 약 0.01초, 최대 약 5시간)의 적용을 본 연구를 통해 우선적으로 고려해 볼 수 있을 것이다. 따라서 본 연구를 바탕으로 과업과 데이터 의 속성에 따라 예측 정확도, 변수 감소율, 계산 시간 등의 기 준에 대한 우선순위가 확립될 경우, 변수선택 기법을 선택함 에 있어 최악의 결정을 제외시키고 현실적으로 보다 최적의 변수선택기법 대안 선택을 가능하게 할 것으로 기대한다.
- 예측 정확도 측면에서 유전자 알고리즘, ridge 회귀, 단계적 선택법, 후방 소거법, 전진 선택법, elastic net, lasso 순으로 예측력이 우수하게 나타났으며, 변수 감소율 측면에서 lasso, 단 계적 선택법, 후방 소거법, 전진 선택법, elastic net, 유전자 알 고리즘, ridge 회귀 순으로 변수가 효율적으로 감소됨을 알 수 있었다. 결론적으로 전진 선택법, 후방 소거법, 단계적 선택법 방식이 예측 정확도와 변수 감소율 측면에서 유사한 결과를 도출해 내는 것으로 나타났으며, 고차원 데이터에서의 다중공 선성 문제 해결을 위한 ridge 회귀, lasso, elastic net은 비축소추 정 기반의 변수선택기법보다 항상 좋은 성능을 나타내지는 않는 것으로 확인되었다.
- 계산 시간 효율성은 각 변수선 택기법이 실험을 통해 변수선택을 하는데 걸리는 평균 시간을 비교한 결과이다. 예측 정확도 향상의 측면에서는 유전자 알 고리즘-ridge 회귀-단계적 선택법 순으로 효과적인 것으로 나타났으며, 변수 감소율 측면에서는 lasso-단계적 선택법-후방 소거법 순으로 효율적인 것으로 나타났다. 또한 계산 시간 효율성 관점에서는 전진 선택법-후방 소거법-lasso의 순으로 빠르게 결과를 얻을 수 있는 것으로 확인되었다.
- 반면에 전진 선택법, 후방 소거법, 단계적 선택법의 경우 lasso와 elastic net에 비해 통계적으로 유의미하게 오류 개선율이 높다는 것을 확인할 수 있다. 이 세 가지 변수선택기법 사이에서는 단계적 선택법-후방 소거법-전진 선택법 순으로 오류 개선율이 높게 나타났으나, 이 차이에 대한 충분한 통계적 유의성은 확 보되지 않는 것으로 나타났다
- [Figure 6]의 결과를 바탕으로 다음 과 같은 실험적 결론을 내릴 수 있다. 첫째, 축소 추정법은 변수 선택을 수행할 경우 다른 변수선택 기법에 비해 회귀모형의 성능이 다소 저하되는 경향을 보인다. 전진 선택법이나 후방 소 거법의 경우 거의 모든 데이터에 대해서 모든 변수를 사용한 회귀모형과 예측력 측면에서 차이를 나타내지 않으나, 축소추 정법, 특히 lasso와 elastic net의 경우 상당히 많은 데이터셋에 서 상대적으로 낮은 예측 성능을 나타내고 있다.
- 변 수선택의 효율성 측면에서 판단할 경우 다음과 같은 결론을 내릴 수 있다. 첫째, 축소추정 기반 변수선택법 중에서는 lasso 가 가장 효율적으로 변수의 수를 감소시키며, ridge 회귀의 경 우 상대적으로 변수 감소 비율이 낮은 것을 확인할 수 있다. lasso의 경우 회귀식의 목적함수에 L1-norm을 적용함으로써 상대적으로 회귀 계수의 값이 0이 되는 상황을 선호하게 되는 데 본 연구의 실험 결과는 그 목적이 정확히 달성된 것으로 판단할 수 있다.
후속연구
- 01초, 최대 약 5시간)의 적용을 본 연구를 통해 우선적으로 고려해 볼 수 있을 것이다. 따라서 본 연구를 바탕으로 과업과 데이터 의 속성에 따라 예측 정확도, 변수 감소율, 계산 시간 등의 기 준에 대한 우선순위가 확립될 경우, 변수선택 기법을 선택함 에 있어 최악의 결정을 제외시키고 현실적으로 보다 최적의 변수선택기법 대안 선택을 가능하게 할 것으로 기대한다.
- 세대 반복수를 10번으로 제한하여 걸린 시간으로 실제 연구자 가 사용할 데이터에 최적화할 만큼 충분히 세대를 반복한다면 더 많은 시간이 소요될 것이다. 만일 연구자가 사용할 데이터 에 적합한 기법을 찾기 위하여 모든 변수선택 기법을 적용해 본다면 더욱더 많은 시간이 소요될 것이다. 연구자가 계산 시 간 효율성을 고려한다면 예측 정확도 측면에서 ridge 회귀(최 소 약 0.
- 예를 들어, 본 연구에서 GA는 최소 약 2,266초(약 38분)에서 최대 약 34,421초(약 10시간)의 시간이 변수선택을 하는데 소요되었다. 세대 반복수를 10번으로 제한하여 걸린 시간으로 실제 연구자 가 사용할 데이터에 최적화할 만큼 충분히 세대를 반복한다면 더 많은 시간이 소요될 것이다. 만일 연구자가 사용할 데이터 에 적합한 기법을 찾기 위하여 모든 변수선택 기법을 적용해 본다면 더욱더 많은 시간이 소요될 것이다.
- 최근의 빅데이터 환경 에서는 아무리 계산복잡도가 낮은 알고리즘이라고 할지라도 데이터의 크기가 기하급수적으로 증가하는 환경이기 때문에 현실적으로 주어진 시간 내에서 적합한 변수를 선택하는 데 있어 가능한 모든 방법론을 적용해보는 것은 현실적으로 불가 능한 상황이다. 이러한 조건 하에서 모델 효율성의 관점(적은 변수를 사용한 모델을 선호)과 예측 성능의 관점(우수한 예측 정확도를 나타내는 모델을 선호)에서 적합한 변수 선택 기법 의 우선순위를 부여하는데 본 연구의 결과물이 기초 자료로 사용될 수 있을 것으로 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.