앙상블 분류기란 개별 분류기보다 더 좋은 성과를 내기 위해 다수의 분류기를 결합하는 것을 의미한다. 이와 같은 앙상블 분류기는 단일 분류기의 일반화 성능을 향상시키는데 매우 유용한 것으로 알려져 있다. 랜덤 서브스페이스 앙상블 기법은 각각의 기저 분류기들을 위해 원 입력 변수 집합으로부터 랜덤하게 입력 변수 집합을 선택하며 이를 통해 기저 분류기들을 다양화 시키는 기법이다. k-최근접 이웃(KNN: k nearest neighbor)을 기저 분류기로 하는 랜덤 서브스페이스 앙상블 모형의 성과는 단일 모형의 성과를 개선시키는 데 효과적인 것으로 알려져 있으며, 이와 같은 랜덤 서브스페이스 앙상블의 성과는 각 기저 분류기를 위해 랜덤하게 선택된 입력 변수 집합과 KNN의 파라미터 k의 값이 중요한 영향을 미친다. 하지만, 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해 각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 성과가 나올 수 있도록 각각의 기저 분류기가 사용할 파라미터 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 제안한 모형의 검증을 위해 국내 기업의 부도 예측 관련 데이터를 가지고 다양한 실험을 하였으며, 실험 결과 제안한 모형이 기존의 앙상블 모형보다 기저 분류기의 다양화와 예측 성과 개선에 효과적임을 알 수 있었다.
앙상블 분류기란 개별 분류기보다 더 좋은 성과를 내기 위해 다수의 분류기를 결합하는 것을 의미한다. 이와 같은 앙상블 분류기는 단일 분류기의 일반화 성능을 향상시키는데 매우 유용한 것으로 알려져 있다. 랜덤 서브스페이스 앙상블 기법은 각각의 기저 분류기들을 위해 원 입력 변수 집합으로부터 랜덤하게 입력 변수 집합을 선택하며 이를 통해 기저 분류기들을 다양화 시키는 기법이다. k-최근접 이웃(KNN: k nearest neighbor)을 기저 분류기로 하는 랜덤 서브스페이스 앙상블 모형의 성과는 단일 모형의 성과를 개선시키는 데 효과적인 것으로 알려져 있으며, 이와 같은 랜덤 서브스페이스 앙상블의 성과는 각 기저 분류기를 위해 랜덤하게 선택된 입력 변수 집합과 KNN의 파라미터 k의 값이 중요한 영향을 미친다. 하지만, 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해 각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 성과가 나올 수 있도록 각각의 기저 분류기가 사용할 파라미터 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 제안한 모형의 검증을 위해 국내 기업의 부도 예측 관련 데이터를 가지고 다양한 실험을 하였으며, 실험 결과 제안한 모형이 기존의 앙상블 모형보다 기저 분류기의 다양화와 예측 성과 개선에 효과적임을 알 수 있었다.
Bankruptcy involves considerable costs, so it can have significant effects on a country's economy. Thus, bankruptcy prediction is an important issue. Over the past several decades, many researchers have addressed topics associated with bankruptcy prediction. Early research on bankruptcy prediction e...
Bankruptcy involves considerable costs, so it can have significant effects on a country's economy. Thus, bankruptcy prediction is an important issue. Over the past several decades, many researchers have addressed topics associated with bankruptcy prediction. Early research on bankruptcy prediction employed conventional statistical methods such as univariate analysis, discriminant analysis, multiple regression, and logistic regression. Later on, many studies began utilizing artificial intelligence techniques such as inductive learning, neural networks, and case-based reasoning. Currently, ensemble models are being utilized to enhance the accuracy of bankruptcy prediction. Ensemble classification involves combining multiple classifiers to obtain more accurate predictions than those obtained using individual models. Ensemble learning techniques are known to be very useful for improving the generalization ability of the classifier. Base classifiers in the ensemble must be as accurate and diverse as possible in order to enhance the generalization ability of an ensemble model. Commonly used methods for constructing ensemble classifiers include bagging, boosting, and random subspace. The random subspace method selects a random feature subset for each classifier from the original feature space to diversify the base classifiers of an ensemble. Each ensemble member is trained by a randomly chosen feature subspace from the original feature set, and predictions from each ensemble member are combined by an aggregation method. The k-nearest neighbors (KNN) classifier is robust with respect to variations in the dataset but is very sensitive to changes in the feature space. For this reason, KNN is a good classifier for the random subspace method. The KNN random subspace ensemble model has been shown to be very effective for improving an individual KNN model. The k parameter of KNN base classifiers and selected feature subsets for base classifiers play an important role in determining the performance of the KNN ensemble model. However, few studies have focused on optimizing the k parameter and feature subsets of base classifiers in the ensemble. This study proposed a new ensemble method that improves upon the performance KNN ensemble model by optimizing both k parameters and feature subsets of base classifiers. A genetic algorithm was used to optimize the KNN ensemble model and improve the prediction accuracy of the ensemble model. The proposed model was applied to a bankruptcy prediction problem by using a real dataset from Korean companies. The research data included 1800 externally non-audited firms that filed for bankruptcy (900 cases) or non-bankruptcy (900 cases). Initially, the dataset consisted of 134 financial ratios. Prior to the experiments, 75 financial ratios were selected based on an independent sample t-test of each financial ratio as an input variable and bankruptcy or non-bankruptcy as an output variable. Of these, 24 financial ratios were selected by using a logistic regression backward feature selection method. The complete dataset was separated into two parts: training and validation. The training dataset was further divided into two portions: one for the training model and the other to avoid overfitting. The prediction accuracy against this dataset was used to determine the fitness value in order to avoid overfitting. The validation dataset was used to evaluate the effectiveness of the final model. A 10-fold cross-validation was implemented to compare the performances of the proposed model and other models. To evaluate the effectiveness of the proposed model, the classification accuracy of the proposed model was compared with that of other models. The Q-statistic values and average classification accuracies of base classifiers were investigated. The experimental results showed that the proposed model outperformed other models, such as the single model and random subspace ensemble model.
Bankruptcy involves considerable costs, so it can have significant effects on a country's economy. Thus, bankruptcy prediction is an important issue. Over the past several decades, many researchers have addressed topics associated with bankruptcy prediction. Early research on bankruptcy prediction employed conventional statistical methods such as univariate analysis, discriminant analysis, multiple regression, and logistic regression. Later on, many studies began utilizing artificial intelligence techniques such as inductive learning, neural networks, and case-based reasoning. Currently, ensemble models are being utilized to enhance the accuracy of bankruptcy prediction. Ensemble classification involves combining multiple classifiers to obtain more accurate predictions than those obtained using individual models. Ensemble learning techniques are known to be very useful for improving the generalization ability of the classifier. Base classifiers in the ensemble must be as accurate and diverse as possible in order to enhance the generalization ability of an ensemble model. Commonly used methods for constructing ensemble classifiers include bagging, boosting, and random subspace. The random subspace method selects a random feature subset for each classifier from the original feature space to diversify the base classifiers of an ensemble. Each ensemble member is trained by a randomly chosen feature subspace from the original feature set, and predictions from each ensemble member are combined by an aggregation method. The k-nearest neighbors (KNN) classifier is robust with respect to variations in the dataset but is very sensitive to changes in the feature space. For this reason, KNN is a good classifier for the random subspace method. The KNN random subspace ensemble model has been shown to be very effective for improving an individual KNN model. The k parameter of KNN base classifiers and selected feature subsets for base classifiers play an important role in determining the performance of the KNN ensemble model. However, few studies have focused on optimizing the k parameter and feature subsets of base classifiers in the ensemble. This study proposed a new ensemble method that improves upon the performance KNN ensemble model by optimizing both k parameters and feature subsets of base classifiers. A genetic algorithm was used to optimize the KNN ensemble model and improve the prediction accuracy of the ensemble model. The proposed model was applied to a bankruptcy prediction problem by using a real dataset from Korean companies. The research data included 1800 externally non-audited firms that filed for bankruptcy (900 cases) or non-bankruptcy (900 cases). Initially, the dataset consisted of 134 financial ratios. Prior to the experiments, 75 financial ratios were selected based on an independent sample t-test of each financial ratio as an input variable and bankruptcy or non-bankruptcy as an output variable. Of these, 24 financial ratios were selected by using a logistic regression backward feature selection method. The complete dataset was separated into two parts: training and validation. The training dataset was further divided into two portions: one for the training model and the other to avoid overfitting. The prediction accuracy against this dataset was used to determine the fitness value in order to avoid overfitting. The validation dataset was used to evaluate the effectiveness of the final model. A 10-fold cross-validation was implemented to compare the performances of the proposed model and other models. To evaluate the effectiveness of the proposed model, the classification accuracy of the proposed model was compared with that of other models. The Q-statistic values and average classification accuracies of base classifiers were investigated. The experimental results showed that the proposed model outperformed other models, such as the single model and random subspace ensemble model.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 KNN 모형의 성능 개선을 위해 새로운 형태의 앙상블 모형을 제안하였으며 제안한 모형의 효과성을 검증하기 위해 국내 기업의 부도 예측 문제에 적용해 보았다. 모형의 검증을 위해 사용한 데이터는 총 1800개의 국내 비외감 기업의 데이터로 구성되어 있으며 부도 기업과 비부도 기업이 각각 900개로 구성되어 있다.
본 논문은 KNN을 기저 분류기로 하는 앙상블 모형의 성능 개선에 관한 연구이다. 단일 KNN 분류기의 성과는 파라미터 k에 큰 영향을 받으며 KNN 랜덤 서브스페이스 앙상블 모형의 성과는 파라미터 k와 선택된 입력 변수 집합에 큰 영향을 받는다.
본 연구는 부도 예측을 위한 KNN 앙상블 모형의 성능 개선에 관한 연구이다. 본 논문에서는 KNN 모형의 성능 개선을 위해 앙상블 모형을 사용하였으며, KNN 앙상블 모형의 추가 성능 개선을 위해 KNN 기저 분류기의 파라미터 k와 입력변수 집합을 최적화하는 방법을 제안하였다.
본 연구에서는 제안한 모형의 성과를 검증하기 위해 국내 기업의 부도 예측관련 데이터를 사용하여 다양한 실험을 수행하였으며 제안한 모형의 예측 성과뿐만 아니라 앙상블을 구성하고 있는 기저 분류기들의 평균 예측률 및 다양성 지수도 함께 살펴 보았다. 실험 결과 제안한 모형은 기존의 앙상블 모형보다 기저 분류기들을 다양화시키는 데 효과적이었다는 것을 알 수 있었다.
[Figure 5]의 실험 결과에서 알 수 있듯이 랜덤 서브스페이스 앙상블 모형의 성과는 f의 값에 따라 차이가 날 뿐만 아니라 f의 값이 같더라도 어떤 입력변수 군이 선택되었냐에 따라 편차를 보임을 알 수 있다. 이런 점에 착안하여 본 연구에서는 앙상블 모형의 성과를 최대로 할 수 있는 입력 변수 군을 유전자 알고리즘을 이용해 탐색하여 사용한 새로운 형태의 앙상블 모형을 제안하였으며 이는 기존의 앙상블 모형의 성과 개선에 큰 기여를 할 것으로 기대 된다.
하지만, [A]부분의 최적화와 관련된 연구는 거의 없는 것이 현실이다. 이에 본 논문에서는 [A]부분의 최적화를 통해 앙상블 모형의 성능을 개선하는 방법을 제안하고자 한다. 즉, 본 논문에서 제안한 앙상블 모형 개선 방법은 주어진 다양화 방법을 통해서 결정된 기저 분류기들을 최적화하거나 이들 기저 분류기 결과값들을 최적화하는 것이 아닌 앙상블 모형의 성과를 개선시킬 수 있는 다양화 방법을 제안하였으며, 이는 기존의 연구와 차별성이 있다고 볼 수 있다.
앞에서 살펴본 바와 같이 앙상블 모형의 성과는 그것을 구성하고 있는 기저 분류기들의 평균 예측률과 다양성 정도가 매우 중요하다. 이에 본 논문에서는 앙상블 모형의 최종 성과뿐만 아니라 그것을 구성하고 있는 기저 분류기들의 평균 예측률과 다양성 지수도 함께 살펴 보았다.[Figure 7]과 [Figure 8]은 각 앙상블 모형을 구성하고 있는 기저 분류기들의 평균 예측률과 Q-통계량을 보여주고 있다.
하지만, KNN 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 또한 제안한 모형의 검증을 위해 국내 부도 기업 관련 문제에 적용해 다양한 분석을 하였다.
하지만, KNN 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 또한 제안한 모형의 검증을 위해 국내 부도 기업 관련 문제에 적용해 다양한 분석을 하였다.
제안 방법
모형의 검증을 위해 사용한 데이터는 총 1800개의 국내 비외감 기업의 데이터로 구성되어 있으며 부도 기업과 비부도 기업이 각각 900개로 구성되어 있다. 기업의 부도를 예측하기 위한 입력 변수로는 수익성, 안정성, 성장성, 활동성 및 현금 흐름으로 분류된 재무비율을 사용하였다. 실험에 사용한 최종 입력 변수는 단일 표본 t검정(independent samples t-test)과 후진 선택법(backward selection)을 이용한 로지스틱 회귀분석을 이용하여 최종 선정 하였으며 그 결과는 [Table 1]과 같다.
Kim and Kim (2007)은 SOHO의 부도 예측 문제에 선택적 배깅 앙상블 모형을 적용해 보았다. 기존의 일반 배깅 모형은 발생한 모든 기저 분류기들을 결합하여 앙상블 모형을 구성하지만 본 논문에서 제안한 모형에서는 성능 평가용 데이터에서 평균 이상의 예측 정확도를 가지는 분류기만을 선택하여 앙상블 모형을 구성하였다. 이와 같이 구성한 선택적 배깅 앙상블 모형은 기존의 배깅 앙상블 모형보다 높은 예측 정확도를 보였다.
데이터는 학습용 데이터와(T)와 모형 검증을 위한 검증용 데이터(V)로 분할하여 실험을 수행하였으며 학습용 데이터는 다시 모형 구축을 위한 데이터(T1)와 유전자 알고리즘에서 적합도 계산을 위한 데이터(T2)로 분류하였다. 10-겹 검증(10-fold cross validation) 방법으로 실험을 수행하였으며 앙상블을 구성하고 있는 기저 분류기의 수는 25로 고정하고 실험을 하였다.
이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 또한 제안한 모형의 검증을 위해 국내 부도 기업 관련 문제에 적용해 다양한 분석을 하였다.
모집단은 다수의 염색체로 구성되어 있으며 랜덤하게 발생한 각각의 염색체는 살펴본 바와 같이 앙상블 모형을 구성하게 될 각 KNN 기저분류기의 파라미터 k 값과 입력 변수 집합을 의미하게 되며 이들 값들을 이용해 각각의 기저 분류기 {C1,…,Cn}를 발생시키고, 이들 각각에 대해 T2데이터 셋에서의 예측결과값 {O1,…,On}을 구하고 이들을 다수결투표 방식을 이용해 결합하여 앙상블 모형의 예측 결과값을 구한다.
본 논문에서 염색체는 각 기저 분류기에서 사용하게 될 각각의 k 파라미터와 입력 변수 집합을 나타내도록 이진열(binary string) 형태로 설계되었으며 [Figure 3]은 이와 같은 염색체 구조의 예를 보여주고 있다. 그림에서와 같이 각각의 기저 분류기(Ci)를 생성시키기 위해서는 각각의 기저 분류기별로 입력변수 집합(Feature Subseti)과 k의 값(ki)이 필요하게 된다.
본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 모형 성과가 나올 수 있도록 각각의 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 기저 분류기 발생을 최적화하는 효과를 가져올 것으로 기대되며, 이를 통해 KNN 앙상블 모형의 성과가 개선될 것으로 기대된다.
이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해 각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 성과가 나올 수 있도록 각각의 기저 분류기가 사용할 파라미터 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다.
본 연구는 부도 예측을 위한 KNN 앙상블 모형의 성능 개선에 관한 연구이다. 본 논문에서는 KNN 모형의 성능 개선을 위해 앙상블 모형을 사용하였으며, KNN 앙상블 모형의 추가 성능 개선을 위해 KNN 기저 분류기의 파라미터 k와 입력변수 집합을 최적화하는 방법을 제안하였다.
본 논문에서는 앙상블 모형의 성과 측면에서 최적의 k 값과 최적의 입력 변수 집합을 선택하기 위해서 유전자 알고리즘을 활용하였으며, 이와 같은 최적화 문제에 유전자 알고리즘을 적용하기 위해서는 문제에 맞게 염색체를 암호화 필요가 있다.
이때 입력 변수를 임의로 선택하여 입력 변수 집합을 구성하기 때문에 서로 다른 입력 변수 집합이 생성되고 이들로 인해 다양성이 존재하는 기저 분류기들이 생성되고 앙상블 모형의 성과 개선이 이뤄지게 된다. 본 논문에서는 이와 같은 일반 랜덤 서브 스페이스 앙상블 모형을 수정하여 앙상블 모형의 성과 측면에서 최적인 각 기저 분류기별 입력변수 집합을 유전자 알고리즘을 이용하여 구하는 방법을 제안하였다. 뿐만 아니라 각 기저 분류기의 KNN 파라미터인 k 또한 유전자 알고리즘을 이용하여 최적화하게 된다.
제안한 모형을 실행하기 위한 준비 단계에서는 먼저 데이터를 분할하고 유전자 알고리즘을 위한 염색체(chromosomes)를 정의하고, 유전자 알고리즘을 위한 파라미터를 설정한다. 본 연구에서는 전체 데이터를 학습용 데이터(T)와 검증용 데이터(V)로 분할하여 사용하였으며 학습용 데이터는 다시 모형 구축을 위한 데이터(T1)와 유전자 알고리즘에서 적합도 함수 계산을 위해 사용한 데이터(T2)로 구분하여 사용하여 과적합을 피하려고 노력하였다.
그러므로, 앙상블 성과 측면에서 최적의 k의 값을 찾는 것은 매우 복잡한 문제라고 볼 수 있으며, 이런 이유로 대부분의 KNN 앙상블 모형에서는 최적의 k와 최적의 입력 변수집합을 고려하지 못하고 있다. 이에 본 논문에서는 앞에서 살펴본 바와 같이 KNN 앙상블 모형의 성과를 향상시키기 위해 각 기저 분류기별 최적의 k값과 각 기저 분류기별 최적의 입력 변수 집합을 유전자 알고리즘을 이용하여 탐색하고 이 값을 이용해 최적의 KNN 앙상블 모형을 구축하였으며 제안한 모형의 최종 성과는 [Table 2]에 나와 있다.
제안한 모형을 실행하기 위한 준비 단계에서는 먼저 데이터를 분할하고 유전자 알고리즘을 위한 염색체(chromosomes)를 정의하고, 유전자 알고리즘을 위한 파라미터를 설정한다. 본 연구에서는 전체 데이터를 학습용 데이터(T)와 검증용 데이터(V)로 분할하여 사용하였으며 학습용 데이터는 다시 모형 구축을 위한 데이터(T1)와 유전자 알고리즘에서 적합도 함수 계산을 위해 사용한 데이터(T2)로 구분하여 사용하여 과적합을 피하려고 노력하였다.
대상 데이터
본 논문에서는 KNN 모형의 성능 개선을 위해 새로운 형태의 앙상블 모형을 제안하였으며 제안한 모형의 효과성을 검증하기 위해 국내 기업의 부도 예측 문제에 적용해 보았다. 모형의 검증을 위해 사용한 데이터는 총 1800개의 국내 비외감 기업의 데이터로 구성되어 있으며 부도 기업과 비부도 기업이 각각 900개로 구성되어 있다. 기업의 부도를 예측하기 위한 입력 변수로는 수익성, 안정성, 성장성, 활동성 및 현금 흐름으로 분류된 재무비율을 사용하였다.
데이터처리
본 논문에서 제안한 모형의 우수성을 통계적으로 검증하기 위해 윌콕슨 부호 순위 검정(Wilcoxon Signed-Rank Test)을 실시하였으며 결과는 [Table 3]과 같다. [Table 3]에서 보는 바와 같이 본 논문에서 제안한 모형의 예측 성과개선은 통계적으로 유의미하다는 것을 알 수 있으며 이는 본 논문에서 제안한 모형이 예측 성과개선 측면에서 매우 효과적이었다고 해석할 수 있을 것이다.
기업의 부도를 예측하기 위한 입력 변수로는 수익성, 안정성, 성장성, 활동성 및 현금 흐름으로 분류된 재무비율을 사용하였다. 실험에 사용한 최종 입력 변수는 단일 표본 t검정(independent samples t-test)과 후진 선택법(backward selection)을 이용한 로지스틱 회귀분석을 이용하여 최종 선정 하였으며 그 결과는 [Table 1]과 같다.
이론/모형
)로 분류하였다. 10-겹 검증(10-fold cross validation) 방법으로 실험을 수행하였으며 앙상블을 구성하고 있는 기저 분류기의 수는 25로 고정하고 실험을 하였다. 앙상블모형의 경우 10회 반복하여 실험한 결과의 평균값을 대푯값으로 사용하였다.
본 논문에서는 KNN 앙상블 모형에서의 최적의 k 값과 최적의 입력 변수 집합을 탐색하기 위해 유전자 알고리즘을 사용하였다. 유전자 알고리즘은 자연 선택과 진화 이론에 기초를 둔 효율적인 최적화 절차를 제공하는 기법이다.
성능/효과
본 논문에서 제안한 모형의 우수성을 통계적으로 검증하기 위해 윌콕슨 부호 순위 검정(Wilcoxon Signed-Rank Test)을 실시하였으며 결과는 [Table 3]과 같다. [Table 3]에서 보는 바와 같이 본 논문에서 제안한 모형의 예측 성과개선은 통계적으로 유의미하다는 것을 알 수 있으며 이는 본 논문에서 제안한 모형이 예측 성과개선 측면에서 매우 효과적이었다고 해석할 수 있을 것이다.
[Figure 7]과 [Figure 8]은 각 앙상블 모형을 구성하고 있는 기저 분류기들의 평균 예측률과 Q-통계량을 보여주고 있다. 각 기저 분류기들의 평균 예측률은 f가 커짐에 따라 증가함을 알 수 있으며 대체로 k가 클 수록 좋은 값을 보이는 것을 알 수 있다. 하지만 f의 값이 24일 때는 [Figure 4]에 나와 있는 단일 KNN의 성과와 앙상블 모형의 성과가 같다는 것을 알 수 있다.
첫째, 본 논문에서는 부도 예측을 위해 KNN 모형만을 살펴 보았으나 향후 다양한 분류 모형에 관한 비교 분석과 본 논문에서 제안한 접근 방법을 다양한 분류 모형에 적용해 보는 연구가 필요할 것이다. 둘째, 본 논문에서 제안한 모형은 기존의 단일 모형보다 예측 성과 측면에서 개선이 있었지만 모형의 복잡성이 증가하여 많은 연산이 필요하다는 단점이 있다고 볼 수 있다. 끝으로, 본 논문에서 제안한 모형을 부도 예측 문제에만 적용해 보았지만, 향후 다른 분류 문제에서의 제안 모형의 유용성에 대한 검증이 필요할 것이다.
Kim (2010)은 기업의 부도 예측 문제에 배깅과 부스팅 앙상블 모형을 적용해 보았다. 또한, 이들 앙상블 모형의 성과 개선을 위해 유전자 알고리즘을 적용한 모형을 제안하였으며 제안한 모형이 기존의 앙상블 모형보다 예측 성과가 개선되었다는 것을 보여주었다. Louzada et al.
실험 결과 제안한 모형은 기존의 앙상블 모형보다 기저 분류기들을 다양화시키는 데 효과적이었다는 것을 알 수 있었다. 또한, 제안한 앙상블 모형은 기존의 앙상블 모형보다 예측 성과 면에서 우수한 결과를 보였다.
표에서 보는 바와 같이 각 앙상블 모형이 단일 모형보다는 좋은 성과가 나왔으며, 본 논문에서 제안한 모형이 기존의 앙상블 모형보다 예측 성과 면에서 우수한 결과를 보였다. 본 논문에서 제안한 모형은 특히 Q-통계량 값이 가장 작은 값을 보여, 제안한 모형이 기존의 방법보다 기저 분류기의 다양화 측면에서 좋은 결과를 보였으며 이를 통해 전체 앙상블 모형의 성과가 크게 개선되었음을 알 수 있다.
Min (2014)은 기존의 배깅 앙상블 모형의 성능을 개선하기 위해 유전자 알고리즘을 이용한 사례 선택 기법과 배깅의 결합 모형을 제안하였다. 본 논문에서는 제안한 모형을 국내 부도 예측 문제에 적용해 보았으며 제안한 모형이 기존의 모형보다 우수한 성과를 보였다. Abellan and Mantas (2014) 는 다양한 앙상블 모형을 부도 예측과 신용 평가 문제에 적용해 보았으며 실험 결과 크리덜 의사결정 트리(creedal decision tree)를 기저 분류기로 사용하는배깅 앙상블 모형이 가장 좋은 예측 성과를 보였다.
앙상블 모형의 성과 측면에서는 다양성 지수가 높을수록 좋으므로 Q 통계량이 0에 가까울 수록 좋다는 의미이다. 본 실험 결과에서 볼 때 앙상블 모형의 성과 측면에는 f의 값이 작을수록 그리고 k의 값이 작을 수록 좋다는 것을 알 수 있으며 이는 평균 예측률 관점에서의 경우와 상충하는 것을 알 수 있다. 그러므로, 앙상블 성과 측면에서 최적의 k의 값을 찾는 것은 매우 복잡한 문제라고 볼 수 있으며, 이런 이유로 대부분의 KNN 앙상블 모형에서는 최적의 k와 최적의 입력 변수집합을 고려하지 못하고 있다.
그림에서 보는 바와 같이 KNN 분류기의 성과는 파라미터 k에 크게 영향을 받는 것을 알 수 있다. 본 실험에서는 k=9 일 때 가장 좋은 예측 성과를 보였다.
본 연구에서는 제안한 모형의 성과를 검증하기 위해 국내 기업의 부도 예측관련 데이터를 사용하여 다양한 실험을 수행하였으며 제안한 모형의 예측 성과뿐만 아니라 앙상블을 구성하고 있는 기저 분류기들의 평균 예측률 및 다양성 지수도 함께 살펴 보았다. 실험 결과 제안한 모형은 기존의 앙상블 모형보다 기저 분류기들을 다양화시키는 데 효과적이었다는 것을 알 수 있었다. 또한, 제안한 앙상블 모형은 기존의 앙상블 모형보다 예측 성과 면에서 우수한 결과를 보였다.
기존의 일반 배깅 모형은 발생한 모든 기저 분류기들을 결합하여 앙상블 모형을 구성하지만 본 논문에서 제안한 모형에서는 성능 평가용 데이터에서 평균 이상의 예측 정확도를 가지는 분류기만을 선택하여 앙상블 모형을 구성하였다. 이와 같이 구성한 선택적 배깅 앙상블 모형은 기존의 배깅 앙상블 모형보다 높은 예측 정확도를 보였다. Tsai and Wu (2008)는 부도 예측 모형에서 다수의 신경망 모형을 사용할 경우의 효과성에 대한 연구를 수행하였다.
이에 본 논문에서는 [A]부분의 최적화를 통해 앙상블 모형의 성능을 개선하는 방법을 제안하고자 한다. 즉, 본 논문에서 제안한 앙상블 모형 개선 방법은 주어진 다양화 방법을 통해서 결정된 기저 분류기들을 최적화하거나 이들 기저 분류기 결과값들을 최적화하는 것이 아닌 앙상블 모형의 성과를 개선시킬 수 있는 다양화 방법을 제안하였으며, 이는 기존의 연구와 차별성이 있다고 볼 수 있다.
Q-ststistic는 각 앙상블 모형을 구성하고 있는 기저 분류기들 사이의 Q-통계량의 평균값을 의미한다. 표에서 보는 바와 같이 각 앙상블 모형이 단일 모형보다는 좋은 성과가 나왔으며, 본 논문에서 제안한 모형이 기존의 앙상블 모형보다 예측 성과 면에서 우수한 결과를 보였다. 본 논문에서 제안한 모형은 특히 Q-통계량 값이 가장 작은 값을 보여, 제안한 모형이 기존의 방법보다 기저 분류기의 다양화 측면에서 좋은 결과를 보였으며 이를 통해 전체 앙상블 모형의 성과가 크게 개선되었음을 알 수 있다.
후속연구
둘째, 본 논문에서 제안한 모형은 기존의 단일 모형보다 예측 성과 측면에서 개선이 있었지만 모형의 복잡성이 증가하여 많은 연산이 필요하다는 단점이 있다고 볼 수 있다. 끝으로, 본 논문에서 제안한 모형을 부도 예측 문제에만 적용해 보았지만, 향후 다른 분류 문제에서의 제안 모형의 유용성에 대한 검증이 필요할 것이다.
본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 모형 성과가 나올 수 있도록 각각의 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 기저 분류기 발생을 최적화하는 효과를 가져올 것으로 기대되며, 이를 통해 KNN 앙상블 모형의 성과가 개선될 것으로 기대된다. 본 논문에서 제안한 모형의 절차는 [Figure 2]와 같으며 자세한 설명은 다음과 같다.
본 연구의 한계와 향후 연구 방향을 정리하면 다음과 같다. 첫째, 본 논문에서는 부도 예측을 위해 KNN 모형만을 살펴 보았으나 향후 다양한 분류 모형에 관한 비교 분석과 본 논문에서 제안한 접근 방법을 다양한 분류 모형에 적용해 보는 연구가 필요할 것이다. 둘째, 본 논문에서 제안한 모형은 기존의 단일 모형보다 예측 성과 측면에서 개선이 있었지만 모형의 복잡성이 증가하여 많은 연산이 필요하다는 단점이 있다고 볼 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
앙상블 분류기란 무엇인가?
앙상블 분류기란 개별 분류기보다 더 좋은 성과를 내기 위해 다수의 분류기를 결합한 분류기를 의미한다. 이와 같은 앙상블 분류기는 단일분류기의 일반화 성능을 향상시키는데 매우 유용한 것으로 알려져 있다(Dietterich, 1997).
KNN 랜덤 서브스페이스 앙상블 모형이 단일 모형보다 성과 개선의 효과가 큰 배경은 무엇인가?
k-최근접 이웃(KNN:k nearest neighbor) 모형은 데이터의 변화에 강건한 성격이 있지만 입력 변수의 변화에는 매우 민감한 것으로 알려져 있다. 이 때문에 KNN은 랜덤 샘플링을 통해 데이터에 변화를 주는 앙상블 기법인 배깅 기법의 기저 분류기로는 부적합하지만, 입력 변수의 변화를 통해 기저 분류기를 다양화시키는 기법인 랜덤 서브스페이스 앙상블 모형의 좋은 기저 분류기가 될 수 가 있다. 이로 인해 KNN 랜덤 서브스페이스 앙상블 모형은 단일 모형보다 성과 개선의 효과가 큰 것으로 알려져 있다.
다양성이 있는 기저분류기를 발생시키기 위한 방법으로는 무엇이 있는가?
이와 같은 이유로 대다수의 앙상블 기법은 기저 분류기를 다양화 시키는 데에 초점이 맞춰져 있다. 다양성이 있는 기저분류기를 발생시키기 위한 방법으로는 학습 데이터의 다양화, 학습알고리즘의 다양화, 학습 알고리즘 파라미터의 다양화 등의 방법이 있다. 가장 대표적인 앙상블기법으로 많은 응용 분야에서 성공적으로 활용되고 있는 배깅, 부스팅, 랜덤 서브스페이스 기법은 학습 데이터의 다양화를 통해서 기저 분류기를 다양화 시키는 대표적인 방법이다.
참고문헌 (32)
Abellan, J. and C. J. Mantas, "Improving Experimental Studies about Ensembles of Classifiers for Bankruptcy Prediction and Credit Scoring," Expert Systems with Applications, Vol.41, No.8(2014), 3825-3830.
Alexandre, L., A. Campihlo, and M. Kamel, "On combining classifiers using sum and product rules," Pattern Recognition Letter, Vol.22, No.12(2001), 1283-1289.
Altman, E. I., "Financial ratios, discriminant analysis and the prediction of corporate bankruptcy," The Journal of Finance, Vol.23, No.4(1968), 589-609.
Bian, S. and W. Wang, "On diversity and accuracy of homogeneous and heterogeneous ensembles," International Journal of Hybrid Intelligent Systems, Vol.4, No.2(2007), 103-128.
Buta, P., "Mining for financial knowledge with CBR," AI Expert, Vol.9, No.10(1994), 34-41.
Dietterich, T. G., "Machine-learning research: Four current directions," AI Magazine, Vol.18, No.4(1997), 97-136.
Goldberg, D. E., Genetic algorithms in search, optimization and machine learning, Addison-Wesley, New York, 1989.
Ho, T., "The random subspace method for construction decision forests," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.8(1998), 832-844.
Ho, T., "Multiple classifier combination: Lessons and next steps," Series in Machine Perception and Artificial Intelligence, Vol.47(2002), 171-198.
Hung, C. and J-H. Chen, "A Selective Ensemble Based on Expected Probabilities for Bankruptcy Prediction," Expert Systems with Applications, Vol.36, No.3(2009), 5297-5303.
Kuncheva, L., J. Bezdek, and R. Duin, "Decision templates for multiple classifier fusion: an experimental comparison," Pattern Recognition, Vol.34, No.2(2001), 299-314.
Kuncheva, L. I. and C. J. Whitaker, "Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy," Machine Learning, Vol.51, No.2(2003), 181-207.
Kim, M., "Ensemble Learning for Solving Data Imbalance in Bankruptcy Prediction," Journal of Intelligence and Information Systems, Vol.15, No.3(2009), 1-15.
Kim, M., "Optimal Selection of Classifier Ensemble Using Genetic Algorithms," Journal of Intelligence and Information Systems, Vol.16, No.4(2010), 99-112.
Kim, S. H. and J. W. Kim, "SOHO Bankruptcy Prediction Using Modified Bagging Predictors," Journal of Intelligence and Information Systems, Vol.13, No.2(2007), 15-26.
Li, H., Y.-C. Lee, Y.-C. Zhou, and J. Sun, "The random subspace binary logit (RSBL) model for bankruptcy prediction," Knowledge-Based Systems, Vol.24, No.8(2011), 1380-1388.
Louzada, F., O. Anacleto-Junior, C. Candolo, and J. Mazucheli, "Poly-bagging predictors for classification modelling for credit scoring," Expert Systems with Applications, Vol.38, No.10(2011), 2717-12720.
Mandler, E. and J. Schurmann, "Combining the classification results of independent classifiers based on the Dempster-Shafer theory of evidence," In E.S. Geselma and L.N. Kanal (eds.), Pattern Recognition and Artificial Intelligence, North Holland, Amsterdam, (1988), 381-393.
Marques, A. I., V. Garcia, and J. S. Sanchez, "Two-Level Classifier Ensembles for Credit Risk Assessment," Expert Systems with Applications, Vol.39, No.12(2012), 10916-10922.
Messier, W. F. Jr. and J. V. Hansen, "Inducing rules for expert system development: an example using default and bankruptcy data," Management Science, Vol.34, No.12(1998), 1403-1415.
Min, S., "Developing an Ensemble Classifier for Bankruptcy Prediction," Journal of the Korea Society Industrial Information System, Vol.17, No.7(2012), 139-148.
Min, S., "Bankruptcy Prediction Using an Improved Bagging Ensemble," Journal of Intelligence and Information Systems, Vol.20, No.4(2014), 121-139.
Nanni, L. and A. Lumini, "An Experimental Comparison of Ensemble of Classifiers for Bankruptcy Prediction and Credit Scoring," Expert Systems with Applications, Vol.36, No.2(2009), 3028-3033.
Tam, K. Y. and M. Y. Kiang, "Managerial applications of neural networks: the case of bank failure predictions," Management Science, Vol.38, No.7(1992), 926-947.
Tsai, C. and J. Wu, "Using Neural Network Ensembles for Bankruptcy Prediction and Credit Scoring," Expert Systems with Applications, Vol.34, No.4(2008), 2639-2649.
Wang, G. and J. Ma, "A hybrid ensemble approach for enterprise credit risk assessment based on Support Vector Machine," Expert Systems with Applications, Vol.39, No.5(2009), 5325-5331.
Zhang, G., Y. M. Hu, E. B. Patuwo, and C. D. Indro, "Artificial neural networks in bankruptcy prediction: general framework and cross-validation analysis," European Journal of Operational Research, Vol.116, No.1(1999), 16-32.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.