[논문]머신러닝 기반 기업부도위험 예측모델 검증 및 정책적 제언: 스태킹 앙상블 모델을 통한 개선을 중심으로

엄하늘; 김재성; 최상옥

doi:10.13088/jiis.2020.26.2.105

[국내논문] 머신러닝 기반 기업부도위험 예측모델 검증 및 정책적 제언: 스태킹 앙상블 모델을 통한 개선을 중심으로
Machine learning-based corporate default risk prediction model verification and policy recommendation: Focusing on improvement through stacking ensemble model 원문보기

지능정보연구 = Journal of intelligence and information systems, v.26 no.2, 2020년, pp.105 - 129

엄하늘 (고려대학교 과학기술학 협동과정) , 김재성 (고려대학교 과학기술학 협동과정) , 최상옥 (고려대학교 행정학과)

초록
AI-Helper

본 연구는 부도위험 예측을 위해 K-IFRS가 본격적으로 적용된 2012년부터 2018년까지의 기업데이터를 이용한다. 부도위험의 학습을 위해, 기존의 대부분 선행연구들이 부도발생 여부를 기준으로 사용했던 것과 다르게, 본 연구에서는 머튼 모형을 토대로 각 기업의 시가총액과 주가 변동성을 이용하여 부도위험을 산정했으며, 이를 통해 기존 방법론의 한계로 지적되어오던 부도사건 희소성에 따른 데이터 불균형 문제와 정상기업 내에서 존재하는 부도위험 차이 반영 문제를 해소할 수 있도록 하였다. 또한, 시장의 평가가 반영된 시가총액 및 주가 변동성을 기반으로 부도위험을 도출하되, 부도위험과 매칭될 입력데이터로는 비상장 기업에서 활용될 수 있는 기업 정보만을 활용하여 학습을 수행함으로써, 포스트 팬데믹 시대에서 주가 정보가 존재하지 않는 비상장 기업에게도 시장의 판단을 모사하여 부도위험을 적절하게 도출할 수 있도록 하였다. 기업의 부도위험 정보가 시장에서 매우 광범위하게 활용되고 있고, 부도위험 차이에 대한 민감도가 높다는 점에서 부도위험 산출 시 안정적이고 신뢰성 높은 평가방법론이 요구된다. 최근 머신러닝을 활용하여 기업의 부도위험을 예측하는 연구가 활발하게 이루어지고 있으나, 대부분 단일 모델을 기반으로 예측을 수행한다는 점에서 필연적인 모델 편향 문제가 존재하고, 이는 실무에서 활용하기 어려운 요인으로 작용하고 있다. 이에, 본 연구에서는 다양한 머신러닝 모델을 서브모델로 하는 스태킹 앙상블 기법을 활용하여 개별 모델이 갖는 편향을 경감시킬 수 있도록 하였다. 이를 통해 부도위험과 다양한 기업정보들 간의 복잡한 비선형적 관계들을 포착할 수 있으며, 산출에 소요되는 시간이 적다는 머신러닝 기반 부도위험 예측모델의 장점을 극대화할 수 있다. 본 연구가 기존 머신러닝 기반 모델의 한계를 극복 및 개선함으로써 실무에서의 활용도를 높일 수 있는 자료로 활용되기를 바라며, 머신러닝 기반 부도위험 예측 모형의 도입 기준 정립 및 정책적 활용에도 기여할 수 있기를 희망한다.

Abstract ▼ AI-Helper

This study uses corporate data from 2012 to 2018 when K-IFRS was applied in earnest to predict default risks. The data used in the analysis totaled 10,545 rows, consisting of 160 columns including 38 in the statement of financial position, 26 in the statement of comprehensive income, 11 in the statement of cash flows, and 76 in the index of financial ratios. Unlike most previous prior studies used the default event as the basis for learning about default risk, this study calculated default risk using the market capitalization and stock price volatility of each company based on the Merton model. Through this, it was able to solve the problem of data imbalance due to the scarcity of default events, which had been pointed out as the limitation of the existing methodology, and the problem of reflecting the difference in default risk that exists within ordinary companies. Because learning was conducted only by using corporate information available to unlisted companies, default risks of unlisted companies without stock price information can be appropriately derived. Through this, it can provide stable default risk assessment services to unlisted companies that are difficult to determine proper default risk with traditional credit rating models such as small and medium-sized companies and startups. Although there has been an active study of predicting corporate default risks using machine learning recently, model bias issues exist because most studies are making predictions based on a single model. Stable and reliable valuation methodology is required for the calculation of default risk, given that the entity's default risk information is very widely utilized in the market and the sensitivity to the difference in default risk is high. Also, Strict standards are also required for methods of calculation. The credit rating method stipulated by the Financial Services Commission in the Financial Investment Regulations calls for the preparation of evaluation methods, including verification of the adequacy of evaluation methods, in consideration of past statistical data and experiences on credit ratings and changes in future market conditions. This study allowed the reduction of individual models' bias by utilizing stacking ensemble techniques that synthesize various machine learning models. This allows us to capture complex nonlinear relationships between default risk and various corporate information and maximize the advantages of machine learning-based default risk prediction models that take less time to calculate. To calculate forecasts by sub model to be used as input data for the Stacking Ensemble model, training data were divided into seven pieces, and sub-models were trained in a divided set to produce forecasts. To compare the predictive power of the Stacking Ensemble model, Random Forest, MLP, and CNN models were trained with full training data, then the predictive power of each model was verified on the test set. The analysis showed that the Stacking Ensemble model exceeded the predictive power of the Random Forest model, which had the best performance on a single model. Next, to check for statistically significant differences between the Stacking Ensemble model and the forecasts for each individual model, the Pair between the Stacking Ensemble model and each individual model was constructed. Because the results of the Shapiro-wilk normality test also showed that all Pair did not follow normality, Using the nonparametric method wilcoxon rank sum test, we checked whether the two model forecasts that make up the Pair showed statistically significant differences. The analysis showed that the forecasts of the Staging Ensemble model showed statistically significant differences from those of the MLP model and CNN model. In addition, this study can provide a methodology that allows existing credit rating agencies to apply machine learning-based bankruptcy risk prediction methodologies, given that traditional credit rating models can a

주제어

표/그림 (19)

그림 Random Forest Method
그림 Multi-layer Perceptron (MLP) Method
그림 Convolutional Neural Networks (CNN) Method
그림 Stacking Ensemble Model
표 Model comparison
표 Input-data descriptions
그림 Input-data samples
표 Descriptive statistics for representative variables
그림 Correlation analysis results for representative variables
그림 Credit risk prediction algorithm
표 Hyper-parameter setting results
그림 Prediction errors of meta-learner models (MAE)
그림 Prediction errors of meta-learner models (MSE)
그림 Prediction errors of meta-learner models (RMSE)
그림 Prediction comparison (Horizontal axis: prediction value, Vertical axis: target value)
그림 Results of normality test using normal Q-Q plot
표 Results of prediction error
표 Results of normality test (Shapiro-wilk normality test)
표 Results of wilcoxon rank sum test with continuity correction

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이를 통해 중소기업이나 스타트업 등 전통적인 신용평가모델로는 적정한 부도위험 판단이 어려운 비상장 기업에 대해서도 부도위험평가 서비스를 제공할 수 있다. 또한, 본 연구는 머신러닝 기반 서브모델과 더불어 전통적인 신용평가모델도 서브모델로 반영하여 최종 부도확률을 산출할 수 있다는 점에서, 기존 신용평가업체의 전문성 및 노하우를 활용할 수 있도록 하였다.
이에 따라, 시장정보가 반영된 주가 및 시가총액에 기반한 부도위험과 각 재무제표 및 재무비율 지표들간의 복잡한 비선형적 관계들을 포착할 수 있으며, 이를 토대로 주가 정보가 존재하지 않는 비상장 기업에게 시장의 판단을 모사하여 부도위험을 적절하게 도출할 수 있다. 본 연구는 머신러닝 기반 부도위험 예측모형의 안정적인 예측력 확보를 위한 방안을 제안하며, 본 연구가 머신러닝 기반 부도위험 예측 모형의 도입 기준과 정책 수립에도 활용될 수 있도록 한다.
그리고, 대부분의 머신러닝 기반 연구가 특정한 예측모델에 기반하고 있다는 점에서 모델 자체적으로 존재하고 있는 편향이 예측에 반영될 위험도 존재하고 있다. 본 연구에서 는 기업의 모든 정보와 시장의 판단이 반영되어 있는 주가 및 시가총액에 기반하여 부도위험을 도출하고, 산출된 부도위험과 기업의 다양한 재무정보들과의 관계를 복수의 머신러닝 기반 예측모델들로 파악한 뒤, 각 모델들을 스태킹 앙상블 학습 모형으로 결합하여 모델이 가질 수 있는 편향 위험을 경감시켰다. 이에 따라, 시장정보가 반영된 주가 및 시가총액에 기반한 부도위험과 각 재무제표 및 재무비율 지표들간의 복잡한 비선형적 관계들을 포착할 수 있으며, 이를 토대로 주가 정보가 존재하지 않는 비상장 기업에게 시장의 판단을 모사하여 부도위험을 적절하게 도출할 수 있다.
이를 통해 기존 대부분의 연구들이 가지고 있던 희소한 부도사건에 따른 데이터 비대칭 문제와 이를 해소하기 위한 오버샘플링 및 언더샘플링이 데이터의 왜곡을 유발한다는 한계를 극복할 수 있었다. 본 연구에서는 부도여부가 아닌 각 기업의 시가총액과 주가변동성을 기반으로 시장에서 평가받고 있는 부도위험을 역으로 도출했다는 점에서 외적 위험이 기업의 생존에 직접적인 영향을 미칠 수 있는 포스트 팬데믹 시대에서 부도위험 산출 값에 대한 정합성과 활용도를 높였다. 또한 본 연구는 스태킹 앙상블 기법을 통해 각 서브 모델의 편향을 제어하고 안정적인 부도위험을 산출하였으며, 대조군과의 비교결과 스태킹 앙상블 모델은 단일 모델 상에서 가장 우수한 성능을 보였던 랜덤 포레스트 모델의 예측력을 상회했다.

가설 설정

동 모형에 의하면 주식 가치는 다음 식(2)과 같이 표현될 수 있다. 동 모형은 부도가 기업의 자산가치와 부채수준에 의해 결정되며, 주식가치를 옵션가격결정모형으로 산정할 수 있다고 가정하며, 기업의 부도확률을 부채변제 만기시점에서 자산가치가 부채가치보다 적을 확률로 계산한다. 동 계산과정에서 자산가치(V)와 자산가치의 변동성(σ 본 연구에서 부도위험 기준으로 사용하는 머튼(Merton) 모형은 회사가치가 식 (1)과 같은 기하브라운운동(Geometric Brownian Motion)을 따른다고 가정한다. 여기서 는 표준 브라운 운동, σ_A는 자산의 변동성.

제안 방법

MLP 모델은 1개의 입력층과 2개의 은닉층 1개의 출력층으로 구성하였으며, 은닉층의 노드는 각각 100개, 옵티마이저로는 'Adam', 손실함수로는 MSE를, 출력함수는 확률값 출력을 위해 시그모이드 함수를 사용했다.
그리고, 7개의 트레이닝-검증 세트를 기반으로 랜덤 포레스트 서브 모델, MLP 서브 모델, CNN 서브 모델을 학습시켰다. 그리고 각 서브 모델의 예측치와 타깃값을 MLP 기반 스태킹 앙상블 모델에 학습시켰다.
모델 트레이닝 및 검증을 위해, 전체 데이터를 무작위적으로 트레이닝 셋 70%, 테스트 셋 30%로 구분했으며, 트레이닝 셋에서는 스태킹 앙상블 모형 적용을 위해 별도의 7-fold 기반 트레이닝-검증 셋을 생성했다. 그리고, 7개의 트레이닝-검증 세트를 기반으로 랜덤 포레스트 서브 모델, MLP 서브 모델, CNN 서브 모델을 학습시켰다. 그리고 각 서브 모델의 예측치와 타깃값을 MLP 기반 스태킹 앙상블 모델에 학습시켰다.
다음으로 스태킹 앙상블 모델과 각 개별 모델의 예측값들이 통계적으로 유의미한 차이가 있는지 확인하기 위해, 스태킹 앙상블 모델과 각 개별모델 간 Pair를 구성하였다. Figure 12는 Pair를 구성하는 두 모델 예측값들의 차이가 정규성을 따르는지 확인하기 위한 Q-Q Plot이며, Table 6은 Shapiro-wilk normality test를 통한 정규성 검정 결과이다.
본 연구에서는 주요 선행연구에서 사용되고 있는 재무비율 데이터와 더불어 기업의 회계정보를 담고 있는 재무제표를 분석에 직접 포함시키도록 한다. 따라서, 설명변수로 기업의 재무적 정보를 파악할 수 있는 재무상태표와 포괄손익계산서, 현금흐름표의 주요 항목을 포함시키고, 기업의 안정성, 성장성, 수익성, 활동성을 나타내는 대표적인 재무비율 지표를 분석에 포함시켰다. 데이터는 시장정보 제공 업체인 에프앤가이드에서 제공받은 기업별 재무상태표 상 38개 항목, 포괄손익계산서 상 26개 항목, 현금흐름표 상 11개 항목과 더불어 안전성, 성장성, 수익성, 활동성, 상대가치 등을 판단할 수 있는 76개 재무비율 지표를 사용했으며, 연도별 Dummy 변수 7개, 타겟 변수인 부도위험변수를 포함하여 총 160개의 변수를 사용했다.
분석대상 기업은 코스피 및 코스닥 상장기업이며, 기업별 부도위험을 산정하기 위해 각 기업별 시가총액과 주가 변동성 데이터를 에프앤가이드로부터 제공받았다. 머튼 모형으로 신용위험을 산출하기 위해서는 자산 가격과 자산 변동성 산출이 필요함에 따라, 시가총액과 주가 변동성 데이터를 토대로 관계식에 기반한 반복적 알고리즘을 통해 자산 가격과 자산 변동성을 산출했다. 부도거리 산정을 위해 KMV 방법론에 기반하여 부도거리를 산출하였으며, 자산 가격과 자산 변동성, 부도거리, 무위험이자율, 만기 정보를 블랙 숄즈 모형에 대입하여 부도위험을 산출했다.
본 연구의 학문적 기여는 메타-서브 구조 도입을 통한 과적합 문제 경감과 머튼 모형과의 연계를 통한 부도위험 세분화 및 머튼모형 자체의 한계점 개선으로 나타낼 수 있다. 먼저, 본 연구는 복수의 부도위험 예측 모델들을 서브모델로 도입하고 각 서브모델들이 산출하는 예측치를 메타러너가 학습해서 최종 부도위험을 산출하는 구조적 접근을 취했다는 점에서 단일 부도위험 예측 모델을 사용하고 있는 기존의 선행연구와 방법론적 차별성을 갖는다. 이는 개별 모델이 과거 기업 데이터에 과도하게 적합되어 일반화 능력이 떨어지는 과적합 문제를 해소하는데 기여될 수 있다.
모델 학습을 위한 데이터 중 타겟 값은 앞서 산출된 각 기업별 신용위험 산출값을 사용하며, 입력 데이터는 각 기업의 재무상태표, 포괄손익계산서, 현금흐름표외에 안전성, 성장성, 수익성, 활동성을 측정할 수 있는 재무비율 지표를 에프앤가이드로부터 제공받아 사용했다. 모델 트레이닝 및 검증을 위해, 전체 데이터를 무작위적으로 트레이닝 셋 70%, 테스트 셋 30%로 구분했으며, 트레이닝 셋에서는 스태킹 앙상블 모형 적용을 위해 별도의 7-fold 기반 트레이닝-검증 셋을 생성했다. 그리고, 7개의 트레이닝-검증 세트를 기반으로 랜덤 포레스트 서브 모델, MLP 서브 모델, CNN 서브 모델을 학습시켰다.
모든 상황에서 우수한 성능을 보일 수 있는 단일한 모델은 존재하지 않는다. 본 연구에서 사용하는 스태킹 앙상블(Stacking Ensemble) 모델은 서로 다른 모델들을 조합해서 최고의 성능을 내는 모델을 생성한다. 스태킹 모델은 다양한 알고리즘을 조합하여 구성할 수 있으며, 이러한 조합을 통해서 각 알고리즘의 장점을 취하면서 약점을 보완할 수 있다.
본 연구에서는 부도위험을 머튼 모형을 기반으로 산출하고, 스태킹 앙상블 모형을 통해 부도위험을 예측했다. 이를 통해 기존 대부분의 연구들이 가지고 있던 희소한 부도사건에 따른 데이터 비대칭 문제와 이를 해소하기 위한 오버샘플링 및 언더샘플링이 데이터의 왜곡을 유발한다는 한계를 극복할 수 있었다.
본 연구에서는 주요 선행연구에서 사용되고 있는 재무비율 데이터와 더불어 기업의 회계정보를 담고 있는 재무제표를 분석에 직접 포함시키도록 한다.
머튼 모형으로 신용위험을 산출하기 위해서는 자산 가격과 자산 변동성 산출이 필요함에 따라, 시가총액과 주가 변동성 데이터를 토대로 관계식에 기반한 반복적 알고리즘을 통해 자산 가격과 자산 변동성을 산출했다. 부도거리 산정을 위해 KMV 방법론에 기반하여 부도거리를 산출하였으며, 자산 가격과 자산 변동성, 부도거리, 무위험이자율, 만기 정보를 블랙 숄즈 모형에 대입하여 부도위험을 산출했다.
다수의 결정트리를 만들기 위해 예측인자와 관측치에 대한 무작위 샘플링을 반복하게 된다. 수많은 결정트리에서 예측범주를 얻은 후 다수결투표방식으로 최종 범주예측을 결정한다. 결정트리형성에 무작위성을 부여함으로써 독립적인 결정 트리를 반복적으로 만들 수 있으며, 이 방식을 통해 예측오차를 줄일 수 있다.
트레이닝 세트 상에서는 랜덤 포레스트 모델이 가장 높은 정확도를 보였으며, 다음은 CNN, MLP 순으로 정확도가 높게 나타났다. 스태킹 앙상블 모델은 상기 서브모델의 예측값과 실제 타깃값을 인풋데 이터로 하며, 적은 노드로 세팅된 MLP를 기반으 로 트레이닝을 실시하였다.
스태킹 앙상블 모델의 예측력을 비교하기 위해, 랜덤포레스트, MLP, CNN 모델을 전체 트레이닝 데이터로 훈련시킨 후, 테스트 셋 상에서 각 모델의 예측력을 검증했다. Figure 11는 각 모델이 신용위험을 얼마나 정확하게 예측했는지에 대한 빈도를 보여주고 있다.
스태킹 앙상블 모형의 인풋데이터로 사용할 서브 모델 별 예측값 산출을 위해, 트레이닝 세트 상에서 7-fold로 훈련-검증데이터를 구성하고, 각 fold별로 서브 모델 훈련 및 예측값 산출을 수행했다. Figure 8 ~ Figure 10는 산출된 서브모델들의 각 fold 별 예측 오차결과이다.
종속변수인 부도위험 변수는 각 기업별/연도별 시가총액과 주가 변동성 정보를 기반으로 Merton의 모형을 사용하여 산출했다. 여기서, Merton 모형의 투입변수에 포함되는 자산가치와 자산변동성의 경우, 시가총액과 주식변동성을 토대로 수치최적화를 통한 추정이 요구되며, 이를 위해 파이썬의 Scipy 라이브러리를 이용하여 자산가치와 자산변동성을 산출하였다. 본 연구에서는 주요 선행연구에서 사용되고 있는 재무비율 데이터와 더불어 기업의 회계정보를 담고 있는 재무제표를 분석에 직접 포함시키도록 한다.

대상 데이터

따라서, 설명변수로 기업의 재무적 정보를 파악할 수 있는 재무상태표와 포괄손익계산서, 현금흐름표의 주요 항목을 포함시키고, 기업의 안정성, 성장성, 수익성, 활동성을 나타내는 대표적인 재무비율 지표를 분석에 포함시켰다. 데이터는 시장정보 제공 업체인 에프앤가이드에서 제공받은 기업별 재무상태표 상 38개 항목, 포괄손익계산서 상 26개 항목, 현금흐름표 상 11개 항목과 더불어 안전성, 성장성, 수익성, 활동성, 상대가치 등을 판단할 수 있는 76개 재무비율 지표를 사용했으며, 연도별 Dummy 변수 7개, 타겟 변수인 부도위험변수를 포함하여 총 160개의 변수를 사용했다. 여기서 연도별 Dummy는 외부환경 요인을 통제하기 위하여 사용되었다.
스태킹 앙상블 모델을 활용한 신용위험 예측 알고리즘은 Figure 7와 같이 구성된다. 분석대상 기업은 코스피 및 코스닥 상장기업이며, 기업별 부도위험을 산정하기 위해 각 기업별 시가총액과 주가 변동성 데이터를 에프앤가이드로부터 제공받았다. 머튼 모형으로 신용위험을 산출하기 위해서는 자산 가격과 자산 변동성 산출이 필요함에 따라, 시가총액과 주가 변동성 데이터를 토대로 관계식에 기반한 반복적 알고리즘을 통해 자산 가격과 자산 변동성을 산출했다.
분석에 사용된 데이터는 행을 기준으로 총 10,545개(약 2,194개 기업을 대상으로 2012년부터 2018년까지의 연도별 데이터 사용, 누락은 제외)이며, 160개의 열로 구성된다.
분석을 위해 2,194개 상장기업을 대상으로 K-IFRS가 정착된 2012년부터 2018년까지 연도별 기업 데이터를 토대로 분석을 진행했다. 종속변수인 부도위험 변수는 각 기업별/연도별 시가총액과 주가 변동성 정보를 기반으로 Merton의 모형을 사용하여 산출했다.
예측을 위한 서브모델에 대한 하이퍼 파라미터 설정값은 Table 4와 같다. 서브 모델로 랜덤 포레스트 모델은 생성할 트리의 개수로 1000개를 설정하였으며, 오차함수로는 MSE를 사용하였다. MLP 모델은 1개의 입력층과 2개의 은닉층 1개의 출력층으로 구성하였으며, 은닉층의 노드는 각각 100개, 옵티마이저로는 'Adam', 손실함수로는 MSE를, 출력함수는 확률값 출력을 위해 시그모이드 함수를 사용했다.

데이터처리

또한 본 연구는 스태킹 앙상블 기법을 통해 각 서브 모델의 편향을 제어하고 안정적인 부도위험을 산출하였으며, 대조군과의 비교결과 스태킹 앙상블 모델은 단일 모델 상에서 가장 우수한 성능을 보였던 랜덤 포레스트 모델의 예측력을 상회했다. 스태킹 앙상블 모델의 예측값과 대조군인 개별 모델 예측값이 통계적으로 유의미한 차이를 보이는지 확인하기 위해 정규성 검정과 윌콕슨 순위합 검정을 수행했으며, 분석결과 스태킹 앙상블 모델의 예측값이 MLP 모델과 CNN 모델의 예측값과 통계적으로 유의미한 차이를 보인 것을 확인할 수 있었다.
이에 따라, 비모수 방법인 Wilcoxon rank sum test를 통해 Pair를 구성하는 두 모델 예측값들이 통계적으로 유의미한 차이를 보이는지 확인했다. Table 7은 각 Pair의 Wilcoxon rank sum test 결과이다.

이론/모형

Horrigan은 재무비율과 채무변제 우선순위를 독립변수로 두고 신용상태를 종속변수로 두어 다중회귀분석을 수행하였으며(Horrigan, 1966), Altman은 운전자본/총자산, 이익잉여금/총자산, 영업이익/총자산, 자기자본 시장가치/총부채의 장부가치, 매출액/총자산 5개 재무비율을 이용하여 부도위험 예측을 위한 판별함수를 도출하였다(Altman, 1968). Altman의 판별분석 기반 Z-Score 모형을 개선하기 위해 Ohlson은 로짓분석(Ohlson, 1980)을 Zmijewski는 프로빗모형(Zmijewski, 1984)을 사용하였다. 국 ]내 연구로 다중판별분석과 로지스틱 회귀분석을 사용하여 부도위험에 영향을 미치는 6개의 재무 비율을 도출한 연구(Jeon, 1986)와 우량 제조업과 우량 기업으로 표본을 구분하여 Altman 모형을 개선한 kems1과 kems2 모형을 제시한 연구가 있으며(Jo, 1998), Jeong은 재무정보 기반의 부도예측모형을 적용하기 위해서는 재무정보에 대한 적시성 및 투명성 확보를 전제되어야 하고, 미래 도산 가능성 예측이 과거 추세가 미래에 지속될 것이라는 가정이 필요하다는 것을 제시했다(Jeong, 2002).
MLP 모델은 1개의 입력층과 2개의 은닉층 1개의 출력층으로 구성하였으며, 은닉층의 노드는 각각 100개, 옵티마이저로는 'Adam', 손실함수로는 MSE를, 출력함수는 확률값 출력을 위해 시그모이드 함수를 사용했다. CNN 모델은 1차원 CNN 모델을 사용했으며, 필터 사이즈는 2X2, Pool 사이즈는 2를 사용했으며, 출력함수는 확률값 출력을 위해 시그모이드 함수를 사용했다.
이를 통해, 일반적으로 학습하는 단일 모델보다 성능을 향상시킬 수 있다. 본 연구에서는 랜덤 포레스트, 다층퍼셉트론, 합성곱 신경망 모델을 이용하여 스태킹 앙상블 모델을 구성한다.
결정트리형성에 무작위성을 부여함으로써 독립적인 결정 트리를 반복적으로 만들 수 있으며, 이 방식을 통해 예측오차를 줄일 수 있다. 예측인자와 관측치의 무작위 선택에는 붓스트래핑(bootstrapping)기법이 사용된다. CART의 경우, 하위 노드가 많아질수록 예측오차의 편의(bias)는 줄어들지만 분산은 증가하는 문제가 있다.
여기서 Meta learner는 각 fold의 테스트 집합에서 산출된 Base learner들의 예측치를 토대로 훈련된다. 이때, Base learner들의 예측치를 결합시키는 알고리즘으로는 MLP을 사용했다.
이의 계산을 위해서는 시장에 알려진 주식가치 E와 주식가치변동성 σE로부터 자산가치 V와 자산가치변동성σv를 알아내는 것이 필요하며, 이를 위해 Crosbie(2003), Vassalou(2004) 연구에서 소개된 반복적 알고리즘(iterative procedure)을 활용한다
분석을 위해 2,194개 상장기업을 대상으로 K-IFRS가 정착된 2012년부터 2018년까지 연도별 기업 데이터를 토대로 분석을 진행했다. 종속변수인 부도위험 변수는 각 기업별/연도별 시가총액과 주가 변동성 정보를 기반으로 Merton의 모형을 사용하여 산출했다. 여기서, Merton 모형의 투입변수에 포함되는 자산가치와 자산변동성의 경우, 시가총액과 주식변동성을 토대로 수치최적화를 통한 추정이 요구되며, 이를 위해 파이썬의 Scipy 라이브러리를 이용하여 자산가치와 자산변동성을 산출하였다.

성능/효과

Table 5는 각 모델에 대한 오차 결과를 나타낸다. Mean Absolute Error(MAE), Mean Squared Error(MSE), Root Mean Squared Error(RMSE)를 기준으로 할 때, 스태킹 앙상블 모델이 가장 낮은 오차를 보이는 것을 확인할 수 있었다. 스태킹 앙상블 모형의 예측력은 MAE 기준 시, RF 모형의 1.
Figure 12는 Pair를 구성하는 두 모델 예측값들의 차이가 정규성을 따르는지 확인하기 위한 Q-Q Plot이며, Table 6은 Shapiro-wilk normality test를 통한 정규성 검정 결과이다. Q-Q plot 상에서의 Pair 1, 2, 3 모두 붉은색 직선 바깥에 놓여져 있는 것을 확인할 수 있으며, Shapiro-wilk normality test의 결과에서도 모든 Pair가 정규성을 따르지 않는 것으로 나타났다.
691배 높은 것으로 나타났다. RMSE 기준으로는 스태킹 앙상블 모형의 예측력이 RF 모형의 1.002배, MLP 모형의 1.275배, CNN 모형의 1.300배 우월한 것으로 나타났다.
기업부실 예측데이터의 불균형 정도에 관계없이 GM-Boost(Geometric Mean-based Boosting) 및 MGM— Boost(Multiclass GM-Boost) 알고리즘이 우수한 예측력을 보이며, 유전자 알고리즘을 이용한 SVM 앙상블 모델이 기존의 방법론보다 부도 예측력이 더 우수한 것으로 나타났다(Kim, 2009; 2010; 2012).
본 연구에서는 부도여부가 아닌 각 기업의 시가총액과 주가변동성을 기반으로 시장에서 평가받고 있는 부도위험을 역으로 도출했다는 점에서 외적 위험이 기업의 생존에 직접적인 영향을 미칠 수 있는 포스트 팬데믹 시대에서 부도위험 산출 값에 대한 정합성과 활용도를 높였다. 또한 본 연구는 스태킹 앙상블 기법을 통해 각 서브 모델의 편향을 제어하고 안정적인 부도위험을 산출하였으며, 대조군과의 비교결과 스태킹 앙상블 모델은 단일 모델 상에서 가장 우수한 성능을 보였던 랜덤 포레스트 모델의 예측력을 상회했다. 스태킹 앙상블 모델의 예측값과 대조군인 개별 모델 예측값이 통계적으로 유의미한 차이를 보이는지 확인하기 위해 정규성 검정과 윌콕슨 순위합 검정을 수행했으며, 분석결과 스태킹 앙상블 모델의 예측값이 MLP 모델과 CNN 모델의 예측값과 통계적으로 유의미한 차이를 보인 것을 확인할 수 있었다.
본 연구의 실무적 기여는 주가 정보가 존재하지 않는 비상장 기업에게도 적합한 부도위험을 평가할 수 있도록 했다는 것과 전통적인 신용평가 모델을 예측모델에 반영할 수 있는 유연성을 제공했다는 것으로 나타낼 수 있다. 먼저, 본 연구는 시장의 평가를 반영하고 있는 부도확률 종속변수와 비상장 기업에서도 파악할 수 있는 회계적 변수들과의 관계를 파악하되, 예측 시에는 비상장 기업이 사용할 수 있는 회계적 정보를 이용하여 부도위험을 예측한다는 점에서, 주가 정보가 없는 비상장 기업에 대해서도 시장의 판단을 모사하여 적정한 부도위험을 평가할 수 있다. 이를 통해 중소기업이나 스타트업 등 전통적인 신용평가모델로는 적정한 부도위험 판단이 어려운 비상장 기업에 대해서도 부도위험평가 서비스를 제공할 수 있다.
본 연구의 실무적 기여는 주가 정보가 존재하지 않는 비상장 기업에게도 적합한 부도위험을 평가할 수 있도록 했다는 것과 전통적인 신용평가 모델을 예측모델에 반영할 수 있는 유연성을 제공했다는 것으로 나타낼 수 있다.
부도확률과 비교적 양의 상관관계(ρ > 0.2)를 보이는 변수로는 유동부채, 자본금, 기타비용이 있으며, 비유동부채, 비유동자산, 자본잉여금, 매출액 등은 이보다 약한 양의 상관관계(ρ > 0.1)를 보이는 것으로 나타났다.
Table 7은 각 Pair의 Wilcoxon rank sum test 결과이다. 분석 결과, 스태킹 앙상블 모델 예측 값과 랜덤 포레스트 모델 예측값(Pair 1)은 통계적으로 유의미한 차이를 보이지 않는 것으로 나타난 반면, 스태킹 앙상블 모델 예측값과 MLP 모델 예측값(Pair 2)는 통계적으로 유의미한 차이를 보인 것을 확인할 수 있다. 스태킹 앙상블 모델 예측값과 CNN 모델 예측값(Pair 3) 역시 통계적으로 유의미한 차이를 보였다.
따라서, 우하향 대각선에 정중앙에 가까울수록 신용위험을 정확하게 예측한다고 해석할 수 있다. 스태킹 앙상블 모델과 랜덤 포레스트 모형에 비해서 MLP 모형과 CNN 모형은 상대적으로 예측력이 떨어지는 것을 확인할 수 있다.
Mean Absolute Error(MAE), Mean Squared Error(MSE), Root Mean Squared Error(RMSE)를 기준으로 할 때, 스태킹 앙상블 모델이 가장 낮은 오차를 보이는 것을 확인할 수 있었다. 스태킹 앙상블 모형의 예측력은 MAE 기준 시, RF 모형의 1.044배, MLP 모형의 1.203배, CNN 모형의 1.486배 높은 것으로 나타났으며, MSE 기준으로는 RF 모형의 1.004배, MLP 모형의 1.626배, CNN 모형의 1.691배 높은 것으로 나타났다. RMSE 기준으로는 스태킹 앙상블 모형의 예측력이 RF 모형의 1.
금융위원회가 금투업규정에서 정하고 있는 신용평가방법에서는 신용평가에 관한 과거의 통계자료 및 경험, 미래의 시장환경 변화 등을 고려하여 평가방법의 적정성 검증 등을 포함한 평가방법을 마련할 것을 요구하고 있다. 이러한 점에서, 머신러닝 기반 부도위험 예측모델이 도입되기 위해서는 높은 예측력을 갖출 뿐만 아니라, 금투업규정의 요구사항에 부합될 수 있어야만 하며, 본 연구에서 제안하는 스태킹 앙상블 기법은 서브모델을 금투업 규정에서 요구하는 적정성 기준에 부합되도록 세분화시킬 수 있다는 점에서 서비스 운영에 도움을 줄 수 있다. 본 연구가 머신러닝 기반 부도위험모델 도입에 제약요인으로 여겨졌던 문제들을 경감시켜 도입 활성화에 기여할 수 있기를 바란다.
본 연구에서는 부도위험을 머튼 모형을 기반으로 산출하고, 스태킹 앙상블 모형을 통해 부도위험을 예측했다. 이를 통해 기존 대부분의 연구들이 가지고 있던 희소한 부도사건에 따른 데이터 비대칭 문제와 이를 해소하기 위한 오버샘플링 및 언더샘플링이 데이터의 왜곡을 유발한다는 한계를 극복할 수 있었다. 본 연구에서는 부도여부가 아닌 각 기업의 시가총액과 주가변동성을 기반으로 시장에서 평가받고 있는 부도위험을 역으로 도출했다는 점에서 외적 위험이 기업의 생존에 직접적인 영향을 미칠 수 있는 포스트 팬데믹 시대에서 부도위험 산출 값에 대한 정합성과 활용도를 높였다.
Figure 8 ~ Figure 10는 산출된 서브모델들의 각 fold 별 예측 오차결과이다. 트레이닝 세트 상에서는 랜덤 포레스트 모델이 가장 높은 정확도를 보였으며, 다음은 CNN, MLP 순으로 정확도가 높게 나타났다. 스태킹 앙상블 모델은 상기 서브모델의 예측값과 실제 타깃값을 인풋데 이터로 하며, 적은 노드로 세팅된 MLP를 기반으 로 트레이닝을 실시하였다.
이에 비해 주가 및 시가총액에 기반하여 내재부도율을 추정하는 Merton 모델은 시장가치를 반영하고 기업의 자본구조를 적용할 수 있다는 측면에서 합리적인 방법론으로 평가받고 있다. 특히, 코로나 19 팬데믹과 같은 외적 충격이 기업의 주가를 통해서 반영될 수 있다는 점에서 Merton 모델의 유용성을 확인할 수 있다. 이와 별도로 최근에는 부도사건 자체와 재무정보 등의 관계를 머신러닝을 통해 파악하고 이를 토대로 부도를 예측하는 연구가 활발하게 이루어지고 있다.

후속연구

이는 개별 모델이 과거 기업 데이터에 과도하게 적합되어 일반화 능력이 떨어지는 과적합 문제를 해소하는데 기여될 수 있다. 또한, 본 연구는 예측을 위한 종속변수로 기존 선행연구에서 사용되어져 왔던 부도 발생 여부 대신에 옵션가격결정모델에 기반한 머튼 모형과 Crosbie의 반복적 알고리즘을 통해 계산한 부도확률을 사용하였으며, 이를 통해 우량기업과 부실기업의 단순 구분에 초점을 맞춘 기존 선행연구들의 한계를 극복하는데 기여할 수 있다. 이와 더불어 주가를 토대로 부도확률을 계산하는 머튼 모형이 단독으로 사용될 경우 개별기업의 비정상적인 주가 변화에 따라 부도학률이 과대 과소 평가될 수 있는 반면, 본 연구는 대량의 회계 정보와 부도확률 간의 관계성을 만개 이상의 케이스를 통해 파악하고 이를 토대로 부도위험을 예측한다는 점에서, 머튼 모형의 한계를 극복하는데 기여할 수 있다.
이에 따라, 부도위험 예측치를 시장에서 사용되는 등급으로 Mapping하고 기존 신용등급 산출치와 비교하는 후속 연구가 필요할 것으로 판단된다. 또한, 본 연구에서는 분석의 용이성을 위해 서브모델을 머신러닝 분야에서 대표적인 세 가지 모델로 한정시켰으나, 스태킹 앙상블 기법은 다수의 서브모델이 존재할 때 더욱 안정적인 결과를 산출할 수 있다는 점에서 후속 연구에서는 더 많고 다양한 유형의 서브모델 활용이 필요할 것으로 판단된다.
이러한 점에서, 머신러닝 기반 부도위험 예측모델이 도입되기 위해서는 높은 예측력을 갖출 뿐만 아니라, 금투업규정의 요구사항에 부합될 수 있어야만 하며, 본 연구에서 제안하는 스태킹 앙상블 기법은 서브모델을 금투업 규정에서 요구하는 적정성 기준에 부합되도록 세분화시킬 수 있다는 점에서 서비스 운영에 도움을 줄 수 있다. 본 연구가 머신러닝 기반 부도위험모델 도입에 제약요인으로 여겨졌던 문제들을 경감시켜 도입 활성화에 기여할 수 있기를 바란다.
본 연구의 학문적 기여는 메타-서브 구조 도입을 통한 과적합 문제 경감과 머튼 모형과의 연계를 통한 부도위험 세분화 및 머튼모형 자체의 한계점 개선으로 나타낼 수 있다. 먼저, 본 연구는 복수의 부도위험 예측 모델들을 서브모델로 도입하고 각 서브모델들이 산출하는 예측치를 메타러너가 학습해서 최종 부도위험을 산출하는 구조적 접근을 취했다는 점에서 단일 부도위험 예측 모델을 사용하고 있는 기존의 선행연구와 방법론적 차별성을 갖는다.
오늘날 부도위험에 대해 AAA+부터 D까지 정형화된 구분이 존재하고 있고, 시장에서 해당 구분을 기준으로 의사결정이 이루어지고 있다는 것에서 볼 때, 본 연구에서 산출한 부도위험이 0~1을 범위로 갖는 확률값으로 산출된다는 점은 본 연구의 한계점으로 남는다. 이에 따라, 부도위험 예측치를 시장에서 사용되는 등급으로 Mapping하고 기존 신용등급 산출치와 비교하는 후속 연구가 필요할 것으로 판단된다.
오늘날 부도위험에 대해 AAA+부터 D까지 정형화된 구분이 존재하고 있고, 시장에서 해당 구분을 기준으로 의사결정이 이루어지고 있다는 것에서 볼 때, 본 연구에서 산출한 부도위험이 0~1을 범위로 갖는 확률값으로 산출된다는 점은 본 연구의 한계점으로 남는다. 이에 따라, 부도위험 예측치를 시장에서 사용되는 등급으로 Mapping하고 기존 신용등급 산출치와 비교하는 후속 연구가 필요할 것으로 판단된다. 또한, 본 연구에서는 분석의 용이성을 위해 서브모델을 머신러닝 분야에서 대표적인 세 가지 모델로 한정시켰으나, 스태킹 앙상블 기법은 다수의 서브모델이 존재할 때 더욱 안정적인 결과를 산출할 수 있다는 점에서 후속 연구에서는 더 많고 다양한 유형의 서브모델 활용이 필요할 것으로 판단된다.
또한, 본 연구는 예측을 위한 종속변수로 기존 선행연구에서 사용되어져 왔던 부도 발생 여부 대신에 옵션가격결정모델에 기반한 머튼 모형과 Crosbie의 반복적 알고리즘을 통해 계산한 부도확률을 사용하였으며, 이를 통해 우량기업과 부실기업의 단순 구분에 초점을 맞춘 기존 선행연구들의 한계를 극복하는데 기여할 수 있다. 이와 더불어 주가를 토대로 부도확률을 계산하는 머튼 모형이 단독으로 사용될 경우 개별기업의 비정상적인 주가 변화에 따라 부도학률이 과대 과소 평가될 수 있는 반면, 본 연구는 대량의 회계 정보와 부도확률 간의 관계성을 만개 이상의 케이스를 통해 파악하고 이를 토대로 부도위험을 예측한다는 점에서, 머튼 모형의 한계를 극복하는데 기여할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	랜덤 포레스트란 무엇인가?	랜덤 포레스트는 다수의 결정 트리들을 학습하는 방법으로 랜덤 노드 최적화와 배깅을 결합한 방법과 같은 분류회귀트리(CART)를 사용해 상관관계가 없는 트리들로 포레스트를 구성한다. 여기서, CART는 설명변수 또는 예측 인자의 비선형성(nonlinearity)과 상호작용(interactions)을 최대한 활용하여 반응 변수(종속변수)에 대한 영향을 판단하는 기법으로, 설명변수를 중요도 기준에 따라 줄기(branch)를 만들어 나가며, 마지막 노드(node: 마디)에서 반응변수에 대해 판단을 내린다.
	CART와 랜덤 포레스트의 다른 점은 무엇인가?	트리를 만드는 방법에 있어서도 CART와 동일한 알고리즘을 사용한다. 하지만 CART의 경우 하나의 결정트리가 도출되는 반면에 랜덤 포리스트에서는 수많은 결정트리로 구성된 숲(forest)을 형성하는 과정을 거치는 것이 다른 점이다. 다수의 결정트리를 만들기 위해 예측인자와 관측치에 대한 무작위 샘플링을 반복하게 된다.
	CART와 랜덤포레스트에서 붓스트래핑 기법을 사용할 경우 생기는 문제점은?	예측인자와 관측치의 무작위 선택에는 붓스트래핑(bootstrapping)기법이 사용된다. CART의 경우, 하위 노드가 많아질수록 예측오차의 편의(bias)는 줄어들지만 분산은 증가하는 문제가 있다. 반면, 랜덤 포리스트에서는 동일하게 분포 된 결정트리를 반복적으로 생성함으로써 예측오차의 분산을 줄일 수 있다.

참고문헌 (30)

Altman, E., A. Resti, and A. Sironi, "Default Recovery Rates in Credit Risk Modelling: A Review of the Literature and Empirical Evidence," Economic Notes, 33(2), (2004), 183-203.

상세보기
Horrigan, J. O., "The Determination of Long-Term Credit Standing with Financial Ratios," Journal of Accounting Research, 4, (1966), 44-62.
Ohlson, J. S., "Financial Ratios and Probabilistic Prediction of Bankruptcy," Journal of Accounting Research, 18(1), (1980), 109-131.
Zmijewski, M. E., "Methodological Issues Related to the Estimation of Financial Distress Prediction Models," Journal of Accounting Research, 22, (1984), 59-82.

상세보기
Jeon, Yong., Ki., "Empirical study of the commercial credit rating and predictability of financial statements information", Korea University PhD Thesis, 1986.
Jo, Ji., Ho., "A Study on Credit Rating System in Korea Bond Market", Asian Review of Financial Research, V11, No.15, 1998, 149-190.
Jeong, Wan., Ho., "A Study on Forecasting Corporate Default: Based on Stock Price Information", Asian Review of Financial Research, Vol 15, No.15(2002), 217-249.
Kang, Dae., IL., "An Analysis of Default Portfolios using the First Passage Time Stochastic Process", Vol. 28, No.2,149-187
Kang, Dae., IL., "Stock Portfolio Composition and Trading Strategy Considering Bankruptcy Risks", National Pension Service Research Report, 2014, 1-158
Yoon, J., M, "Effectiveness Analysis of Credit Card Default Risk with Deep Learning Neural Network", Journal of Money & Finance, Vol. 33, No. 1(2019), 151-181.
Kwon, H., C, "A Study on the Work-time Estimation for Block Erections Using Stacking Ensemble Learning", Journal of the Society of Naval Architects of Korea, Vol. 56, No. 6(2019), 488-496.
Choi, Y., S, "Expected Probability of Default Combining Financial Data and Stock Prices", Korea Defivatives Association(2007)
Oh, S., K, "Structural Credit Risk Model Incorporating the First Hitting Condition of Random Default Barrier", The Korean Journal of Financial Management, Vol 32, No. 4(2015), 23-51.
Cha, S., J, "Corporate Default Prediction Model Using Deep Learning Time Series Algorithm, RNN and LSTM", Journal of Intelligence and Information Systems, Vol 24, No. 4(2018), 1-32.
Byun, J., K, "The Effectiveness of Merton Model and Pricing of Credit Risk of Corporate Bonds.", journal of Korean Association of Applied Economics, Vol 6, No. 3(2004), 49-85
Lee, K. C., "Comparative Study on the Bankruptcy Prediction Power of Statistical Model and Al Models : MDA, Inductive Learning, Neural Network)", Journal of the Korean Operations Research and Management Science Society, Vol.18, No.2, (1993), 57-81.
Lee, J. S. and J. H. Han, "Test of Non-Financial Information in Bankruptcy Prediction using Artificial Neural Network - The Case of Small and Medium - Sized Firms - )", Journal of Intelligence and Information Systems, Vol.1, No.1, (1995), 123-134.
Kim, M. J., "Ensemble Learning for Solving Data Imbalance in Bankruptcy Prediction", Journal of Intelligence and Information Systems, Vol.15, No.3(2009), 1-15.
Kim, M. J., H. B. Kim and D. K. Kang, "Optimizing SVM Ensembles Using Genetic Algorithms in Bankruptcy Prediction", Journal of information and communication convergence engineering, Vol.8, No.4(2010), 370-376.
Kim, M. J., "Ensemble Learning with Support Vector Machines for Bond Rating", Journal of Intelligence and Information Systems, Vol.18, No.2(2012), 29-45.
Bae, J. K., "An Integrated Approach to Predict Corporate Bankruptcy with Voting Algorithms and Neural Networks", Korean Business Review, Vol.3, No.2(2010), 79-101.
Kim, S. J. and H. C. Ahn, "Corporate Bond Rating Model using Random Forest.", Journal of Intelligence and Information Systems, Spring Conference, (2014), 371-376.
Wang, H., Q. Xu and L. Zhou, "Large Unbalanced Credit Scoring Using Lasso-Logistic Regression Ensemble", PLoS One, San Francisco, Vol.10, No.2, (2015).

상세보기
Yeh, S.-H., Wang, C.-J. and Tsai, M.-F., "Corporate Default Prediction via Deep Learning," in 24th Wireless and Optical Communication Conference (WOCC, 2014)
Min, S. H., "Bankruptcy prediction using an improved bagging ensemble", Journal of Intelligence and Information Systems, Vol.20, No.4, (2014), 121-139.
Min, S. H., "Simultaneous optimization of KNN ensemble model for bankruptcy prediction", Journal of Intelligence and Information Systems, Vol.22, No.1, (2016), 139-157.
Jo, N. O., H. J. Kim and K. S. Shin. "Bankrupcy Type Prediction Using A Hybrid Artificial Neural Networks Model." Journal of Intelligence and Information Systems, Vol.21, No.3, (2015), 79-99.
Jo, N. O. and K. S. Shin. "Bankrupcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics", Journal of Intelligence and Information Systems, Vol.22, No.2, (2016), 33-56.
Addal, S., "Financial forecasting using machine learning", African Institute for Mathematical Science, (2016), 1-32.
Yali Amit; Donald Geman (1997). "Shape quantization and recognition with randomized trees". Neural Computation 9 (7): 1545-1588. doi:10.1162/neco.1997.9.7.1545.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format