선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 1단계로 기업 간의 관계를 시각화하고 2단계로서 기업 간 중요도를 반영한 학습을 반영하며 간접 수출과 직접수출 산업별 지표를 한눈에 볼수 있도록 표시하는 것을 목표로 한다. 이 차트에서 화살표 방향은 공급기업으로부터 구매기업을 표시하는 것이며 화살표의 굵기가 구매량 또는 구매금액의 규모를 나타낸다.
- 본 연구는 이러한 효용성을 위하여 무역수출 라이브지수 (Export Live Index)를 연구하여 단순 지표가 아닌 역동적인 지표로 활용되고자 한다.
- 알고리즘을 선정하는 과정은 최적의 결과를 얻을 수 있는 도구를 선택하는 과정이라면, 알고리즘을 평가하는 과정은 데이터가 원하는 형태로 학습되어 적절한 결과를 더 높은 확률로 얻기 위한 반복 학습을 동반한다. 세세한 프로세스 과정을 통찰하고 하위노드생성과정을 이해하고 나면 어떤 파라미터들을 세밀하게 조정해야 더 나은 결과값을 얻을 수 있는지 알 수 있다.
제안 방법
- (실제로 현금흐름등급은 CR1부터 CR6까지 6개의 등급으로 나누어지나 (판정제외, 판정보류는 논외) 실제로 CR6 등급을 받는 기업이 매우 극소수이기 때문에 CR5까지 5단계로 나누어 설정하였다.)
- 신용등급을 나타내는 양극단의 데이터인 A, D등급과 마찬가지로 현금흐름을 나타내는 CR1(매우 양호), CR5(보통 이하) 데이터로 양극단의 데이터로 추출하고 CR2, CR3, CR4는 학습에서 제외하였다. A등급과 CR1 등급을 probability 값의 1로 세팅, D등급과 CR5 등급을 0으로 세팅하여 결과값이 0-1사이의 값으로 분류되도록 학습하였다.
- 그리고, 상술한 바와 같은 모델무역수출지수 산출 레이어의 학습 방법은 신용등급지수 산출 레이어 및 현금흐름 등급지수 산출 레이어에 대해서도 동일하게 적용하되, 신용등급지수 산출 레이어의 학습의 경우에는 제1 학습 데이터 대신 제2 학습 데이터가 신용등급지수 산출 레이어에 입력되도록 하고, 전체 기업 각각에 대한 수출 여부에 대한 정보 대신 상기 전체 기업 각각에 대한 신용등급에 대한 정보를 참조하여 최초기준값, 최초예측값 및 잔여 오차값을 산출하도록 하는 것을 특징으로 한다.
- 기울기 기반 단측 표본추출(GOSS)은 데이터의 분할 시 정보 획득 정도를 평가하기 위하여 모든 분할 가능 경우를 판단해야 함으로써 발생하는 시간, 노력을 줄이기 위해 판단 대상인 전체 데이터 각각의 기울기값을 참조한다. 기울기 값이 큰 상위데이터를 a라 할 때 a*100%를 선택하고 나머지 데이터를 b라 할 때 b*100%의 데이터를 무작위 표본 추출하여 가중치 ((1-a)/b)를 반영 하여 증폭시킴으로써 보완된 데이터를 사용하는 방법으로 활용하였다.
- LightGBM에서 세팅하는 변수는 기본적으로 신용등급이 높고 현금흐름 등급이 높은 기업들이 무역수출 가능성이 높은 기업이라는 전제에서 출발한다. 따라서 기업수출 기초정보 중 신용등급 지수와 현금흐름 등급을 제 1 부분 정보로 간주하고, 제 2 부분 정보를 수출 여부 정보로 생각하였다.
- 마지막으로 거래 대상 기업이 다양한지 혹은 품목이 다양한지, 거래 빈도가 잦은지에 대한 값을 도출하여 기업이 해당 수출 활동에 대한 분산적 risk taking이 가능한 기업인지에 대한 척도를 판단할 데이터로 확보하였다.
- 상기 노드 대표예측값 및 기설정된 학습률을 참조하여 모델무역수출지수 산출 레이어의 모델을 업데이트한다.
- 신용등급과 현금흐름등급 외 다른 지표들이 연구에 도움을 줄 수 있음을 판단하였으나 기업의 민감정보, 혹은 영업비밀에 해당하는 자료들이 통계적으로라도 이용되는 것이 위험할 수 있으므로 두 가지 등급만을 활용하였다.
- 87 이상의 기업들을 수출 가능성이 있는 기업으로 분류하였다. 여기에 무역수출 라이브 지수 개념을 적용하기 위하여 시계열 분석 방법을 적용하였다. 이는 <그림 4>를 참조한다.
- 이 부분을 제외하고 양극단의 데이터를 취하여 학습 데이터로 활용함으로써 모델의 성능을 높이고 정확도를 향상하는 효과를 얻어 내었다.
- 이러한 문제 해결을 위해 기울기 기반 단측 표본 추출(GOSS : Gradient-based One-side Sampling)과 배타적 변수 묶음(EFB : Exclusive Feature Bundling)이라는 두 가지 새로운 개념을 도입하여 기울기가 큰 데이터 개체가 정보 획득 계산에서 더 중요한 역할을 한다는 것을 전제로 하여 훨씬 작은 크기의 데이터에서 정보를 정확히 추정해 낼 수 있도록 하였다. 또한 EFB를 활용하여 변수 개수를 줄이는 상호 배타적 변수 즉, 0이 아닌 값이 동시에 발생하지 않는 변수들을 묶어 GBDT의 분할점 결정에 대한 정확도를 크게 해치지 않는 범위 내에서 변수 개수를 효과적으로 줄이는 것에 기여했다.
- 배타적 변수 묶음(EFB)은 데이터 각각의 특성및 특성값 각각에 대하여 상호 충돌이 일어나지 않거나 소정의 충돌비율 이하의 특성들을 하나의 특성으로 묶음(bundling) 처리함으로써 더 적은 수의 특성을 사용하도록 하는 방법으로 활용하였다. 이러한 방법을 사용하여 학습에 필요한 시간을 단축하고 더욱 효율적인 학습이 이루어지도록 설계하였다.
- 이에 따른 상위 모형은 데이터를 준비하고 탐색, 모델링과 모델평가의 순서로 모형이 만들어졌으며 세부 모형은 데이터 확보, 데이터 정제, 학습, 무역수출 지수 확보에 대한 분석 모형을 설계하였고 연구 설계 모형은 과 같다.
- 첫 번째 프로세스는 모델무역수출지수 산출 레이어가 전체 기업 각각에 대한 기업수출 기초정보 중 제 1부분 정보를 제 1 학습 데이터로 입력받아, 전체 기업 각각에 대한 현금흐름 등급 정보를 참조하여 최초기준값 및 최초 예측값을 산출한다.
- 이는 실제로 서비스되고 있는 컨설팅의 서비스 컨셉을 도식화한 자료이다. 학습 데이터로 활용된 2017년 데이터를 과거 데이터로 간주하고 2018년을 전반기와 하반기로 나누었다. 다시 2019년을 상반기와 컨설팅이 이루어지고 있는 현재 시점으로 배치하였을 때 5개의 점으로 표시할 수 있다.
대상 데이터
- 기업의 신용정보를 제공하는 기관인 CRETOP의 유료서비스를 이용하여 약 13만 건의 기업에 대한 신용등급과 현금 흐름 등급을 같은 해인 2016-2018년 3년 치를 추가 수집하였다.
- 본 연구는 KTNET으로부터 비식별화된 3년(2016-2018) 분량의 구매확인서, 내국신용장 데이터를 열람할 수 있는 권한을 한시적으로 받아서 내부 보안정책을 준수하고 현장에서 분석 및 결과를 도출하는 과정을 거쳤으며 이에 약 4000만 건의 거래 건수에 대한 약 13만 건의 기업을 데이터로 분석하였다.
- 본 연구에서는 모델무역수출지수 산출 레이어, 신용등급지수 산출 레이어 및 현금흐름 등급 산출 레이어 각각의 학습 과정에서 제 1 트리 혹은제 m 트리 각각의 생성 시마다 입력되는 학습 데이터로서의 제 1 학습 데이터, 제 2 학습 데이터 등 각각은, 전체 기업 각각의 기업수출 기초정보 전체 중 설정된 비율에 의하여 무작위로 추출된 부분집합의 데이터일 수 있다. 이때 설정된 비율은 하이퍼 파라미터로 정해진 bagging 비율이 적용되어 그에 따라 이루어지는 것일 수 있다.
이론/모형
- LightGBM모델이 빅데이터의 변수를 줄이는 것에 기여한다는 점에서 학습에 활용할 데이터도 multi-classification이 아닌 bi-classification을 활용한다.
- 각각의 지수 산출 레이어의 학습 방법은 의사 결정트리 GBDT 알고리즘으로 구현될 수 있었으나 이것을 변형하여 구현될 수도 있기 때문에 LightGBM 모델을 선택하였다. 학습이 수행되기 전에 복수의 하이퍼 파라미터 값들이 설정될 수있다.
성능/효과
- 최초기준값, 노드 대표예측값 및 기설정된 학습률을 반영하여 모델무역수출지수 산출 레이어의 모델이 업데이트되도록 할 수 있는데, 이는 최초기준값에 제1 트리에 의하여 산출된 노드 대표 값을 기설정된 학습률을 반영하여 합하는 것일수 있다. 따라서, 업데이트된 예측값은 최초기준값+(학습률*노드대표값)의 방법으로 산출된 log (odds)값을 사용하여 계산될 수 있는데, 기설정된 학습률이 0.8이고, 위의 예시에서와 같이 노드대 표값이 -0.77인 최종노드에 해당되는 수출기업 1 개와 수출기업이 아닌 기업 1개 각각의 log(odds) 값은 0.67+(0.8*(-0.77)) = 0.05가 될 수 있고, 최종 예측값인 확률값은 상기 수식 4에 의하여 p = 0.5 의 값이 될 수 있다.
- 이러한 문제 해결을 위해 기울기 기반 단측 표본 추출(GOSS : Gradient-based One-side Sampling)과 배타적 변수 묶음(EFB : Exclusive Feature Bundling)이라는 두 가지 새로운 개념을 도입하여 기울기가 큰 데이터 개체가 정보 획득 계산에서 더 중요한 역할을 한다는 것을 전제로 하여 훨씬 작은 크기의 데이터에서 정보를 정확히 추정해 낼 수 있도록 하였다. 또한 EFB를 활용하여 변수 개수를 줄이는 상호 배타적 변수 즉, 0이 아닌 값이 동시에 발생하지 않는 변수들을 묶어 GBDT의 분할점 결정에 대한 정확도를 크게 해치지 않는 범위 내에서 변수 개수를 효과적으로 줄이는 것에 기여했다.
- 본 연구는 python을 활용한 LightGBM 오픈 소스를 활용하여 변수 설정에 대한 파라미터를 조정하여 입력값에 대한 probability를 0-1사이 값으로 산출하여 1에 가까울수록 무역수출 지수가 높은 것으로, 0에 가까울수록 무역수출 지수가 낮은 것으로 판별하였다.
- 일례로 손실함수의 종류는 로지스틱 손실함수를 사용하였는데 전체 기업 각각의 특성 중 연속적인 특성에 해당되는 특성값을 구간별로 나누어, 이진 특성으로 변화하는 bucketing의 값은 255, 점진적인 학습을 통하여 최소 경사값을 찾는 경사 하강법 적용을 위하여 필요한 학습률은 0.15, 트리 생성 조건으로서 학습 과정에서 생성될 수 있는 최대 의사결정트리의 수는 1000, 의사 결정트리의 가지 수는 59, 학습 과정에서의 과적합을 줄이기 위하여 전체 데이터에서 학습에 사용되는 데이터를 무작위로 추출하는 경우 적용되는 추출비율인 bagging은 0.8로 설정될 수 있다. 이러한 하이퍼 파라미터 값들은 같은 연구를 하는 다른 연구자들에 의해서 다르게 설정될 수도 있을 것이다.
- 학습 결과로서 나온 0-1사이의 값들은 실제 수출 여부를 대입하여 0.87 이상의 기업들을 수출 가능성이 있는 기업으로 분류하였다. 여기에 무역수출 라이브 지수 개념을 적용하기 위하여 시계열 분석 방법을 적용하였다.
후속연구
- 수출 규모가 작지만 다량의 생산품을 더 많은 바이어에게 판매하고 있는 기업은 본 연구의 학습에 의하면 매우 높은 점수를 받을 수 있지만 수출 규모만큰 기업들과 같은 점수를 받을 수도 있다. 이에 다양한 산업 분야의 전문가들이 이 수출지수를 이해하고 사용하여 보정 할 수 있는 추가 연구가 필요할 것으로 사료된다
- 네트워크 차트를 통하여 표현하고자 하는 것은 어떤 기업을 중심으로 볼 수 있는 그 업계의 생태계이다. 자동차를 수출하고 있는 A 대기업에 납품하는 부품생산업체, 부품에 들어가는 나사를 생산하는 업체 등 계속해서 이어지는 공급 사슬 혹은 공급 네트워크망을 표현할 수 있는 자료로 활용될 수도 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.