본 연구에서는 활용 기술로 데이터 저장 레이어, 데이터 처리 레이어, 데이터 분석 레이어, 시각화 레이어 등의 빅 데이터 기술을 활용한 개발 방법을 제안한다, 각 단계에서 저장, 처리, 분석된 데이터는 시각화를 통하여 볼 수 있게 하였다. Hadoop을 통하여 데이터를 처리한 후 처리된 데이터를 Mahout으로 실행하여 분석 결과를 시각화 하였다. 이 과정을 통해서 금융 상품에 가입된 고객의 여러 특성을 파악하였고, 각 고객에 따른 금융 상품의 추천을 적시에 수행할 수 있었다. 본 연구에서는 빅 데이터의 배경 및 문제점을 소개하고, 빅 데이터가 새로운 비즈니스 기회를 어떻게 창출하는지 금융상품 추천 사례를 중심으로 개발 방법과 사례 연구를 논의한다.
본 연구에서는 활용 기술로 데이터 저장 레이어, 데이터 처리 레이어, 데이터 분석 레이어, 시각화 레이어 등의 빅 데이터 기술을 활용한 개발 방법을 제안한다, 각 단계에서 저장, 처리, 분석된 데이터는 시각화를 통하여 볼 수 있게 하였다. Hadoop을 통하여 데이터를 처리한 후 처리된 데이터를 Mahout으로 실행하여 분석 결과를 시각화 하였다. 이 과정을 통해서 금융 상품에 가입된 고객의 여러 특성을 파악하였고, 각 고객에 따른 금융 상품의 추천을 적시에 수행할 수 있었다. 본 연구에서는 빅 데이터의 배경 및 문제점을 소개하고, 빅 데이터가 새로운 비즈니스 기회를 어떻게 창출하는지 금융상품 추천 사례를 중심으로 개발 방법과 사례 연구를 논의한다.
This study proposed development method for practical use techniques compromise data storage layer, data processing layer, data analysis layer, visualization layer. Data of storage, process, analysis of each phase can see visualization. After data process through Hadoop, the result visualize from Mah...
This study proposed development method for practical use techniques compromise data storage layer, data processing layer, data analysis layer, visualization layer. Data of storage, process, analysis of each phase can see visualization. After data process through Hadoop, the result visualize from Mahout. According to this course, we can capture several features of customer, we can choose recommendation of financial item on time. This study introduce background and problem of big data and discuss development method and case study that how to create big data has new business opportunity through financial item recommendation case.
This study proposed development method for practical use techniques compromise data storage layer, data processing layer, data analysis layer, visualization layer. Data of storage, process, analysis of each phase can see visualization. After data process through Hadoop, the result visualize from Mahout. According to this course, we can capture several features of customer, we can choose recommendation of financial item on time. This study introduce background and problem of big data and discuss development method and case study that how to create big data has new business opportunity through financial item recommendation case.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
제안 방법
Modeling에서는 모델 구축, 데이터 패턴 발견, 비즈니스 문제 해결을 위한 모델 및 알고리즘을 적용한다. Assessment에서는 모델 평가 및 검증, 모델 간 비교, 추가 분석 수행 여부를 결정한다.
거래특성별 Clustering을 통해 도출된 7개의 군집을 비즈니스 적으로 이해할 수 있도록 다시 4개의 군집으로 분류하였다. 0.
고객 포트폴리오, 인구통계학적 데이터, 거래특성 등의 데이터를 이용해서 고객 Clustering, Classifying분석 기법 등을 통하여 유사성 높은 흥미롭거나, 숨겨진 고객그룹을 발견한다. 그 내용은 상품판매 가능성 있는 고객 군 탐색, 핵심 관리대상 고객 군 탐색, 이탈 고객 군 패턴 분석을 통한 이탈 예측 모델 및 이탈 방지 방안 마련 등이다.
그 내용은 상품판매 가능성 있는 고객 군 탐색, 핵심 관리대상 고객 군 탐색, 이탈 고객 군 패턴 분석을 통한 이탈 예측 모델 및 이탈 방지 방안 마련 등이다. 군집과 분류 분석 결과에 따라 도출된 관심 고객 군에 대하여 Contents 기반필터링 및 협업필터링 등 머신러닝 기법을 통하여 상품 Recommendation을 시행 한다.
군집화 분석으로 객체를 잘 나타내는 특성을 정의해서 벡터화 하고, 객체들의 가까운 정도(거리측정법)를 표현할 측정치를 정의한다. 그 후 사용할 군집화 알고리즘을 적용 한다. 모든 내용은 시각화를 통하여 보여준다.
기초 분석된 결과와 데이터들을 토대로 다양한 분석 모델을 적용하였다. 그림 5는 모델링의 내용이다.
K-Means 알고리즘을 사용할 경우, K의 값에 따라 나눠지는 군집의 개수와 특성에 영향을 많이 미치게 된다. 따라서 K의 값을 점차 올리면서 Iteration 작업을 반복하여 K에 따른 Sum of squares값을 확인하였다. Sum of squares가 나타내는 것은 군집끼리의 Centroid가 서로 얼마나 떨어져 있는지를 보여주는 값이라고 볼 수 있다.
Exploration에서는 분석 데이터 탐색으로 기초 통계, 그래픽 탐색과 변수 유의성 및 상관분석을 수행 한다. 또한 데이터 오류검색, 데이터 현황을 통한 비즈니스 이상 현상과 변화 탐색을 수행한다. Modification에서는 분석 데이터 수정 및 변환으로 수량화, 표준화, 변환, 그룹화가 수행되고, 데이터 특성을 극대화 할 수 있는 방안 모색과 최적의 모델링을 위한 다양한 형태의 파생변수를 생성하고 선택한다.
그림 3은 탐색에 대한 내용이다. 모든 변수에 대해서 서로 간의 영향도를 알기 위해 상관성 분석을 시행하였다. 예상했던 것보다 서로간의 상관성이 높은 변수들이 너무 많았다.
본 연구에서 제안된 개발 모델은 활용 기술과 분석 프레임워크로 구성된다.
본 연구에서는 빅 데이터를 이용하여 증권사의 고객의 특성을 파악하고 고객 군을 세분화하여 고객 군별 Profile을 바탕으로 최적의 마케팅 방향을 설정할 수 있었다. 예상하기로는 경제활동이 활발한 30대 후반에서 40대의 높은 분포를 가질 것으로 생각되었으나, 분석결과, 50대 중 후반의 고객이 가장 많은 것을 확인 할 수 있었다.
분석할 데이터를 선택하고, 분석에 용이하도록 파생변수를 생성하였다. 그림 4는 변형의 내용이다.
여러 종류의 파생변수를 생성하였지만, 대표적으로는 총 거래일, 마케팅 휴면일, 이탈 소요 기간, 최고자산 이탈 소요일, 최고자산 소요기간, Portfolio 비율 등과 같이, 기존에 가지고 있는 데이터의 변수들을 비즈니스 적으로 의미가 있으면서 결과 해석이 용이하도록 일정한 수식에 의해 생성하여 분석하였다. 이러한 파생변수들 또한 기초적인 분포분석 및 상관성 분석을 하였다.
여러 종류의 파생변수를 생성하였지만, 대표적으로는 총 거래일, 마케팅 휴면일, 이탈 소요 기간, 최고자산 이탈 소요일, 최고자산 소요기간, Portfolio 비율 등과 같이, 기존에 가지고 있는 데이터의 변수들을 비즈니스 적으로 의미가 있으면서 결과 해석이 용이하도록 일정한 수식에 의해 생성하여 분석하였다. 이러한 파생변수들 또한 기초적인 분포분석 및 상관성 분석을 하였다.
대상 데이터
H 증권회사의 데이터베이스로부터 추출한 2011년~2013년까지 데이터를 활용하였다. 그림 2는 샘플링에 대한 내용이다.
본 연구에서는 활용 기술로 데이터 저장 레이어, 데이터 처리 레이어, 데이터 분석 레이어, 시각화 레이어가 사용되었다. 각 단계에서 저장, 처리, 분석된 데이터는 시각화를 통하여 볼 수 있게 하였다.
데이터처리
ANOVA 분석 및 기본적인 데이터 시각화를 통해 데이터의 속성 파악하였다. 그림 3은 탐색에 대한 내용이다.
Sampling에서는 분석 데이터 생성, 통계적 추출, 조건 추출, 모델 평가를 위한 데이터 준비를 한다. Exploration에서는 분석 데이터 탐색으로 기초 통계, 그래픽 탐색과 변수 유의성 및 상관분석을 수행 한다. 또한 데이터 오류검색, 데이터 현황을 통한 비즈니스 이상 현상과 변화 탐색을 수행한다.
각 단계에서 저장, 처리, 분석된 데이터는 시각화를 통하여 볼 수 있게 하였다. Hadoop을 통하여 데이터를 처리한 후 처리된 데이터를 Mahout으로 실행하여 분석 결과를 시각화하였다. 이 과정을 통해서 금융 상품에 가입된 고객의 여러 특성을 파악하였고, 각 고객에 따른 금융 상품의 추천을 적시에 수행할 수 있었다.
결국 ‘핵심 고객군’, ‘관리 사각지대 고객군’, ‘장려 고객군’의 크게 3가지 축으로 재 정의하였고, 해당 군집의 대표적 특성이라 보이는 점들을 해당 Cluster와 다른 Cluster간의 귀무가설을 토대로 T-검정을 시행하였다. Two Sample T-Test를 통해 P-Value가 0.05미만으로 나온다면 해당 귀무가설을 채택하여 분석결과가 의미가 있었음을 검증하였다. 그림 6은 평가의 내용이다.
결국 ‘핵심 고객군’, ‘관리 사각지대 고객군’, ‘장려 고객군’의 크게 3가지 축으로 재 정의하였고, 해당 군집의 대표적 특성이라 보이는 점들을 해당 Cluster와 다른 Cluster간의 귀무가설을 토대로 T-검정을 시행하였다.
도출된 Cluster간의 유의미하다고 판단되는 변수에 대하여 해당 Cluster와 대립되는 Cluster간의 귀무가설을 토대로 T-검정을 시행하였다. Clustering을 통해 도출된 군집들은, 그 자체로는 크게 의미가 없었다.
이론/모형
SAS의 SEMMA 분석 절차 방법론에 따라서 분석 프레임워크를 구성하였다. Sampling에서는 분석 데이터 생성, 통계적 추출, 조건 추출, 모델 평가를 위한 데이터 준비를 한다.
군집의 개수를 늘렸을 때 Centroid가 일정 이상 가까워지거나, 혹은 갑자기 가까워지는 변곡점이 있을 경우, 해당 군집의 개수를 활용하는 것이 가장 합리적이라 판단하였다. 고객별 맞춤 상품을 추천하기 위해 Recommendation(Collaborative Filtering) 알고리즘을 사용하였다.
약 4백만 고객 중 최종거래일이 2012.1월 이후인 고객을 대상으로 K-means Clustering 기법을 적용 한다. 변수는 고객의 거래특성, 인구통계정보와 2013년 1월~12월까지의 월별 보유상품 포트폴리오의 평잔, 분산, 표준편차 정보를 변수로 설정한다.
성능/효과
25%의 소수 고객이 증권사 전체 수익 비중의 대부분을 차지하기 때문에, 해당 고객들로 인해 기업의 영업이익률이 좌지우지될 수 있다. 고객 군별 Profiling 결과, 해당 증권사는 일반 소규모 고객보다는 자산이 많은 우수한 고객에 더욱 중점을 두는 영업을 하고 있는 것을 확인 할 수 있었다. 고객별 상품 추천의 경우, 증권사에 손님이 방문하여서 고객을 인식하는 순간부터 직원으로 하여금 적절한 상품을 제시하는 영업 전략을 사용할 수 있다.
Sum of squares가 나타내는 것은 군집끼리의 Centroid가 서로 얼마나 떨어져 있는지를 보여주는 값이라고 볼 수 있다. 군집의 개수를 늘렸을 때 Centroid가 일정 이상 가까워지거나, 혹은 갑자기 가까워지는 변곡점이 있을 경우, 해당 군집의 개수를 활용하는 것이 가장 합리적이라 판단하였다. 고객별 맞춤 상품을 추천하기 위해 Recommendation(Collaborative Filtering) 알고리즘을 사용하였다.
다양한 구조의 데이터를 서로 연관해서 분석할 수 있어야한다. 넷째, Complexity로 위의 3가지 특성에 따라 보관, 운영, 활용하는 것이 매우 복잡하다. 마지막, Value로서 기존 구조적데이터는 거래를 안전하게 처리하기 위한 목적이지만 이는 경쟁력 및 운영효율성에 직접 큰 영향을 줄 수 있다[5].
예를 들면, 주식, 채권에 투자하는 성향과 선물 옵션, 증권 위탁에 투자하는 성향은 서로 간에 정 반대의 특성을 가진다. 반면에, 주식과 채권끼리는 매우 유사한 고객의 투자 성향을 가진다는 것을 알 수 있었고, 의외로 선물 옵션과 증권 위탁끼리 또한 유사한 투자 성향을 가지는 것을 알 수 있었다.
하지만 부정적인 측면을 보면, 변수들끼리 서로 같이 움직인다는 의미로, 분석의 입력변수로써 적합하지 않다는 것으로 해석할 수도 있다. 상관성 분석을 통해 동일하게 움직이는, 혹은 전혀 반대로 움직이는 변수들의 특성을 알 수 있었고, 고객의 성향을 분명히 나누어주는 요소를 확인할 수 있었다. 예를 들면, 주식, 채권에 투자하는 성향과 선물 옵션, 증권 위탁에 투자하는 성향은 서로 간에 정 반대의 특성을 가진다.
본 연구에서는 빅 데이터를 이용하여 증권사의 고객의 특성을 파악하고 고객 군을 세분화하여 고객 군별 Profile을 바탕으로 최적의 마케팅 방향을 설정할 수 있었다. 예상하기로는 경제활동이 활발한 30대 후반에서 40대의 높은 분포를 가질 것으로 생각되었으나, 분석결과, 50대 중 후반의 고객이 가장 많은 것을 확인 할 수 있었다.
빅 데이터의 특징은 다섯 가지이다. 첫째, Volume으로 기존 DB보다는 규모가 훨씬 크고 일정 기준으로 구분하지 않는다. 둘째, Velocity로 배치, 리얼타임, 스트림형태, 실시간 분석과 반응을 필요로 한다.
후속연구
둘째로 Relevance로 VOC 감성분석, 위치정보 연계, 웹 로그 분석을 통한 고객구매심리파악, 장바구니분석을 통한 구매포기 요인 파악, 센서 행동 분석 기반으로 고객 상황 인지를 통하여 연관성에 기초한 가치 있는 제안을 가능케 한다. 따라서 높은 고객만족, 재 구매 및 반복구매, 고객 이탈방지와 같은 가치 있는 행위를 유발하게 할 수 있다[6].
본 연구에서 제안된 개발 방법은 빅 데이터의 활용에 대한 실제적인 내용을 보여줌으로서 빅 데이터의 개발 사례에 좋은 본 보기가 될 것이다. 이 내용은 금융, 제조, 공공, 서비스 등 여러 분야에 빅 데이터를 활용한 고객 관리를 위하여 활용될 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
Hadoop 1.x에 해당하는 다른 배포판에는 무엇이 있는가?
Hadoop 1.x에 해당하는 다른 배포판 들로는 클라우데라의 CDH3와 호튼웍스의 HDP1이 있다. 이것들은 대부분 아파치 Hadoop과 호환이 되기는 하지만 앞서 Single point of failure 문제를 해결하거나 Hadoop 관련 다른 패키지들을 다 같이 패키징 해주고, 설치나 모니터링 등과 관련해서 별도의 툴들을 제공해준다.
빅 데이터의 특징 5가지는 무엇인가?
빅 데이터의 특징은 다섯 가지이다. 첫째, Volume으로 기존 DB보다는 규모가 훨씬 크고 일정 기준으로 구분하지 않는다. 둘째, Velocity로 배치, 리얼타임, 스트림형태, 실시간 분석과 반응을 필요로 한다. 셋째, Variety로 구조적데이터와 비구조적데이터를 포함한다. 다양한 구조의 데이터를 서로 연관해서 분석할 수 있어야한다. 넷째, Complexity로 위의 3가지 특성에 따라 보관, 운영, 활용하는 것이 매우 복잡하다. 마지막, Value로서 기존 구조적데이터는 거래를 안전하게 처리하기 위한 목적이지만 이는 경쟁력 및 운영효율성에 직접 큰 영향을 줄 수 있다[5]. 빅 데이터의 가치는 크게 두가지로 나누어 볼 수 있다.
빅 데이터는 무엇과 함께 정보통신서비스 시장의 주요한 테마로 대두되고 있는가?
전통적인 데이터관리에서, 데이터베이스, 데이터마이닝, 고객관계관리 등 데이터 자원의 관리가 기술적 진보 및 경영환경의 변화에 따라 발전되어 가고 있다. 최근에 빅 데이터라는 개념은 클라우드, 소셜네트웍, 보안, 모바일 등과 함께 정보통신서비스 시장의 주요한 테마로 대두되고 있다. 특히, 기업은 빠르게 변하하는 고객 수요와 고객의 정보 지능에 대응하여 기존에는 분석되지 않았던 새로운 유형의 데이터를 정보자원으로 레버리지하여 고객의 이탈을 최소화시킨다거나, 매출 증대와 보다 향상된 품질의 제품을 제공하는 등 확장된 가치흐름을 창출하고 있다[4].
참고문헌 (12)
Seong-Hee Lee, "Understand of Big Data - Value and Induction Strategy," Journal of Korea Information and Technology, Vol. 10, No. 1, pp.63-68, July, 2012.
Sunil Soares, "Big Data Governance An Emerging Imperative," MC Press, pp.9-28, 2012.
Special online collection: Dealing with Big Data. http://www.sciencemag.org/site/special/data/, 2011.
Big Data. http://www.nature.com/news/specials /bigdata/index.html, 2008.
Michael Minelli, Michele Chambers, Ambiga Dhiraj, "Big Data , Big Analytics," John Wiley & Sons, Inc. , pp.4-15, 2013.
Min Chen, Shiwen Mao, Yin Zhang, Victor C.M. Leung, "Big Data related Technologies, Challenges and Future Prospects," Springer, 2014.
Sean Owen, Robin Anil, Ted Dunning, Ellen Friedman, Mahout in Action," Manning Publications, 2012.
Kee-Yong Han, "Do it Hadoop with Big Data," Easy Publications, 2013.
KoDB, "The Guide for Advanced Data Analytics Professional 2014 Edition," Korea Database Agency, 2014.
M Grobelnik. Big Data tutorial. http://videolectures.net/eswc2012grobelnikbigdata/, 2012.
Seok-soo Kim, Hwa-sil Lee, "A Model of implementation Data Architecture for Enterprise Architecture," Journal of Korea Society of Computer and Information, Vol. 16, No. 9, pp.175-183, Aug. 2011.
Seok-soo Kim, "The Analysis of Data Governance model for Business and IT Alignment," Journal of Korea Society of Computer and Information, Vol. 18, No. 7, pp.69-78, July, 2013.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.