빅 데이터를 활용한 분석 방법은 빅 데이터를 처리 할 수 있는 기술 기반으로 발전되어 오고 있다. 많은 IT리서치 기관들이 빅 데이터를 통한 새로운 분석의 패러다임을 예견하고 있고, 또한 IT 벤더들을 중심으로 빅 데이터 처리를 위한 표준 기술들을 제시하고 있다. 빅 데이터는 IT 기기 및 환경의 발달과도 상호연관적이고 소셜 미디어를 주측으로 기존에 예측하지 못하는 비정형화된 데이터들을 정형화 하여, 이에 따른 다양한 분석, 예측 및 최적화에 초점이 맞추어 발달 하고 있다. 과거의 분석 기법은 정형화된 데이터를 기반으로 데이터 마이닝, OLAP, 통계 분석등을 통한 의사결정 도구로서 사용되어 왔다. 하지만 최근 빅데이터를 이용한 새로운 분석의 패러다임을 통해 분석기법의 다양화, 비정형 데이터 분석 등 새로운 형태의 기반 기술발전과 다양한 형태의 데이터를 통한 새로운 분석을 통해 통찰력을 높일 수 있다. 더욱이 고성능의 컴퓨팅 환경들의 발달과 표준화된 대용량 데이터 처리 기술 발달이 향후 조금 더 다양한 형태의 분석패턴을 만들어 갈 것이다. 따라서 본 논문은 빅 데이터를 통해 분석 가능한 다양한 기법을 알아보고, 기존의 데이터 마이닝 분석 기법을 통한 소셜 미디어의 분석 형태에 대한 활용 및 분석방안을 제시 하였다.
빅 데이터를 활용한 분석 방법은 빅 데이터를 처리 할 수 있는 기술 기반으로 발전되어 오고 있다. 많은 IT 리서치 기관들이 빅 데이터를 통한 새로운 분석의 패러다임을 예견하고 있고, 또한 IT 벤더들을 중심으로 빅 데이터 처리를 위한 표준 기술들을 제시하고 있다. 빅 데이터는 IT 기기 및 환경의 발달과도 상호연관적이고 소셜 미디어를 주측으로 기존에 예측하지 못하는 비정형화된 데이터들을 정형화 하여, 이에 따른 다양한 분석, 예측 및 최적화에 초점이 맞추어 발달 하고 있다. 과거의 분석 기법은 정형화된 데이터를 기반으로 데이터 마이닝, OLAP, 통계 분석등을 통한 의사결정 도구로서 사용되어 왔다. 하지만 최근 빅데이터를 이용한 새로운 분석의 패러다임을 통해 분석기법의 다양화, 비정형 데이터 분석 등 새로운 형태의 기반 기술발전과 다양한 형태의 데이터를 통한 새로운 분석을 통해 통찰력을 높일 수 있다. 더욱이 고성능의 컴퓨팅 환경들의 발달과 표준화된 대용량 데이터 처리 기술 발달이 향후 조금 더 다양한 형태의 분석패턴을 만들어 갈 것이다. 따라서 본 논문은 빅 데이터를 통해 분석 가능한 다양한 기법을 알아보고, 기존의 데이터 마이닝 분석 기법을 통한 소셜 미디어의 분석 형태에 대한 활용 및 분석방안을 제시 하였다.
The analysis method using Big Data has evolved based on the Big data Management Technology. There are quite a few researching institutions anticipating new era in data analysis using Big Data and IT vendors has been sided with them launching standardized technologies for Big Data management technolo...
The analysis method using Big Data has evolved based on the Big data Management Technology. There are quite a few researching institutions anticipating new era in data analysis using Big Data and IT vendors has been sided with them launching standardized technologies for Big Data management technologies. Big Data is also affected by improvements of IT gadgets IT environment. Foreran by social media, analyzing method of unstructured data is being developed focusing on diversity of analyzing method, anticipation and optimization. In the past, data analyzing methods were confined to the optimization of structured data through data mining, OLAP, statics analysis. This data analysis was solely used for decision making for Chief Officers. In the new era of data analysis, however, are evolutions in various aspects of technologies; the diversity in analyzing method using new paradigm and the new data analysis experts and so forth. In addition, new patterns of data analysis will be found with the development of high performance computing environment and Big Data management techniques. Accordingly, this paper is dedicated to define the possible analyzing method of social media using Big Data. this paper is proposed practical use analysis for social media analysis through data mining analysis methodology.
The analysis method using Big Data has evolved based on the Big data Management Technology. There are quite a few researching institutions anticipating new era in data analysis using Big Data and IT vendors has been sided with them launching standardized technologies for Big Data management technologies. Big Data is also affected by improvements of IT gadgets IT environment. Foreran by social media, analyzing method of unstructured data is being developed focusing on diversity of analyzing method, anticipation and optimization. In the past, data analyzing methods were confined to the optimization of structured data through data mining, OLAP, statics analysis. This data analysis was solely used for decision making for Chief Officers. In the new era of data analysis, however, are evolutions in various aspects of technologies; the diversity in analyzing method using new paradigm and the new data analysis experts and so forth. In addition, new patterns of data analysis will be found with the development of high performance computing environment and Big Data management techniques. Accordingly, this paper is dedicated to define the possible analyzing method of social media using Big Data. this paper is proposed practical use analysis for social media analysis through data mining analysis methodology.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
빅 데이터의 분석은 무궁무진한 데이터 분석의 패러다임을 바꾸어줄 획기적인 대용량 데이터 처리기술 임에는 틀림이 없다. 따라서 본 논문은 소셜 미디어에 주안점을 두고 기존의 분석 방법 들을 어떻게 적용가능한지에 대한 방법을 제시하고자 하였다. 빅 데이터는 비정형 대용량의 데이터를 처리하는 문제를 떠나서 반드시 데이터 과학에 초점을 맞추어야 하고, 통계 모델, 텍스트 마이닝 기법, 더 나아가 심리분석의 전문적인 부분들이 추가 되어야 한다.
본 논문에서는 빅 데이터의 개념을 소개하고 빅 데이터가 가져온 새로운 분석 패러다임을 정리하였다. 본 논문의 구성은 다음과 같다.
데이터 과학자는 강력한 통계 지식을 보유하고, 대규모 데이터 세트로부터 정보를 생산하며, 비전문 분석가들에게 가치를 제공하는 능력을 갖추고 있어야 한다. 본 절에서는 빅 데이터를 분석하여 가치를 창출하기 위한 빅 데이터 분석의 기술적인 관점에 대해 살펴보고, 이것을 통해 어떤 방법으로 더 정확도 높고 적시성 있는 분석이 가능한지 알아보고자 한다.
여기에서는 미국의 카탈리나(Catalina) 마케팅의 사례를 통해 빅 데이터 분석이 비즈니스에 어떻게 적용되는지를 설명하고자 한다. 카탈리나(Catalina) 마케팅에서는 2.
제안 방법
그 결과 쿠폰 사용을 통한 추가 구매율이 기존 10%에서 25%로 크게 향상되었고 고객의 마케팅 반응율이 향상되어 카탈리나(Catalina)의 수익 증가로 이어졌다[9]. 이러한 결과를 얻기까지 카탈리나(Catalina) 마케팅은 데이터웨어하우스(Data Warehouse(이후 DW)) 어플라이언스에 고성능 분석(High Performance Analytics(이후 HPA)) 기술을 적용하여 빅 데이터로부터 실시간으로 고객의 구매 성향을 예측하였다. 즉, 고객에게 맞춤형 쿠폰을 발행할 때 실시간으로 고객 행동에 대한 프로파일링을 수행하였으며, 기존에 4.
이를 위해 ‘싸이밸류(Cyvalue)’ 를 통하여 시설장비의 수명 예측진단 시스템을 적용하였다[3].
이러한 결과를 얻기까지 카탈리나(Catalina) 마케팅은 데이터웨어하우스(Data Warehouse(이후 DW)) 어플라이언스에 고성능 분석(High Performance Analytics(이후 HPA)) 기술을 적용하여 빅 데이터로부터 실시간으로 고객의 구매 성향을 예측하였다. 즉, 고객에게 맞춤형 쿠폰을 발행할 때 실시간으로 고객 행동에 대한 프로파일링을 수행하였으며, 기존에 4.5시간 걸리던 예측 모델에 대한 스코어링 시간도 불과 60초로 단축시켰다. 이렇게 카탈리나(Catalina) 마케팅은 빅 데이터를 활용하여 통찰력의 속도 향상을 이룸으로써 고객 밀착 서비스에 성공하였다[9].
성능/효과
고객의 개인별 구매 성향이 실시간으로 반영된 쿠폰 제시를 통해 구매를 유도하는 것이다. 그 결과 쿠폰 사용을 통한 추가 구매율이 기존 10%에서 25%로 크게 향상되었고 고객의 마케팅 반응율이 향상되어 카탈리나(Catalina)의 수익 증가로 이어졌다[9]. 이러한 결과를 얻기까지 카탈리나(Catalina) 마케팅은 데이터웨어하우스(Data Warehouse(이후 DW)) 어플라이언스에 고성능 분석(High Performance Analytics(이후 HPA)) 기술을 적용하여 빅 데이터로부터 실시간으로 고객의 구매 성향을 예측하였다.
이것은 샘플링에서 발생했던 표본오차를 줄일 수 있으며, 차원이 늘어남에 따라 기하급수적으로 늘어나는 계산 량에 효과적으로 대응할 수 있음을 의미한다. 따라서 수억 건 이상의 관측치와 수만 개 이상의 변수를 가진, 그 동안 다루기 어려웠던 데이터를 별다른 처리 없이 기존의 분석 작업에 활용할 수 있게 된다는 것은, 불가능했던 분석이 가능해진다는 의미일 뿐 아니라 분석 시간의 단축으로 인해 모델의 정확도를 높이는 주요한 요소가 될 것이다.
기존 금융, 통신 사업을 비롯해 의료, 농업, 국방, 교통 정보 등 전 세계 다양한 분야에서의 무한한 빅 데이터 활용 가능성을 접하고 있다. 또한 빅 데이터를 이용한 분석과 해석으로 전염병과 자연재해의 이동경로를 파악하는 등 데이터 자원의 무궁무진하게 분석, 예측 할 수 있게 되었다. 또한 기업 환경에서는 방대한 정보 속에서 의사결정에 필요한 의미 있는 정보의 발견, 분석 능력이 기업 비즈니스의 핵심 경쟁력으로 부상하고 있으며 이는 분석 도구와 온라인상에서의 분석(Business Intelligence)플랫폼 서비스에 대한 수요 증가로 이어지고 있다.
커뮤니티의 결속 형태를 통한 분석의 포인트는 다음[표 2] 와 같이 활용 될 수 있다[8]. 첫째 정보의 방신력이 우수한 오피니언 리더 및 커뮤니티와 이들을 활용하는 정보 발신 채널에 마케팅 노력을 집중함으로써 효과를 극대화 할 수 있다. 둘째, 최근 유행하고 있는 소셜 커머스 업체들은 소셜 미디어의 전파력을 마케팅에 적극 활용 할 수 있다.
후속연구
세 번째, 소셜 미디어의 활용이다. 본 논문에서 언급한 바 소셜 미디어의 다양한 형태, 집단형, 그물형 그리고 허브형에 따라 연관된 규칙의 활용 부분들을 제언 하고자 한다. 연관규칙을 이용한 소설 미디어의 빅 데이터의 분석의 응용 방법은 다음과 같다.
그러나 고장 발생 정도만 알려 줄 뿐, 고장의 원인과 대책을 세우기 위해서는 별도의 전문 인력을 확보하거나 외부 전문 기관에 의뢰를 하고 있어 설비 고장에 따른 신속하고 정확한 대처는 미흡한 실정이다. 이를 위해서는 설비상태 평가 모듈, 설비결함 주파수 계산모듈, 설비결함, 진단모듈, 설비고장 예측모듈, 고장추적 및 대책모듈, 설비수명 예측모듈, 지식검색모듈, 데이터베이스 관리 모듈 등의 기능을 제공함으로써 명확한 고장 원인을 파악하고 적합한 대책을 세우게 되므로, 비용절감과 함께 설비가동률이 향상되며 기존의 고가 프로그램에 대한 수입 대체효과가 클 것으로 기대된다. 특히 발전소 및 석유화학 플랜트 등 고가의 외산 설비를 사용하면서 효과를 얻지 못하는 업종을 대상으로 적용이 가능하다.
빅 데이터는 비정형 대용량의 데이터를 처리하는 문제를 떠나서 반드시 데이터 과학에 초점을 맞추어야 하고, 통계 모델, 텍스트 마이닝 기법, 더 나아가 심리분석의 전문적인 부분들이 추가 되어야 한다. 향후 연구 과제를 통하여 기존의 빅 데이터를 처리 할 수 있는 하둡 기반의 분산처리 기술을 통하여 비정형 데이터를 정형화 해 나가는 구조에 대한 부분들과, 비정형 데이터에 대한 분석을 위한 프레임워크에 대한 연구와 기법의 다양화를 통한 BI 측면에서의 활용도, 그리고 데이터웨어하우스의 새로운 통합의 형태들에 대한 부분들도 지속적으로 연구가 되어야 하고, 본 논문을 통해 빅 데이터를 분석하기 위한 기존의 기법들의 적용을 활용하기를 기대 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
빅 데이터가 활용되고 있는 분야는?
이러한 데이터 홍수 속에서 우리가 흔히 논하는 빅 데이터는 단순한 스토리지 서비스나 데이터 분석만을 의미하는 것이 아니라 빅 데이터의 핵심은 대량의 다양한 데이터를 빠르게 검색하고 분석해 경제적인 가치를 이끌어 나는데 있다. 기존 금융, 통신 사업을 비롯해 의료, 농업, 국방, 교통 정보 등 전 세계 다양한 분야에서의 무한한 빅 데이터 활용 가능성을 접하고 있다. 또한 빅 데이터를 이용한 분석과 해석으로 전염병과 자연재해의 이동경로를 파악하는 등 데이터 자원의 무궁무진하게 분석, 예측 할 수 있게 되었다.
싸이밸류는 무엇을 제공하나?
빅 데이터 솔루션 포럼(Bigdata solution forums: BIGSF)의 통합 브랜드명인 싸이밸류(Cyvalue)는 대한 민국 선도 중소 소프트웨어 컨설팅 기업으로 국내뿐만 아니라 전 세계 기업시장에 내놓는 제품 라이선스 및 개발·컨설팅 서비스를 아우르는 빅 데이터 서비스 이름이기도 하다. 이는 비정형 데이터 수집 및 정형 데이터의 품질관리, 성능관리와 이를 저장·관리할 수 있는 오픈 소스형 데이터베이스, 하둡 관련한 서비스와 이를 사용자에게 효과적으로 전달할 수 있는 분석툴(OLAP), 비쥬얼라이제이션(Visualization) 도구 및 컴포넌트 등 빅 데이터용 통합 프레임워크 및 서비스를 제공한다. 또한 현황분석이나 모니터링 수준을 뛰어넘어, 업종별·업무별 예측 모델을 플러그인할 수 있도록 구성되어 기업에서 보다 쉽게 빅 데이터를 수용 하고 전략적인 의사결정 도구로 활용할 수 있으며 그 구성원은 다음과 같다[3].
오늘날 빅 데이터에 열광하는 이유는?
오늘날 우리가 빅 데이터에 열광하는 이유는 과거에는 너무 커서 분석을 할 수 없었던 데이터의 분석이 이제는 가능해졌고 이것을 통해 새로운 가치(Value: 데이터의 가치)를 찾아내고 있기 때문이다. 데이터는 과거에 비해서 더 빨리 늘어나고(Volume: 데이터의 규모), 더 많은 형태(Variety: 데이터의 다양성)를 가지고, 실시간에 가까운 속도(Velocity: 데이터의 생성주기)로 생성되고 있는데, 오늘날 이러한 데이터를 이용한 빅 데이터 분석 기술들이 현실화 되고 있다[9].
참고문헌 (11)
강현철, 고객관계관리를 위한 데이터마이닝 방법론, 자유아카데미, 2006.
김근태(SAS Korea), "Big Data 분석을 위한 기업의 Big Analytics 환경 변화", 정보처리학회지, 2012.
정철호, 국내 솔루션 기반 빅 데이터 구축전략 및 사례, 정보 속으로, Vol.76, SEP-OCT, pp.31-37, 2012.
최병정, 김혜진, 김자호, 진서훈, 빅 데이터 시대의.CRM을 위한 데이터 분석, Entrue Journal of Information Technology, Vol.11, No1, pp.19-27, 2012.
채승병, SERI경영노트, 제167호, 2012(10).
Y. Y. Ahn, Link communication reveal multiacale complexity in metworke, Nature( 466), pp.761-764, 2010(8).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.