[논문]오프라인 마켓에 적용 가능한 빅데이터 분석 시스템 구축 방안에 관한 연구

이후영; 박구락; 김동현

doi:10.14400/jdc.2016.14.9.317

오프라인 마켓에 적용 가능한 빅데이터 분석 시스템 구축 방안에 관한 연구
A Study on Possible Construction of Big Data Analysis System Applied to the Offline Market 원문보기

디지털융복합연구 = Journal of digital convergence, v.14 no.9, 2016년, pp.317 - 323

이후영 (공주대학교 멀티미디어공학과) , 박구락 (공주대학교 컴퓨터공학부) , 김동현 (우송대학교 IT융합학부)

초록
AI-Helper

빅데이터는 현재 기업 경쟁력의 주요 자산으로 여겨지고 있고 향후에 그 영향력은 더욱 확대될 것으로 전망된다. 그 중요성을 인식한 기업들은 이미 빅데이터를 제품 개발과 마케팅에 적극적으로 활용하고 있으며 정치, 스포츠 등 사회 전반에 걸쳐 적용분야는 점점 늘어나고 있다. 그러나 시스템 구축에 따른 노하우 부족과 고비용은 빅데이터 시스템 도입에 여전히 큰 장애가 되고 있다. 본 논문에서는 중소규모 오프라인 마켓의 POS 판매 데이터를 빅데이터 시스템 중 오픈소스인 하둡(Hadoop) 및 하이브(Hive)를 기반으로 하는 빅데이터 시스템 구현을 목표로 한다. 이러한 융복합을 통해 단순히 손익분석과 재고관리 등에 집중되었던 기존 판매 시스템을 보완하여 고객의 소비패턴과 선호도 조사, 수요에 대한 사전 예측이 가능하도록 하는 경영자의 합리적인 의사결정에 기초자료로 활용할 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

Big Data is now seen as a major asset in the company's competitiveness, its influence in the future is expected to grow. Companies that recognize the importance are already actively engaged with Big Data in product development and marketing, which are increasingly applied across sectors of society, including politics, sports. However, lack of knowledge of the system implementation and high costs are still a big obstacles to the introduction of Big Data and systems. It is an objective in this study to build a Big Data system, which is based on open source Hadoop and Hive among Big Data systems, utilizing POS sales data of small and medium-sized offline markets. This approach of convergence is expected to improve existing sales systems that have been simply focusing on profit and loss analysis. It will also be able to use it as the basis for the decisions of the executive to enable prediction of the consumption patterns of customer preference and demand in advance.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 많은 장점을 가지고 있지만, 빅데이터 시스템 구축과 분석의 어려움 등으로 일부 대기업을 중심으로 금융과 전자통신 분야에 집중되어 사용되고 있는 실정이다. 이에 본 논문에서는 중소규모 오프라인 매장에서 발생하는 대량의 구매 데이터를 바탕으로 오픈소스인 하둡과 분석 툴인 하이브를 이용하여 빅데이터 처리 시스템 구축 방안을 제안하였다. 이를 통해 기존의 POS 시스템이 손익분석, 재고관리에 집중되었던 문제를 개선하여 대규모 데이터의 처리와 분석이 가능하며, 이를 통해 경영자의 합리적 의사결정에 자료를 확보하여 중소 마켓이 대형 마켓에 대한 경쟁력을 갖출 수 있을 것이다.

제안 방법

판매시점관리 시스템의 효율성을 높이기 위하여 무선 인터넷 환경을 기반으로 모바일 판매시점관리 시스템 개발에 관한 연구[7]가 이루어지고 있으나, 지금까지 대부분의 연구는 시스템의 편리성에 국한되어 실제 데이터 분석에 관련된 연구는 미미한 상태이다. 또한, 일반적인 판매시점관리 시스템에서 판매와 관련된 데이터는 재고 및 고객관리, 손익분석 등 제한적으로만 사용되고 있어 상품을 구매하는 고객의 구매 패턴 파악에는 거의 사용이 되지 않고 있기에[8], 최근 이슈가 되고 있는 빅데이터 분석을 통하여 구매 패턴을 분석하고자 한다. 빅데이터는 다양한 종류의 데이터를 생성, 수집, 분석 및 표현하면서 개인화된 현재 사회 구성원 마다 맞춤형 정보를 제공할 수 있다[9].
본 논문에서 제안한 시스템의 실험 환경 구축을 위해 Mac OS version 10.11.3을 이용하여 서버환경을 구축하였다. 데이터베이스는 MySQL-5.
셋째, 데이터 분석 단계로서 하이브에서 제공하는 질의어인 HiveQL을 통해 각각의 테이블 사이에 조인을 이용하여 분석 데이터를 추출 한다. 추출된 데이터는 서버에 저장되기 때문에 같은 데이터를 대상으로 한 동일한 질의에 대하여 반복적인 분석 작업이 불필요하다.
셋째, 샘플 데이터 셋의 입력이 완료된 후 다음의 [Fig. 9]과 같이 HiveQL을 통하여 주요 3개 테이블의 정보를 조인하여 특정 소비자의 물품구매 선호도, 지출금액, 매장일 방문 패턴 등을 분석 할 수 있다.
실험은 가상의 샘플 데이터를 사용하여 특정 고객의 물품구입 정보를 통해 선호 제품 목록을 추출하는 방법으로 다음과 같이 실험을 진행하였다.
이에, 본 논문에서는 중소규모 오프라인 마켓의 판매시점관리 시스템의 정보가 저장되어 있는 데이터베이스에 자료수집 API를 통하여 구매정보 데이터를 텍스트 형태로 추출한 다음 하이브(Hive)를 사용하여 하둡분산파일시스템(HDFS : Hadoop Distributed FIle System)에 적재하고 이를 HiveQL를 통하여 판매데이터를 분석할 수 있는 빅데이터 분석시스템 구축 방안을 제안한다.
판매시점관리 시스템으로부터 데이터베이스로 입력된 판매 데이터를 기반으로 오픈소스인 하둡과 하이브를 사용하여 특정 고객의 구매목록을 분석하는 시스템을 실험하였다. 수집 API를 이용하여 이기종 시스템 간에 데이터 확보가 가능하도록 설계하여 활용도를 높였고, SQL(Structured Query Language)과 유사한 형태인 HiveQL을 지원하는 하이브를 설치하여 데이터 분석의 편의성을 향상시켰다.

성능/효과

판매시점관리 시스템으로부터 데이터베이스로 입력된 판매 데이터를 기반으로 오픈소스인 하둡과 하이브를 사용하여 특정 고객의 구매목록을 분석하는 시스템을 실험하였다. 수집 API를 이용하여 이기종 시스템 간에 데이터 확보가 가능하도록 설계하여 활용도를 높였고, SQL(Structured Query Language)과 유사한 형태인 HiveQL을 지원하는 하이브를 설치하여 데이터 분석의 편의성을 향상시켰다. 본 제안 시스템을 통하여 판매시점관리 시스템의 판매 데이터를 대상으로 다양한 분석이 가능하며, 분석 대상 고객의 소비 패턴 및 , 물품 구매 선호도 조사에 이용될 수 있고, 또한 경영자의 입장에서는 및 고객 수요에 대한 사전 예측 등의 분석 자료로 사용할 수 있어 합리적 의사결정에 중요한 지표가 될 수 있을 것으로 기대된다.
첫째, 데이터 수집 단계로서 중소 규모 매장 안에 설치된 다수의 판매관리시점 시스템은 데이터베이스와 연결되어 판매 데이터를 실시간으로 저장한다. 수집하여 저장된 데이터는 시스템에 따라 다양한 구조(Schema)를 가지고 있기 때문에 직접적으로 하둡분산파일시스템에 적재되지 않고, 구현한 수집 API를 통하여 소비자정보, 제품정보, 구매정보 등을 포함하는 CSV 형태의 데이터로 변환되어 수집 임시 데이터 저장소에 저장된다.
첫째, 자바로 구현한 수집 API를 통해 고객의 정보가 임시저장소인 레포지토리에 CSV 형태의 파일로 저장된다. 하둡분산파일시스템을 실행한 후 하이브 콘솔 명령으로 고객 테이블, 상품 테이블, 구매정보 테이블을 각각 생성한다.

후속연구

수집 API를 이용하여 이기종 시스템 간에 데이터 확보가 가능하도록 설계하여 활용도를 높였고, SQL(Structured Query Language)과 유사한 형태인 HiveQL을 지원하는 하이브를 설치하여 데이터 분석의 편의성을 향상시켰다. 본 제안 시스템을 통하여 판매시점관리 시스템의 판매 데이터를 대상으로 다양한 분석이 가능하며, 분석 대상 고객의 소비 패턴 및 , 물품 구매 선호도 조사에 이용될 수 있고, 또한 경영자의 입장에서는 및 고객 수요에 대한 사전 예측 등의 분석 자료로 사용할 수 있어 합리적 의사결정에 중요한 지표가 될 수 있을 것으로 기대된다.
이에 본 논문에서는 중소규모 오프라인 매장에서 발생하는 대량의 구매 데이터를 바탕으로 오픈소스인 하둡과 분석 툴인 하이브를 이용하여 빅데이터 처리 시스템 구축 방안을 제안하였다. 이를 통해 기존의 POS 시스템이 손익분석, 재고관리에 집중되었던 문제를 개선하여 대규모 데이터의 처리와 분석이 가능하며, 이를 통해 경영자의 합리적 의사결정에 자료를 확보하여 중소 마켓이 대형 마켓에 대한 경쟁력을 갖출 수 있을 것이다. 향후 연구에서는 더 많은 판매데이터 수집을 위해 각각의 다른 데이터 베이스시스템 간에 이 데이터 수집이 가능하도록 하는 데이터 수집 API 연구와 더불어 다양한 분석 기법 및 시각화에 대한 연구가 계속되어야 할 것이다.
이를 통해 기존의 POS 시스템이 손익분석, 재고관리에 집중되었던 문제를 개선하여 대규모 데이터의 처리와 분석이 가능하며, 이를 통해 경영자의 합리적 의사결정에 자료를 확보하여 중소 마켓이 대형 마켓에 대한 경쟁력을 갖출 수 있을 것이다. 향후 연구에서는 더 많은 판매데이터 수집을 위해 각각의 다른 데이터 베이스시스템 간에 이 데이터 수집이 가능하도록 하는 데이터 수집 API 연구와 더불어 다양한 분석 기법 및 시각화에 대한 연구가 계속되어야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	하둡은 무엇인가?	하둡은 더그 커팅이 2003년 발표된 구글의 논문을 벤치마킹하여 컴퓨터 클러스터를 통한 대용량 데이터 처리가 가능하도록 개발한 오픈 소스 프레임워크이며, 크게 하둡분산파일시스템과 맵리듀스로 구성되어있다.
	맵리듀스는 무엇으로 구성되어 있는가?	맵리듀스는 많은 양의 데이터를 독립된 작업으로 분산하여 병렬처리가 가능하도록 설계된 프로그래밍 모델이다. 맵리듀스는 전체적인 작업의 상태를 관리하는 JobTracker, 맵 또는 리듀스 작업을 실행하는 TaskTracker로 구성되어 있다. 맵핑의 단계는 입력된 전체 데이터를 나누어 개별적으로 정의된 함수인 맵퍼로 전달되어 중간 데이터 리스트를 생성하는 단계로, 최종 데이터를 생성하기 전의 상태이다.
	하둡분산파일시스템에서 각 파일을 1개 또는 그 이상의 블록으로 나누어 각 데이터노드에 분산 저장하는 이유는 무엇인가?	2]는 하둡분산파일시스템의 구조로서 파일의 메타정보를 가지고 있고 클라이언트에 의한 파일접근을 통제하는 마스터 서버인 네임노드와 이를 백업하는 보조 네임노드, 그리고 스토리지를 관리하는 많은 수의 데이터 노드간의 주/종 구조를 가지고 있다. 또한, 파일의 병렬처리를 위한 고가용성을 제공하고 데이터 결함에 효율적으로 대처 할 수 있도록 각 파일을 1개 또는 그 이상의 블록(기본 64M)으로 나누어 각 데이터노드에 분산 저장된다[15].

참고문헌 (20)

Q. Y. Hao, S. J. Lee, K. R. Lee, "The Acceptance of Customer Reviews in Taobao", Journal of the Korea Convergence Society, Vol. 6, No. 4, pp. 205-212, 2015.

원문보기 상세보기
S. H. Park, I. H. Lee, H. Y. Ahn, "Analysis of the Retail Channels Resulting from Changing Consumption Trends", Hana Institute of Finance, No. 13, 2009.
G. D. Seo, J. E. Lee, "A study on the Effect of Consumer Lifestyle on Brand Attitude, Brand Attachment influence upon Brand Loyalty", Journal of Digital Convergence, Vol. 14, No. 4, pp. 185-192, 2016.
K. W. Ko, D. C. Kim, "The Analyses of the Operational Efficiency and Efficiency Factors of Retail Stores Using DEA Model," Korean Management Science Review, Vol. 31, No. 4, pp. 135-150, 2014.

원문보기 상세보기
K. C. Ahn, et al.,"POS Data Analysis System based on Association Rule Analysis", Korea Society of Industrial Information Systems, Vol. 17, No. 5, pp. 9-17, 2012.
James Dyson, "Paperless Receipt Solution (PRS) System", James Dyson Foundation, 2015.
O. B. Kwon, H. C. Shin, "Mobile Point-of-Sales System", Journal of Information and Security, Vol 7, No. 3, pp. 87-93, 2007.
K. C. Ahn, et al,, "POS Data Analysis System based on Association Rule Analysis", Journal of the Korea Industrial Information System Society , Vol. 17, No. 5, pp. 9-17, 2012.
Y. S. Jeong, Y. T. Kim, G. C. Park,, "Subnet Selection Scheme based on probability to enhance process speed of Big Data", Journal of Digital Convergence, Vol. 13, No. 9. pp. 201-208, 2015.
S. H. Namn, K. S. Noh, "A Study on the Effective Approaches to Big Data Planning", Journal of Digital Convergence, Vol. 13, No. 1, pp. 227, 235, 2015.
K. S. Noh, S. T. Park, K. H. Park, "Convergence Study on Big Data Competency Reference Model", Journal of Digital Convergence, Vol. 13, No. 3, pp. 55-63, 2015.
B. C. Kim, "A study on Utilization of Big Data Based on the Personal Information Protection Act", Journal of Digital Convergence, Vol. 13, No. 12, pp. 87-92, 2014.
K. C. Choi, J. A. Yoo, "A reviews on the social network analysis using R", Journal of the Korea Convergence Society, Vol. 6, No. 1, pp. 77-83, 2015.
G. S. Hang, "Big Data Platform Strategy: Big Data is Changing Business Platform Future Revolution", Electronic Times, pp. 83-97, 101-105, 193-203, 2013.
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
J. H. Kwak, et al., "Large-scale Data Analysis based on Hadoop for Astroinformatics", Journal of KIISE, Vol. 17, No. 11, pp. 587-591, 2011.
http://hci.stanford.edu/courses/cs448g/a2/files/map_reduce_tutorial.pdf
Venner, Jason, "Pro Hadoop", Apress, 2009.
Y. H. Lee, Y. S. Lee, "Yet Another BGP Archive Forensic Analysis Tool Using Hadoop and Hive", Journal of KIISE, Vol. 42, No. 4, pp. 541-549, 2015.

상세보기
Apache Hive: https://cwiki.apache.org/confluence/display/hive/Design

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증