최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.
최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.
Many studies have been carried out for the development of big data utilization and analysis technology recently. There is a tendency that government agencies and companies to introduce a Hadoop of a processing platform for analyzing big data is increasing gradually. Increased interest with respect t...
Many studies have been carried out for the development of big data utilization and analysis technology recently. There is a tendency that government agencies and companies to introduce a Hadoop of a processing platform for analyzing big data is increasing gradually. Increased interest with respect to the processing and analysis of these big data collection technology of data has become a major issue in parallel to it. However, study of the collection technology as compared to the study of data analysis techniques, it is insignificant situation. Therefore, in this paper, to build on the Hadoop cluster is a big data analysis platform, through the Apache sqoop, stylized from relational databases, to collect the data. In addition, to provide a sensor through the Apache flume, a system to collect on the basis of the data file of the Web application, the non-structured data such as log files to stream. The collection of data through these convergence would be able to utilize as a basic material of big data analysis.
Many studies have been carried out for the development of big data utilization and analysis technology recently. There is a tendency that government agencies and companies to introduce a Hadoop of a processing platform for analyzing big data is increasing gradually. Increased interest with respect to the processing and analysis of these big data collection technology of data has become a major issue in parallel to it. However, study of the collection technology as compared to the study of data analysis techniques, it is insignificant situation. Therefore, in this paper, to build on the Hadoop cluster is a big data analysis platform, through the Apache sqoop, stylized from relational databases, to collect the data. In addition, to provide a sensor through the Apache flume, a system to collect on the basis of the data file of the Web application, the non-structured data such as log files to stream. The collection of data through these convergence would be able to utilize as a basic material of big data analysis.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 하둡은 실시간 데이터 분석에 대한 제약이 따르기 때문에 이를 지원하기 위해 아파치 그룹에서는 하둡의 서브프로젝트인 스쿱과 플룸을 상위 레벨 프로젝트로 승격하여 데이터 수집에 대한 보다 활발한 연구 활동을 진행하고 있다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하여 웹 애플리케이션 로그 및 IoT 장비에서 발생하는 정형 및 비정형 데이터를 각각 스쿱과 플룸을 통해 하둡파일시스템으로 수집하여 실시간 데이터 분석이 가능한 시스템을 제안한다. 이를 통해 정부기관이나 기업에서 보관 중인 대량의 데이터를 스트림 방식을 통해 수집할 수 있으며, 실시간으로 발생하는 IoT 장비의 로그 데이터를 수집하여 데이터 분석이 가능하다.
또한 기존에 진행된 연구의 대부분은 정형 데이터 수집 혹은 비정형 데이터 수집에 제한적으로 연구되고 있어, 정형/비정형 데이터가 복합적으로 수집되는 시스템에 대한 연구가 필요한 실정이다. 이에 본 논문에서는 아파치 스쿱(Apache Sqoop)을 통해 관계형 데이터베이스로 부터 정형화된 데이터를 수집하고 아파치 플룸(Apache Flume)을 통해 IoT 및 웹 애플리케이션으로부터 데이터 파일이나 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다.
제안 방법
각각의 애플리케이션을 통하여 MySQL에 접속하여 데이터를 생성한 후 생성된 데이터를 스쿱을 통해 하둡 파일시스템에 저장한다. 또한 웹 애플리케이션에서 발생하는 로그 파일이나 데이터 파일과 같은 비정형 데이터 수집을 위하여 플럼을 통하여 수집한다.
62를 이용하였다. 실험을 위하여 4대의 컴퓨터로 하둡 클러스터를 구축한 후 데이터 생성을 위하여 별도의 자바 애플리케이션과 아파치 톰캣을 사용한 웹 애플리케이션을 구현하였다. 다음의 [Fig.
대상 데이터
제안 시스템의 실험 환경 구축을 위하여 운영체제는 Win7(64bit)와 Ubuntu 14.04 버전을 기반으로 하였고, 데이터베이스는 MySQL-Server 5.6, 하둡 클러스터 구축은 Hadoop 1.2.1, 웹 애플리케이션은 Tomcat 7.0.62를 이용하였다. 실험을 위하여 4대의 컴퓨터로 하둡 클러스터를 구축한 후 데이터 생성을 위하여 별도의 자바 애플리케이션과 아파치 톰캣을 사용한 웹 애플리케이션을 구현하였다.
후속연구
향후 연구에서는 대규모의 데이터 수집 및 병렬 데이터 수집에 대한 연구를 통하여 수집 서버 성능 향상에 대한 연구가 계속되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
빅데이터의 활용과 분석 기술의 발전을 위한 대표적인 연구에는 무엇이 있는가?
빅데이터의 활용과 분석 기술의 발전을 위한 연구중에서 대표적인 것은 아파치 소프트웨어 재단의 오픈소스인 하둡과 이를 효율적으로 사용 할 수 있는 서브프로젝트를 중심으로 하는 하둡에코시스템으로서, 빅데이터 분석을 위한 주요한 트렌드가 되고 있다. 특히 축적된 데이터를 해석하고 분석하는 업무에서 빅데이터 분석의 표준처럼 평가되고 있는 하둡은 빅데이터 프로젝트 수행을 진행한 응답 기업의 24%의 지지를 얻어 가장 빈번하게 사용되는 분석 툴로 조사 되었다[9].
플룸의 장점은 무엇인가?
플룸은 분산된 대량의 데이터를 안정적이고 효율적으로 전달할 수 있는 시스템으로, 분산된 구조로 확장할 수 있어, 데이터의 양이 급증해도 기존 서버의 설정이나 구조 변경 없이 손쉽게 확장할 수 있는 장점을 가지고 있다. 이러한 플룸은 주로 로깅 시스템에 사용되며, 다양한 장비에서 저장된 다양한 형태의 데이터를 하둡 등의 저장소에 저장할 수 있게 데이터를 이동시키는 역할을 한다.
아파치 스쿱이 많은 프로젝트에서 널리 사용되는 이유는 무엇인가?
아파치 스쿱은 맵리듀스를 기반으로 구현된 데이터 적재 프로그램으로 아파치 소프트웨어 재단의 최상위 레벨 아파치 프로젝트이다. 특히 관계형 데이터베이스 및 하둡파일시스템 사이에 데이터 적재가 가능하기 때문에 많은 프로젝트에서 널리 사용하고 있다. 스쿱은 모든 적재 과정을 자동화하며 병렬처리 방식으로 작업하고, 좋은 내고장성(fault tolerance)을 지원한다[17,18,19].
참고문헌 (23)
O. B. Kwon, K. S. Kim, "The Design and Implementation of Location Information System using Wireless Fidelity in Indoors", Journal of Digital Convergence, Vol. 11, No. 4, pp. 243-249, 2013.
K. H. Lee, D. I. Kim, D. H. Kim, M. Y. Sung, Y. K. Lee, S. Y. Jung, "Implementation of Real-Time Video Transfer System on Android Environment", Journal of th Korea Convergence Society, Vol. 3, No. 1, pp. 1-5, 2012.
J. T. Kim, B. J. Oh and J. Y. Park, "Standard Trends for the Big Data Technologies", Electronics and Telecommunications Trends 2013, ETRI, pp. 92-99, 2013.
Y. S. Jeong, Y. T. Kim, G. C. Park, "Subnet Selection Scheme based on probability to enhance process speed of Big Data", Journal of Digital Convergence, Vol. 13, No. 9, pp. 201-208, 2015.
M. G. Song, S. B. Kim, "A Study of improving reliability on prediction model by analyzing method Big data", Journal of Digital Convergence, Vol. 11, No. 6, pp. 103-112, 2013.
M.J. Song, "Big Data is Creating Future Business Map", Hansmedia, 2012.
K. S. Noh, S. T. Park. K. H. Park, "Convergence Study on Big Data Competency Reference Model", Journal of Digital Convergence, Vol. 13, No. 3, pp. 55-63, 2015.
S. H. Namn, K. S. Noh, "A Study on the Effective Approaches to Big Data Planning", Journal of Digital Convergence, Vol. 13, No. 1, pp. 227-235, 2015.
BigData Monthly, "Big Data in the World," BigData World, Report, Vol. 8, 2015.
S. A. Shin, K. E. Kim, "Classification and the Current State of Big Data Technology", National Information Society Agency, Korea Big Data Center, 2013.
Y.H. Kang, "Design of a Framework of a System for Handling Streaming Data by Using Apache Flume", Journal of KIIT, Vol. 12, No. 11, pp. 127-132, 2014.
U. G. Han, J. H. Ahn, "Load Balancing Method for Improving Performance of Apache Flume Log Aggregator", Proceeding of KIIT, pp. 314-317, 2014.
Liu Chen, J.H. Ko, J.M. Yeo, "Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop", Journal of KIPS, Vol. 4, No. 2, pp. 77-82, 2015.
K. C. Choi, J. A. Yoo, "A reviews on the social network analysis using R", Journal of the Korea Convergence Society, Vol. 6, No. 1, pp. 77-83, 2015.
Apache Flume 1.4.0 User Guide, https://flume.apache.org/FlumeUserGuide.html.
K. J. Park, "Big Data Eco System(Around the Platform)", Journal of KIIE, ie Magazine, Vol. 19, No. 3, pp. 41-47, 2012.
Rinusha Irudeen, Sanjeeva Samaraweera, "Big data solution for Sri Lankan development: A case study from travel and tourism", in Advances in ICT for Emerging Regions, International Conference on, 2013.
Nodar Momtselidze, Alex Kuksin "Hadoop Integrating with Oracle Data Warehouse and Data Mining", in Journal of Technical Science and Technologies, Vol.2, No. 1, 2013.
Ognjen V. Jodzic, Dijana R. Vukovic, "The Impact of Cluster Characteristics on HiveQL Query Optimization", in Telecommunications Forum (TELFOR), 21st, 2013.
K.B. Ryu, H.J. Park, "Mobile Web Server Log Analyzer", Proceeding of KSII, Vol. 5, No. 2, pp. 73-76, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.