로그데이터는 사용자 반응을 추적하고 의미 있는 행동 패턴을 찾을 수 있는 유용한 기초 자료이다. 최근 스마트 디바이스(예: 스마트 폰, 스마트 TV 등)에서 발생되는 로그데이 터는 기존 관계형 데이터베이스 기반 중앙 집중 처리 방식으로는 다루기 어려운 방대한 양이 되고 있으며, 발생하는 데이터 형태도 정형화된 포맷에서 비정형 포맷으로 바뀌고 있으므로, 이를 다루기 위한 새로운 접근 방식이 필요하다. 이에 본 논문에서는 대용량 로그데이터 분석 처리에 적합한 ...
로그데이터는 사용자 반응을 추적하고 의미 있는 행동 패턴을 찾을 수 있는 유용한 기초 자료이다. 최근 스마트 디바이스(예: 스마트 폰, 스마트 TV 등)에서 발생되는 로그데이 터는 기존 관계형 데이터베이스 기반 중앙 집중 처리 방식으로는 다루기 어려운 방대한 양이 되고 있으며, 발생하는 데이터 형태도 정형화된 포맷에서 비정형 포맷으로 바뀌고 있으므로, 이를 다루기 위한 새로운 접근 방식이 필요하다. 이에 본 논문에서는 대용량 로그데이터 분석 처리에 적합한 빅데이터 처리 플랫폼을 설 계하였으며, 데이터의 수집, 저장 및 분석의 유연성을 확보하기 위해 Hadoop을 채택하 였다. Hadoop에서는 대용량 데이터의 분산 병렬 처리를 위한 HDFS과 MapReduce 프레 임워크를 제공하고 있으며, 이는 기존 관계형 데이터베이스 시스템에서 중앙 서버에만 의존하던 처리 방식을 분산 처리 방식으로 바꾸어 줌으로써 하드웨어의 손쉬운 확장성 과 데이터 구조의 유연성을 동시에 얻을 수 있게 한다. MapReduce 프로그래밍의 코딩 및 Job 스케줄링을 분석가가 직접 처리 하기에는 아직 도 많은 어려움 있으며, 이를 해결하고자 본 시스템에서는 SQL-like MapReduce 도구로 SQL 스크립트를 제공하는 Hive를 사용하였으며, 의미 있는 의사결정을 위하여 데이터 분석 과정에 데이터 마이닝의 처리 기법을 사용하고 결과의 시각화를 위하여 오픈 소스 데이터 분석 도구인 R을 연동하였다. 제안된 빅데이터 처리 플랫폼에서 실사용자 로그데이터 분석 실험을 수행하였으며, 분 석 결과로써 사용자의 사용 이력을 추적할 수 있었고, 행동 패턴을 시각화하여 해당 서 비스에 대한 제고와 새로운 화면 배치 제안을 할 수 있었다. 이를 통하여 기존의 관계형 데이터베이스에 기반한 대용량 로그데이터 분석의 어려움을 해결할 수 있었고, 제안된 빅데이터 처리 플랫폼의 적용 가능성이 높음을 확인하였다.
로그데이터는 사용자 반응을 추적하고 의미 있는 행동 패턴을 찾을 수 있는 유용한 기초 자료이다. 최근 스마트 디바이스(예: 스마트 폰, 스마트 TV 등)에서 발생되는 로그데이 터는 기존 관계형 데이터베이스 기반 중앙 집중 처리 방식으로는 다루기 어려운 방대한 양이 되고 있으며, 발생하는 데이터 형태도 정형화된 포맷에서 비정형 포맷으로 바뀌고 있으므로, 이를 다루기 위한 새로운 접근 방식이 필요하다. 이에 본 논문에서는 대용량 로그데이터 분석 처리에 적합한 빅데이터 처리 플랫폼을 설 계하였으며, 데이터의 수집, 저장 및 분석의 유연성을 확보하기 위해 Hadoop을 채택하 였다. Hadoop에서는 대용량 데이터의 분산 병렬 처리를 위한 HDFS과 MapReduce 프레 임워크를 제공하고 있으며, 이는 기존 관계형 데이터베이스 시스템에서 중앙 서버에만 의존하던 처리 방식을 분산 처리 방식으로 바꾸어 줌으로써 하드웨어의 손쉬운 확장성 과 데이터 구조의 유연성을 동시에 얻을 수 있게 한다. MapReduce 프로그래밍의 코딩 및 Job 스케줄링을 분석가가 직접 처리 하기에는 아직 도 많은 어려움 있으며, 이를 해결하고자 본 시스템에서는 SQL-like MapReduce 도구로 SQL 스크립트를 제공하는 Hive를 사용하였으며, 의미 있는 의사결정을 위하여 데이터 분석 과정에 데이터 마이닝의 처리 기법을 사용하고 결과의 시각화를 위하여 오픈 소스 데이터 분석 도구인 R을 연동하였다. 제안된 빅데이터 처리 플랫폼에서 실사용자 로그데이터 분석 실험을 수행하였으며, 분 석 결과로써 사용자의 사용 이력을 추적할 수 있었고, 행동 패턴을 시각화하여 해당 서 비스에 대한 제고와 새로운 화면 배치 제안을 할 수 있었다. 이를 통하여 기존의 관계형 데이터베이스에 기반한 대용량 로그데이터 분석의 어려움을 해결할 수 있었고, 제안된 빅데이터 처리 플랫폼의 적용 가능성이 높음을 확인하였다.
Log data are useful media in tracking user’s reactions and finding his or hers meaningful activity patterns. Recently, log data that are being generated by many smart devices (e.g. Smart Phone, Smart TV, etc.) need a new processing method, because conventional relational database technology which is...
Log data are useful media in tracking user’s reactions and finding his or hers meaningful activity patterns. Recently, log data that are being generated by many smart devices (e.g. Smart Phone, Smart TV, etc.) need a new processing method, because conventional relational database technology which is run on central processing platform is hard to deal large volume of data and the representation format of this big data are changing from formal to informal. In this thesis, therefore, Hadoop is adopted to provide the flexibility in gathering, saving, and analyzing big data for a log data analysis job. Hadoop consists of HDFS (Hadoop Distributed File System) and MapReduce framework that support massively parallel and distributed data processing mechanism. This means that conventional relational database system that relies on central processing platform is changed to the distributed processing platform such as Hadoop. At the same time, easy hardware performance upgradability and the modeling flexibility of data structure are obtained. However, it is still hard to implement MapReduce programming for analysis engineers by themselves and also difficult to schedule parallel-submitted jobs for them. To solve these problems, in this thesis, Hive that use conventional SQL script in big data query is used to provide SQL-like MapReduce programming environment. Also, to make a decision making process meaningful, data mining technologies is used in data analysis steps, and R, a popular data analysis tool, is linked with the result of a Hive query to visualize the analytic results. Various real users’ log data are used in the experiments. Through the usage histories of a smart device, the user experience can be tracked and also his or hers activity patterns can be visualized. According to these results, reconsideration of services on a smart device and new display design for the hardware can be derived. The contribution of this paper is that overcoming the difficulty of an analysis which is conducted using big data on the conventional relational database system. So the applicability of the proposed mechanism is high.
Log data are useful media in tracking user’s reactions and finding his or hers meaningful activity patterns. Recently, log data that are being generated by many smart devices (e.g. Smart Phone, Smart TV, etc.) need a new processing method, because conventional relational database technology which is run on central processing platform is hard to deal large volume of data and the representation format of this big data are changing from formal to informal. In this thesis, therefore, Hadoop is adopted to provide the flexibility in gathering, saving, and analyzing big data for a log data analysis job. Hadoop consists of HDFS (Hadoop Distributed File System) and MapReduce framework that support massively parallel and distributed data processing mechanism. This means that conventional relational database system that relies on central processing platform is changed to the distributed processing platform such as Hadoop. At the same time, easy hardware performance upgradability and the modeling flexibility of data structure are obtained. However, it is still hard to implement MapReduce programming for analysis engineers by themselves and also difficult to schedule parallel-submitted jobs for them. To solve these problems, in this thesis, Hive that use conventional SQL script in big data query is used to provide SQL-like MapReduce programming environment. Also, to make a decision making process meaningful, data mining technologies is used in data analysis steps, and R, a popular data analysis tool, is linked with the result of a Hive query to visualize the analytic results. Various real users’ log data are used in the experiments. Through the usage histories of a smart device, the user experience can be tracked and also his or hers activity patterns can be visualized. According to these results, reconsideration of services on a smart device and new display design for the hardware can be derived. The contribution of this paper is that overcoming the difficulty of an analysis which is conducted using big data on the conventional relational database system. So the applicability of the proposed mechanism is high.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.