IoT(사물인터넷) 기술의 빠른 개발로 인하여 기존의 택시들은 디스패처와 위치 시스템을 통해 서로 연결되고 있다. 일반적으로 현대의 택시들은 경로 정보를 획득하기 위한 목적으로 GPS(Global Positioning System)를 탑재하고 있다. 택시 운행 데이터들의 경로 빈도를 분석하여, 주어진 질의 시간에 해당하는 빈번한 경로를 찾을 수 있다. 그러나 위치 데이터의 용량이 매우 크고 복잡하기 때문에 택시의 운행 이벤트의 위치 데이터를 분석된 빈도 정보로 변환할 때에 확장성 문제가 발생한다. 이 문제를 해결하기 위하여, NoSQL 데이터베이스에 기반한 택시 운행 데이터에 대한 Top-K 질의 시스템을 제안한다. 첫째, 원시 택시 운행 이벤트를 분석하고 모든 경로들의 빈도 정보를 추출한다. 추출한 경로 정보는 NoSQL 문서-지향 데이터베이스인 MongoDB에 해시 기반의 인덱스 구조로 저장한다. 주로 발생하는 경로에 대한 효율적인 Top-K 질의 처리는 몽고DB의 상에서 이루어진다. 미국 뉴욕시의 실제 택시 운행 데이터를 이용한 실험을 통하여 알고리즘의 효율성을 검증하였다.
IoT(사물인터넷) 기술의 빠른 개발로 인하여 기존의 택시들은 디스패처와 위치 시스템을 통해 서로 연결되고 있다. 일반적으로 현대의 택시들은 경로 정보를 획득하기 위한 목적으로 GPS(Global Positioning System)를 탑재하고 있다. 택시 운행 데이터들의 경로 빈도를 분석하여, 주어진 질의 시간에 해당하는 빈번한 경로를 찾을 수 있다. 그러나 위치 데이터의 용량이 매우 크고 복잡하기 때문에 택시의 운행 이벤트의 위치 데이터를 분석된 빈도 정보로 변환할 때에 확장성 문제가 발생한다. 이 문제를 해결하기 위하여, NoSQL 데이터베이스에 기반한 택시 운행 데이터에 대한 Top-K 질의 시스템을 제안한다. 첫째, 원시 택시 운행 이벤트를 분석하고 모든 경로들의 빈도 정보를 추출한다. 추출한 경로 정보는 NoSQL 문서-지향 데이터베이스인 MongoDB에 해시 기반의 인덱스 구조로 저장한다. 주로 발생하는 경로에 대한 효율적인 Top-K 질의 처리는 몽고DB의 상에서 이루어진다. 미국 뉴욕시의 실제 택시 운행 데이터를 이용한 실험을 통하여 알고리즘의 효율성을 검증하였다.
Due to the rapid development of IoT(Internet of Things) technology, traditional taxis are connected through dispatchers and location systems. Typically, modern taxis have embedded with GPS(Global Positioning System), which aims for obtaining the route information. By analyzing the frequency of taxi ...
Due to the rapid development of IoT(Internet of Things) technology, traditional taxis are connected through dispatchers and location systems. Typically, modern taxis have embedded with GPS(Global Positioning System), which aims for obtaining the route information. By analyzing the frequency of taxi trip events, we can find the frequent route for a given query time. However, a scalability problem would occur when we convert the raw location data of taxi trip events into the analyzed frequency information due to the volume of location data. For this problem, we propose a NoSQL based top-K query system for taxi trip events. First, we analyze raw taxi trip events and extract frequencies of all routes. Then, we store the frequency information into hash-based index structure of MongoDB which is a document-oriented NoSQL database. Efficient top-K query processing for frequent route is done with the top of the MongoDB. We validate the efficiency of our algorithms by using real taxi trip events of New York City.
Due to the rapid development of IoT(Internet of Things) technology, traditional taxis are connected through dispatchers and location systems. Typically, modern taxis have embedded with GPS(Global Positioning System), which aims for obtaining the route information. By analyzing the frequency of taxi trip events, we can find the frequent route for a given query time. However, a scalability problem would occur when we convert the raw location data of taxi trip events into the analyzed frequency information due to the volume of location data. For this problem, we propose a NoSQL based top-K query system for taxi trip events. First, we analyze raw taxi trip events and extract frequencies of all routes. Then, we store the frequency information into hash-based index structure of MongoDB which is a document-oriented NoSQL database. Efficient top-K query processing for frequent route is done with the top of the MongoDB. We validate the efficiency of our algorithms by using real taxi trip events of New York City.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
The problem we would like to challenge is the identification of recent frequent routes. In other words, the goal of our study is finding top-K frequent routes for the given query time and duration. The query time consists of end-time, last T minutes, and the number of frequent routes (K).
제안 방법
The second approach, which we adopt in this paper, is to use the MapReduce for the pre-processing step and the MongoDB document store for the query step. This approach overcomes the drawbacks of the previous one.
In this subsection, we describe the experimental results of our system which is a combination of a MapReduce framework and MongoDB NoSQL database. The experiments are conducted in two steps : a preprocessing step and a query processing step.
대상 데이터
The authors try to compare the two database system : (1) MySQL[10] as RDBMS and (2) MongoDB[11] as NoSQL database. At this work, the researchers enter 100,000 textbooks information data into both database and check the cost time of MongoDB and MySQL. The query of MySQL is executed by a join operator which requires several tables.
The experiments are conducted on the top of a Hadoop cluster which consists of 5 machines : one master node and four slave nodes. Each machine runs a 64-bit Ubuntu 12.
참고문헌 (16)
2014 Taxicab Fact Book [Internet], http://www.nyc.gov/html/tlc/html/about/about.shtml/, 2014.
N. Ferreira, J. Poco, H. T. Vo, J. Freire, and C. T. Silva, "Visual exploration of big spatio-temporal urban data: A study of new york city taxi trips," Visualization and Computer Graphics, IEEE Transactions on, Vol.19, No.12, pp.2149-2158, 2013.
Z. Gui, H. Yu, and Y. Tang, "Locating traffic hot routes from massive taxi tracks in clusters," 2014.
D. Zhang, T. He, S. Lin, S. Munir, J. Stankovic, et al., "Dmodel: Online taxicab demand model from big sensor data in a roving sensor network," in Big Data (BigData Congress), 2014 IEEE International Congress on, IEEE, pp.152-159, 2014.
G. Pan, G. Qi, Z. Wu, D. Zhang, and S. Li, "Land-use classification using taxi gps traces," Intelligent Transportation Systems, IEEE, 2013.
J. Lee, I. Shin, and G.-L. Park, "Analysis of the passenger pick-up pattern for taxi location recommendation," in Networked Computing and Advanced Information Management, 2008. NCM'08. Fourth International Conference on, Vol.1. IEEE, pp.199-204, 2008.
Y. Wang, P. Chen, L. Cheng, and H. Tong, "A solution of traffic problems based on mapreduce," in Proceedings of the International Conference on Information Engineering and Applications (IEA) 2012. Springer, pp.749-757, 2013.
Z. Wei-ping, L. Ming-Xin, and C. Huan, "Using MongoDB to implement textbook management system instead of MySQL," in Communication Software and Networks (ICCSN), 2011. IEEE 3rd International Conference on, IEEE, pp.303-305, 2011.
ORACLE, MySQL [Internet], https://www.mysql.com/, 2015.
E. Dede, M. Govindaraju, D. Gunter, R. S. Canon, and L. Ramakrishnan, "Performance evaluation of a mongodb and hadoop platform for scientific data analysis," in Proceedings of the 4th ACM workshop on Scientific cloud computing, ACM, pp.13-20, 2013.
J. Dean and S. Ghemawat, "Mapreduce: simplified data processing on large clusters," Communications of ACM, Vol. 51, No.1, pp.107-113, Jan., 2008.
Chris Whong, FOILing NYC's Taxi Trip Data [Internet], http://chriswhong.com/open-data/foilnyctaxi/, 2014.
DEBS2015, grid cell in New York City [Internet], http://www.debs2015.org/call-grand-challenge.html/, 2015.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.