본 논문은 기존의 TPEG, UTIS, DSRC 등의 교통 정보 시스템들의 문제점을 극복할 수 있는 사용자 기반의 교통정보시스템을 제안한다. 기존의 보편화된 서비스인 TPEG은 단방향 서비스로 하나의 정보 제공자에 위한 교통정보의 한계가 문제가 되고 있다. 또한 경찰청을 중심으로 하는 UTIS는 기존과는 다른 단말기를 요구하므로 지자체의 관용차나 택시 등으로 한정적인 사용자가 이용하고 있어서 전국적으로 모든 도로의 교통 정보를 수집하기에는 제한적이다. 따라서 보편화되고 있는 스마트폰 및 모바일 내비게이션 프로그램을 기반으로 사용자가 참여하는 교통정보 시스템을 구축하면, 더욱 더 많은 데이터를 수집하여 전국적으로 자세한 교통 정보를 제공할 수 있게 된다. 하지만 새로운 시스템에서는 실시간으로 늘어나는 대용량 교통데이터가 문제가 될 수 있다. 본 논문에서는 기존의 일반적인 튜플 단위의 데이터 처리 시스템을 사용하지 않고, 블록단위로 데이터를 처리하는 새로운 교통정보 데이터저장 관리자를 설계하고 기존 상용 DBMS와 비교 평가하였다.
본 논문은 기존의 TPEG, UTIS, DSRC 등의 교통 정보 시스템들의 문제점을 극복할 수 있는 사용자 기반의 교통정보시스템을 제안한다. 기존의 보편화된 서비스인 TPEG은 단방향 서비스로 하나의 정보 제공자에 위한 교통정보의 한계가 문제가 되고 있다. 또한 경찰청을 중심으로 하는 UTIS는 기존과는 다른 단말기를 요구하므로 지자체의 관용차나 택시 등으로 한정적인 사용자가 이용하고 있어서 전국적으로 모든 도로의 교통 정보를 수집하기에는 제한적이다. 따라서 보편화되고 있는 스마트폰 및 모바일 내비게이션 프로그램을 기반으로 사용자가 참여하는 교통정보 시스템을 구축하면, 더욱 더 많은 데이터를 수집하여 전국적으로 자세한 교통 정보를 제공할 수 있게 된다. 하지만 새로운 시스템에서는 실시간으로 늘어나는 대용량 교통데이터가 문제가 될 수 있다. 본 논문에서는 기존의 일반적인 튜플 단위의 데이터 처리 시스템을 사용하지 않고, 블록단위로 데이터를 처리하는 새로운 교통정보 데이터저장 관리자를 설계하고 기존 상용 DBMS와 비교 평가하였다.
This paper suggests a user based OST(Open Street Traffic) system that solves TPEG's one-way communication problem, UTIS's limited usage and DSRC's small traffic bandwidth. In current commercial TPEG service, only some service providers collect traffic information. Thus, it can't cover traffic status...
This paper suggests a user based OST(Open Street Traffic) system that solves TPEG's one-way communication problem, UTIS's limited usage and DSRC's small traffic bandwidth. In current commercial TPEG service, only some service providers collect traffic information. Thus, it can't cover traffic status in local lanes And UTIS, which local governments and police supports, requires additional equipments. Currently, only taxi and official vehicles use this system. Therefore, new traffic service by mobile device and user's participation can provide very detail traffic information coupling with previous traffic systems. But in this new system, real-time high volume data can be a problem. So, in this paper, new data storage manager design(TDSM :Traffic Data Storage Manager) is suggested and its performance is measured against commercial DBMS.
This paper suggests a user based OST(Open Street Traffic) system that solves TPEG's one-way communication problem, UTIS's limited usage and DSRC's small traffic bandwidth. In current commercial TPEG service, only some service providers collect traffic information. Thus, it can't cover traffic status in local lanes And UTIS, which local governments and police supports, requires additional equipments. Currently, only taxi and official vehicles use this system. Therefore, new traffic service by mobile device and user's participation can provide very detail traffic information coupling with previous traffic systems. But in this new system, real-time high volume data can be a problem. So, in this paper, new data storage manager design(TDSM :Traffic Data Storage Manager) is suggested and its performance is measured against commercial DBMS.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 데이터 스트림 관리 시스템은 연속질의를 이용하여 연속적으로 발생하는 대용량 데이터 중 필요한 데이터를 실시간으로 검색하는 것이 목적이고, 이 데이터를 모두 디스크에 저장하는 것이 목적이 아니다. 그러므로 데이터 스트림 관리 시스템은 실시간으로 모든 데이터를 저장가능 하도록 확장하는 연구가 필요하다
또한 많은 사용자의 교통 정보 데이터를 실시간으로 처리하는데 기존의 디스크 기반의 데이터베이스로는 한계가 있다. 따라서 본 논문에서는 실시간으로 다수 사용자들의 데이터를 필터링하고 대용량 데이터를 스트림 기반의 방식으로 처리하는 대용량 실시간 교통 데이터 처리 시스템을 제안한다. 그리고 스마트폰 사용자가 지도를 보행중이거나 고속의 기차에서도 사용할 수 있으므로 지도 기반의 위치정보 및 차량의 속도 등의 조건을 활용해서 데이터를 모바일 기기에서 판단하는 알고리즘을 제시한다.
본 논문에서는 변화하는 IT환경에 따라 모든 운전자가 참여하는 교통정보 시스템인 OST를 제안하였다. 또한 기존의 시스템과 연동하여 수많은 사용자의 교통 정보 데이터를 실시간으로 처리할 수 있는 데이터 처리 시스템 및 데이터 수집 알고리즘을 제시하였다.
본 장에서는 일반 운전자도 교통정보 수집에 참여하는 사용자기반 교통정보 시스템을 제안한다.
가설 설정
그러나 이러한 TPEG 서비스는 다음과 같은 문제점들이 있다. 첫째, 교통정보 수집지역의 제한이다. TPEG 서비스가 교통정보 부실로 사용자로부터 여러 가지 비판을 받고 있는데, 교통정보를 수집하는 지역이 주로 서울 및 수도권, 부산시, 지방 대도시의 일반도로 및 고속도로에 국한되어 타 지역 및 대도시 지선의 도로 정보는 거의 전무한 실정이다.
제안 방법
TDSM는 기존의 저장관리자들의 고속처리의 단점인 튜플단위의 트랜잭션 기법을 사용하지 않고 블록단위의 트랜잭션 기법을 사용하였다. 그래서 디스크 반영 시 압축을 하여 로그 기록 수와 디스크 입/출력을 감소시켜 저장 속도를 향상시켰다. 또한 데이터를 그대로 디스크에 반영하면 디스크 공간이 매우 많이 소모되므로 데이터를 압축하여 저장을 하였고, 압축 시 시간 기반 인덱스를 생성하여 검색 성능이 저하되지 않도록 구성하였다.
따라서 본 논문에서는 실시간으로 다수 사용자들의 데이터를 필터링하고 대용량 데이터를 스트림 기반의 방식으로 처리하는 대용량 실시간 교통 데이터 처리 시스템을 제안한다. 그리고 스마트폰 사용자가 지도를 보행중이거나 고속의 기차에서도 사용할 수 있으므로 지도 기반의 위치정보 및 차량의 속도 등의 조건을 활용해서 데이터를 모바일 기기에서 판단하는 알고리즘을 제시한다.
새롭게 요구되고 있는 이 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(DSMS)이 연구되었다[8,9,10,11]. 데이터 스트림 관리 시스템은 시간에 따라 변하는 실시간 대용량 데이터 모델을 처리하기 위해 새로운 형태의 질의인 연속질의의 사용을 제안하였다. 또한 시스템의 가용 작업량을 초과하는 데이터 스트림의 처리 요청 시, 작업에 일부를 포기하는 부하분산 기법(Load Shedding)을 사용 할 수 있다.
본 논문에서는 변화하는 IT환경에 따라 모든 운전자가 참여하는 교통정보 시스템인 OST를 제안하였다. 또한 기존의 시스템과 연동하여 수많은 사용자의 교통 정보 데이터를 실시간으로 처리할 수 있는 데이터 처리 시스템 및 데이터 수집 알고리즘을 제시하였다.
그래서 디스크 반영 시 압축을 하여 로그 기록 수와 디스크 입/출력을 감소시켜 저장 속도를 향상시켰다. 또한 데이터를 그대로 디스크에 반영하면 디스크 공간이 매우 많이 소모되므로 데이터를 압축하여 저장을 하였고, 압축 시 시간 기반 인덱스를 생성하여 검색 성능이 저하되지 않도록 구성하였다.
실험에 사용된 데이터는 각 모바일 단말기에서 올라오는 속도 정보를 가상으로 만들어, 초당 10만 건의 데이터를 인위로 생성하는 프로세스에 의해 생성되는 데이터이다. 또한 상용 디스크기반 DBMS인 Oracle과 MSSQL을 가지고 저장 비용과 저장 속도를 비교한다.
따라서 기존의 TPEG과 같은 일방적인 교통정보 수집 및 서비스는 물론 특수 단말이 필수인 UTIS의 한계점을 뛰어넘어서 모든 사용자가 쉽게 교통정보를 교환하여 전국의 모든 도로의 교통 정보를 적은 비용으로 지원하는 서비스가 가능케 되었다. 본 논문에서는 OST(Open Street Traffic system) 라는 용어로 새로운 사용자 참여형 교통 정보 시스템을 그림3과 같이 제안한다.
본 논문에서는 수많은 대용량 교통정보 데이터를 실시간으로 저장하고, 검색기능을 제공하는 “사용자 교통정보 데이터 저장관리자(TDSM: Traffic Data Storage Manager)”를 제안한다.
첫 번째 실험으로 그림 7과 같이 상용 DBMS는 인덱스를 생성하지 않고 인덱스를 생성하는 TDSM의 삽입 속도의 비교이다. 삽입 튜플이 10,000개에서 1,000,000개 까지 다양하게 처리되는 경우의 속도를 비교하였다.
새로운 시스템은 독립적인 시스템만이 아니고 기존의 TPEG, UTIS등의 다양한 상용 교통 정보 시스템과 연동하여 보다 폭넓은 교통 정보 수집 데이터를 활용한다.
그 다음 실험은 그림 8과 같이 상용 DBMS가 인덱스를 생성하는 경우에 TDSM와의 삽입 속도의 비교이다. 위와 동일하게 삽입 트랜잭션 요청이 10,000개 에서 1,000,000개까지 다양하게 입력한 경우 처리되는 속도를 비교하였다.
또한 스마트폰의 등장과 국내 이통사들의 데이터 무제한 서비스에 의해서 한국이 가장 많은 모바일 통신을 하는 국가가 되었다. 이러한 기술과 사용자 기반 사회적 참여를 이용해서 교통 정보도 모든 이용자가 참여하는 사용자 기반의 교통 정보 시스템, OST(Open Street Traffic)을 이 논문에서 제안한다.
TDSM은 저장 시 압축 기법을 사용하기 때문에 저장비용을 크게 감소시킬 수 있다. 이와 같은 압축 저장시 감소되는 저장비용을 측정하기 위해 데이터 저장 후 저장된 데이터의 크기를 비교하였다. 저장하는 데이터의 크기는 1MB ~100MB로 변화시키면서 다양하게 저장비용을 측정하였다 오라클은 11g의 압축률을 최대로 높이는 옵션인 압축레벨 HIGH를 사용하여 압축 저장 결과를 비교하였다.
이와 같은 압축 저장시 감소되는 저장비용을 측정하기 위해 데이터 저장 후 저장된 데이터의 크기를 비교하였다. 저장하는 데이터의 크기는 1MB ~100MB로 변화시키면서 다양하게 저장비용을 측정하였다 오라클은 11g의 압축률을 최대로 높이는 옵션인 압축레벨 HIGH를 사용하여 압축 저장 결과를 비교하였다.
대상 데이터
실험 평가에 사용된 시스템 환경은 CPU가 Pentium 5 3.0 GHz이고 메모리는 4GB이다. 실험에 사용된 데이터는 각 모바일 단말기에서 올라오는 속도 정보를 가상으로 만들어, 초당 10만 건의 데이터를 인위로 생성하는 프로세스에 의해 생성되는 데이터이다.
0 GHz이고 메모리는 4GB이다. 실험에 사용된 데이터는 각 모바일 단말기에서 올라오는 속도 정보를 가상으로 만들어, 초당 10만 건의 데이터를 인위로 생성하는 프로세스에 의해 생성되는 데이터이다. 또한 상용 디스크기반 DBMS인 Oracle과 MSSQL을 가지고 저장 비용과 저장 속도를 비교한다.
이론/모형
TDSM는 기존의 저장관리자들의 고속처리의 단점인 튜플단위의 트랜잭션 기법을 사용하지 않고 블록단위의 트랜잭션 기법을 사용하였다. 그래서 디스크 반영 시 압축을 하여 로그 기록 수와 디스크 입/출력을 감소시켜 저장 속도를 향상시켰다.
데이터 스트림 관리 시스템은 시간에 따라 변하는 실시간 대용량 데이터 모델을 처리하기 위해 새로운 형태의 질의인 연속질의의 사용을 제안하였다. 또한 시스템의 가용 작업량을 초과하는 데이터 스트림의 처리 요청 시, 작업에 일부를 포기하는 부하분산 기법(Load Shedding)을 사용 할 수 있다. 그리고 정확한 데이터 보다 근사치의 통계량을 원하는 경우 근사화 기법을 사용할 수 있다.
성능/효과
그래서 디스크보다 처리 속도가 빠른 메모리를 저장장치로 사용한 DBMS가 등장하였다[7,8]. 메인메모리 DBMS는 데이터베이스를 디스크가 아닌 메모리에 상주시켜 디스크 입/출력을 크게 감소시켜 디스크기반 DBMS에 비해 트랜잭션 처리 속도가 크게 향상되었다. 그러나 메모리의 한정된 공간으로 인해 대용량 데이터의 저장 시 매우 많은 비용을 소모하게 된다.
후속연구
또한 압축 시 튜플들의 정보가 유실되기 때문에 압축된 블록을 모두 해제해야 검색이 가능한 단점이 있다. 그러므로 압축 속도를 보다 향상시키고, 압축된 블록에서 즉시 검색이 가능한 기법에 대한 연구가 필요하다.
향후 연구로는 압축기법의 성능을 향상시키는 것이다. 현재 일반적인 압축 기법은 압축효율은 보장하지만 압축속도가 느려 초당 10만 건 이상의 데이터 처리는 매우 어렵다.
질의응답
핵심어
질문
논문에서 추출한 답변
DSRC 방식의 한계점은?
따라서 기술적으로는 모든 차량이 교통 정보 수집에 참여할 수 있으나 현실적으로는 TPEG의 수집 차량에 의한 교통 수집과 같은 효과가 있을 뿐이다. 또한 고속도로 등에서 많이 사용되고 있는 DSRC 방식은 빠른 속도에 적합하나 대역폭이 작아서 많은 교통 데이터의 전송에는 한계가 있다[3]
블록단위의 트랜잭션 기법을 사용한 TDSM의 특징은?
TDSM는 기존의 저장관리자들의 고속처리의 단점인 튜플단위의 트랜잭션 기법을 사용하지 않고 블록단위의 트랜잭션 기법을 사용하였다. 그래서 디스크 반영 시 압축을 하여 로그 기록 수와 디스크 입/출력을 감소시켜 저장 속도를 향상시켰다. 또한 데이터를 그대로 디스크에 반영하면 디스크 공간이 매우 많이 소모되므로 데이터를 압축하여 저장을 하였고, 압축 시 시간 기반 인덱스를 생성하여 검색 성능이 저하되지 않도록 구성하였다.
UTIS이란?
UTIS (Urban Traffic Information System)는 도심 내에 첨단 무선 교통정보 수집 및 제공 장치를 설치하고 이를 통해 수집된 구간 속도정보 등 교통정보를 실시간으로 분석, 가공, 제공하여 각 지방 교통 센터 간 통신망을 연계하는 양방향 교통 정보 시스템이다[2]. 그러나 UTIS는 현재 특수한 단말 장치의 추가가 필요하고 기존의 TPEG과는 다른 지도 및 교통 정보의 매핑 때문에 지자체의 관용차나 택시 위주로 정부에 의해서 보급되고 있지만 민간에서는 사용하지 않고 있다.
참고문헌 (12)
H.S. Chun, "A Study on Transport Protocol Experts Group Service," http://ettrends.etri.re.kr/ Vol 22, No 6, pp 170-181, Dec. 2007.
Sangoh Kim, "Next-generation telematics convergence module development," MKE Local industrial technology development report, pp.3-5, Sep. 2009.
Yeong-Tae Baek, Se-Hoon Lee, Sang-Oh Kim, "Dynamic Distributed Hierarchical Routing Plan Method for UTIS and DSRC systems," Proc. of The Korea Society of Computer and Information, Vol. 18, No. 2, pp. 47-50, Jul. 2010.
Mordechai Haklay, Patrick Weber, "OpenStreetMap: User-Generated Street Maps," IEEE Pervasive magazine, pp 13-18, Oct_DEC 2008.
National police agency, "police traffic information service plan", 2007.
Koroad, "UTIS Specification," pp4-6, Mar. 2009.
Whang, K.-Y., Krishnamurthy, R., "Query Optimization in a Memory-Resident Domain Relational Calculus Database System.ACMTransactions on Database Systems," March 1990.
Boncz, P., Manegold, S., Kersten, M., "Database architecture optimized for the new bottleneck: memory access," VLDB, pp. 54-65. 1999.
Olston, C., Rosenstein, J. and Varma. R., "Query Processing, Resource Management, and Approximation in a Data Stream Management System," CIDR, 2003.
Babcock, B., Babu, S., Datar, M., Motwani, R. and Widom, J., "Models and Issues in Data Stream Systems," PODS, 2002.
Abadi, D. J, Carney, D., Centintemel, U., Cherniack, M., Convey, C., Lee, S., Stonebraker, M., Tatbul, N., Zdonik, S., "Aurora: A New Model and Architecture for Data Stream Management," VLDB Journal, 2003.
Chandrasekharan S., and J. Franklin, M., "Streaming queries over streaming data," VLDB, pp 203-214, 2002.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.