$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

교통 빅데이터의 효율적 저장 및 검색 기술의 설계와 구현
Design and Implementation of Efficient Storage and Retrieval Technology of Traffic Big Data 원문보기

The journal of Bigdata = 한국빅데이터학회지, v.4 no.2, 2019년, pp.207 - 220  

김기수 (디토닉 주식회사) ,  이재진 (디토닉 주식회사) ,  김홍회 (디토닉 주식회사) ,  장유림 (한국교통안전공단) ,  함유근 (건국대학교)

초록
AI-Helper 아이콘AI-Helper

최근 정보통신기술의 발달은 센서를 바탕으로 수많은 데이터를 구축하고 이를 이용하여 실시간 서비스를 제공할 수 있게 한다. 교통안전공단에서는 디지털 운행기록계를 통해 전국의 상용차의 운행 정보를 수집하고 있다. 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다. 특히 국내에서는 이와 같은 기술적인 문제로 상용차 운행정보의 실시간 분석을 위한 대규모 교통 빅데이터의 처리가 이전에 시도된 적이 없다. 이런 문제를 해결하기 위해 본 연구에서는 새로운 방식의 데이터베이스 서버 시스템 최적화를 진행하였고 실시간 서비스가 가능한 수준임을 확인하였다. 구축된 데이터베이스 시스템을 이용하여 디지털 트윈, 자율주행환경을 마련하기 위한 기반 데이터를 확보할 수 있을 것으로 기대된다.

Abstract AI-Helper 아이콘AI-Helper

Recent developments in information and communication technology has enabled the deployment of sensor based data to provide real-time services. In Korea, The Korea Transportation Safety Authority is collecting driving information of all commercial vehicles through a fitted digital tachograph (DTG). T...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 연구에서 다루는 DTG데이터는 1일∼1달 주기로 데이터를 수집 및 저장한다. 따라서 본 연구에서는 이처럼 다양한 수집시스템을 지원할 수 있도록 NiFi 기반의 전처리 시스템을 구성하였다.
  • 따라서 연구의 목적은 하둡 에코시스템을 이용하여 실시간으로 축적되는 DTG 데이터를 저장 및 검색할 수 있는 시스템을 구현하고 성능검사를 통해 효율적 분석이 가능함을 확인하는 것으로, DTG 데이터를 탑재하여 분석 서비스의 가능여부를 평가하는 것을 연구의 목표로 한다.
  • 수집된 원시 데이터는 DBMS에서 ATIS DW로 변환되어 하루 1회 데이터를 이전한다. 복잡한 교통문제 연구를 위한 기초적인 자료 제공을 목적으로 시스템을 구축하였으나 배치 처리 방식을 사용하고 있어 빅데이터 기술을 도입할 것을 향후 추가적인 연구 방향으로 설정하였다.
  • 본 논문에서는 대용량의 교통 빅데이터를 저장하고 실시간 운행정보 분석에 적합한 수준의 검색을 위해서 하둡 에코시스템 기반의 분산 환경에서 데이터베이스 서버 시스템을 구축하였다. 구축된 데이터베이스 서버 시스템은 약 9천억건의 DTG 교통 빅데이터를 분산 저장하고 검색 시 분산처리를 수행한다.
  • 결과적으로 데이터의 특징에 따라 분산 환경에서 저장할 것인지, 아니면 데이터베이스를 활용할 것인지에 대한 결정이 필요하다. 본 연구에서는 DTG데이터의 특성과 가공 처리된 데이터의 생명주기에 따라 다른 저장소에 적재하여 관리한다.
  • Zeppelin[25]은 웹 기반 분석 프레임워크로 Spark을 활용한 분산 처리부터 시각화, R과 Python 기반 분석 환경, HBase등 다양한 하둡 분산 소에 대한 접근 등 분산 환경에서 데이터 분석이 가능하도록 다양한 기능들을 제공한다. 본 연구에서는 이러한 Zeppelin의 기능들을 활용할 수 있는 분석 환경을 제공하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
4차 산업혁명이란? 2016년 세계경제포럼에서 클라우드 슈밥 의장은 4차 산업혁명의 개념을 주창하였다[15]. 4차 산업혁명이란 센서를 통해 수집된 자료를 통해 현실정보를 빠르게 습득하고, 이를 기반으로 의사결정 및 미래예측까지 가능하게 하는 일련의 정보 시스템이 도입되어 다양한 산업이 연결되고 인간의 행동양식과 산업 등 환경에 변화를 불러올 거대한 흐름이다. 4차 산업혁명의 흐름과 함께 사물인터넷과 인공지능 기술이 발달하면서 자율주행 자동차의 보급도 가까워지고 있다.
실시간 운행정보를 분석하기 위해 하둡 에코시스템 기반의 DB 서버 시스템을 구축하였을때 교통관리 측면에서 얻을 수 있는 기대효과는 무엇인가? 성능시험 결과 2시간 이내의 Trip데이터를 호출할 때 OLTP 서비스에 적합한 3초 이내의 응답시간을 제공하는 것을 확인할 수 있었다. 본 연구에서 구축된 시스템에서 운행정보를 OLTP에 적합한 응답시간 내에 확인할 수 있다면, 향후 교통관리 측면에서 특정 지역의 교통량 추정 및 교통수요를 실시간 단위로 분석하는 것이 가능할 것으로 판단된다. 또한 교통정보는 시공간정보를 모두 포함하는 데이터이므로, 실시간 단위 분석을 통해 향후 자율주행 지원, 스마트 도시 관리 등에 활용할 수 있는 시공간 빅데이터 플랫폼의 개발 및 최적화에도 기여할 수 있을 것으로 판단된다.
교통분야에서 자율주행 분야는 어떤 도움을 줄 수 있는가? 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (28)

  1. 권오수, 홍동권, "실시간 검색을 위한 다중 사용자용 주기억장치 자료저장 시스템 개발", 한국정보처리학회지, 제10D권, 제2호, pp.187-194, 2003. 

  2. 김수재, 주재홍, 추상호, 이향숙, "고속버스 DTG 자료를 활용한 버스 위험운전 행태 분석", 한국ITS학회지, 제17권, 제2호, pp.87-97, 2018. 

  3. 안상하, 신용은, "DTG자료 기반 택시 이용자 통행패턴 분석: 부산시 택시 사례", 대한토목학회논문지, 제38권, 제6호, pp.907-916, 2018. 

  4. 유재곤, 유재영, 김종배, "운전 습관 개선을 위한 위험 운전 분석 어플리케이션의 설계 및 구현", 한국정보통신학회: 학술대회논문집, pp.301-303, 2015. 

  5. 임준범, 유수재, "DTG자료를 활용한 화물 자동차 운전행태 분석과 개선방향 연구", 대한교통학회지, 제12권, 제5호, pp.28-33, 2015. 

  6. 정은비, 오철, 강경표, 강연수, "V2X 환경에서 위험운전이벤트 검지 및 분석을 통한 교통안전 모니터링기법 개발", 한국ITS학회 논문지, 제11권, 제6호, pp.1-14, 2012. 

  7. 조종석, 이현석, 이재영, 김덕녕, "화물차 DTG 데이터를 활용한 고속도로 졸음운전 위험구간 분석", 대한교통학회지, 제35권, 제2호, pp.160-168, 2017. 

  8. 청주시, 청주시 교통정보 빅데이터 분석 시스템 구축, 2015. 

  9. De Waard,D. and Rooijers,T. "An experimental study to evaluate the effectiveness of different methods and intensities of law enforcement on driving speed on motorways" Accident Analysis & Prevention, Vol.26, No.6, pp.751-765, 1994. 

  10. K.Shvachko, H.Kuang, S.Radia, and R.Chansler, "The hadoop distributed file system", Mass Storage Systems and Technologies (MSST), pp.1-10, 2010. 

  11. K.Zvarevashe and T.T.Gotora, "A Random Walk through the Dark Side of NoSQL Databases in Big Data Analytics", International Journal of Science and Research, Vol.3, pp.506-509, 2014. 

  12. Konstantin V.Shvachko, "HDFS Scalability: The Limits to Growth", ;login:: the magazine of USENIX & SAGE, Vol.35, No.2, pp.6-16, 2010. 

  13. Liao,H., Han,J., and Fang,J., "Multi-dimensional Index on Hadoop Distributed File System", 2010 IEEE Fifth International Conference on Networking, Architecture, and Storage, 2010. 

  14. S. Amini, I. Gerostathopoulos and C. Prehofer, "Big data analytics architecture for real-time traffic control", 2017 5th IEEE International Conference on Models and Technologies for Intelligent Transportation Systems (MT-ITS), pp. 710-715, 2017. 

  15. Schwab, Klaus, The Fourth Industrial Revolution: what it means, how to respond, 2016. 

  16. Toledo,T., Musicant,O., and Lotan,T., "In-vehicle data recorders for monitoring and feedback on drivers' behavior", Transportation Research Part C: Emerging Technologies, Vol.16, No.3, pp.320-331, 2008. 

  17. Wouters, P.I.J. and Bos, J.M.J., "Traffic accident reduction by monitoring driver behaviour with in-car data recorders", Accident Analysis & Prevention, Vol.32, No.5, pp.643-650, 2000. 

  18. Wouters, P.I.J. and Bos, J.M.J., The impact of driver monitoring with vehicle data recorders on accident occurrence : methodology and results of a field trial in Belgium and The Netherlands, SWOV Institute for Road Safety Research (Leidschendam, Netherland), 1997. 

  19. Y.Zhong, J.Han, T.Zhang, Z.Li, J.Fang, and G.Chen, "Towards parallel spatial query processing for big spatial data", Parallel and Distributed Processing Symposium Workshops & PhD Forum (IPDPSW), pp.2085-2094, 2012. 

  20. Zeng, G. "Application of Big Data in Intelligent Traffic System", IOSR Journal of Computer Engineering, Vol.17, No.1, pp.01-04, 2015. 

  21. http://www.bigdata.go.kr/intro.html. 

  22. http://hadoop.apache.org/. 

  23. http://hbase.apache.org/. 

  24. http://spark.apache.org/. 

  25. http://zeppelin.apache.org/. 

  26. https://nifi.apache.org/. 

  27. https://www.intel.com/content/dam/www/public/us/en/documents/case-studies/big-data-xeon-e5-trustway-case-study.pdf. 

  28. https://www.scylladb.com/2019/05/23/workloadprioritization-running-oltp-and-olap-traffic-on-the-same-superhighway/. 

저자의 다른 논문 :

LOADING...
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로