[논문]스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론

박종원; 심예찬; 정혜선; 이용우

doi:10.7472/jksii.2018.19.4.1

스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론
Real Time Distributed Parallel Processing to Visualize Noise Map with Big Sensor Data and GIS Data for Smart Cities 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.19 no.4, 2018년, pp.1 - 6

박종원 (School of Electrical and Computer Engineering, University of Seoul) , 심예찬 (School of Electrical and Computer Engineering, University of Seoul) , 정혜선 (School of Electrical and Computer Engineering, University of Seoul) , 이용우 (School of Electrical and Computer Engineering, University of Seoul)

초록
AI-Helper

스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다. 본 논문은, 스마트 시티의 융복합된 유비쿼터스센서네트워크들로부터 끊임없이 전달되는 대량의 스트림 데이터를, 실시간으로 전달받아서, 지리정보시스템 (GIS)의 정보들과 융합하여, 시각적으로 소음정보를 표시하여 주는, 3차원 소음지도를 실시간으로 제작하는, 실시간 분산병렬처리 방법론을 제시하였다. 이 방법론을 오픈소스소프트웨어를 활용하여 실제 시스템으로 개발되어 구현하였다. 본 논문에서는, 이와 같이 구현된 시스템들 중에서, 아파치 스톰(Apache Storm) 프레임워크를 사용하여 구현한 실제 시스템을 소개한다. 본 연구에서는, 이 실제 구현된 시스템을 성능평가하였다. 대량의 비정형 데이터를 실시간으로 처리하려면, 큰 컴퓨팅 파워가 필요하며, 필요한 컴퓨팅 파워의 규모도 사전에 알 수 없다는 문제들이 있다. 이 문제들을 해결하기 위하여, 본 연구에서는, 컴퓨팅 파워를 자유롭게 조절하여 공급할 수 있는. 클라우드 컴퓨팅을 사용하여 성능평가를 하였다. 이와 같은 성능평가를 통하여, 본 논문에서 제시한 방법론이 적절함을 확인하였고, 개발하여 구현한 시스템이 잘 작동함도 확인하였다. 나아가서는. 실시간으로 소음지도를 생산할 수 있음을 확인하였다. 본 논문은 이와 같은 성능평가 내용도 소개하고 상세히 설명한다.

Abstract ▼ AI-Helper

In smart cities, data from various kinds of sensors are collected and processed to provide smart services to the citizens. Noise information services with noise maps using the collected sensor data from various kinds of ubiquitous sensor networks is one of them. This paper presents a research result which generates three dimensional (3D) noise maps in real-time for smart cities. To make a noise map, we have to converge many informal data which include big image data of geographical Information and massive sensor data. Making such a 3D noise map in real-time requires the processing of the stream data from the ubiquitous sensor networks in real-time and the convergence operation in real-time. They are very challenging works. We developed our own methodology for real-time distributed and parallel processing for it and present it in this paper. Further, we developed our own real-time 3D noise map generation system, with the methodology. The system uses open source softwares for it. Here in this paper, we do introduce one of our systems which uses Apache Storm. We did performance evaluation using the developed system. Cloud computing was used for the performance evaluation experiments. It was confirmed that our system was working properly with good performance and the system can produce the 3D noise maps in real-time. The performance evaluation results are given in this paper, as well.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 스마트시티에서 소음지도를 실시간으로 제작하기 위하여, 파이프라이닝 분산병렬처리 기술을 이용하여, 실시간 분산 병렬처리 시스템을 설계하고 우수한 오픈소스 소프트웨어인 아파치 스톰의 함수들을 활용하여 시스템을 구현한 후 이를 성능평가하여 결과를 발표하였다. 성능평가 결과, 실시간으로 처리 가능함을 검증하였다.
따라서 스마트시티를 위한, 센서 빅 데이터 기반의 3차원 소음지도를 실시간으로 처리하기 위하여 아파치 스톰의 관련 기술들을 사용하여 실시간 스트림 처리에 적합하도록 3차원 소음지도 처리모델을 설계하였다. 이를, 구현하여, 성능평가를 진 행함으로서, 우리의 연구 결과를 검증하고자 한다.

제안 방법

이를 위해서 두 번째 단계(처리기 볼트)에서는 첫 번째 단계로부터 소음 데이터들의 묶음인 튜플을 받는다. 각각의 소음 데이터에서 소음측정지의 위치 좌표 값을 검사하여 같은 평면상에 있는 소음 데이터들끼리 분류하고, 이렇게 분류된 소음 데이터의 소음 레벨을 이용하여 평면 그리드 상에 보간하여, 소음 그리드를 만든다. 이 소음 그리드를 튜플로 변환하여 세 번째 단계로 보낸다.
3장에서 설명한 방법을 기반으로 본 연구에서 개발한 실시간 분사병렬처리 방법론을 3장에서 설명한 소음지도 제작 방법에 적용한 실시간 소음지도 제작 시스템을 설명한다. 개발한 실시간 분산병렬처리 시스템은 두 단계의 파이프라이닝 기법으로 빅 스트림 데이터를 처리한다. 첫 단계에서는, 외부 데이터 소스 (Source)로부터 데이터를 읽어 스트림 데이터의 최소 단위인 튜플(Tuple)로 바꾸어 두 번째 단계로 보내는 역할을 수행한다.
8Ghz CPU, 500GB HDD, 8GB DDR3 RAM, Ubuntu OS이다. 노드의 개수를 변화시키면서 성능측정을 하였다. 1대, 2대, 3대, 5대, 11대 일 때의 구성을 가지고 실험하였다.
개발된 분산병렬처리 방법론은 오픈소스 소프트웨어인 아파치 스톰을 이용하여 시스템으로 구현하였다. 단계1에서는 아파치 스톰[15]에서 제공하는 스파우트(Spout) 함수를 사용하여 구현하였으며, 단계2와 단계3에서는 아파치 스톰에서 제공하는 볼트 (Bolt) 함수를 사용하여 구현하였다.
그러나, 소음지도를 처리하기 위해서 아파치 스톰을 이용하는 연구사례는 없었다. 따라서 스마트시티를 위한, 센서 빅 데이터 기반의 3차원 소음지도를 실시간으로 처리하기 위하여 아파치 스톰의 관련 기술들을 사용하여 실시간 스트림 처리에 적합하도록 3차원 소음지도 처리모델을 설계하였다. 이를, 구현하여, 성능평가를 진 행함으로서, 우리의 연구 결과를 검증하고자 한다.
3차원 소음 지도를 실시간으로 처리한 실험의 경우, 20초에 1회 정도 도시 데이터가 처리되면 실시간으로 처리가 되었다 가정 (soft real-time)하고, 3장에서 설명한 소음 데이터를 약 30만 건 입력받아서 처리하였다. 소음지도를 제작하고, 제작된 소음지도를 3차원 소음지도 저장소에 저장하기까지 의 과정을 30번 반복하여 1회 평균 시간을 산출하였다.
[12] 본 논문에서는 이전 연구인 [13]에서 사용한 방법을 이용하여 소음데이터를 생성하였다. 스마트시티에서 발생하는 소음데이터를 이용하여 소음지도를 작성하기 때문에 실측 소음데이터을 사용하였고, 실측된 소음데이터의 주변 소음도를 보다 정확하게 분석하기 위하여 예측식을 함께 도입하였다.
그러나, MPI와 MapReduce를 이용하는 방식은 실시간 스트림 처리를 할 수 없다. 스마트시티에서의 대용량의 IoT 빅데이터를 처리하기 위한 방법론을 제시하였고, 이 방법론을 소음지도를 제작하는 데, 이용하였다. [9]
이에, 본 논문에서는 실시간 처리 기능을 이에 더하여 처리하기 위한 분산병렬처리 방법론을 제안하고, 본 연구에서 제안하는 방법론이 ‘실시간 3차원 소음지도’를 처리 하기에 적합한지, 실제 구현을 통한 성능평가를 진행한다.
도시 모델을 만들 때, 수치지도에서 이차원 좌표점을 추출하고, 도화원도에서 3차원 좌표값을 추출한 다. 추출한 점을 수치지도를 기반하여 동일 건물을 검색하고, 건물의 높이값을 추출하고, 건물의 지붕면 및 벽면을 형성하여 3차원 건물 모델을 생성하였다. [14] 두 번째로 센서로부터 측정되는 소음 데이터를 이용하여, 소음 이미지를 생성한다.

대상 데이터

노드의 개수를 변화시키면서 성능측정을 하였다. 1대, 2대, 3대, 5대, 11대 일 때의 구성을 가지고 실험하였다. 3차원 소음 지도를 실시간으로 처리한 실험의 경우, 20초에 1회 정도 도시 데이터가 처리되면 실시간으로 처리가 되었다 가정 (soft real-time)하고, 3장에서 설명한 소음 데이터를 약 30만 건 입력받아서 처리하였다.
3차원 소음지도를 만들기 위해서는 첫 번째로 우리가 적용시킬 도시를 모델링하여야 한다. 본 논문의 실험에 적용된 도시 모델은 서울의 청계천 지형 (51개의 빌딩과 지면)을 사용했다. 도시 모델을 만들 때, 수치지도에서 이차원 좌표점을 추출하고, 도화원도에서 3차원 좌표값을 추출한 다.
두 번째 단계에서는, 총 52회 튜플들이 보내어진다. 지면의 소음 데이터들의 묶음 1개, 각각의 빌딩에서 발생한 소음 데이터들의 묶음 51개로써 총 52개이다. 지면과 각각의 빌딩에서 발생하는 소음 데이터들은 한 그룹으로 의미가 있고 이를 이용하여 모델에 입힐 소음 이미지를 생성해야 한다.

이론/모형

3차원 소음지도의 모델링 및 시각화에는 VRML (Virtual Reality Modeling Language)을 사용하였다.
소음지도는 지리정보시스템을 이용하여 대상지역의 측정된 소음측정데이터와 지형정보를 결합하여 데이터베이스를 생성하며, 공간분석을 통해 주변의 소음도를 표시하는 방법과, 소음 예측식을 이용하여 소음에 영향을 줄 수 있는 인자(교통량, 전장, 평균속력 등) 소음의 물리적 특성을 사용하여 소음도 예측하여 작성하는 방법이 있다. [12] 본 논문에서는 이전 연구인 [13]에서 사용한 방법을 이용하여 소음데이터를 생성하였다. 스마트시티에서 발생하는 소음데이터를 이용하여 소음지도를 작성하기 때문에 실측 소음데이터을 사용하였고, 실측된 소음데이터의 주변 소음도를 보다 정확하게 분석하기 위하여 예측식을 함께 도입하였다.
두 번째 단계와 세 번째 단계에서는 받은 튜플을 이용하여 파이프라이닝 방식으로 융합처리하는 역할을 수행한다. 개발된 분산병렬처리 방법론은 오픈소스 소프트웨어인 아파치 스톰을 이용하여 시스템으로 구현하였다. 단계1에서는 아파치 스톰[15]에서 제공하는 스파우트(Spout) 함수를 사용하여 구현하였으며, 단계2와 단계3에서는 아파치 스톰에서 제공하는 볼트 (Bolt) 함수를 사용하여 구현하였다.
우리의 이전 연구에서, MPI (Message Processing Interface) 방법론 [7]과 MapReduce 기반 방법론[8]을 이용하여 대규모 소음 데이터를 처리하여 스마트시티에서 사용하는 연구를 수행하였다. 그러나, MPI와 MapReduce를 이용하는 방식은 실시간 스트림 처리를 할 수 없다.

성능/효과

본 논문에서는 스마트시티에서 소음지도를 실시간으로 제작하기 위하여, 파이프라이닝 분산병렬처리 기술을 이용하여, 실시간 분산 병렬처리 시스템을 설계하고 우수한 오픈소스 소프트웨어인 아파치 스톰의 함수들을 활용하여 시스템을 구현한 후 이를 성능평가하여 결과를 발표하였다. 성능평가 결과, 실시간으로 처리 가능함을 검증하였다. 추후에 여러 가지 다른 방법론을 개발하고 이를 더 우수한 오프소스 소프트웨어들을 활용하여 구현하는 방법을 통하여 지속적으로 실시간 처리 능력을 향상시키고 시스템의 성능과 기타 우수성을 높이고자 한다.
그림 7은 컴퓨터 노드 수에 따른 소음지도 제작에 걸리는 평균 처리시간 변화를 나타낸다. 컴퓨터 노드가 1대 일 때는 약 40초, 2대일 때는 약 20초로 2배정도 성능이 향상되었고, 5대일 때는 약 13초정도로 2대일 때 보다 약 1.6배정도 성능이 향상됨을 볼 수 있었다. 하지만 11대일 경우 5대랑 속도차이가 별로 없음을 확인 할 수 있는데 이는 하나의 튜플이 한 노드에서 처리되는 시간이 최대 10초 정도 걸린다는 것을 의미한다.

후속연구

성능평가 결과, 실시간으로 처리 가능함을 검증하였다. 추후에 여러 가지 다른 방법론을 개발하고 이를 더 우수한 오프소스 소프트웨어들을 활용하여 구현하는 방법을 통하여 지속적으로 실시간 처리 능력을 향상시키고 시스템의 성능과 기타 우수성을 높이고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스마트시티에서 제공하는 것은?	스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다.
	지상에서 뿐만 아니라 높이에 따른 소음지도가 필요한 이유는?	스마트시티의 스마트 서비스 중의 하나로서 지리정보 시스템 (GIS : Geographic Information System) 기반의 빅 데이터를 처리하여 시각화 해주는 ‘소음지도’가 있다. 도시의 건물이 고층화가 진행됨에 따라, 지상에서의 소음도 뿐만 아니라, 높이에 따른 소음도가 중요해지고 있다. ‘3 차원 소음지도’는 지상뿐만 아니라, 높이에 따른 소음도 를 표시할 수 있기 때문에 그 중요성이 높아지고 있다.
	소음지도 작성 방법에는 어떠한 것이 있는가?	소음지도는 지리정보시스템을 이용하여 대상지역의 측정된 소음측정데이터와 지형정보를 결합하여 데이터베이스를 생성하며, 공간분석을 통해 주변의 소음도를 표시하는 방법과, 소음 예측식을 이용하여 소음에 영향을 줄 수 있는 인자(교통량, 전장, 평균속력 등) 소음의 물리적 특성을 사용하여 소음도 예측하여 작성하는 방법이 있다. [12] 본 논문에서는 이전 연구인 [13]에서 사용한 방법을 이용하여 소음데이터를 생성하였다.

참고문헌 (15)

Hae Sun Jung, Chang Sung Jeong, Yong Woo Lee, and Phil Doo Hong, "An Intelligent Ubiquitous Middleware for U-City: SmartUM," Journal of Information Science and Engineering, vol. 25, issue 2, pp. 375-388, March, 2009, http://jise.iis.sinica.edu.tw/JISESearch/pages/View/PaperView.jsf?keyId35_562.

상세보기
Y. W. Lee, "Smart-city," European Union Parliament Seminar, May, 2013, [Online]. Available: http://www.europarl.europa.eu/document/activities/cont/201305/20130514ATT66084/20130514ATT66084EN.pdf
Kai-Di Chang, Jiann-Liang Chen, "A Survey of Trust Management in WSNs, Internet of Things and Future Internet", KSII Transactions on Internet and Information Systems, vol. 6, no. 1, pp. 5-23, January 30, 2012, http://dx.doi.org/10.3837/tiis.2012.01.001.

원문보기 상세보기
Hak Geon Lee, Chang Ho Yun, Jong Won Park, Yong Woo Lee, "An Analysis of Big Video Data with Cloud Computing in Ubiquitous City," Journal of Korean Society for Internet Information, vol. 15, no. 3, pp. 45-52, June, 2014, http://dx.doi.org/10.7472/jksii. 2014.15.3.45.

원문보기 상세보기
European Parliament, Directive 2002/49/EC, 25 June 2002, Available From : http://eur-lex.europa.eu/legal-content/EN/TXT/?uriCELEX:32002L0049
Paris Noise Map [Online], Available : http://parisisinvisible.blogspot.co.uk/2011/10/noise-maps-of-paris.html
Hyun Kyu Park, Yong Woo Lee, seo Il Jang, Im Pyeong Lee, "Online visualization of Urban Noise in Ubiquitous-city Middleware," Advanced Communication Technology (ICACT), vol. 1, pp. 268-271, 2010, ISBN: 978-1-4244-5427-3, http://ieeexplore.ieee.org/stamp/stamp.jsp?tp&arnumber5440461&isnumber5440112.
Jong Won Park et al, "Cloud computing for online visualization of GIS applications in ubiquitous city." CLOUD COMPUTING 2010, The First International Conference on Cloud Computing, GRIDs, and Virtualization. pp. 170-175, 2010, ISBN: 978-1-61208-106-9, https://www.thinkmind.org/index.php?viewarticle&articleidcloud_computing_2010_7_ 30_50082.
Chang Ho Yun, Jong Won Park, Hae Sun Jung, and Yong Woo Lee, "Real-Time IoT Big-data Processing for Stream Reasoning," Journal of Korean Society for Internet Information, vol. 18, no.3, pp. 1-9, June, 2017, http://dx.doi.org/10.7472/jksii.2017.18.3.01.

원문보기 상세보기
Zeqiang Chen, Nengcheng Chen, and Jianya Gong, "Design and implementation of the real-time GIS data model and Sensor Web service platform for environmental big data management with the Apache Storm," Agro-Geoinformatics (Agro-geoinformatics), 2015 Fourth International Conference on, pp. 32-35, 2015, http://dx.doi.org/10.1109/Agro-Geoinformatics.2015.7248139.
Yiyang Pei et al, "A Cloud-Based Stream Processing Platform for Traffic Monitoring Using Large-Scale Probe Vehicle Data," 2017 IEEE Wireless Communications and Networking Conference (WCNC), pp. 1-6, 2017, http://dx.doi.org/10.1109/WCNC.2017. 7925820.
Noise Info (National Noise Information System), [Online]. Avaliable from : http://www.noiseinfo.or.kr/about/noisemapinfo.jsp?pageNo1102
Yong Woo LEE et al, "Online Image Processing of Urban Noise for Ubiquitous Environment," Proceedings of the KSII Spring Conference, Vol. 11, No. 1, pp. 157-160, 2010, http://www.dbpia.co.kr/Journal/ArticleDetail/NODE01467519.
Sojung Oh, Impyeong Lee, Seongjoon Kim, Kyoung Ah Choi, "Generation of a City Spatial Model using a Digital Map and Draft Maps for a 3D Noise Map," Korean Journal of Remote Sensing, vol. 24, no 2, pp. 179-188, http://uci.or.kr/G704-000443.2008.24.2.006
Apache Storm [Online]. Available from : http://storm.apache.org/

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증