[논문]IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 기술

이승해; 김주호; 신동윤; 신동진; 박정민; 김정준

doi:10.7236/jiibc.2018.18.6.1

IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 기술
Mobile-based Big Data Processing and Monitoring Technology in IoT Environment 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.18 no.6, 2018년, pp.1 - 9

이승해 (한국산업기술대학교 컴퓨터공학과) , 김주호 (한국산업기술대학교 컴퓨터공학과) , 신동윤 (한국산업기술대학교 컴퓨터공학과) , 신동진 (한국산업기술대학교 스마트팩토리융합학과) , 박정민 (한국산업기술대학교 컴퓨터공학과) , 김정준 (한국산업기술대학교 컴퓨터공학과)

초록
AI-Helper

현재 이슈가 되고 있는 4차 산업혁명에서 다양한 빅데이터 기술들을 통하여 기존의 느린 속도 보다 빠른 분석 결과를 즉각적으로 받아 볼 수 있고, 모바일과 웹에서 실시간 모니터링을 하는 연구를 진행하였다. 먼저 IoT 기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터를 생성하고 센서 데이터를 실시간 수집하고, 수집한 데이터를 여러 개의 노드를 이용해 분산 저장한 뒤 저장된 센서 데이터를 가공, 정제 처리하여 분석 모델 및 알고리즘을 통해 분석 결과를 시각화하여 출력한다. 이러한 방법들을 이용한 진행은 IoT를 이용한 빅데이터 및 모바일 관련 분야에서 필요한 고급 인력을 양성 및 데이터를 효율적이고 빠르게 처리할 수 있다. 또한, 실시간 모니터링을 통하여 연구결과의 신뢰성을 확인할 수 있는 정보를 제공하고자 한다.

Abstract ▼ AI-Helper

In the fourth industrial revolution, which has become an issue now, we have been able to receive instant analysis results faster than the existing slow speed through various Big Data technologies, and to conduct real-time monitoring on mobile and web. First, various irregular sensor Data is generated using IoT device, Raspberry Pi. Sensor Data is collected in real time, and the collected data is distributed and stored using several nodes. Then, the stored Sensor Data is processed and refined. Visualize and output the analysis result after analysis. By using these methods, we can train the human resources required for Big Data and mobile related fields using IoT, and process data efficiently and quickly. We also provide information that can confirm the reliability of research results through real time monitoring.

주제어

표/그림 (18)

그림 그림 1. IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 시스템 개념도 Fig. 1. Mobile-based Big Data Processing and Monitoring System Conceptual Diagram in IoT Environment
그림 그림 2. Flume을 이용한 로그 수집 과정 Fig. 2. Log collection process using Flume
그림 그림 3. RaspBerry Pi 코드 Fig. 3. Raspberry Pi cord
그림 그림 4. data.csv 파일 확인 경로 Fig. 4. Data.csv File Verification Path
그림 그림 5. RaspBerry Pi의 Flume 설정 명령어 Fig. 5. Flume setting command of RaspBerry Pi
그림 그림 6. RaspBerry Pi의 Flume 실행 Fig. 6. Run Flume on RaspBerry Pi
그림 그림 7. NameNode 의 Flume 설정 명령어 Fig. 7. NameNode Flume Setup Command
그림 그림 8. NameNode 의 Flume 설정 명령어 Fig. 8. NameNode Flume Setup Command
그림 그림 9. Flume을 통한 데이터 저장 과정 Fig. 9. Process of storing data through Flume
그림 그림 10. 분산 저장된 데이터 저장 확인 Fig. 10. Confirming Saved Data Saved
그림 그림 11. 데이터 처리 쿼리를 발생할 테이블 생성 Fig. 11. Create a table that will cause Data processing queries
그림 그림 12. 생성된 테이블에 대한 데이터 처리 쿼리 발생 Fig. 12. Generate Data processing query for generated table
그림 그림 13. HDFS내 /lab3에 저장된 결과파일 확인 Fig. 13. Check the results file stored in HDFS / lab3
그림 그림 14. Hive처리 프로세스 반복 쉘 스크립트 Fig. 14. Hive processing process iterative shell script
그림 그림 15. 처리쿼리를 발생시킬 lab.hive Fig. 15. Invoke the processing query with lab.hive
그림 그림 16. 실시간 온도와 습도 그래프 Fig. 16. Real-time temperature and humidity graph
그림 그림 17. 어플리케이션 메인화면 Fig. 17. Application main screen
그림 그림 18. 실시간 정보 페이지 Fig. 18. Real-time information page

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문의 목적은 IoT 환경에서 모바일 기반 빅데이터 처리 및 모니터링 시스템을 구현하여 효율적인 시스템 관리 기능을 개발하는 것으로 관리자가 어디서든 모바일 어플리케이션을 이용하여 모니터링 함으로써 비정형 센서 데이터를 실시간으로 수집, 처리, 분석할 수 있는 시스템을 개발하는 것이다.

제안 방법

본 논문에서는 기존의 비정형 센서 데이터 수집, 처리, 분석 방법이 수동적이라는 단점을 보완하기 위하여 1) IoT기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터 생성, 2) 센서 데이터 실시간 수집, 3) 여러 개의 노드를 이용한 분산 저장, 4) 저장된 센서 데이터 가공, 정제, 5) 가공, 정제 결과 시각화 단계들을 제안하였다. 제안 사항들을 통해서 기존 수동적인 과정의 문제점을 탐지하고 그것에 대응하는 전략 적용이 가능했고 빅데이터 시장에서 활용되는 서비스의 품질을 향상시킬 수 있기 때문에 관련 기업들의 수익률 증대와 국가차원의 경제효과를 도모할 수 있고 4차 산업혁명에서 중요하게 여기어지는 IoT, AI, Cloud, Smart Factory 등 다양한 기술 분야에서 빅데이터, 모바일 관련 고급 인력을 양성할 수있다.
애플리케이션 제작 프로그램인 Android Studio를 사용하여 애플리케이션을 제작하였다. 구현된 웹 홈페이지의 주소를 연동하여 웹 뷰 형식으로 제작하였고 웹 홈페이지를 제작할 때 그래프의 크기를 사용자가 사용하는 기기의 화면 크기에 맞게 자동으로 변화되게 제작하여 그래프의 크기는 스마트폰 화면에 맞춰져 있어 따로 설정하지 않았다.
위에서 설명한 대로 Window 운영체제 기반의 서버에서 Eclipse를 사용하여 구성한 HTML 파일을 실행시키게 되는데 HTML에서 CSS를 사용하여 기본적인 UI들을 구성하였고 그래프의 실시간 처리가 이루어져야 하기 때문에 서버 안에 저장되는 데이터들을 실시간으로 가져와야만 했다. 그래서 비동기적으로 서버와 클라이언트가 통신할 수 있는 Ajax를 사용하여 데이터들의 컬럼들을 배열처럼 선언해주고 배열의 인덱스 값을 사용하여 어떤 값들을 그래프로 표현할 것인지 명시하고 온도, 습도, 온도 + 습도의 3가지 그래프로 구성하고 1초에 해당하는 interval을 기재하였다. 또한 혹시 모를 경우를 대비하여 서버 자체에서도 실행 파일과 웹이 동기화될 수 있도록 자동으로 서버를 refresh 하도록 설정해 주었다.
Sink에서는 NameNode에 분산 저장하기 위해 type을 HDFS로 지정해 주었고 파일이 저장될 경로를 지정하였다. 그리고 HDFS에 쌓이게 되는 센서 파일의 형식은 Text, 이벤트 수의 제한은 1000개, 파일을 나누는 기준은 20분으로 설정하였다.
Flume은 사용자가 지정한 실시간으로 데이터가 HDFS에 저장되기 때문에 데이터가 저장되는 대로 Hive의 처리도 지속적해서 이루어져야 한다. 따라서 Hive의 처리 프로세스를 쉘 스크립트 안에서 for 문을 사용하여 계속해서 반복되는 식으로 구성하였다.
수집된 로그 데이터의 형식은 “시간, 온도, 습도”로 구성되어 있으며, 실시간으로 수집되는 센서 데이터는 처리 프로세스 단계를 거쳐 온도의 단위와 습도의 단위를 통일하는 작업을 진행한다.
애플리케이션 제작 프로그램인 Android Studio를 사용하여 애플리케이션을 제작하였다. 구현된 웹 홈페이지의 주소를 연동하여 웹 뷰 형식으로 제작하였고 웹 홈페이지를 제작할 때 그래프의 크기를 사용자가 사용하는 기기의 화면 크기에 맞게 자동으로 변화되게 제작하여 그래프의 크기는 스마트폰 화면에 맞춰져 있어 따로 설정하지 않았다.
제안하는 방법은 총 5단계로 1) IoT 기기 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터 생성, 2) 센서 데이터 실시간 수집, 3) 여러 개의 노드를 이용한 분산 저장, 4) 저장된 센서 데이터 가공, 정제, 5) 가공, 정제된 결과를 시각화를 수행한다. 제안 사항들을 통해 온도와 습도의 직관적이고, 수동적인 정보만이 아니라 온도와 습도의 실시간 정보를 동시에 비교하여, 실시간 그래프를 통해 5단계의 방법의 유효성을 입증시킨다. 본 논문은 다음과 같이 구성된다.
처리 및 정제가 완료된 데이터를 실시간으로 Web, Mobile Application 환경에서 보여주기 위해서 Apache Tomcat 서버와 Eclipse를 연동하여 서버 구동을 하였다. 구축된 서버를 통하여 HTML과 JavaScript를 사용하여 시각화한 결과를 Web, Mobile Application에서 확인할 수 있도록 배포한다.
그 사례로 보일러 스위치에서 온도와 습도를 직관적인 온도와 습도의 상태만 볼 수 있었다. 하지만 본 연구에서는 현 상태만 볼 수 있었던 수동적이라는 단점을 개선하기 위해 IoT 기기인 Raspberry Pi를 이용하여서 실시간으로 센서 데이터를 생성하고 빅데이터 기술을 이용해 처리, 분석할 수 있는 방법을 제안한다^[1,2].

대상 데이터

Channel은 이벤트를 임시로 저장하여 Sink 로 전달하는 역할을 하며 이벤트 크기는 100000개로 지정하고 트랜잭션의 크기는 10000개로 설정하였다. 마지막으로 Sinks는 이벤트를 외부로 출력하는 부분으로 NameNode로 전송되는 부분이기 때문에 전송 받는 NameNode의 IP주소와 임의의 Port 주소 33333을 한 번에 받을 수 있는 이벤트의 수를 1000개로 지정하였다.
센서 데이터를 수집하기에 앞서 RaspBerry Pi의 센서에서 발생하는 데이터는 그림 3과 같은 Python 언어를 사용하여 수집한다. 그리고 csv와 time 라이브러리를 삽입하고, data.
유튜브(Youtube), 페이스북(Facebook), 카카오톡 (KakaoTalk), 트위터(Twitter)와 같이 우리가 생활하며 사용하는 모든 것들이 데이터가 된다. 유튜브 동영상을 시청하고, 페이스북 타임라인을 통하여 친구들의 상태를 확인하여, 카카오톡을 통해 실시간으로 대화하는 모든 것들이 데이터를 통해 이루어지고 저장된다.

성능/효과

본 논문에서는 기존의 비정형 센서 데이터 수집, 처리, 분석 방법이 수동적이라는 단점을 보완하기 위하여 1) IoT기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터 생성, 2) 센서 데이터 실시간 수집, 3) 여러 개의 노드를 이용한 분산 저장, 4) 저장된 센서 데이터 가공, 정제, 5) 가공, 정제 결과 시각화 단계들을 제안하였다. 제안 사항들을 통해서 기존 수동적인 과정의 문제점을 탐지하고 그것에 대응하는 전략 적용이 가능했고 빅데이터 시장에서 활용되는 서비스의 품질을 향상시킬 수 있기 때문에 관련 기업들의 수익률 증대와 국가차원의 경제효과를 도모할 수 있고 4차 산업혁명에서 중요하게 여기어지는 IoT, AI, Cloud, Smart Factory 등 다양한 기술 분야에서 빅데이터, 모바일 관련 고급 인력을 양성할 수있다. 그러나 서버의 사양이 부족하여 refresh를 진행 할 때 불안정한 모습을 보여 서버환경을 개선해야할 필요가 있고 비교 데이터의 양을 늘려볼 필요가 있다.

후속연구

이것은 더 능동적인 빅데이터 처리과정을 진행해야 하는 목표와 다양한 분석을 목표로 두고 개선해 나아가면 현재 연구의 문제를 개선할 수 있다. 따라서 현재 연구와 개선사항의 연계를 통해 한정된 데이터에 국한되어 있는 것이 아닌 다양한 데이터를 통해 연구가 진행되도록 향후 연구에서 다룰 예정이다.
그러나 서버의 사양이 부족하여 refresh를 진행 할 때 불안정한 모습을 보여 서버환경을 개선해야할 필요가 있고 비교 데이터의 양을 늘려볼 필요가 있다. 이것은 더 능동적인 빅데이터 처리과정을 진행해야 하는 목표와 다양한 분석을 목표로 두고 개선해 나아가면 현재 연구의 문제를 개선할 수 있다. 따라서 현재 연구와 개선사항의 연계를 통해 한정된 데이터에 국한되어 있는 것이 아닌 다양한 데이터를 통해 연구가 진행되도록 향후 연구에서 다룰 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	빅데이터란?	현재 우리는 “빅데이터”라는 기술이 주가 되어 있는 스마트 시대에 살고 있다. 이 “빅데이터”는 작은 단위의 데이터로는 진행할 수 없었던 데이터의 새로운 발견이나 여러 가지 형태의 가치를 큰 단위의 데이터를 활용해 추출 해내는 기술이다. 기존에도 많은 양의 데이터가 존재하였지만, 특히 “빅데이터”라고 칭해 부르는 이유는 날이 갈수록 발전해 가고 있는 기술과 함께 데이터의 양이 무섭게 증가하고 있기 때문이다.
	센서로 수집한 데이터를 어떤 데이터라고 부르는가?	이러한 데이터뿐만 아니라 사물에 센서를 부착해 실시간으로 데이 터를 인터넷으로 주고받는 기술인 사물인터넷, 즉 IoT 기술은 쏟아지는 실시간 데이터를 생성하여 빅데이터 기술을 이용하면 저장, 관리, 분석할 수 있기 때문에 빅데이터 기술이 중요해지고 있다. 이렇게 센서로 수집한 데이터를 비정형 데이터라고 하며, 기존의 비정형 센서 수집, 처리, 분석방법이 수동적이라는 단점이 있다.
	IoT기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터를 처리 및 가공한 결과 기대할 수 있는 효과는 무엇인가?	본 논문에서는 기존의 비정형 센서 데이터 수집, 처리, 분석 방법이 수동적이라는 단점을 보완하기 위하여 1) IoT기기인 Raspberry Pi를 이용하여 다양한 비정형 센서 데이터 생성, 2) 센서 데이터 실시간 수집, 3) 여러 개의 노드를 이용한 분산 저장, 4) 저장된 센서 데이터 가공, 정제, 5) 가공, 정제 결과 시각화 단계들을 제안하였다. 제안 사항들을 통해서 기존 수동적인 과정의 문제점을 탐지하고 그것에 대응하는 전략 적용이 가능했고 빅데이터 시장에서 활용되는 서비스의 품질을 향상시킬 수 있기 때문에 관련 기업들의 수익률 증대와 국가차원의 경제효과를 도모할 수 있고 4차 산업혁명에서 중요하게 여기어지는 IoT, AI, Cloud, Smart Factory 등 다양한 기술 분야에서 빅데이터, 모바일 관련 고급 인력을 양성할 수있다. 그러나 서버의 사양이 부족하여 refresh를 진행 할때 불안정한 모습을 보여 서버환경을 개선해야할 필요가 있고 비교 데이터의 양을 늘려볼 필요가 있다.

참고문헌 (8)

Dong-Hak Kim, Pu-Sik Park, Byung-Seo Kim, "IoT-based IOS Application to Improve Heating and Cooling Satisfaction Level of Urban Railway Passenger," The Journal of The Institute of Internet, Broadcasting and Communication, Vol.18 No.1, 2018.2, 1-8 DOI: https://doi.org/10.7236/JIIBC.2018.18.1.1
Byeong-ho Cho, "Analysis and Design of Fruit e-Commerce System based on IoT," The Journal of The Institute of Internet, Broadcasting and Communication, Vol.18 No.3, 2018.6, 135-141 DOI: https://doi.org/10.7236/JIIBC.2018.18.3.135
Jae-Young Chang, "An Experimental Evaluation of Box office Revenue Prediction through Social BigData Analysis and Machine Learning," The Journal of The Institute of Internet, Broadcasting and Communication, Vol.17 No.3, 2017.6, 167-173 DOI: https://doi.org/10.7236/JIIBC.2017.17.3.167
Soon-duck Yoo, "A Study on Blockchain Ecosystem," The Journal of The Institute of Internet, Broadcasting and Communication, Vol.18 No.2, 2018.4, 1-9 DOI: https://doi.org/10.7236/JIIBC.2018.18.2.1

원문보기 상세보기
Sung-Sam Hong, Myung-Mook Han, "The Efficient Method of Parallel Genetic Algorithm using MapReduce of Big Data," Journal of Korean Institute of Intelligent Systems, Vol.23 No.5, 2013.12, 385-391 DOI: http://dx.doi.org/10.5391/JKIIS.2013.23.5.385

원문보기 상세보기
Hyun-Tack Seok, "Hybrid Web App Development for Eye movement at Mobile Devices," The Journal of The Institute of Internet, Broadcasting and Communication, Vol.13 No.6, 2013.12, 249-254 DOI: http://dx.doi.org/10.7236/JIIBC.2013.13.6.249
Chang-hun O, Yong-hui Cheon, "Implementation and Characteristics Analysis of Java-based Software Streaming Technology," Journal of Korean Institute of Information Technology, Vol.11 No.1, 2013.1, 205-216 DOI: 10.14801/kiitr.2013.11.1.205
Hyo-sang Kwon, Oh Yang, "The Implementation of the Solar Inverter Monitoring System using an AJAX," Journal of the Korea Institute of Information and Communication Engineering, Vol.16 No.9, 2012.9, 1915-1922 DOI: http://dx.doi.org/10.6109/jkiice.2012.16.9.1915

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증