[논문]하둡 기반의 통합설비 모니터링시스템 설계 및 구현 사례 연구

김상락; 장길상; 조지운

doi:10.7232/jkiie.2014.40.1.034

하둡 기반의 통합설비 모니터링시스템 설계 및 구현 사례 연구
Case Study of Design and Implementation for Hadoop-Based Integrated Facility Monitoring System 원문보기

대한산업공학회지 = Journal of the Korean Institute of Industrial Engineers, v.40 no.1, 2014년, pp.34 - 42

김상락 (비케이앤씨) , 장길상 (울산대학교 경영정보학과) , 조지운 (울산대학교 산업경영공학부)

Abstract ▼ AI-Helper

SCADA and DCS that have performed automatic control and monitoring activities increase the productivity of enterprise in industries. In such systems, although their performance had been improved, there are still many deficiencies in predictive maintenance which can foresee the risk of any kinds of accidents. Because the data acquisition systems of main facilities are being distributed throughout the whole plant and therefore, integration of data obtained from the systems is very difficult. Accordingly, techniques that acquire meaningful information from the gathered data through realtime analysis still need to be improved. This paper introduces a developed facility monitoring system which can predict equipment failure and diagnose facility status through big data analysis to improve equipment efficiency and prevent safety accidents.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 현장의 이러한 다양한 문제점들을 해결하기 위해 빅데이터 기술을 활용하여 각종 설비에서 발생하는 데이터를 하둡 플랫폼에 저장하고, 그 데이터를 배치 분석하여 설비상태를 진단하고, 이상 징후가 발견되면 즉시 담당자들에 통지하는 통합설비모니터링 시스템을 개발하였다. 본 통합설비 모니터링 시스템 개발을 위해 울산 소재 5개 기업들의 실 상황을 조사하고 개선 방향을 모색하였고 개발 시 이를 반영하였다.
빅데이터는 지금까지 이해할 수 없었던 정보를 이해하고, 분석할 수 없었던 대용량의 비정형 데이터를 처리하는 기술로서 데이터를 이용한 지능형 서비스 구현의 기반 기술이다. 이 기술은 가까운 미래에 사용자에게 제공하는 서비스의 질을 높이고 전문가의 역할과 가치를 바꿔놓을 것이다. 아울러 불가능할 것으로 생각되었던 음성 인식이나 자동 번역이 빅데이터를 기반으로 현실화되면서 IT 업계는 다시, 생각할 수 있는 기계를 꿈꾸고 있다(Son, 2012).

제안 방법

첫번째 방법은 마이크로프로세스와 각종 키트를 활용해서 온도, 조도, 습도 값을 취득하여 데이터를 수집하는 시스템을 개발하였다. 기본 펌웨어 소스는 HBE-MCU-Multi의 MCU가 연결된 포토센서 CDS와 온/습도 센서로부터 데이터 값을 주기적으로 수신하여 MCU와 연결된 TEXT LCD에 디스플레이하는 동시에, UART 통신으로 데이터 수집 서버에 데이터를 송신하는 동작을 수행하도록 구성하였다. [Figure 6]은 전체 시나리오에 따른 시스템 구성을 보여준다.
대용량 데이터가 처리되는 다양한 단계에서의 문제점을 해결하기 위해 분산 처리 소프트웨어 플랫폼인 하둡을 통합설비 모니터링시스템의 핵심 기술로 사용하도록 설계하였다. 하둡은 자바로 구현된 맵리듀스 프로그래밍을 이용하여 대용량 데이터를 클러스터 환경에서 병렬로 처리한다.
두 번째 데이터 수집 및 저장 방법으로 제조현장 설비로부터 직접 데이터를 수신 받아 데이터베이스화 하였다. [Figure 8]은 현장 설비와 각종 장비들의 전체적인 레이아웃이며 각 장치 및 개략적인 기능은 다음과 같다.
소프트웨어 아키텍처는 [Figure 5]에서 보는 바와 같이 다양한 오픈 소스들을 결합하여 설비 데이터를 수집, 저장, 분석, 그리고 시각화하도록 구성하였으며 다소 기능이 부족하거나 적용이 어려운 부분은 자체 개발하여 연계하였다. 또한 관계형 데이터베이스와 하둡 파일 시스템을 함께 사용하는 하이브리드 타입으로 설계하였다(Armbrust et al., 2010; Dean et al., 2004; Shvachko et al., 2010).
본 연구에서는 현장의 이러한 다양한 문제점들을 해결하기 위해 빅데이터 기술을 활용하여 각종 설비에서 발생하는 데이터를 하둡 플랫폼에 저장하고, 그 데이터를 배치 분석하여 설비상태를 진단하고, 이상 징후가 발견되면 즉시 담당자들에 통지하는 통합설비모니터링 시스템을 개발하였다. 본 통합설비 모니터링 시스템 개발을 위해 울산 소재 5개 기업들의 실 상황을 조사하고 개선 방향을 모색하였고 개발 시 이를 반영하였다.
소프트웨어 아키텍처는 [Figure 5]에서 보는 바와 같이 다양한 오픈 소스들을 결합하여 설비 데이터를 수집, 저장, 분석, 그리고 시각화하도록 구성하였으며 다소 기능이 부족하거나 적용이 어려운 부분은 자체 개발하여 연계하였다. 또한 관계형 데이터베이스와 하둡 파일 시스템을 함께 사용하는 하이브리드 타입으로 설계하였다(Armbrust et al.
실제 현장 상황을 보다 정확히 파악하기 위해 대기업 및 중견 제조업체 5개사를 대상으로 설비관리 업무의 고질적인 문제점과 개선 사항에 대해 팀장급 이상 관리자들과 인터뷰를 실시하였다. 그 결과 “제조현장에서 발생하고 있는 폭발사고 및 화학물질 누출로 인한 사고를 미연에 방지하기 위하여 각종 설비에서 발생하는 데이터를 실시간으로 수집 및 분석하여 사전 조치를 취할 수 있는 시스템이 필요하다”는 것이 공통적인 의견으로 나왔다.
[Figure 9]는 온도, 압력, 속도, 전력 항목들에 대한 실 측정값들을 종합적으로 모니터링할 수 있도록 구성한 화면이다. 온도, 압력, 속도, 전력 등의 값을 실시간으로 수집하여, 임계치를 벗어나는 값들에 대해서는 알람정보를 담당자들에게 제공하여 관련된 문제를 조치할 수 있도록 개발하였다.
3단계 시스템 구축 단계에서는 시스템 구축 범위 정의, 시스템 구축 명세서 작성, 소프트웨어 설치 명세서 작성, 시스템 구현 등의 작업을 수행하였다. 이외에도 품질보증에 대한 작업을 추가적으로 수행하였다.
데이터 수집 및 저장을 위해 두 가지 방법을 사용하였다. 첫번째 방법은 마이크로프로세스와 각종 키트를 활용해서 온도, 조도, 습도 값을 취득하여 데이터를 수집하는 시스템을 개발하였다. 기본 펌웨어 소스는 HBE-MCU-Multi의 MCU가 연결된 포토센서 CDS와 온/습도 센서로부터 데이터 값을 주기적으로 수신하여 MCU와 연결된 TEXT LCD에 디스플레이하는 동시에, UART 통신으로 데이터 수집 서버에 데이터를 송신하는 동작을 수행하도록 구성하였다.

대상 데이터

빅데이터 플랫폼에서 가장 중요한 단계는 미들웨어 설치이며 본 시스템 개발에서는 다음과 같은 내용으로 하둡을 설치하였다. 맵리듀스 기술을 기반으로 하는 하둡 소프트웨어 프레임워크를 설치하였고, 하둡 데이터 웨어하우징 솔루션인 하이브를 설치하였다. [Table 3]은 설치된 빅데이터 관련 소프트웨어 목록이다.
[Figure 7]은 데이터 수집용 장치 제작에 사용된 모듈들이다. 크게 마이크로프로세서인 ATmega128, 온도, 습도, 조도 센서, LCD, UART 통신모듈 등으로 구성되었다.

이론/모형

모니터링 및 분석용 웹시스템은 스프링 프레임웍과 MyBatis 기술을 사용하였다. 웹시스템 개발 및 운영환경은 [Table 4]와 같다.

성능/효과

그 결과 “제조현장에서 발생하고 있는 폭발사고 및 화학물질 누출로 인한 사고를 미연에 방지하기 위하여 각종 설비에서 발생하는 데이터를 실시간으로 수집 및 분석하여 사전 조치를 취할 수 있는 시스템이 필요하다”는 것이 공통적인 의견으로 나왔다.
하둡 기반으로 개발된 이 시스템은 제조현장에 있는 각종 설비들의 대용량 데이터에 대한 실시간 수집을 가능하게 하였다. 데이터노드 3대를 기반으로 본 연구의 결과를 검증하였고, 그 결과 실시간 데이터 분석에는 미흡한 부분(특히 수행속도 저하)이 확인되었다. 100만 건의 데이터에서 원하는 데이터를 조회하는데 10분 정도의 시간이 소요되었으며 이를 관계형 데이터베이스에서 실행했을 경우는 1초 이내에 결과가 조회되었다.
이 기술들은 사람의 느낌에 의한 판단이 아니라 데이터에 기반을 둔 판단을 하게 하여 제조현장에서 발생하고 있는 각종 작업들을 지능화하는데 핵심적인 역할을 할 것이다. 본 논문에서는 하둡 플랫폼 사용시 실시간 데이터 분석 테스트에서 수행속도가 다소 떨어지는 것을 확인하였다. 빅데이터의 핵심은 분석이다.

후속연구

결과적으로 이와 같은 하둡 기술이 가지고 있는 실시간 분석의 문제점을 보완하기 위해서는 Splunk, Storm, S4 등의 기술이 추가적으로 필요하다. 본 연구 내용에 이러한 기술을 추가적으로 적용한다면 보다 개선된 실시간 기반의 설비상태 관리 시스템을 구현할 수 있을 것으로 기대한다.
현재 빅데이터 기술과 사물인터넷 기술은 전 세계적으로 화두가 되고 있는 미래기술이다. 이 기술들은 사람의 느낌에 의한 판단이 아니라 데이터에 기반을 둔 판단을 하게 하여 제조현장에서 발생하고 있는 각종 작업들을 지능화하는데 핵심적인 역할을 할 것이다. 본 논문에서는 하둡 플랫폼 사용시 실시간 데이터 분석 테스트에서 수행속도가 다소 떨어지는 것을 확인하였다.
이러한 스트리밍 데이터를 실시간으로 분석 처리하기 위해서는 Splunk, Strom, S4 등의 기술을 추가적으로 사용해야 한다. 향후 연구에서는 실시간으로 설비 상태 데이터를 조회하기 위해 이러한 기술을 추가적으로 사용하여 기존 시스템을 보완할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	하이브는 무엇을 제공하는 솔루션인가?	하이브는 하둡 맵리듀스 프레임워크 상에서 구축되어진 오픈소스 데이터 웨어하우징 솔루션이다. 하이브는 데이터를 테이블로 표현하여 구조체와 HDFS에 저장된 데이터가 연결되는 수단을 제공한다. 테이블 구조 같은 메타데이터는 메타스토어라는 데이터베이스에 저장된다(Shim, 2011).
	하둡이란?	하둡은 현재 빅데이터 처리에 가장 선호되고 있는 분산처리 기술을 핵심으로 하는 솔루션이다. 이것은 야후와 페이스북 등에서 핵심 기술로 사용되고 있으며, 많은 기업들이 자사 솔루션에 응용하여 사용하고 있다.
	스쿱은 어떤 도구인가?	관계형 데이터베이스에서 데이터를 추출해서 하둡으로 보내 처리할 수 있도록 해주는 오픈 소스 도구이다. 스쿱은 맵리듀스 작업을 실행하여 데이터베이스로부터 테이블을 임포트하며, 레코드를 하둡 분산 파일 시스템에 기록한다.

참고문헌 (13)

Anja, G. et al. (2011), Query Optimization Using Column Statistics in Hive, IDEAS, Proceedings of the 15th Symposium on International Database Engineering and Applications.
Armbrust, M. et al. (2010), A View of Cloud Computing, Communications of the ACM, 53(4), 50-58.
Dean, J. et al. (2004), MapReduce : Simplified Data Processing on Large Clusters, Sixth Symposium on Operating System Design and Implementation, 137-150.
GE Intelligent Platforms (2013), Proficy Monitoring and Analysis Suite, http://www.ge-ip.com/files/files/13513.pdf.
Hahm, Y. K. et al. (2012), Big Data changes business management, Samsung Economic Research Institute, Seoul, Korea.
Kang, M. M. et al. (2012), Analytics and Utilization of Big Data, Journal of The Korea Information Science Society, 30(6), 25-32.
Kim, S. R. et al. (2012), The Future of Big Data, Journal of The Korea Information Science Society, 30(6), 18-24.
POSCO (2013), Introduction Document for POSCO IMC Center.
Shvachko, K. et al. (2010), The Hadoop Distributed File System, In Proceedings of the 26th IEEE Transactions on Computing Symposium on Mass Storage Systems and Technologies, 1-10.
Son, M. S. et al. (2012), To be a leader in the Big Data era, LG Economic Research Institute, LGERI Report, 2-6.
Shim, T. G. et al. (2011), Hadoop Complete Guide, Hanbit Media, Seoul, Korea.
Vertica Systems (2009), Managing Big Data with Hadoop and Vertica.
Yun, M. R. (2012), Taking advantage and problem of Big Data, The Federation of Korean Information industries Issue Report, 10-13.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증