본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.
본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.
This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analy...
This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.
This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.
본 연구는 엔지니어링 분야에서 생성되는 대규모 빅데이터를 효율적으로 저장, 관리, 분석하는 빅데이터 플랫폼을 제안하였다. 이를 위하여 HPC 클라우드 환경의 고성능 컴퓨팅을 활용한 시스템을 설계하고, 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 엔지니어링 빅데이터 플랫폼을 통해 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능한 플랫폼을 제안하였다.
제안 방법
본 연구에서는 엔지니어링 빅데이터 플랫폼의 성능을 향상시키기 위해 HPC(High Performance Computing) 클라우드 환경의 고성능 컴퓨팅을 활용한 시스템을 구축하고, 이를 활용한 엔지니어링 클라우드 시스템을 통해 소규모 부품 설계부터 IoT 등 빅데이터와 연계하는 모듈을 개발하였다. 이를 통해 다양한 레벨의 장비 운영을 가능하도록 한다.
본 연구는 엔지니어링 분야에서 생성되는 대규모 빅데이터를 효율적으로 저장, 관리, 분석하는 빅데이터 플랫폼을 제안하였다. 이를 위하여 HPC 클라우드 환경의 고성능 컴퓨팅을 활용한 시스템을 설계하고, 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 엔지니어링 빅데이터 플랫폼을 통해 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능한 플랫폼을 제안하였다.
대상 데이터
본 논문에서는 플랫폼의 활용성을 검증하기 위해 하수처리 플랜트의 생물반응 공정을 대상으로 빅데이터 분석을 수행하였다. 구체적으로 일차침전지 유입과 이차침전지 유출까지를 대상으로 선정하였으며, 대상 처리장에서 과거부터 수집된 빅데이터를 활용하였다.
데이터처리
본 논문에서는 플랫폼의 활용성을 검증하기 위해 하수처리 플랜트의 생물반응 공정을 대상으로 빅데이터 분석을 수행하였다. 구체적으로 일차침전지 유입과 이차침전지 유출까지를 대상으로 선정하였으며, 대상 처리장에서 과거부터 수집된 빅데이터를 활용하였다.
이론/모형
대규모 엔지니어링 데이터 저장을 위하여 Apache Kudu[8] 오픈소스를 활용한다. Apache Kudu는 열(column) 기반의 데이터 저장 엔진이다.
데이터 수집 기능을 효율적으로 분산처리하기 위하여 오픈소스 기반의 Kafka[7]를 활용한다. Kafka는 LinkedIn에서 개발한 분산 메시징 시스템으로, 2011년 오픈소스로 공개되었다.
분산환경 기반의 대규모 데이터 전처리를 지원하기 위하여 Apache Spark[10] 오픈소스를 활용한다. Apache Spark는 오픈소스 분산 질의 및 처리 엔진이다.
성능/효과
<그림 13>은 수집된 데이터(유입유량, 반송 유량 등) 현황과 최신 데이터를 모니터링 하는 화면이다. 데이터의 종류에 따라 할당된 Kafka 토픽을 지정하여 원하는 토픽에 전송되고 있는 데이터를 움직이는 차트 형태로 실시간 조회할 수 있다.
후속연구
추후 연구로는 다양한 산업 데이터를 수집하고 이를 분석하여 정보를 제공하는 서비스를 개발함으로써 기능을 고도화하고 플랫폼의 활용성을 검증하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
빅데이터 분석을 여러 기업에서 활용하기 어려운 이유는 무엇인가?
산업인터넷 기술의 발전을 통해 기존에는 획득이 불가능했던 다양한 종류의 데이터에 대한 실시간 수집이 가능해짐에 따라 데이터를 효율적으로 관리하고 해당 데이터로부터 의미 있는 결과를 도출하기 위한 연구가 활발하게 진행되고 있다[1]. 그러나 빅데이터 분석을 위해서는 데이터를 저장하고 관리하기 위한 인프라 구축에 많은 시간과 비용이 소요되고 분석 전문가에 대한 기술의존도가 높은 데이터 분석 분야의 특성상 여러 기업에서 이를 활용하기가 어려운 상황이다[2]. 특히, 엔지니어링 분야에서는 데이터 분석 전문가가 엔지니어링과 관련된 다양한 도메인을 이해하기 어렵고 엔지니어링 전문가 또한 데이터 분석에 대한 전문 지식을 갖추기 어렵기 때문에 빅데이터 기술을 활용한 엔지니어링 적용의 한계가 있다.
클라우드 기반 빅데이터 플랫폼은 무엇으로 구성되는가?
본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다.
클라우드 기반 빅데이터 플랫폼을 통해 무엇이 가능한가?
클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.
참고문헌 (11)
Batanov, D., Nagarur, N., and Nitikhunkasem, P. (1993), EXPERT-MM : A knowledge-based system for maintenance management, Artificial Intelligence in Engineering, 8(4), 283-291.
Bi, Z., Da Xu, L., and Wang, C. (2014), Internet of things for enterprise systems of modern manufacturing, IEEE Transactions on Industrial Informatics, 10(2), 1537-1546.
Kim, S. R., Jang, G. S., and Jo, J. Y. (2014), Case Study of Design and Implementation for Hadoop-Based Integrated Facility Monitoring System, Journal of the Korean Institute of Industrial Engineers, 40(1), 34-42.
Tao, F., Cheng, Y., Da Xu, L., Zhang, L., and Li, B. H. (2014), CCIoT- CMfg : cloud computing and internet of things-based cloud manufacturing service system, IEEE Transactions on Industrial Informatics, 10(2), 1435-1442.
Demirkan, H. and Delen, D. (2013), Leveraging the capabilities of service- oriented decision support systems : Putting analytics and big data in cloud, Decision Support Systems, 55(1), 412-421.
Rix, M., Kujat, B., Meisen, T., and Jeschke, S. (2016), An Agile Information Processing Framework for High Pressure Die Casting Applications in Modern Manufacturing Systems, Procedia CIRP, 41, 10841089.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.