[논문]엣지컴퓨팅을 활용한 분산처리 시스템의 가용성 향상에 관한 연구

이건우; 김영곤

doi:10.7236/jiibc.2022.22.1.83

엣지컴퓨팅을 활용한 분산처리 시스템의 가용성 향상에 관한 연구
A Study on the Improvement of Availability of Distributed Processing Systems Using Edge Computing 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.22 no.1, 2022년, pp.83 - 88

이건우 (한국산업기술대학교 컴퓨터공학과) , 김영곤 (한국산업기술대학교 컴퓨터공학과)

초록
AI-Helper

최근 정보통신기술의 발전에 따라 사물인터넷(이하 IoT) 관련 기술이 지속적으로 발전하고 있다. IoT 시스템은 다양한 센서들을 바탕으로 센서마다 고유한 데이터를 네트워크를 통해 주고 받는다. IoT 시스템에서 발생하는 데이터는 실시간으로 발생한다는 특징과, 그 양이 설치된 센서의 양과 비례한다는 점에서 연속적으로 수집되는 데이터들은 빅 데이터로 정의할 수 있다. 현재까지의 IoT 시스템은 중앙 집중 처리 방식을 통한 데이터 저장, 처리 및 연산을 적용하였다. 하지만, 구축 규모가 커지고 다량의 센서를 사용하는 경우 기존의 중앙 집중 처리 방식의 서버는 병목 현상으로 인한 부하가 발생할 수 있다. 따라서, 본 논문에서는 IoT 환경에서 발생하는 실시간 센서 데이터를 효율적으로 처리하기 위하여 시스템의 고가용성을 목적으로 하는 데이터의 중요도 기반 알고리즘을 적용하기 위한 분산 처리 시스템에 대해 제안하였다.

Abstract ▼ AI-Helper

Internet of Things (hereinafter referred to as IoT) related technologies are continuously developing in line with the recent development of information and communication technologies. IoT system sends and receives unique data through network based on various sensors. Data generated by IoT systems can be defined as big data in that they occur in real time, and that the amount is proportional to the amount of sensors installed. Until now, IoT systems have applied data storage, processing and computation through centralized processing methods. However, existing centralized processing servers can be under load due to bottlenecks if the deployment grows in size and a large amount of sensors are used. Therefore, in this paper, we propose a distributed processing system for applying a data importance-based algorithm aimed at the high availability of the system to efficiently handle real-time sensor data arising in IoT environments.

주제어

표/그림 (9)

그림 그림 1. 엣지 컴퓨팅 개념도 Fig. 1. Edge Computing Conceptual Diagram
그림 그림 2. MQTT 기본 개념도 Fig. 2. MQTT Basic Conceptual Plot
그림 그림 3. 로드밸런싱 기본 개념도 Fig. 3. MQTT Basic Conceptual Plot
그림 그림 4. 전체적인 관리 시스템 구성도 Fig. 4. Overall Management System Diagram
그림 그림 5. 제안 시스템 흐름도 Fig. 5. Proposed System Flowchart
그림 그림 6. 가중치 기반의 우선순위 적용 알고리즘 Fig. 6. weight-based priority application algorithm
그림 그림 7. 임의의 이상 데이터 발생 Fig. 7. Random Outlier Data Occurrence
그림 그림 8. 알고리즘이 적용된 데이터 저장 결과 화면 Fig. 8. Save data with algorithm screen
그림 그림 9. 알고리즘이 적용된 데이터 저장 결과 화면 Fig. 9. Overall Management System Diagram

AI 본문요약
AI-Helper

문제 정의

따라서, 본 논문에서는 IoT 환경에서 발생하는 실시간 센서 데이터를 효율적으로 처리하기 위하여 시스템의 고가용성을 목적으로 하는 데이터의 중요도 기반 알고리즘을 적용하기 위한 분산 처리 시스템에 대해 제안하였다. 시스템의 구성은 MQTT 프로토콜을 바탕으로 하며 MQTT 프로토콜의 Publiser에 해당하는 SensorNode 와 Broker 역할을 하는 Gateway, Subscriber 역할의 일괄 처리, 실시간 처리 서버로 구성하였으며, Apache Jmeter를 이용한 서버 부하 테스트를 통해 시스템에 대한 성능 평가를 진행하였다.
본 논문은 IoT 환경에서 발생하는 대량의 데이터를 서버의 부하를 최소화하고, 가용성을 유지하기 위하여 중요도 기반의 알고리즘을 적용한 분산처리 시스템을 제안하였다. 기존의 시스템은 서버에 데이터를 전달함에 있어서, 중앙 집중 처리 방식과, 분산처리의 두 가지 방식이 있었다.

제안 방법

수집된 데이터에 데이터의 중요도를 나타내는 우선순위가 있는지 확인하고 우선순위가 존재하지 않는다면 중요도를 기반으로 한 우선순위 알고리즘을 적용시켜 데이터에 중요도를 부여한다. 본 논문에서 부여한 우선순위의 기준에 따라 데이터는 각각 일괄 처리 서버, 실시간 처리 서버로 전송되어 효율적인 처리 과정을 거쳐 DB로 저장하며 이후 빅 데이터 분석 툴인 R Language, Kibana 등을 통해 분석 및 시각화를 진행한다. 본 논문에서 제안한 시스템의 처리 흐름도는 그림 5와 같다.
비정형 데이터가 생성되는 센서 노드(IoT 환경)와 게이트웨이 사이는 생성되는 데이터가 무분별하게 서버로 전송되는 것을 제한하기 위해 Publisher(Sensor), Broker(Gateway), Subscriber(Server) 구조의 MQTT 프로토콜을 적용하였다. Broker의 역할을 하는 게이트웨이는 가중치 기반의 우선순위 적용 알고리즘을 통해 수집 데이터에 대한 중요도를 설정하고, 데이터의 중요도에 따라 Real Time Processing Server와 Batch Processing Server의 특징을 고려하여 Task를 분배하도록 하였다.
수집 데이터는 센서에 따라 다양하게 적용 가능하며, 본 논문에서는 온도 데이터와 습도 데이터를 기준으로 작성하였다. 센서로부터 수집된 데이터를 저장 위한 각각의 변수에 해당하는 Prev.
수집된 데이터를 Broker 역할을 하는 Gateway에서 1차적으로 중요도에 따른 우선순위를 선정하는 데이터 정제 과정을 거쳐, 중요도에 따라 일괄 처리 및 실시간처리 서버로 데이터를 분산 전송 및 처리하여 중앙 집중처리 방식의 서버의 부하와 관련된 단점을 보완하기 위한 시스템을 제안하였다. 중요도 알고리즘의 적합성을 판단하기 위해 이상 데이터를 온풍기를 사용하여 임의로 발생시킨 것은 그림 7과 같다.
따라서, 본 논문에서는 IoT 환경에서 발생하는 실시간 센서 데이터를 효율적으로 처리하기 위하여 시스템의 고가용성을 목적으로 하는 데이터의 중요도 기반 알고리즘을 적용하기 위한 분산 처리 시스템에 대해 제안하였다. 시스템의 구성은 MQTT 프로토콜을 바탕으로 하며 MQTT 프로토콜의 Publiser에 해당하는 SensorNode 와 Broker 역할을 하는 Gateway, Subscriber 역할의 일괄 처리, 실시간 처리 서버로 구성하였으며, Apache Jmeter를 이용한 서버 부하 테스트를 통해 시스템에 대한 성능 평가를 진행하였다.
그러나 중앙 집중 처리 방식은 대량의 데이터가 발생하였을 때, 시스템의 가용성이 유지되지 못하는 단점이 있었으며, 기존의 분산처리 방식 또한 시스템의 구조적인 복잡도와 관련된 단점이 있었다. 이러한 문제를 해결하기 위하여 중요도 알고리즘과 분산처리 시스템 구조를 제안하였다. 중요도 알고리즘은 데이터의 변화량의 크기를 바탕으로 가중치를 산출하여 중요도를 선정하였으며, 선정된 중요도를 기준으로 하여 각각의 서버에서 데이터를 받아 처리하는 형태로 구성하였다.
이러한 문제를 해결하기 위하여 중요도 알고리즘과 분산처리 시스템 구조를 제안하였다. 중요도 알고리즘은 데이터의 변화량의 크기를 바탕으로 가중치를 산출하여 중요도를 선정하였으며, 선정된 중요도를 기준으로 하여 각각의 서버에서 데이터를 받아 처리하는 형태로 구성하였다. 각 서버는 Apache Storm, Apache Spark를 활용하여 Real Time Processing Server와 Batch Processing Server로 구분하고, 이러한 환경에서 시뮬레이션을 진행하였고, 평균 15%, 최소 13%, 최대 17%의 향상된 트랜잭션 수를 확인할 수 있었다.

대상 데이터

센서 노드를 통해 15초 마다 데이터를 수집하였다. 1 번 센서 노드에서 처음으로 수집되어 저장된 데이터는 온도 22℃, 습도는 61%였으며, 기존에 존재하는 데이터가 없으므로, Prority는 0이 저장되었다.

이론/모형

Broker의 역할을 하는 게이트웨이는 가중치 기반의 우선순위 적용 알고리즘을 통해 수집 데이터에 대한 중요도를 설정하고, 데이터의 중요도에 따라 Real Time Processing Server와 Batch Processing Server의 특징을 고려하여 Task를 분배하도록 하였다. Real Time Processing Server는 Apache Storm을 적용하였으며, Batch Processing Server는 Apache Spark를 적용하였다. 제안 시스템의 개념도는 그림 4와 같다.

성능/효과

중요도 알고리즘은 데이터의 변화량의 크기를 바탕으로 가중치를 산출하여 중요도를 선정하였으며, 선정된 중요도를 기준으로 하여 각각의 서버에서 데이터를 받아 처리하는 형태로 구성하였다. 각 서버는 Apache Storm, Apache Spark를 활용하여 Real Time Processing Server와 Batch Processing Server로 구분하고, 이러한 환경에서 시뮬레이션을 진행하였고, 평균 15%, 최소 13%, 최대 17%의 향상된 트랜잭션 수를 확인할 수 있었다.
기존의 시스템은 서버에 데이터를 전달함에 있어서, 중앙 집중 처리 방식과, 분산처리의 두 가지 방식이 있었다. 그러나 중앙 집중 처리 방식은 대량의 데이터가 발생하였을 때, 시스템의 가용성이 유지되지 못하는 단점이 있었으며, 기존의 분산처리 방식 또한 시스템의 구조적인 복잡도와 관련된 단점이 있었다. 이러한 문제를 해결하기 위하여 중요도 알고리즘과 분산처리 시스템 구조를 제안하였다.
본 논문은 IoT 환경에서 발생하는 대량의 데이터를 서버의 부하를 최소화하고, 가용성을 유지하기 위하여 중요도 기반의 알고리즘을 적용한 분산처리 시스템을 제안하였다. 기존의 시스템은 서버에 데이터를 전달함에 있어서, 중앙 집중 처리 방식과, 분산처리의 두 가지 방식이 있었다. 그러나 중앙 집중 처리 방식은 대량의 데이터가 발생하였을 때, 시스템의 가용성이 유지되지 못하는 단점이 있었으며, 기존의 분산처리 방식 또한 시스템의 구조적인 복잡도와 관련된 단점이 있었다.
기존 알고리즘의 초당 트랜잭션 수와 제안 알고리즘의 초당 트랜잭션 수는 그림 4-14와 같다. 본 연구에서 제안한 변화량 기반의 가중치를 통한 중요도 알고리즘은 최고 초당 2700개의 트랜잭션을 처리할 수 있었던 반면, 기존 방식은 최고 초당 2300개로 최고 성능의 경우 약 17% 정도의 차이를 보였으며, 평균 트랜잭션 수는 기존방식의 경우 1800 transactions/sec 이었으며, 제안 알고리즘의 경우 2050 transactions/sec으로 평균 트랜잭션 수는 약 13% 정도 향상되었음을 확인할 수 있었다. 적용 알고리즘 별 초당 트랜잭션 수는 그림 9와 같다.
우선순위의 값이 변동된 8~9번 데이터의 차이를 보았을 때 기존 데이터에 해당하는 8번 레코드의 온도, 습도 값은 각각 25℃, 56%이며, 현재 데이터에 해당하는 9번 레코드의 온도, 습도 값은 28℃, 48%로 각각 12% 상승, 14% 하락함을 확인할 수 있었다. 이에 따라 우선순위를 의미하는 Priority 값이 증가하여 저장되었으며, 제안한 알고리즘이 정상적으로 적용되어 나타남을 확인할 수 있었다.
우선순위의 값이 변동된 8~9번 데이터의 차이를 보았을 때 기존 데이터에 해당하는 8번 레코드의 온도, 습도 값은 각각 25℃, 56%이며, 현재 데이터에 해당하는 9번 레코드의 온도, 습도 값은 28℃, 48%로 각각 12% 상승, 14% 하락함을 확인할 수 있었다. 이에 따라 우선순위를 의미하는 Priority 값이 증가하여 저장되었으며, 제안한 알고리즘이 정상적으로 적용되어 나타남을 확인할 수 있었다. 센서를 통해 수집된 데이터를 우선순위 알고리즘을 적용하여 DB에 저장한 결과 화면은 그림 8과 같다.

후속연구

본 연구는 서버의 고가용성을 유지하며 대량의 데이터를 처리하기 위한 시스템의 구조와 알고리즘에 대하여 진행하였으나, 사용자의 요청에 따른 데이터의 효율적 처리 및 가공 방법에 대한 연구는 아쉬움으로 남는다. 추후 저장된 데이터를 R, Kibana 등 시각화 툴을 사용하여 말단 노드를 제어하기 위한 연구를 진행할 예정이다.
본 연구는 서버의 고가용성을 유지하며 대량의 데이터를 처리하기 위한 시스템의 구조와 알고리즘에 대하여 진행하였으나, 사용자의 요청에 따른 데이터의 효율적 처리 및 가공 방법에 대한 연구는 아쉬움으로 남는다. 추후 저장된 데이터를 R, Kibana 등 시각화 툴을 사용하여 말단 노드를 제어하기 위한 연구를 진행할 예정이다.

참고문헌 (6)

S. H. Kim, Y. G. Kim, "A Study on Light Weight Authentication Method of Distributed Cluster-based IoT Devices", The Journal of The Institute of Internet, Broadcasting and Communication(JIIBC), Vol. 19, No. 2, pp. 103-109, 2019. DOI: https://doi.org/10.7236/JIIBC.2019.19.2.103

원문보기 상세보기
D. J. Shin, J. H. Park, J. H. Kim, K. J. Kwak, J. M. Park, J. J. Kim, "Big Data-based Sensor Data Processing and Analysis for IoT Environment", The Journal of The Institute of Internet, Broadcasting and Communication(JIIBC), Vol. 19, No. 1, pp. 117-126, 2019. DOI: https://doi.org/10.7236/JIIBC.2019.19.1.117

원문보기 상세보기
S. H, Lee, D. J. Shin, J. H. Kim, D. Y. Shin, J. M. Park, J. J. Kim, "Mobile-based Big Data Processing and Monitoring Technology in IoT Environment", The Journal of The Institute of Internet, Broadcasting and Communication(JIIBC), Vol. 18, No. 6, pp. 1-9, 2018. DOI: https://doi.org/10.7236/JIIBC.2018.18.6.1

원문보기 상세보기
Y. G. Hong, "Trend of edge computing technology for industrial IoT", The Proceedings of the Korea Electromagnetic Engineering Society, Vol. 30, No. 3, pp. 41-50, 2019.
D. H. Kong, S. J. Shin, "Analysis of Arduino Timer Callback for IoT Devices", The journal of the institute of internet, broadcasting and communication, Vol. 18, No. 6, pp. 139-143, 2018. DOI: https://doi.org/10.7236/JIIBC.2018.18.6.139

원문보기 상세보기
T. H. Jang, S. H., Jo, Y. G. Kim, "Smart queue management system based on IoT for efficient customer management", The journal of the institute of internet, broadcasting and communication, Vol. 18, No. 5, pp. 141-146, 2018. DOI : https://doi.org/10.7236/JIIBC.2018.18.5.141

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증