[논문]다양한 요구사항 수용 및 데이터 조회 성능 향상을 위한 CQRS 패턴 기반의 사물인터넷 플랫폼 설계

전철호; 전현식; 박현주

doi:10.6109/jkiice.2020.24.11.1539

[국내논문] 다양한 요구사항 수용 및 데이터 조회 성능 향상을 위한 CQRS 패턴 기반의 사물인터넷 플랫폼 설계
Design of A IoT Platform Based on CQRS Pattern to Accommodate Various Requirements and Improve Data Query Performance 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.11, 2020년, pp.1539 - 1545

전철호 (Department of Mobile Convergence and Engineering, Hanbat National University) , 전현식 (Department of Mobile Convergence and Engineering, Hanbat National University) , 박현주 (Department of Information and Communication Engineering, Hanbat National University)

초록
AI-Helper

현대 사회의 과학기술 발전으로 유비쿼터스 시대가 도래함에 따라 사회적으로 사물인터넷 환경에서 발생하는 데이터에 관한 관심이 증가하였다. 하지만 기존 사물인터넷 플랫폼은 대용량 데이터에 대한 통계 처리와 같이 많은 처리량을 요구하는 조회 요청 처리에 어려움이 있다. 이에 따라 본 논문에서는 조회 요청에 대한 요구사항을 유연하게 수용할 수 있고 조회 성능을 향상 시킬 수 있는 사물인터넷 플랫폼을 제안한다. 본 논문에서 제안하는 플랫폼은 별도의 읽기 데이터베이스를 도입하여 평균 응답시간 측면에서 약 1200배의 성능 향상을 보였으며, 객체 모델을 명령 사이드와 조회 사이드로 분리함으로써 객체의 복잡도를 낮춰 플랫폼에 대한 다양한 요구사항을 빠르게 수용할 수 있도록 하였다.

Abstract ▼ AI-Helper

With the advent of the ubiquitous era due to the development of science and technology in the modern society, interest in data generated in the IoT environment has increased socially. However, the existing IoT platform has difficulties in processing inquiry requests that require large amounts of throughput, such as statistical processing of large amounts of data. Accordingly, in this paper, we propose an IoT platform that can flexibly accommodate requirements for inquiry requests and improve inquiry performance. The platform proposed in this paper showed a performance improvement of about 1200 times in terms of average response time by introducing a separate read database. By separating the object model into a command side and a query side, the complexity of the object is reduced to meet the various demands on the platform. It was made to allow quick acceptance of the matter.

Keyword

표/그림 (11)

그림 Fig. 1 Annual Size of the Global Datasphere
그림 Fig. 2 System Architecture with CQRS
그림 Fig. 3 Platform Architecture
그림 Fig. 4 Architecture of Sensing Microservice
그림 Fig. 5 Architecture of Sensing Microservice with CQRS
그림 Fig. 6 Object Model of Sensing Microserivce
그림 Fig. 7 Service Model with CQRS
그림 Fig. 8 Data Model of Query Side
그림 Fig. 9 Architecture of Synchronizing Application
표 Table. 1 System Building Environment
표 Table. 2 Summary Table of Performance Evaluation for Statistical Query Requests

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

요구사항을 수용할 수 있어야 한다. 이에 본 논문에서는 다양한 요구사항 수용 및 데이터 조회 성능 향상을 위한 CQRS 패턴 기반의 사물인터넷 플랫폼 설계에 관한 연구를 진행한다.
본 절에서는 CQRS 패턴 적용 대상인 선택적 프로토콜 기반의 사물인터넷 플랫폼에 대해 기술한다[10]. 플랫폼은 HTTP, CoAP, MQTT 프로토콜을 제공하며, 이러한 프로토콜은 Data Collection & Control Server(CnC)를 통해 통신이 가능하다.
더불어 센싱 데이터에 대한 다양한 통계 요청을 처리해야하므로 많은 컴퓨팅 자원을 요구한다. 하여 본 연구에서는 복잡한 요구사항을 유연하게 수용하고 대용량 데이터 처리 성능 향상을 위해 CQRS 패턴을 센싱 서비스에 적용하는 연구를 진행한다.
이때 명령 사이드와 조회 사이드의 동기화를 위한 이벤트 또한 같은 이점을 취할 수 있다. 더불어 시스템에 요구되는 조회요청이 다양해짐에 따라 조회 모델이 많아지는 문제를 해결하기 위해, 하나의 조회 모델을 통해 다양한 조회요청을 처리할 수 있는 조회 모델 고도화에 관한 연구를 진행한다.

제안 방법

센싱 서비스의 웹 애플리케이션은 객체 지향 프로그래밍(Object-Oriented Programming, OOP) 패러다임을 바탕으로 설계되었다. 센싱 애플리케이션의 객체 모델 (Object Model)은 클라이언트의 요청을 처리하는 서비스 모델, 클라이언트의 요청 및 응답 데이터 전달을 위한 DTO 모델, 트랜잭션 처리를 위한 도메인 모델로 구분될 수 있다.
한 시간 동안 발생한 센싱 값에 대해 센서 별로 합계, 건수, 최대값, 최소값 처리를 별도로 진행한 뒤 읽기 데이터베이스 적용한다. 이때 변환 작업이 완료된 데이터의 스키마는 statistic 컬렉션의 스키마와 동일하다.
각 시스템의 구축환경은 [표 1]과 같다. CQRS 패턴이 적용되지 않은 플랫폼의 백엔드 시스템(Strereotypical Application)과 본 논문에서 제안하는 CQRS 패턴이 적용된 플랫폼의 백엔드 시스템의 조회 시스템(Query Application)은 비교 분석을 위해 하드웨어 적으로 동일한 환경으로 구성하였다.
이 절에서는 대량의 센싱 데이터를 처리하는 통계 조회 요청을 함으로써 두 시스템의 성능을 비교 분석한다. 본 평가에서는 동시 요청 수를 의미하는 Thread를 100, 200, 300으로 늘려가며 테스트를 진행하였다.
분석한다. 본 평가에서는 동시 요청 수를 의미하는 Thread를 100, 200, 300으로 늘려가며 테스트를 진행하였다. 이때 통계 조회 요청을 위해 통계 처리되는 센싱 데이터는 약 2400 만개이다.
본 연구에서 제안하는 시스템은 대용량 데이터에 대한 통계 질의와 같이 많은 처리량을 요구하는 요청에 대한 응답시간을 최소화시키고 시스템에 대한 책임을 명령과 조회로 분리함으로써 다양한 요구사항을 수용할 수 있는 CQRS 패턴을 적용하였다. 사용자의 조회 요청에 적합한 형태로 데이터를 미리 전처리하여 저장하고 조회 성능에 특화된 DBMS를 저장소로 사용할 수 있는 CQRS 패턴의 조회 사이드를 통해 많은 양의 데이터를 처리해야 하는 조회 요청에 대한 응답 시간을 대폭 감소시킬 수 있었다.
사용자의 조회 요청에 적합한 형태로 데이터를 미리 전처리하여 저장하고 조회 성능에 특화된 DBMS를 저장소로 사용할 수 있는 CQRS 패턴의 조회 사이드를 통해 많은 양의 데이터를 처리해야 하는 조회 요청에 대한 응답 시간을 대폭 감소시킬 수 있었다. 또한 각각 명령과 조회의 책임을 담당하는 명령 사이드와 조회 사이드로 시스템을 분리함으로써 도메인의 복잡도를 단순화하였다. 그리고 모의실험을 활용한 성능검증을 통해 제안하는 시스템의 우수성을 증명하였다.

대상 데이터

본 평가에서는 동시 요청 수를 의미하는 Thread를 100, 200, 300으로 늘려가며 테스트를 진행하였다. 이때 통계 조회 요청을 위해 통계 처리되는 센싱 데이터는 약 2400 만개이다. [표 2]는 통계 조회 요청에 대한 성능 평가를 요약한다.

이론/모형

데이터 스토어는 관계형 데이터베이스인 PostgreSQL을 사용한다. 조회 사이드 데이터 스토어인 읽기 데이터베이스는 조회 성능을 위해 NoSQL 데이터베이스로 분류되는 MongoDB를 사용한다.

성능/효과

위해 CQRS을 적용한 연구가 있다[8]. 해당 연구는 CQRS를 통해 많은 양의 차량 데이터를 효과적으로 처리하였으며, 처리해야하는 데이터의 양에 따라 데이터베이스를 효과적으로 확장할 수 있음을 증명하였다.
두 시스템의 평가 결과를 통해 제안하는 시스템은 에러율과 처리량 측면에서 확연한 성능 향상을 보였으며, 평균 응답시간 측면에서는 약 1200배의 성능 향상을 보였다. 동기화 컴포넌트를 통해 명령 사이드에서 변경된 이력을 주기적으로 조회 사이드에 반영함으로써 조회요청 시점의 필요한 데이터 처리량을 대폭 감소시킬 수 있었으며, 이에 따라 제안하는 플랫폼이 짧은 시간 내에 응답할 수 있었을 것으로 예상한다.
있는 CQRS 패턴을 적용하였다. 사용자의 조회 요청에 적합한 형태로 데이터를 미리 전처리하여 저장하고 조회 성능에 특화된 DBMS를 저장소로 사용할 수 있는 CQRS 패턴의 조회 사이드를 통해 많은 양의 데이터를 처리해야 하는 조회 요청에 대한 응답 시간을 대폭 감소시킬 수 있었다. 또한 각각 명령과 조회의 책임을 담당하는 명령 사이드와 조회 사이드로 시스템을 분리함으로써 도메인의 복잡도를 단순화하였다.
또한 각각 명령과 조회의 책임을 담당하는 명령 사이드와 조회 사이드로 시스템을 분리함으로써 도메인의 복잡도를 단순화하였다. 그리고 모의실험을 활용한 성능검증을 통해 제안하는 시스템의 우수성을 증명하였다. 연구에서 도출한 연구결과를 통해 빅데이터를 관리해야 하는 사물인터넷의 발전을 가속화시킬 수 있을 것이라 예상한다.

후속연구

그리고 모의실험을 활용한 성능검증을 통해 제안하는 시스템의 우수성을 증명하였다. 연구에서 도출한 연구결과를 통해 빅데이터를 관리해야 하는 사물인터넷의 발전을 가속화시킬 수 있을 것이라 예상한다.
향후 연구 과제로는 동기화 로직의 구현 복잡도를 단순화하기 위해 이벤트 소싱(Event Sourcing) 패턴을 적용해야 한다. 이벤트 소싱을 적용하는 경우 데이터 스토어에 저장되는 대상이 도메인의 현재 상태가 아닌 이벤트가 된다.

참고문헌 (14)

O. Kumar and A. Goyal, "Visualization: a novel approach for big data analytics," 2016 Second International Conference on Computational Intelligence & Communication Technology (CICT). IEEE, pp. 121-124, 2016.
D. Reinsel, G. John, and R. John, "The digitization of the world from edge to core," IDC White Paper, 2018.
B. Meyer, Object-oriented software construction, vol. 2. New York: Prentice hall, 1988.
M. Fowler. "Command Query Separation" Martin Fowler-ThoughtWorks (2005) [Internet]. Available:https://martinfowler.com/bliki/CommandQuerySeparation.html
M. Fowler. "Cqrs." Martin Fowler's Blog (2011) [Internet]. Available: https://martinfowler.com/bliki/CQRS.html
G. Young, "Cqrs documents by greg young," Young 56, 2010.
D. Betts, J. Domingues, G. Melnik, F. Simonazzi, and M. Subramanian, "Exploring CQRS and Event Sourcing: A journey into high scalability, availability, and maintainability with Windows Azure," Microsoft patterns & practices, 2013.
S. K. Han and J. I. Choi, "Data Processing System Using CQRS Pattern and NoSQL in V2X Environment," International Journal of Smart Device and Appliance, pp. 1-8, 2020.
T. Rogojanu, M. Ghita, V. Stanciu, R. Ciobanu., R. Marin, and C. Dobre. "Netiot: A versatile iot platform integrating sensors and applications," Global Internet of Things Summit. IEEE, pp. 1-6, 2018.
D. H. Kim, H. S. Oh, H. S. Jeon, and H. J. Park, "The IoT Data Collection Platform based on Optional Protocols," Korea Institute Of Communication Sciences, pp. 1047-1048, 2017.
G. Marquez, M. M. Villegas, and H. Astudillo, "A pattern language for scalable microservices-based systems," Proceedings of the 12th European Conference on Software Architecture: Companion Proceedings, 2018.
L. Baresi and M. Garriga, "Microservices: The Evolution and Extinction of Web Services?," Microservices. Springer, Cham, pp. 3-28, 2020.
A. Henry and Y. Ridene, "Migrating to Microservices," Microservices. Springer, Cham, pp. 45-72, 2020.
S. O. Diakov, T. E. Zubrei, and A. S. Samoidiuk, "Application of event sourcing and CQRS patterns in distributed systems," 2019.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증