[논문]마스터 데이터를 활용한 마이크로 서비스 아키텍처에서의 데이터베이스 리버스 엔지니어링

신광철; 이춘열

doi:10.6109/jkiice.2019.23.5.523

마스터 데이터를 활용한 마이크로 서비스 아키텍처에서의 데이터베이스 리버스 엔지니어링
Database Reverse Engineering Using Master Data in Microservice Architecture 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.23 no.5, 2019년, pp.523 - 532

신광철 (The Graduate of Business IT, Kookmin University) , 이춘열 (The Graduate of Business IT, Kookmin University)

초록
AI-Helper

마이크로 서비스 아키텍처는 매우 밀접한 비즈니스 기능을 수행하기 위한 목적으로 시스템을 소형 경량 서비스로 분할하는 것에 중점을 두고 있기 때문에 민첩성, 개발 생산성, 신뢰성, 배포 용이성에만 집중하는 경향이 있다. 마이크로 서비스 아키텍처에서 바라보는 데이터베이스는 단지 데이터를 저장하고 추출하는 파일 혹은 스토리지이며, 소프트웨어 개발 편리성과 확장성을 위해서 데이터 품질은 희생될 수 있음을 강조한다. 데이터베이스 구조와 데이터 의미를 이해하기 위해 사용되는 데이터베이스 리버스 엔지니어링은 비즈니스 의사 결정을 위한 데이터 활용을 위해 필요하다. 하지만, 데이터 품질을 경시하는 마이크로 서비스 아키텍처에서는 리버스 데이터베이스 엔지니어링 적용에 어려움이 있다. 본 연구는 해결책으로써 개념 데이터 모델 복원 시 마스터 데이터를 활용한 데이터 리버스 엔지니어링 방법을 제안한다. 적용 사례로 마이크로 서비스 아키텍처로 구현된 반품 서비스 데이터베이스에 제안 방법을 구현하여 적용 가능성을 검증하였다.

Abstract ▼ AI-Helper

Microservice architecture focuses on dividing it into small and lightweight services to build for the purpose of performing very close business functions. So it tends to concentrate only on agility, productivity, reliability, and ease of deployment of software development. Microservice architecture considers database as just a file or storage for storing and extracting data, emphasizing that data quality can be sacrificed for convenience and scalability of software development. Database reverse engineering for understanding database structure and data semantics is needed for data utilization for business decision making. However, it is difficult that reverse database engineering is applied in microservice architecture that neglects data quality. This study proposes database reverse engineering method that utilizes master data to restore the conceptual data model as a solution. The proposed method is applied to the return service database implemented by microservice architecture and verified its applicability.

주제어

표/그림 (9)

표 Table. 1 Database Reverse Engineering Steps
그림 Fig. 1 Reverse Database Engineering Steps Using Master Data
표 Table. 2 Database Reverse Engineering Methods
그림 Fig. 2 Master Data and Transaction Data
표 Table. 3 Algorithms for Logical Data Model Recovery
표 Table. 4 Logical Data Model
표 Table. 5 Conceptual Data Model
표 Table. 6 Results of Reverse Database Engineering
표 Table. 7 Detail of Entity type count

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

데이터베이스 리버스 엔지니어링은 산출물이 존재하지 않거나 산출물을 갱신할 필요성이 있는 데이터베이스의 스키마, 데이터, 화면 등을 입력으로 하여 개념 데이터 모델 복원을 목적으로 한다.
이 때문에 데이터베이스 리버스 엔지니어링 시에 데이터 구조와 의미 파악에 어려움이 있다. 본 연구는 이에 대한 해결책으로 데이터베이스 리버스 엔지니어링에서 개념 데이터 모델을 복원할 때 마스터 데이터를 활용하여 방법을 제시한다.

제안 방법

[17]의 데이터 값을 활용한 알고리즘 활용하여 후보키, 참조 키, 카디널리티를 복원하였고, 3개 주제 영역 (Service A, Sevice B, Service C)으로 논리 데이터 모델을 구분하였다. 알고리즘 Find Candidate Keys으로 순번으로 구현된 주 키 컬럼을 제외하고 후보 키를 찾은 결과 8개 테이블에서 중복 데이터가 발견되어 0NF이다.
대상 테이블은 26개로 주요 특징으로는 1개를 제외한 25개의 테이블의 PK가 자동 순번인 대리(Surrogate) 키로 되어 있다. 물리 데이터모델의 복구 방법은 대상 데이터베이스에서 추출한 DDL을 기반으로 데이터 모델링 툴 (DA# 4.0)을 활용하여 물리 데이터 모델을 복원 하였다. 물리 데이터 모델 복구 결과는 APPENDIX 그림 3과 같다.
[11]에서는 2단계로 데이터 구조 추출(Data Structure Extraction)과 데이터 구조 개념화(Data Structure Conceptualization)로 구분했고, [12]에서는 3단계로 구현 복구(Implementation Recovery), 설계 복구(Design Recovery) 그리고 분석 복구(Analysis Recovery)로 구분한다. 본 논문에서는 물리 데이터 모델 복구(Physical Data Model Recovery), 논리 데이터 모델 복구(Logical Data Model Recovery) 그리고 개념 데이터 모델 복구(Conceptual Data Model Recovery)의 단계로 구분하며 본 논문에서 마스터 데이터를 적용할 단계는 개념 모델 복구이다. 표 1은 데이터베이스 리버스 엔지니어링 단계를 비교 정리했다.
본 연구에서 제안하는 데이터베이스 리버스 엔지니어링의 기본적 접근 방법은 마스터 데이터는 트랜잭션 데이터를 발생시키는 주체가 됨을 전제로 한다. 마스터 데이터는 고객, 상품과 같은 핵심 업무 엔티티 유형으로 식별이 용이하고, 재사용 되어야만 한다.
활용 가능한 입력인 DDL과 최근 데이터를 활용하여 데이터베이스 리버스 엔지니어링을 수행하였다.

대상 데이터

대상 테이블은 26개로 주요 특징으로는 1개를 제외한 25개의 테이블의 PK가 자동 순번인 대리(Surrogate) 키로 되어 있다. 물리 데이터모델의 복구 방법은 대상 데이터베이스에서 추출한 DDL을 기반으로 데이터 모델링 툴 (DA# 4.
도출된 1:1 릴레이션쉽은 주제 영역 Service A, Service B에서 각각 발견되었고 통합 고려 대상이다. M:N 릴레이션쉽은 발견되지 않았다.
본 연구는 마이크로 서비스 아키텍처 기반에서 구현된 데이터베이스를 적용 사례 대상으로 한다. 현재 데이터베이스는 반품 서비스를 위한 데이터베이스로서 데이터 구조와 의미 파악이 어려워 초기 서비스를 구현한 소수 개발자만 유지 보수가 가능하고 반품 리포트 구현이 어렵다는 문제점이 있다.

이론/모형

그래서 구현된 SQL 확보가 어려워 SQL을 통한 관계 복원[15]도 활용하기 어렵다. 가장 확실한 방법은 데이터값에서 직접 후보 키와 참조 키를 복원하여 관계와 카디널리티를 찾는 방법으로 본 논문에서는 [17]의 데이터 값을 활용한 관계와 카디널리티 복원 알고리즘을 활용한다. 본 논문에서 활용한 알고리즘은 표 3과 같다.

성능/효과

복구된 논리 데이터 모델 검토 결과 마스터 데이터인 Party와 상품 개념이 컬럼으로만 도출되어 있어, Party 와 상품 마스터 데이터를 도출한 후 해당 개념에 속하는 컬럼은 트랜잭션 데이터에서 제거하고 Party와 상품 마스터 데이터에 통합한다. 그 결과 논리 데이터 모델 복원에서 0NF인 테이블은 3NF 테이블로 변경되었고, A4 컬럼 수는 40개에서 25개로, C1 컬럼 수는 25개에서 16개로 줄어들었다.
엔티티 유형은 마스터 데이터 적용으로 기존 방법이 전체 26개, 제안 방법이 42개로 총 엔티티 유형이 16개 늘었다. 그러나 마스터 데이터인 Party 와 상품 엔티티 타입 9개를 제외하고 트랜잭션 데이터 기준으로는 기존 방법이 전체 26개, 제안 방법이 20개로 감소한 것을 볼수 있다. 엔티티 유형 수를 마스터 데이터와 트랜잭션 데이터로 나눈 상세 정보는 아래 표 7과 같다.
기존 데이터베이스 리버스 엔지니어링 방법은 최소 1NF가 되어야 적용할 수 있다. 그러나 본 연구에서 제안된 마스터 데이터를 활용한 데이터베이스 리버스 엔지니어링 방법은 0NF인 경우에도 적용할 수 있고, 쉽게 식별 가능한 핵심 엔티티인 마스터 데이터를 활용함으로써 실무에서 쉽게 적용할 수 있다는 장점이 있다. 또한 데이터 거버넌스와 데이터 통합에 국한된 마스터 데이터의 활용 영역을 데이터베이스 리버스 엔지니어링 분야로 넓히는데 기여했다.
또한 Service C 주제 영역은 Service A 주제 영역과 중복이 되는 개념으로 Service A 주제 영역으로 통합할수 있음을 복구 과정에서 알 수 있었다. 개념 데이터 모델 복구 결과는 APPENDIX 그림 5와 같다.
속성은 기존 방법이 356개 제안 방법이 260개로 줄어든 것을 확인할 수 있는데, 이것 또한 반 정규화된 속성 96개가 마스터 데이터 속성으로 통합되었기 때문이다. 릴레이션쉽 유형은 기존 방법이 21개 제안 방법이 47개로 늘어난 것을 확인할 수 있다.
마스터 데이터의 활용으로 제안 방법이 기존 방법 보다 평균 정규형(Average of Normal Form)이 향상되었다. 반 정규화된 속성들이 마스터 데이터로 통합되면서 제안 방법이 3 정규형에 가깝게 데이터 모델 품질이 좋아졌다.
마스터 데이터의 활용으로 제안 방법이 기존 방법 보다 평균 정규형(Average of Normal Form)이 향상되었다. 반 정규화된 속성들이 마스터 데이터로 통합되면서 제안 방법이 3 정규형에 가깝게 데이터 모델 품질이 좋아졌다.
[17]의 데이터 값을 활용한 알고리즘 활용하여 후보키, 참조 키, 카디널리티를 복원하였고, 3개 주제 영역 (Service A, Sevice B, Service C)으로 논리 데이터 모델을 구분하였다. 알고리즘 Find Candidate Keys으로 순번으로 구현된 주 키 컬럼을 제외하고 후보 키를 찾은 결과 8개 테이블에서 중복 데이터가 발견되어 0NF이다. 알고리즘 Find Candidate Foreign Keys 으로 후보 참조 키를 찾은 결과 Service A에서 릴레이션쉽 없는 테이블은 2개 발견되었다.
엔티티 유형은 마스터 데이터 적용으로 기존 방법이 전체 26개, 제안 방법이 42개로 총 엔티티 유형이 16개 늘었다. 그러나 마스터 데이터인 Party 와 상품 엔티티 타입 9개를 제외하고 트랜잭션 데이터 기준으로는 기존 방법이 전체 26개, 제안 방법이 20개로 감소한 것을 볼수 있다.
종합해 보면 마스터 데이터의 활용으로 데이터 모델 품질은 3 정규형에 가깝게 향상됐고, 반 정규화된 속성이 마스터 데이터에 통합되면서 속성수가 줄어들었지만, 엔티티 유형과 릴레이션 유형의 수는 늘어나 개념 데이터 모델의 복잡도는 늘어났다.

후속연구

그러나 본 연구에서 제안된 마스터 데이터를 활용한 데이터베이스 리버스 엔지니어링 방법은 0NF인 경우에도 적용할 수 있고, 쉽게 식별 가능한 핵심 엔티티인 마스터 데이터를 활용함으로써 실무에서 쉽게 적용할 수 있다는 장점이 있다. 또한 데이터 거버넌스와 데이터 통합에 국한된 마스터 데이터의 활용 영역을 데이터베이스 리버스 엔지니어링 분야로 넓히는데 기여했다. 향후 연구 분야로는 다양한 도메인에 대한 실증적 연구와 함께 복원 개념 데이터 모델을 품질 수준 높이는 방안의 연구이다.
또한 데이터 거버넌스와 데이터 통합에 국한된 마스터 데이터의 활용 영역을 데이터베이스 리버스 엔지니어링 분야로 넓히는데 기여했다. 향후 연구 분야로는 다양한 도메인에 대한 실증적 연구와 함께 복원 개념 데이터 모델을 품질 수준 높이는 방안의 연구이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	마이크로 서비스은 무엇인가?	요즘 서비스 기반 소프트웨어 산업에서 아키텍처 스타일을 선택할 때 마이크로 서비스 아키텍처가 대부분을 차지하고 있다. [1]에서 마이크로 서비스는 시스템을 매우 밀접한 비즈니스 기능을 수행하기 위한 목적으로 구축하는 소형 경량 서비스로 분할하는 것에 중점을 두고, 전통적인 서비스 지향 아키텍처 스타일의 진화된 형태로 정의하고 있다. 마이크로 서비스 아키텍처를 적용 함으로써 민첩성, 개발 생산성, 탄력성, 확장성, 신뢰성, 배포 용이성 향상되지만, 적절한 서비스 식별, 데이터 공유, 보안, 성능은 문제가 될 수 있다.
	데이터 베이스 리버스 엔지니어링을 하는데 어려움이 생기는 이유는?	비즈니스 의사결정을 위한 데이터 활용을 위해서는 데이터베이스 구조와 데이터 의미를 파악하기 위해 데이터 베이스 리버스 엔지니어링(Database Reverse Engineering) 이 필요하다. 그러나 마이크로 서비스 아키텍처에서는 특별히 데이터 모델링 단계가 없으며 애플리케이션에서 사용하는 질의(Query) 중심으로 데이터 구조를 설계 한다[3-9]. 이 때문에 데이터베이스 리버스 엔지니어링 시에 데이터 구조와 의미 파악에 어려움이 있다.
	마이크로 서비스 아키텍처 적용시 장단점은?	[1]에서 마이크로 서비스는 시스템을 매우 밀접한 비즈니스 기능을 수행하기 위한 목적으로 구축하는 소형 경량 서비스로 분할하는 것에 중점을 두고, 전통적인 서비스 지향 아키텍처 스타일의 진화된 형태로 정의하고 있다. 마이크로 서비스 아키텍처를 적용 함으로써 민첩성, 개발 생산성, 탄력성, 확장성, 신뢰성, 배포 용이성 향상되지만, 적절한 서비스 식별, 데이터 공유, 보안, 성능은 문제가 될 수 있다. 마이크로 서비스 아키텍처에서 바라보는 데이터베이스는 단지 데이터를 저장하고 추출하는 파일 혹은 스토리지이며, 소프트웨어 개발 편리성과 확장성을 위해서 데이터 품질은 희생될 수 있다.

참고문헌 (20)

M. Fowler, and J. Lewis, Microservices a definition of this new architectural term [Internet]. Available: http://martinfowler.com/articles/microservices.html , 2014.
R. Rodger, The Tao of Microservices. Manning Publications Company, 2016.
F. Bugiotti, L. Cabibbo, P. Atzeni, and R. Torlone, "Database design for NoSQL systems," In International Conference on Conceptual Modeling, pp. 223-231, Oct. 2014.
R. Hernandez, Y. Becerra, and J. Torres, "Automatic query driven data modelling in Cassandra," Procedia Computer Science, 51, pp. 2822-2826, 2015.

상세보기
A. Chebotko, A. Kashlev, and S. Lu, "A big data modeling methodology for Apache Cassandra," In 2015 IEEE International Congress on Big Data, pp. 238-245, Jun. 2015.
K. C. Shin, C. H. Hwang, and H. K. Jung, "Study on NoSQL Data Modeling," In INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING, vol. 8, no. 1, pp. 285-287, 2016.
P. Atzeni, F. Bugiotti, L. Cabibbo, and R. Torlone , "Data modeling in the NoSQL world," Computer Standards & Interfaces, 2016.
D. Pasqualin, G. Souza, E. L. Buratti, E. C. de Almeida, M. D. Del Fabro, and D. Weingaertner, "A case study of the aggregation query model in read-mostly nosql document stores," In Proceedings of the 20th International Database Engineering & Applications Symposium, pp. 224-229, Jul. 2016.
K. Shin, C. Hwang, and H. Jung, "NoSQL database design using UML conceptual data model based on Peter Chen's framework," International Journal of Applied Engineering Research, vol. 12, no. 5, pp. 632-636, 2017.
C. Y. Lee, Business Ingelligence & Data Analysis, Kookmin University Press, 2016.
J. L. Hainaut, J. Henrard, D. Roland, V. Englebert, and J. M. Hick, "Structure elicitation in database reverse engineering. In Reverse Engineering," Proceedings of the Third Working Conference on IEEE, pp. 131-140, Nov. 1996.
M. Blaha, "On reverse engineering of vendor databases," Proceedings Fifth Working Conference on Reverse Engineering, Honolulu: Hl, pp. 183-190, Oct. 1998.
H. L. Chiang, T. M. Barron, and V. C. Storey, "Reverse engineering of relational databases: Extraction of an EER model from a relational database," Data & Knowledge Engineering, vol. 12, no. 2, pp. 107-142, Mar. 1994.

상세보기
C. Batini, S. Ceri, S. B. Navathe, "Conceptual Database Design - An Entity-Relationship Approach," Benjamin/Cummings, 1992.
J. M. Petit, J. Kouloumdjian, J. F. Boulicaut, and F. Toumani, "Using Queries to Improve Database Reverse Engineering," Proceeding ER '94 Proceedings of the13th International Conference on the Entity-Relationship Approach, Manchester, pp. 369-386, Dec. 1994.
W. J. Premerlani, and M. R. Blaha, "An approach for Reverse Engineering of Relational Databases," Proceedings Working Conference on Reverse Engineering, Baltimore, pp. 151-160, May. 1993.
R. Alhajj, "Extracting the extended entity-relationship model from a legacy relational database," Information Systems, vol. 28, vol. 6, pp. 597-618, 2003.

상세보기
D. Yeh, Y. Li, and W Chu, "Extracting entity relationship diagram from a table-based legacy database," Journal of Systems and Software, vol. 81, no. 5, pp. 746-771, May. 2008.
N. Mfourga, "Extracting Entity-Relationship Schemas from Relational Databases A Form-driven Approach," Proceedings of the Fourth Working Conference on Reverse Engineering, Amsterdam, pp. 184-193, Oct. 1997.
D. Tsichritzis, and A Klug, "The ANSI/X3/SPARC DBMS framework report of the study group on database management systems," Information systems, vol. 3, no. 3, pp. 173-191, 1978.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증