[논문]오픈소스 DBMS의 성능 품질 평가

민미경

doi:10.7469/jksqm.2017.45.4.933

오픈소스 DBMS의 성능 품질 평가
Evaluating the Performance Quality of Open Source Database Management Systems 원문보기

品質經營學會誌 = Journal of Korean society for quality management, v.45 no.4, 2017년, pp.933 - 942

Abstract ▼ AI-Helper

Purpose: The purpose of this paper is to evaluate the performance quality of the open source DBMSs. Performance quality is defined as processing time for Join queries. Query processing time is measured and compared in the most widely used open source DBMSs and commercial DBMS. Methods: By varying the number of tuples of two relations to be joined, the average processing time(seconds) of a Join query in each DBMS was obtained experimentally. ANOVA and Tukey HSD test were used in order to compare the performance quality of DBMSs. Results: There was a significant difference between the performance qualities of the three DBMSs at all experimental levels where the number of tuples was 100, 1,000, 2,000, 10,000, and 50,000. As a result of the Tukey HSD test, two open source DBMSs (MariaDB, MySQL) were classified in the same group only at the tuple level of 100. The commercial DBMS (MS-SQL Server) belonged to another group. At level of more than 1,000 tuples, all three DBMSs belonged to different groups. Conclusion: Within the open source DBMS group, MariaDB showed the better performance quality except for a small number of tuples. Thus the results show that MariaDB can be the alternative to MySQL which is currently most widely used. Between open source DBMS and commercial DBMS groups, MS-SQL Server always shows the best performance quality, but the less number of tuples, the less the difference.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 윈도우즈 환경 하에서 가장 널리 사용되는 오픈소스 DBMS인 MariaDB와 MySQL, 그리고 상용 DBMS인 MS-SQL Server의 시간성능을 실험에 의해 평가하였다. DBMS의 성능품질을 쿼리의 처리시간으로 정의하고, 릴레이션의 튜플의 수를 변화시키면서 두 릴레이션 간의 조인 쿼리의 처리시간을 측정하였다.
본 논문에서는 오픈소스 DBMS의 성능품질을 측정하여 이를 비교한다. 성능품질은 검색 쿼리에 대한 처리시간으로 정의한다.

가설 설정

DBMS의 성능을 측정하기 위해서 검색 쿼리 중에서 시간이 가장 많이 소요되는 조인 쿼리를 생성하였다. 2개의 릴레이션이 1개의 외래 키에 의해 연결된다고 가정하고 쿼리 Where 절의 조인 조건은 1개로 단순화하였다. 조인 선택율은 10%라고 가정하였다.
2개의 릴레이션이 1개의 외래 키에 의해 연결된다고 가정하고 쿼리 Where 절의 조인 조건은 1개로 단순화하였다. 조인 선택율은 10%라고 가정하였다. 튜플은 무작위로 생성하였으며, 릴레이션에 포함된 튜플의 수를 변화시키면서 변화된 튜플 수에 따라 조인 쿼리를 수행하는 처리시간을 측정하였다.
001 이므로 평균이 같다는 가설을 기각할 수 있다. 즉 평균이 동일하다는 가설을 기각할 수 있으므로 평균은 동일하지 않다. 이 경우에서도 MariaDB, MySQL, MS-SQL Server 3개의 DBMS 간에는 처리시간에 있어서 차이를 보인다.

제안 방법

DBMS의 성능을 측정하기 위해서 검색 쿼리 중에서 시간이 가장 많이 소요되는 조인 쿼리를 생성하였다. 2개의 릴레이션이 1개의 외래 키에 의해 연결된다고 가정하고 쿼리 Where 절의 조인 조건은 1개로 단순화하였다.
DBMS의 성능품질은 조인 쿼리의 처리속도로 정의하였으므로, 3개 DBMS의 성능품질을 비교하기 위해서 각 DBMS 간에 튜플의 개수에 따른 처리시간 평균에 차이가 존재하는가를 분석하였다. 이를 위해 Ree(2013), Ryu(2014)에서와 같은 분산분석을 실시하였다.
본 논문에서 윈도우즈 환경 하에서 가장 널리 사용되는 오픈소스 DBMS인 MariaDB와 MySQL, 그리고 상용 DBMS인 MS-SQL Server의 시간성능을 실험에 의해 평가하였다. DBMS의 성능품질을 쿼리의 처리시간으로 정의하고, 릴레이션의 튜플의 수를 변화시키면서 두 릴레이션 간의 조인 쿼리의 처리시간을 측정하였다. 동일한 실험 환경을 위해 HeidiSQL을 프론트엔드로 사용하였다.
윈도우즈 운영체제 하에서 HeidiSQL을 프론트엔드로 사용하며, 3개의 DBMS를 대상으로 성능을 측정한다. 오픈소스 DBMS로는 가장 널리 사용되는 MySQL과 MariaDB를 대상으로 하며, 상용 DBMS로는 가장 대표적인 윈도우즈용 DBMS인 MS-SQL Server를 대상으로 하여 서로 비교한다. 쿼리는 검색 쿼리 중 가장 처리시간이 오래 걸리는 조인 쿼리(Join query)를 사용하고, 튜플 수를 변화시켜 가면서 이에 따른 처리시간을 측정한다.
튜플은 무작위로 생성하였다. 조인하는 튜플의 수를 2개의 릴레이션 모두에서 100개, 1000개, 2000개, 10,000개, 50,000개로 변화시키면서, 작업로드가 적은 100개부터 작업로드가 큰 5만개의 경우까지 DBMS의 조인 쿼리 처리시간을 보았다. 릴레이션의 튜플 수에 따라 각각의 경우에 3개의 DBMS에서의 처리시간을 각 70회씩 측정한 후 이들의 평균값을 데이터로 사용하였다.
오픈소스 DBMS로는 가장 널리 사용되는 MySQL과 MariaDB를 대상으로 하며, 상용 DBMS로는 가장 대표적인 윈도우즈용 DBMS인 MS-SQL Server를 대상으로 하여 서로 비교한다. 쿼리는 검색 쿼리 중 가장 처리시간이 오래 걸리는 조인 쿼리(Join query)를 사용하고, 튜플 수를 변화시켜 가면서 이에 따른 처리시간을 측정한다. 또한 분산분석을 통해 3개 DBMS의 쿼리 처리시간 간에 차이가 존재하는가 검정을 실시하고, 차이가 나는 그룹을 찾기 위해 Tukey HSD 검정을 실시한다.
조인 선택율은 10%라고 가정하였다. 튜플은 무작위로 생성하였으며, 릴레이션에 포함된 튜플의 수를 변화시키면서 변화된 튜플 수에 따라 조인 쿼리를 수행하는 처리시간을 측정하였다. 튜플은 무작위로 생성하였다.

대상 데이터

조인하는 튜플의 수를 2개의 릴레이션 모두에서 100개, 1000개, 2000개, 10,000개, 50,000개로 변화시키면서, 작업로드가 적은 100개부터 작업로드가 큰 5만개의 경우까지 DBMS의 조인 쿼리 처리시간을 보았다. 릴레이션의 튜플 수에 따라 각각의 경우에 3개의 DBMS에서의 처리시간을 각 70회씩 측정한 후 이들의 평균값을 데이터로 사용하였다.
본 논문에서 3개의 DBMS를 대상으로 성능을 측정하였다. 오픈소스 DBMS로는 가장 널리 사용되는 MySQL과 MariaDB를 택하였다.
성능품질은 검색 쿼리에 대한 처리시간으로 정의한다. 윈도우즈 운영체제 하에서 HeidiSQL을 프론트엔드로 사용하며, 3개의 DBMS를 대상으로 성능을 측정한다. 오픈소스 DBMS로는 가장 널리 사용되는 MySQL과 MariaDB를 대상으로 하며, 상용 DBMS로는 가장 대표적인 윈도우즈용 DBMS인 MS-SQL Server를 대상으로 하여 서로 비교한다.

데이터처리

3개 DBMS의 성능품질에서 차이를 보이는 그룹을 찾기 위해 Tukey HSD 검정을 실시하였다. 결과는 Table 5와 같다.
3개 DBMS의 처리시간에서 차이를 보이는 그룹을 찾기 위해 Tukey HSD 검정을 실시하였다. 결과는 Table 3과 같다.
3장에서는 DBMS의 성능 측정 실험 결과를 보인다. MariaDB, MySQL, MS-SQL Server가 조인 쿼리를 처리하는 시간성능을 측정하고, 이를 비교분석한다. 4장에서는 결론을 맺는다.
쿼리는 검색 쿼리 중 가장 처리시간이 오래 걸리는 조인 쿼리(Join query)를 사용하고, 튜플 수를 변화시켜 가면서 이에 따른 처리시간을 측정한다. 또한 분산분석을 통해 3개 DBMS의 쿼리 처리시간 간에 차이가 존재하는가 검정을 실시하고, 차이가 나는 그룹을 찾기 위해 Tukey HSD 검정을 실시한다.
분산분석을 통해 쿼리의 처리시간 간에 차이가 존재하는가에 대한 검정을 실시하였다. 모든 실험에서 차이가 존재하였으며, 차이가 나는 그룹을 찾기 위해 Tukey HSD 검정을 실시하였다. 분석 결과 튜플의 개수에 관계없이 상용 DBMS인 MS-SQL Server의 성능이 가장 우수했다.
이를 위해 Ree(2013), Ryu(2014)에서와 같은 분산분석을 실시하였다. 분산분석 결과 모든 경우에 유의한 차이를 보였으며, 차이가 나는 그룹을 찾기 위해 Tukey의 HSD 검정을 실시하였다.
튜플을 100개에서 1,000개, 2,000개, 10,000개, 50,000개까지 증가시키면서 오픈소스 DBMS 간의 성능품질 비교 결과를 얻을 수 있었으며, 오픈소스 DBMS와 상용 DBMS 간의 성능품질 비교 결과도 얻을 수 있었다. 분산분석을 통해 쿼리의 처리시간 간에 차이가 존재하는가에 대한 검정을 실시하였다. 모든 실험에서 차이가 존재하였으며, 차이가 나는 그룹을 찾기 위해 Tukey HSD 검정을 실시하였다.
DBMS의 성능품질은 조인 쿼리의 처리속도로 정의하였으므로, 3개 DBMS의 성능품질을 비교하기 위해서 각 DBMS 간에 튜플의 개수에 따른 처리시간 평균에 차이가 존재하는가를 분석하였다. 이를 위해 Ree(2013), Ryu(2014)에서와 같은 분산분석을 실시하였다. 분산분석 결과 모든 경우에 유의한 차이를 보였으며, 차이가 나는 그룹을 찾기 위해 Tukey의 HSD 검정을 실시하였다.

성능/효과

이에 관한 연구는 데이터베이스가 등장한 이래로 수십 년간 계속되어 왔다. 따라서 DBMS의 품질에서 가장 중요한 품질 특성은 시간 효율성, 즉 시간성능이며, 이는 상용 DBMS를 대체할 오픈소스 DBMS의 선택에서도 마찬가지로 가장 중요한 품질 기준이 된다.
오픈소스 DBMS인 MySQL과 MariaDB 간의 성능품질에 대해서는 튜플이 가장 적은 100개의 경우에만 두 DBMS간에 유의한 차이를 보이지 않았으나, 튜플이 1,000개 이상에서는 MariaDB가 MySQL 보다 평균 처리시간이 유의하게 빨라서 성능품질이 좋다는 사실을 밝혔다. 따라서 오픈소스 DBMS 중에서도 가장 많이 사용되는 MySQL 보다는 MariaDB를 사용하는 것이 더 바람직하다는 것을 알 수 있다.
즉 튜플이 많아질수록 상용 DBMS인 MS-SQL Server와 오픈소스 DBMS들 간에 큰 성능차이를 보이며, 1,000개 이상일 때부터 그 차이가 매우 커짐을 볼 수 있다. 또한오픈소스 DBMS들 간에는 튜플의 수가 100개로 작을 때에는 MySQL과 MariaDB 간 성능의 차이가 잘 나타나지 않으나, 튜플의 수가 1,000개 일 때부터는 MariaDB의 성능이 MySQL보다 우수하다는 것을 알 수 있다.
모든 실험에서 차이가 존재하였으며, 차이가 나는 그룹을 찾기 위해 Tukey HSD 검정을 실시하였다. 분석 결과 튜플의 개수에 관계없이 상용 DBMS인 MS-SQL Server의 성능이 가장 우수했다. 특히 튜플의 개수가 5만개로 주어진 스트레스 상황에서는 상용 DBMS와오픈소스 DBMS간에 매우 큰 처리시간 차이를 보였다.
MS-SQL Server는 튜플의 수에 관계없이 항상 가장 좋은 성능을 보이며, 튜플 수에 따른 처리시간의 증가속도가 작다. 즉 튜플이 많아질수록 상용 DBMS인 MS-SQL Server와 오픈소스 DBMS들 간에 큰 성능차이를 보이며, 1,000개 이상일 때부터 그 차이가 매우 커짐을 볼 수 있다. 또한오픈소스 DBMS들 간에는 튜플의 수가 100개로 작을 때에는 MySQL과 MariaDB 간 성능의 차이가 잘 나타나지 않으나, 튜플의 수가 1,000개 일 때부터는 MariaDB의 성능이 MySQL보다 우수하다는 것을 알 수 있다.
튜플을 100개에서 1,000개, 2,000개, 10,000개, 50,000개까지 증가시키면서 오픈소스 DBMS 간의 성능품질 비교 결과를 얻을 수 있었으며, 오픈소스 DBMS와 상용 DBMS 간의 성능품질 비교 결과도 얻을 수 있었다. 분산분석을 통해 쿼리의 처리시간 간에 차이가 존재하는가에 대한 검정을 실시하였다.
분석 결과 튜플의 개수에 관계없이 상용 DBMS인 MS-SQL Server의 성능이 가장 우수했다. 특히 튜플의 개수가 5만개로 주어진 스트레스 상황에서는 상용 DBMS와오픈소스 DBMS간에 매우 큰 처리시간 차이를 보였다. 그러나 튜플의 수가 적어질수록 그 차이는 작아졌다.

후속연구

성능품질을 구성하는 시간성능과 공간성능 중에서는 DBMS의 처리시간을 나타내는 시간 성능이 보다 중요시 되고 있다. 따라서 오픈소스 DBMS가 기존 상용 DBMS의 대체재로서 적합한지 알기 위해서는 시간성능 품질을 연구할 필요가 있다.
본 연구결과는 오픈소스 DBMS와 상용 DBMS 간의 선택기준으로 활용될 수 있다. 앞으로 쿼리의 종류를 삽입, 삭제, 갱신의 경우로 확대하고 검색 쿼리에서도 조인 조건을 보다 다양화하면서, 동일한 실험을 수행 하는 것이 향후 과제이다.
본 연구결과는 오픈소스 DBMS와 상용 DBMS 간의 선택기준으로 활용될 수 있다. 앞으로 쿼리의 종류를 삽입, 삭제, 갱신의 경우로 확대하고 검색 쿼리에서도 조인 조건을 보다 다양화하면서, 동일한 실험을 수행 하는 것이 향후 과제이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	오픈소스 DBMS가 기존 상용 DBMS의 대체재로서 적합한지 알기 위해 시간성능 품질을 연구해야 하는 이유는 무엇인가?	일반적인 DBMS의 품질에는 여러 가지 특성이 있을 수 있으나, 이 중 DBMS의 품질을 결정하는 가장 중요한 특성은 효율성, 즉 성능품질이다. 성능품질을 구성하는 시간성능과 공간성능 중에서는 DBMS의 처리시간을 나타내는 시간 성능이 보다 중요시 되고 있다. 따라서 오픈소스 DBMS가 기존 상용 DBMS의 대체재로서 적합한지 알기 위해서는 시간성능 품질을 연구할 필요가 있다.
	DBMS란 무엇인가?	오픈소스 소프트웨어에는 다양한 종류가 있으며, 서버용 오픈소스 소프트웨어로 분류될 수 있는 데이터베이스 관리시스템(DBMS: Database Management System)은 이 중 하나이다. DBMS는 사용자와 데이터베이스간의 소통을 위해 데이터베이스를 관리하는 소프트웨어 시스템으로서 데이터를 효율적으로 저장∙관리하고 검색∙사용하도록 지원하는 것이 주요한 목적이다. 최근에는 전통적인 상용 DBMS 뿐만 아니라 오픈소스 DBMS도 많이 사용되고 있다.
	DBMS가 필수적으로 갖춰야 할 기능에는 무엇이 있는가?	DBMS(Database Management System)란 데이터베이스에 대한 모든 접근을 관리하는 소프트웨어이다. DBMS가 필수적으로 갖추어야 할 기능에는 데이터 정의기능, 데이터 조작기능, 최적화, 데이터 보안 및 무결성 유지기능, 데이터 회복 및 동시성 제어 기능, 데이터 사전 유지 기능이 있다(Date 2004). DBMS의 주요 역할은 데이터베이스의 데이터에 대한 검색, 삽입, 삭제, 갱신의 연산이다.

참고문헌 (14)

Androutsellis-Theotokis, S., Spinellis, D., Kechagia, M., and Gousios, G. 2011. Open Source Software: A Survey from 10,000 Feet. Foundations and Trends in Technology Information and Operations Management and Publish.
Choi, Seung-jun, Park, Jae-Won, Kim, Jong-Bae, and Choi, Jae-Hyun. 2014. "A Quality Evaluation Model for Distributed Processing Systems of Big Data." Journal of Digital Contents Society 15: 533-545.

원문보기 상세보기
Chung, Su-min, Choi, Jae-hyun, and Park, Jae-won. 2016. "Design of Software Quality Evaluation Model for IoT." Journal of the Korea Institute of Information and Communication Engineering 20: 1342-1354.

원문보기 상세보기
Date, C. J. 2004. An Introduction to Database Systems 8th Edition. Pearson.
ISO/IEC TR 9126-1. 2001. Software Engineering-Product Quality-Part 1: Quality Model.
ISO/IEC TR 9126-2. 2003. Software Engineering-Product Quality-Part 2: Internal Metrics.
ISO/IEC TR 25010. 2011. System and software engineering - Systems and software Quality Requirements and Evaluation.
Lee, Chung-Hyun, Choi, Jae-Hyun, and Park, Jea-Won. 2015. "A Practical Quality Evaluation Model of Mobile Cloud Software." Journal of Korean Institute of Information Technology 13: 95-110.
Lim, Kwang-Hyeon, Ryu, Kwang-Sum, Shon, Ho-Sun, and Ryu, Keun-Ho. 2012. "The Study of quality measurement plan for software reliability." Journal of the Korea Society of Computer and Information 17: 187-198.
Ree, Sangbok. 2013. "Study on the result changes with the size of the variance in Taguchi method and factor experimental." Journal of Quality Management 41: 119-134.
Ryu, Gui-Yeol. 2014. "A Study on Quality Portals Based on Probability Distributions of Response Time." Journal of Quality Management: 42: 33-42.
Samoladas, I., Gousios, G., Spinellis, D., and Stamelos, I. 2008. "The SQO-OSS quality model: measurement-based open source software evaluation." Open source development, communities and quality, 237-248.
Spinellis, D. 2006. Code Quality: The Open Source Perspective. Addison Wesley Professional.
Spinellis, D., Gousios G., Karakoidas, V., Louridas, P., and Adams, P. 2009. "Evaluating the Quality of Open Source Software." Electronic Notes in Theoretical Computer Science 233: 5-28.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증