[논문]Row-지향과 Column-지향 데이터베이스의 조인 질의 처리 비용 비교

오병중; 안수민; 김경창

[국내논문] Row-지향과 Column-지향 데이터베이스의 조인 질의 처리 비용 비교
Comparision of Join Query Processing Cost in Row-Oriented and Column-Oriented Databases 원문보기

오병중 (홍익대학교 컴퓨터공학과) , 안수민 (홍익대학교 컴퓨터공학과) , 김경창 (홍익대학교 컴퓨터공학과)

데이터 레코드를 가로(row-wise)로 저장하는 기존의 데이터베이스를 Row-지향 데이터베이스, 세로(column-wise)로 저장하는 데이터베이스를 Column-지향 데이터베이스라 정의하자. 본 논문에서는 Row-지향 데이터베이스와 Column-지향 데이터베이스에서 분석 workload 형태의 조인 질의를 처리하여 비교 우위 성능을 보이는 데이터베이스 시스템을 고찰하고자 한다. 객관적인 성능 실험을 위해 분석적 모델인 스타 스키마 벤치마크를 이용하였다. Nested Loop 조인과 Sort Merge 조인 기법을 사용한 실험에서 Column-지향 데이터베이스의 성능이 우수하게 나타났음을 확인할 수 있다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기존의 Row-지향 데이터베이스와 Column-지향 데이터베이스의 디스크 I/O 비용적인 측면을 바탕으로 스타 스키마 벤치마크의 스키마와 일부 조인 질의 상에서 Page-Oriented Nested Loop Join과 Sort Merge Join을 수행하여 어떠한 데이터베이스 시스템이 조인 처리에 효율적인가에 대해 알아보았다. 이를 통해 데이터웨어하우스 환경에서는 같은 질의를 처리하더라도 Row-지향 데이터베이스 보다는 Column-지향 데이터베이스 시스템이 더욱 비용 효율적이었음을 알 수 있었다.

가설 설정

B-Tree 인덱스를 가지고 있는 가정에는 Lineorder 테이블의 discount 컬럼과 Date 테이블의 year 컬럼에 3-계층의 B-Tree 인덱스를 가지고 있다고 가정하였으며, 각 d_year = 1993, 1≤lo_discount≤3의 서술부에 부합하는 데이터를 가져오는 I/O 비용은 1로 산정하였다.
사용한 질의 처리 기법은 Page-Oriented Nested Loop Join과 Sort Merge Join을 사용하였다. 각각의 조인 기법을 적용하기에 앞서 Lineorder, Date 테이블에 Selection을 위한 인덱스가 없는 경우와 B-Tree 인덱스를 가지고 있는 경우를 가정하여 처리하였다. B-Tree 인덱스를 가지고 있는 가정에는 Lineorder 테이블의 discount 컬럼과 Date 테이블의 year 컬럼에 3-계층의 B-Tree 인덱스를 가지고 있다고 가정하였으며, 각 d_year = 1993, 1≤lo_discount≤3의 서술부에 부합하는 데이터를 가져오는 I/O 비용은 1로 산정하였다.

제안 방법

2절에서는 Column-지향 데이터베이스에서 사용가능한 두 가지 조인 기법에 대해 알아본다. 3절의 성능 분석에서는 먼저 분석적 모델인 스타 스키마 벤치마크에 대해 간략하게 설명하고 이 벤치마크를 이용하여 Nested Loop Join과 Sort Merge Join 알고리즘을 적용한 Row-지향 데이터베이스 시스템과 Column-지향 데이터베이스 시스템의 I/O 비용을 알아본다. 그리고 4절에서는 결론에 대해 기술한다.
G = R3.K를 수행하기 위해 전 단계에서 프로젝션된 포지션과 함께 컬럼 G와 K를 스캔하여 두 번재 질의를 수행하고 마찬가지로 조인 질의에 부합하는 컬럼 내 값을 가진 포지션을 프로젝션한다. 이제 첫 번째와 두 번째 질의를 통해 결과로써 받은 두 포지션을 position-wise AND 연산을 하여 최종적으로 두 조인 질의에 부합하는 포지션을 반환받는다.
이미 기존의 Materialization 기법 연구에서는 Early Materialization 기법보다 Late Materialization 기법이 더욱 좋은 성능을 내고 있음을 설명하였다[4, 6]. 다음 절에서는 Row-지향 데이터베이스와 Column-지향 데이터베이스에서 조인 기법을 적용하여 디스크 I/O 비용의 효율적 측면에서 비교 분석하고자 한다.
1과 이에 대응하는 FF(Filter Factor)는 <표 1>에 수록하였다[1]. 본 논문의 분석에서는 스타 스키마 벤치마크의 SF(Scale Factor)를 0.01로 하여 Lineorder의 총 튜플 수는 60000 튜플로 설정하였다.

이론/모형

Column-지향 데이터베이스와 Row-지향 데이터베이스의 조인 질의 처리 디스크 I/O 비용의 객관적 비교 분석을 위해 데이터베이스 모델은 스타 스키마 벤치마크(Star Schema Benchmark)를 사용하였다[1]. 스타 스키마 벤치마크는 TPC-H를 기반으로 한 데이터 웨어하우징에서 복잡한 정보를 모델링하는 표준형 기술로써 중심이 되는 Fact Table을 중심으로 Dimension 테이블이 붙어있는 형태이다[2].
Row-지향 데이터베이스의 레이아웃을 그대로 Column-지향 데이터베이스로 가져왔으며, 이 때 릴레이션을 Column-지향 데이터베이스로 매핑하기 위해 MonetDB의 아키텍처를 사용하였다[3].
사용한 질의 처리 기법은 Page-Oriented Nested Loop Join과 Sort Merge Join을 사용하였다. 각각의 조인 기법을 적용하기에 앞서 Lineorder, Date 테이블에 Selection을 위한 인덱스가 없는 경우와 B-Tree 인덱스를 가지고 있는 경우를 가정하여 처리하였다.

성능/효과

그림 4와 그림 5의 그래프에서 볼 수 있듯이 Row-지향 데이터베이스에서와 Column-지향 데이터베이스에서의 조인 질의 처리를 위한 디스크 I/O 비용을 비교 분석해 보았을 때, Row-지향 데이터베이스보다 Column-지향 데이터베이스에서 몇 배 낮은 비용이 드는 것을 알 수 있다. 또한 Column-지향 데이터베이스에서는 Early Materialization 조인 기법 보다 Late Materialization 조인 기법이 더 적은 비용이 필요로 함을 확인하였다.
본 논문에서는 기존의 Row-지향 데이터베이스와 Column-지향 데이터베이스의 디스크 I/O 비용적인 측면을 바탕으로 스타 스키마 벤치마크의 스키마와 일부 조인 질의 상에서 Page-Oriented Nested Loop Join과 Sort Merge Join을 수행하여 어떠한 데이터베이스 시스템이 조인 처리에 효율적인가에 대해 알아보았다. 이를 통해 데이터웨어하우스 환경에서는 같은 질의를 처리하더라도 Row-지향 데이터베이스 보다는 Column-지향 데이터베이스 시스템이 더욱 비용 효율적이었음을 알 수 있었다. Selection 조건을 명시하는 컬럼에 B-tree 인덱스가 존재하는 디자인이 비용적인 측면에서 큰 효율을 거둘 수 있었다.
이를 통해 데이터웨어하우스 환경에서는 같은 질의를 처리하더라도 Row-지향 데이터베이스 보다는 Column-지향 데이터베이스 시스템이 더욱 비용 효율적이었음을 알 수 있었다. Selection 조건을 명시하는 컬럼에 B-tree 인덱스가 존재하는 디자인이 비용적인 측면에서 큰 효율을 거둘 수 있었다.
또한 Column-지향 데이터베이스 시스템 내에서도 조인에 참여하는 컬럼들을 질의 처리 앞 단계에서 모두 Row-Store 형태로 구성하는 Early Materialization 기법보다는 모든 질의 처리가 끝나고 마지막 단계에서 구성하여 결과를 표현해주는 Late Materialization 기법이 디스크 I/O 비용 측면에서 효율적인 성능을 보임을 알 수 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] Row-지향과 Column-지향 데이터베이스의 조인 질의 처리 비용 비교
Comparision of Join Query Processing Cost in Row-Oriented and Column-Oriented Databases 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] Row-지향과 Column-지향 데이터베이스의 조인 질의 처리 비용 비교 Comparision of Join Query Processing Cost in Row-Oriented and Column-Oriented Databases 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] Row-지향과 Column-지향 데이터베이스의 조인 질의 처리 비용 비교
Comparision of Join Query Processing Cost in Row-Oriented and Column-Oriented Databases 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper