선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 인덱스 관점에서 살펴보며, 메모리 데이터베이스에서 B-Tree도 많이 사용된다.[5] 본 연구에서는 일반 데이터 베이스의 기본 색인인 B+-Tree를 본 컬럼-지향 플래시메모리 저장 환경에 적합하게 개선하여, 검색 속도를 높이고, 저장 안정성을 개선할 수 있는 색인 이중화 기법인 AID-Tree (Asymmetric Index Duplication Tree) 및 관리 기법을 제안한다. AID-Tree 기법은 이중화와 더불어 B-Tree의 비활용 영역을 제거한 압축과 내장된 압축 인덱스 기반의 고속 검색을 활용한다.
- 특히 데이터가 미러링 되어 중복되어 있는 경우에는 두 경로에서 데이터를 접근할 수 있게 되므로 그 효율을 더 높아질 수 있다. 본 연구에서는 기존의 단일 인덱스가 아닌 서로 다른 두 개의 인덱스 개념을 도입하여 안정성과 성능을 개선하게 된다. 본 제안 기법에서는 디스크 기반 및 메인 메모리 기반 색인 중에서 가장 지속적으로 사용되며 공통적인 모태 속성을 가진 B-Tree색인을 근간으로 하여 보편성을 살리되, 대용량 압축 데이터베이스 및 고속 플래시 메모리에 효과적인 색인 관리 및 데이터 검색 기법을 제안한다.
- 즉, 과거와는 달리 이제 대용량 데이터베이스의 인덱스를 다시 생성하기에는 이제는 너무 많은 시간이 필요하고, 그 지연시간동안 운영은 겨우 되더라도 해당 인덱스가 없으므로 그 검색 성능은 매우 저하되게 된다. 본 연구의 목표는 이러한 인덱스의 기존 관리개념을 탈피하여, 새로운 방식으로 이중화 저장 관리하여 저비용으로 안정성과 검색성을 높이고자 한다.
제안 방법
- B+-Tree에서 시뮬레이션을 수행하여 분석한 결과 69%정도 차 있을 때가 성능 상 최적이라고 한다.[6] 본 제안기법에서는 원래의 빈공간이 유지되고 있는 마스터 인덱스를 유지하되, 고속 검색을 위하여 30%의 용량이 줄어든 컴팩트 인덱스를 하나 더 만들어 두 개를 활용하고자 한다. 삽입, 삭제시 발생하는 리벨런싱 효율을 위하여, 마스터 인덱스를 기존처럼 유지하면서, 빈공간이 제거된 컴팩트 인덱스를 통하여 트리 순회의 길이를 대폭 줄여서 인덱스의 검색 깊이를 줄이므로 검색 속도 개선이 가능하다.
- 기본적으로 세로-저장 스토리지는 테이블 저장시 세로로 분리 저장하므로, 유사성이 높은 데이터들이 서로 군집되어, 압축, 저장, 검색에 매우 효과적인 구조이다.과거에는 하드 디스크가 대세였고 스토리지도 이에 적응하였으므로, 하드 디스크의 접근 특성을 고려하였고, 당연히 저장 연산 처리에 가장 효율적인 방식인 가로-기반 저장 방식으로 설계되었다.
- 다음으로, 이러한 분석용 데이터웨어하우스 분야에서 검색 성능과 저장 안전성을 향상 시킬 수 있는 비대칭 인덱스 이중화 기반의 새로운 데이터 저장 기법을 제안하였다. 제안 기법은 기준이 되는 마스터 인덱스와 트리검색이 빠른 컴팩트 인덱스를 활용하고, 압축시 분할된 데이터 이중화를 통하여, 안정성과 더불어 읽기가 집중된 고부하 워크로드에서 특히 우수한 검색 성능을 제공한다.
- 성능 테스트에서는 제안한 색인 관리 기법을 다른 3가지 기법과 비교 분석하였다. 또한, 포괄적인 성능 분석을 위하여 인덱스 관리 기법과 밀접하게 연계되는 데이터 저장소를 포함하여 측정되었다. 즉, 아래와 같이 명명된 총 4가지 방식의 성능이 분석되었다.
- 제안 기법은 기준이 되는 마스터 인덱스와 트리검색이 빠른 컴팩트 인덱스를 활용하고, 압축시 분할된 데이터 이중화를 통하여, 안정성과 더불어 읽기가 집중된 고부하 워크로드에서 특히 우수한 검색 성능을 제공한다. 마지막으로 성능 평가 모델을 제시하고, 실험용 데이터와 프로세스를 구축하였다. 분석 결과, 본 인덱스 및 데이터 관리 기법이 기존 기법보다 검색 처리치 에서 15% 개선되고, 응답성에서 30% 더 우수하였다.
- 인덱스 트리의 크기는 루트 노드부터 시작하여 리프노드까지 구성하여 산정해 보았다. 먼저 중간 노드의 크기는 한 페이지의 크기 이하로 할 때, 몇 개의 하위 노드를 포인팅 가능한지, 노드 포인터의 개수를 계산하였다.계산 결과를 바탕으로 구성하면 아래의 표1과 같다.
- 먼저, 본 논문에서는 고속 검색이 빈번한 대용량 압축데이터베이스를 위한 컬럼-기반 데이터 저장 관리 기술을 기존의 가로-지향형 일반 데이터베이스와 비교 분석하였다. 또한, 최근 대중화 되고 있는 플래시 메모리기반 SSD 저장 장치를 활용하면 압축률이 높고 검색이 많은 환경에서 효과적임을 보였다.
- 보편적으로 안전성을 높이기 위하여 두 디스크를 동일한 내용으로 이중 저장하는 미러링 방식을 사용한다.그런데, 데이터에 대해서는 비용을 더 투자해서라도 이중화를 하여 데이터의 안정성을 증대시키려고 하는 반면, 이러한 데이터를 사용하기 전에 먼저 접근해야 하는 인덱스에 대해서는 굳이 이중화를 하지 않고 있다.
- 물론,이러한 고효율 압축을 잘 활용한 것이 컬럼-데이터베이스의 기본 발상이며 큰 장점이기도 하다. 본 연구에서는 플래시 메모리를 통한 검색 고속화와 공간효율을 위하여 중간 노드는 빈 공간 압축하며, 컬럼 데이터가 들어 있는 리프 노드는 빈 공간 압축과 더불어 세그먼트로 나누어 압축한다. 본 실험에 사용된 압축 알고리즘은 Lha나 Gzip 유틸리티의 기반이 되는 lzo 압축[10]이다.
- 본 연구에서는 기존의 단일 인덱스가 아닌 서로 다른 두 개의 인덱스 개념을 도입하여 안정성과 성능을 개선하게 된다. 본 제안 기법에서는 디스크 기반 및 메인 메모리 기반 색인 중에서 가장 지속적으로 사용되며 공통적인 모태 속성을 가진 B-Tree색인을 근간으로 하여 보편성을 살리되, 대용량 압축 데이터베이스 및 고속 플래시 메모리에 효과적인 색인 관리 및 데이터 검색 기법을 제안한다.
- 성능 테스트에서는 제안한 색인 관리 기법을 다른 3가지 기법과 비교 분석하였다. 또한, 포괄적인 성능 분석을 위하여 인덱스 관리 기법과 밀접하게 연계되는 데이터 저장소를 포함하여 측정되었다.
- 인덱스 트리의 크기는 루트 노드부터 시작하여 리프노드까지 구성하여 산정해 보았다. 먼저 중간 노드의 크기는 한 페이지의 크기 이하로 할 때, 몇 개의 하위 노드를 포인팅 가능한지, 노드 포인터의 개수를 계산하였다.
대상 데이터
- 7Ghz에 RAM 8G, 64bit 윈도우즈7 Ultimate을 사용하였다. 또한, 총 10억 건의 데이터를 대상으로 하고, 분석용으로 CSimAPI[11]가 사용되었다. 실험용 트리는 효율을 위하여 한 노드의 크기는 한 페이지의 크기인 512B와 같도록 하였다.
- 또한, 한 컬럼 세그먼트에 1만개의 압축된 컬럼데이터가 저장되므로, 28억개의 컬럼데이터에 접근할 수 있으며, 실험 범위의 분석데이터를 지원할 충분한 크기이다. 실험 범위에서 한 개의 컬럼 인덱스의 6.51메가바이트이고, 대용량 압축 데이터베이스 전체에 지원할 인덱스 개수가 백 개 정도면 충분하므로, 총 컬럼에 대한 인덱스가 점유하는 공간은 최대 700메가바이트 이하다.
- 실험용 트리는 효율을 위하여 한 노드의 크기는 한 페이지의 크기인 512B와 같도록 하였다. 포인터의 크기는 일반적인 포인터 크기인 4바이트에 플래시 메모리 식별자 1바이트를 추가하여 5바이트로 설정하였다.또한, 키필드의 크기도 10바이트로 설정하였는데, 압축을 하면, 일반적인 정수, 실수 등의 데이터 형을 포함하여 키워드 정도의 문자열을 포함할 수 있는 크기이다.
이론/모형
- 본 연구에서는 플래시 메모리를 통한 검색 고속화와 공간효율을 위하여 중간 노드는 빈 공간 압축하며, 컬럼 데이터가 들어 있는 리프 노드는 빈 공간 압축과 더불어 세그먼트로 나누어 압축한다. 본 실험에 사용된 압축 알고리즘은 Lha나 Gzip 유틸리티의 기반이 되는 lzo 압축[10]이다. 그림3은 본 연구에서 컬럼-지향데이터베이스를 위하여 검색성능을 개선 제안한 비대칭 인덱스 이중화 (AID index)기법의 저장 구조이다.
성능/효과
- 기존 하드디스크와는 달리 플래시 메모리의 인덱스는 비인접 영역에도 신속한 랜덤 접근 가능하므로 이중화시에도 하드디스크 보다 더 효율적이고 빠르다. 결과적으로, 이러한 인덱스 이중화 효과로서 본 기법이 MirrorComp 보다 30%정도의 개선된 응답 속도를 나타냈다. 즉, 검색에 수반된 컬럼-인지 인덱스 이중화 효과가 처리 시간에 개선 효과를 주고, 이는 처리 성능치를 개선시킴을 확인할 수 있었다.
- 특히, 벌크로드와 업데이트는 일상적인 시간이 아닌 유휴시간에 이루어지므로 실질적인 성능 손실을 사용자가 체감하기는 더더욱 어렵다. 따라서 분석용 데이터베이스 환경에서 매우 빈번한 검색 연산과 매우 드믄 갱신연산의 비대칭적 비중을 고려할 때, AID 기법은 기존 기법에 비하여 소량의 자원추가로 우수한 성능을 얻을 수 있다고 판단된다.
- 먼저, 본 논문에서는 고속 검색이 빈번한 대용량 압축데이터베이스를 위한 컬럼-기반 데이터 저장 관리 기술을 기존의 가로-지향형 일반 데이터베이스와 비교 분석하였다. 또한, 최근 대중화 되고 있는 플래시 메모리기반 SSD 저장 장치를 활용하면 압축률이 높고 검색이 많은 환경에서 효과적임을 보였다.
- 또한 다중 동적 해시 인덱스는 멀티 레벨 구조를 활용하여 쓰기 연산을 줄였지만, 저장 메모리 버퍼를 사용하여 갑작이 정전이 되면 자료가 손실될 수도 있다. 본 기법은 정전시 해시 관리로 인한 손실이 없으며, 두 종류의 인덱스를 이중화 시켜서 사용하므로 더 안정적이라고 할 수 있다. 또한, 갱신 연산 보다는 검색 위주의 환경에서 더 유리한 점이 다르다.
- 그림에서 중간노드는 루트 노드에서 포인팅 되어서 다시 다수의 중간노드로 분기될 수 있으며, 최종적으로 리프 노드를 포인팅하게 된다. 본 제안 기법의 중간노드는 노드 구조를 참조하였으나, 비활용 여유 영역을 캐슁이 아닌 키와 데이터 영역으로 빈틈없이 확장하여 사용한다는 점에서 크게 다르다. 본 기법의 중간 노드 탐색방법은 기존 B+-Tree와 같이 루트 노드로부터 킷값을 좌우 범위를 비교하여 킷값의 범위를 아래로 좁혀가며 최종적으로 리프 노드까지 인덱스 트리를 찾아 가는 방식이다.
- 마지막으로 성능 평가 모델을 제시하고, 실험용 데이터와 프로세스를 구축하였다. 분석 결과, 본 인덱스 및 데이터 관리 기법이 기존 기법보다 검색 처리치 에서 15% 개선되고, 응답성에서 30% 더 우수하였다.
- [6] 본 제안기법에서는 원래의 빈공간이 유지되고 있는 마스터 인덱스를 유지하되, 고속 검색을 위하여 30%의 용량이 줄어든 컴팩트 인덱스를 하나 더 만들어 두 개를 활용하고자 한다. 삽입, 삭제시 발생하는 리벨런싱 효율을 위하여, 마스터 인덱스를 기존처럼 유지하면서, 빈공간이 제거된 컴팩트 인덱스를 통하여 트리 순회의 길이를 대폭 줄여서 인덱스의 검색 깊이를 줄이므로 검색 속도 개선이 가능하다. 또한, 피크타임시 인덱스의 부하를 줄여서 전체 성능과 응답성을 높일 수 있다.
- 전체적으로 작은 부하의 초반 워크로드에서는 미세하게 제안기법이 우세하지만, 중후반 워크 로드부터는 AID-MrComp가 효과가 더욱 우세하게 나타났다. 즉, AID-MrComp가 인덱스 이중화 효과 및 데이터 읽기 부하 감내 능력에서 기존 기법보다 더 우월하므로, 성능이 더 높은 것으로 평가한다.
- 다음으로, 이러한 분석용 데이터웨어하우스 분야에서 검색 성능과 저장 안전성을 향상 시킬 수 있는 비대칭 인덱스 이중화 기반의 새로운 데이터 저장 기법을 제안하였다. 제안 기법은 기준이 되는 마스터 인덱스와 트리검색이 빠른 컴팩트 인덱스를 활용하고, 압축시 분할된 데이터 이중화를 통하여, 안정성과 더불어 읽기가 집중된 고부하 워크로드에서 특히 우수한 검색 성능을 제공한다. 마지막으로 성능 평가 모델을 제시하고, 실험용 데이터와 프로세스를 구축하였다.
- 그림4는 초당 처리치를 표시한 그래프인데, 실험결과 AID-MrComp, MirrorComp, SingleComp, NoComp 순으로 우수하게 나타났다. 즉 제안 기법인 AID-MrComp가 가장 높으며, 압축하지 않은 일반적인 저장 방식인 NoComp 이 가장 낮았다. 또한, SingleComp보다 MirrorComp이 유사한 패턴을 보이나 더 높게 나온 것은 둘 다 압축저장을 하여 NoComp보다는 좋아 보이나, MirrorComp가 리프노드에 압축된 데이터를 미러링하여, 읽기 작업 부하를 경감시킨 효과이다.
- 전체적으로 작은 부하의 초반 워크로드에서는 미세하게 제안기법이 우세하지만, 중후반 워크 로드부터는 AID-MrComp가 효과가 더욱 우세하게 나타났다. 즉, AID-MrComp가 인덱스 이중화 효과 및 데이터 읽기 부하 감내 능력에서 기존 기법보다 더 우월하므로, 성능이 더 높은 것으로 평가한다. 그러나 210개를 넘으면서 서서히 차이가 발생하기 시작하며, 초당 약 160 개 정도가 최고 부하이다.
- 결과적으로, 이러한 인덱스 이중화 효과로서 본 기법이 MirrorComp 보다 30%정도의 개선된 응답 속도를 나타냈다. 즉, 검색에 수반된 컬럼-인지 인덱스 이중화 효과가 처리 시간에 개선 효과를 주고, 이는 처리 성능치를 개선시킴을 확인할 수 있었다.
- 하지만, 부하가 심할수록 본 기법이 효율이 더 높다. 즉, 기존의 기법에 비하여 각각 약 10~20%정도 더 높게 나타났다. 그 이유는 리프노드의 컬럼 데이터를 압축함으로써 읽기모드에서 검색 블록수를 줄이고,해당 검색 영역에 인덱스를 이중화하여 대용량 데이터 접근시 인덱스 접근 부하를 분산시켜서 목표한 리프노드에 신속하게 접근시킬 수 있었기 때문이다.
- 또한, 데이터 업데이트 작업시 마스터 인덱스의 노드도 갱신될 경우에 컴팩트 인덱스가 동기화 이전의 데이터를 계속 연계시켜주면 검색 서비스가 지연되지 않으므로 성능이 향상된다. 즉, 본 기법은 컬럼-지향 스토리지로서의 검색 성능개선에서도 기여하며, 갱신 작업 시에도 지연 없이 다른 검색 연산을 수행 할 수 있으며, 컴팩트한 인덱스 크기로, CPU자원 및 스토리지 자원 효율도 높다. 다만, 인덱스를 하나 더 저장해야 하므로, 좀 더 많은 저장 영역을 차지하지만, 그 크기는 실험결과 수백 메가바이트에 불과하므로, 조그만 추가 부담에 비하여 성능 및 안정성 개선효과는 비교할 수 없을 정도로 크다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.