선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존 불균등 분포를 위한 조인 기법 중 가장 대표적인 인덱스 기반 조인 기법을 소개한다. 그 중에서도 Skew Join 기법[13]은 Hive에서 사용되는 것으로 다음과 같은 가정을 바탕으로 한다.
- 향후 연구방향은 해당 방법론을 실제 오픈소스 분산 시스템에 적용하여 실험적 결과를 확보하고자 한다. 또한, 밀집 인덱스를 위해 생성한 정렬된 데이터를 일회성이 아닌 영구적으로 활용하여 해당 릴레이션에 대해 같은 해쉬 함수를 사용할 경우 유용하게 활용할 수 있는 방안을 찾고자 한다.
- 본 논문에서는 불균등 분포 데이터의 조인 연산을 효율적으로 처리하기 위해 기존의 외부 합병 정렬 알고리즘과 밀집 인덱스를 활용하여 탐색 시간을 줄여 조인 연산의 수행시간을 줄이는 방법을 제시하였다.
- 이는 수 테라바이트 혹은 그 이상의 데이터를 다루는 환경에서는 네트워크 간 통신비용으로 인해 병목현상을 초래하게 되며, 전송된 데이터에 대한 연산도 특정 노드에서만 집중적으로 수행되는 현상으로 이어진다. 이러한 문제를 해결하기 위해 본 논문에서는 하둡 분산 파일 시스템에 기초한 SQL 계층을 가진 분산 시스템에 보편적으로 적용될 수 있는 기법을 제시한다.
- 눈에 띄는 또 다른 차이점은 조인 연산 등의 중간 결과(Intermediate Relation)를 하드디스크(HDD)에 저장(Materialization)하지 않고, 메인 메모리(RAM) 상에 저장하여 최대한 Pipelining 기법을 사용할 수 있도록 최적화되어있다. 이러한 방법으로 분산 처리의 이점을 살리고, 병렬로 수행되는 작업을 통해 성능을 극대화하는 것을 목적으로 한다.
가설 설정
- 이 때, 릴레이션 Rb에 대한 밀집 인덱스를 모든 유일한(Unique) 키 값에 대해 생성한다. Rb의 데이터는 불균등 분포를 따르므로 밀집 인덱스의 크기는 분산 캐쉬에 저장하기에 충분한 것으로 가정한다. 이 과정은 아래 표 1에서 확인할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.