$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

다차원 데이터 분석을 위한 비트맵 인덱스
A Bitmap Index for Multi-Dimensional Data Analysis 원문보기

한국정보과학회 02 가을 학술발표논문집(1), 2002 Oct., 2002년, pp.298 - 300  

임윤선 (이화여자대학교컴퓨터학과 고성능인터넷지식공학연구실) ,  박영선 (이화여자대학교컴퓨터학과 고성능인터넷지식공학연구실) ,  김명 (이화여자대학교컴퓨터학과 고성능인터넷지식공학연구실)

초록
AI-Helper 아이콘AI-Helper

다차원 데이터를 배열에 저장하는 Multidimensional OLAP (MOLAP) 시스템은 배열내의 위치 정보를 통해 데이터를 신속하게 엑세스할 수 있는 장점을 갖는다. 그러나 실생활의 다차원 데이터는 대체로 희박하여 저장될 때 압축되고, 데이터가 검색될 때는 원래의 위치 정보를 찾기 위해 인덱스를 필요로 하게 된다. 다양한 종류의 다차원 인덱스가 테이블 형태의 데이터를 대상으로 개발되어 있으나, 이들은 데이터의 삽입과 삭제에 유연하게 대처할 수 있도록 하기 위해서 인덱스 공간과 데이터 검색 시간에 약간의 낭비를 초래한다. 본 연구에서는 OLAP 데이터가 주기적으로 갱신되며, 분석에 필요한 집계 데이터도 점진적으로 갱신되기보다 실제로는 새로 생성되고 있다는 점을 고려하여, 읽기 전용 MOLAP 데이터를 위한 인덱스 구조를 제안한다. 데이터는 청크들로 나뉜 후 압축 저장되며, 각 청크는 위치 정보를 유지하면서 비트로 표현되어 인덱스에 저장되도록 하였다. 제안한 비트맵 인덱스는 높은 압축률을 보이며, 범위 질의(range query)를 포함한 OLAP 주요 연산들 처리에 특히 효율적이다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • CBM 인덱스의 범위 질의에 대한 효율성을 살펴보기로 한다. CBM 인덱스는 OLAP 연산을 효율적으로 하기 위해 Z 인덱스 순서로 나열한 대로 청크 비트맵 올 구현하므로 범위 질의에 필요한 청크들이 서로 인접해 있게 된다.
  • MOLAP 큐브가 3[절에서와같이 저장되는 경우에 사용 가능한 인덱스롤 제안하고자 한다. 제안하는 인덱스는 압축률이 높으며, OLAP의 주요 연산인 슬라이스, 다이스 질의 시에 해당 데이터의 인덱스 블록을 산속하게 메모리로 읽어 들일 수 있도록 하기 위해 하나의 인덱스 블록이 가능한 많은 데이터 블록의 정보롤 포함하도록 하였다.
  • 카디널리티가 높은 데이터에도 확장 적용하기 위해 Encoded 비트맵 인덱스[8], 비트맵 조인 인덱스 [9] 등 변형된 비트맵 인덱스 연구가 있다. 본 연구는 이 터 한 비트맵 인덱스의 장점울 다차원 데이터의 인덱싱에 확장 적용하는 방안을 게 안하고자 한다.
  • 큐브는 selectivity를 높이기 위해 각 차원별로 동일한 크기의 청크(chunk)로 나누어 압축한 후에 디스크에 저장하였고[5], 청크들의 순서는 클러스터링 효과롤 높이기 위해 밀집 청크들과 희박 청크들을 구별하여 Z 인덱스 순서로 저장하는 방식이다[4]. 본 연구에서는 이러한 데이터 구조상에서 효율적인 비트맵 인덱스 구조를 설계하였다. OLAP 큐브는 압축되어 저장되기 때문에 각 데이터는 위치 정보를 잃을 수 있으나, 이 위치 정보를 인덱스 차원에서 비트맵을 통해 유지 시키고, 디스크한 블록에 가능한 한 많은 인접 청크에 대한 정보를 둠으로써 OLAP 연산 시에 읽어야 하는 인덱스 블록의 수를 최소화하도록 하였다.
  • 본 연구는 이와 같은 읽기 전용 MOLAP 데이터를 위한 인덱스를 * 본 연구는 한국과학재단 목적기초연구 (R04-2001-000-00191-0) 지원으로 수행되었음. 설계하는 것을 목표로 한다. 인덱스는 갱신을 허용하지 않는 대신, 높은 압축률을 보장하고 OLAP의 주요 연산인 슬라이스, 다이스, 범위 질의 (range query)와 같이 인접한 데이터를 필요로 하는 연산에 효율성이 뛰어나도록 하였다.
  • 실제 데이터에 대한 CBM 인덱스의 압축율을 살펴보자. 그림 1(a)의 경우 1% 데이터 밀도를 갖고 있을 때 최악의 경우 모든 청크에 대해 1% 데이터가 있다고 할 때 실제 데이터 크기는 40M 바이트가 된다.
  • 반면에 OLAP 시스템의 데이터는 분석용 데이터로써 현재 운영 중인 데이터라기보다 과거의 데이터이다. 이 데이터로부터 집계 연산 등을 통해 각 차원별, 차원 계층별 집계 연산 결과를 분석함으로써 데이터를 분석하는 것이다. 따라서 SAP 데이터의 갱신은 발생할 때마다 적용되는 것이 아니라 주기적으로 모아서 갱신되고, 데이터가 변경되면 집계 연산 결과들은 새로 생성되어 저장되는 경우가 많다.
  • 그러나 대부분의 (X>AP 데이터는 회박하여 압축 저장하게 되면서 다차원 인덱스가 필요하다. 이에 본 논문은 읽기 전용인 M(XAP 데이터를 효율적으로 인덱싱하는 CBM 인덱스(청크 비트맵 인덱스, Chimk Bitmap Index)롤 제안하였다. CBM 인덱스는 청크의 위치 정보룰 유지하면서 데이터 밀도에 따른 청크 정보를 비트로 표현하여 인텍스에 저장하였다.
본문요약 정보가 도움이 되었나요?
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로