초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

다차원 데이터를 온라인으로 분석하기 위해서는 사전에 집계 테이블들을 계산해 둔다. 대용량 고차원 데이터의 경우는 집계 테이블의 분량이 천문학적으로 방대하기 때문에 사전 집계 계산이 현실적으로 불가능한 경우가 많다. 고차원 데이터 처리에 관한 연구로는 데이터의 차원 수를 감소시키거나 인덱스를 압축하여 질의처리 시간을 단축하려는 연구를 들 수 있는데, 이러한 방법들은 고차원 데이터의 온라인 분석시에 발생하는 데이터 폭발 현상을 근본적으로 해결하지는 못한다. 본 연구에서는 고차원 데이터가 분석될 때 실제로 저차원 집계 테이블들이 주로 사용된다는 점에 착안하여 데이터 폭발 현상을 감소시키면서 데이터를 분석하는 방안을 제시한다 이 방법은 사전 집계 연산을 할 때 크기가 방대한 고차원 집계 테이블들의 생성을 생략하고, 3-6차원 또는 그 이하 차원의 집계 테이블들만을 고속으로 동시에 생성하는 방법이다.

다차원 데이터를 온라인으로 분석하기 위해서는 사전에 집계 테이블들을 계산해 둔다. 대용량 고차원 데이터의 경우는 집계 테이블의 분량이 천문학적으로 방대하기 때문에 사전 집계 계산이 현실적으로 불가능한 경우가 많다. 고차원 데이터 처리에 관한 연구로는 데이터의 차원 수를 감소시키거나 인덱스를 압축하여 질의처리 시간을 단축하려는 연구를 들 수 있는데, 이러한 방법들은 고차원 데이터의 온라인 분석시에 발생하는 데이터 폭발 현상을 근본적으로 해결하지는 못한다. 본 연구에서는 고차원 데이터가 분석될 때 실제로 저차원 집계 테이블들이 주로 사용된다는 점에 착안하여 데이터 폭발 현상을 감소시키면서 데이터를 분석하는 방안을 제시한다 이 방법은 사전 집계 연산을 할 때 크기가 방대한 고차원 집계 테이블들의 생성을 생략하고, 3-6차원 또는 그 이하 차원의 집계 테이블들만을 고속으로 동시에 생성하는 방법이다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법

문제 정의

• 2절의 분석 결과를 바탕으로, 본 연구에서는 고차원 데이터로부터 특정 차원 이하의 저차원 집계 테이블들을 모두 생성하는 방법을 설계하고자 한다. 예를 들면, 그림 5는 의 26개 차원으로 구성된 사실 테이블로부터 5차원 이하의 모든 집계 테이블올 생성하는 모습을 개념적으로 나타낸다.
• 々차원 집계 테이블에 파티션 기준이 되는 첫 j 차원 중에서 彻개 만이 포함되어 있는 경우, 메모리 오버헤드를 살펴보자. 그러한 집계 테이블들은 … j 개 존재하며, 각 집계 테이블의 크기는 멤버의 수가 작은 차원들로만 구성된 卧-w 차원 배열이 된다.
• 본 연구에서는 분석가의 실제 분석 패턴울 고려하여 고차원 데이터룔 시간, 공간적 측면에서 효율적으로 분석하는 방안을 제시한다. 고차원 데이터가 주어지는 경우라고 해도 분석가는 한꺼번에 3~6개 정도의 저차원들올 다룬다는 점에 착안하여 저차원 집계 테이블들만을 고속으로 동시에 생성하는 방법이다.
• 기업의 고차원 데이터로부터 비즈니스 전략에 사용될 수 있는 분석 결콰롤 효율적으로 얻으려면 방대한 양의 데이터를 사전에 계산해 두어야 하며, 이로 인해 메모리와 사전 연산 시간에 큰 오버혜드가 발생하게 된다. 본 연구에서는 분석자의 입장에서 고차원 데이터가 어떻게 취급되는가를 살펴보아, 그 결과 저차원 집계 테이블들을 사용하여 데이터를 효율적으로 (光AP올 할 수 있는 방안을 제시하였다. 사전 집게 연산을 시간적, 공간적 측면에서 효율성을 높였다.
• 左차원 집계 테이블들은 주어진 사실 테이블로부터 계산되고, & 차원 미만의 집계 테이블들인 i, k, 차원 집계 테이블들은 £+1차원 집계 태이블로부터 계산된다. 우선 切차원 집계 테이블들올 생성하는 방법을 소개한다. 집계 테이블의 크기가 대체로 작은 경우와 그렇지 않은 경우를 구별하여 설명하기로 한다.
• 이재 々차원 집계 태이블을 생성하는 방법을 살펴보자. 그림 1의 예제에서 차원 1, 2, 3, 12, 13차원으로 구성된 집계 테이 블울 생성하고자 한다면 사실 테이블이 차원 1, 2, 3을 기준으로 파티션되어 있으므로 집계 테이블을 생성하기 위해서는 12차원과 13차원으로 구성된 2차원 테이블만 메모리에 상주해 있으면 된다.
• 이제, FocxlMart 데이터상에서 흔히 일어날 수 았는 칠의들 울 살펴보자.
• 사실 테이블과 집계 테이블의 차원의 수가 큰 차이를 보이므로 사실 테이블은 희박해도 집계 테이블의 밀도는 높기 때문에 집계 테이블을 배열 형태로 메모리에 펴놓으면 사실 테이블을 임의 순서로 스캔하면서 임의의 집계 테이블들을 동시에 생성할 수 있다. 집계 테이블의 생성 순서와 집계 연산에 걸리는 시간을 살펴보자. 집계 테이블들이 사실 테이블로부터 직접 생성되므로, 집계 연산 시간이 사실 테이블 스캔 회수에 비례한다.

가설 설정

• <?2 : 가장 잘 팔리는 상품(상점)에 사용된 판촉 활동 분석 <?3 : 잘 팔리는 상품(상점서] 대한 고객의 연간 소득(직업, 결혼 여부, 성별, 교육 둥)이 미친 영향 분석

제안 방법

• 메모리 크기, 집계 테이블의 개수와 각 집계 테이블의 크기가 정해져 있는 경우에 최적의 순서를 찾는 것은 'minimum finish time non-preemptive job scheduling* 하는 문제와 같은 종류로써 NP-hard 문제에 속한다. 따라서 휴리스틱한 방법으로 본 연구에서는 사전식 순서를 택하기로 한다. 그림1의 예제 데이터에서 차원 4~15만으로 구성된 집계 테이블을 생성하는 경우에 100개의 집계 테이블 생성이 한꺼번에 이루어진다고 하면 평균적으로 30회 정도의 사실 테이블 스캔으로 5차원 집계 테이블들을 모두 생성할 수 있다.
• 사전 집게 연산을 시간적, 공간적 측면에서 효율성을 높였다. 본 연구에서 제안한 방법은 10~20차원 정도의 데이터에 적용 가능한 방법이며, 100차원 이상의 데이터 분석에도 원하는 차원들을 추출하여 확장 적용 가능한 방법이다. 실제 비즈니스 환경에서는 여러 부서의 데이터로부터 전사적 데이터 웨어하우스를 구축하여 각 부서의 데이터를 워와 같은 방법으로 공유함으로 시간, 공간적인 자원의 낭비를 막을 수 있다.

대상 데이터

• 저차원 집계 테이블 돌을 사용하여 고차원 데이터를 분석하는 방법의 유용성에 관해 예를 들어 설명하고자 한다. 마이크로소프트샤의 OLAP 툴인 Analysis Service가 샘플로 제공하는 데이터 웨어하우스인 FoodMart를 사용하기로 한다. Foo배art의 데이터(사실 테이블)는 그림 1과 같은 'Sales' 테이블이다.
• 그림 1. 예제 데이터: 15차원 큐브의 각 차원 멤버의 수.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기