[논문]공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법

김형선; 유병섭; 박순영; 이재동; 배해영

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법
Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder 원문보기

김형선 (인하대학교 컴퓨터정보공학과) , 유병섭 (인하대학교 컴퓨터정보공학과) , 박순영 (인하대학교 컴퓨터정보공학과) , 이재동 (단국대학교) , 배해영 (인하대학교 컴퓨터정보공학과)

공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 다량의 데이터가 주기적으로 적재되는 공간 데이터 웨어하우스의 차원 테이블 생성을 위해 요청되는 데이터를 테이블 단위로 저장 관리하는 기법을 제안하였다.
본 논문에서는D 공간 데이터 웨어하우스의 구축기에서 추출 된 데이터의 빠른 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 이는 운영 데이터베이스로부터 추출한 데이터를 공간 데이터 웨어하우스 구축기의 임시 저장소에 테이블 단 위로 저장한다.

제안 방법

본 장에서는 공간 데이터 웨어하우스 구축기에서 테이블 단 위의 데이터 관리 기법을 제안한다. 먼저 공간 데이터 웨어하 우스의 구성을 설명하고, 구축기의 임시 저장소에서 테이豈 단 위의 데이터 관리를 살펴본다. 마지막으로 공간 데이터 웨어하 우스 세^의 테이블 단위의 적재를 설명한다.
본 논문에서 제안한 기법은 테이블 단위의 데이터 관리기법 으로, 이는 이질적인 운영 데이터베이스에 수년 간 축적된 데이터를 공간 데이터 웨어하우스 구축기의 ETL 과정을 통해 추 출하고, 이를 변환하여, 구축기의 임시 저장소 데이터 관라자 가 서버로 적재할 추출 데이터를 테이블 단위로 임시 저장된 뒤, 사용자가 지정한 주기적인 시간 혹은 실시간 질의처리 요 청에 따라 임시 저장소에 저장한 데이터를 벌크 적재한다. 구 축기가 테이블 단위의 데이터를 공간 데이터 웨어하우스 서버 로 벌크 적재 시, 테이블 단위의 병렬전송이 가능하며 이로 인해 구축기와 서버의 병목현상도 감소하다.
본 장에서는 공간 데이터 웨어하우스 구축기에서 테이블 단 위의 데이터 관리 기법을 제안한다. 먼저 공간 데이터 웨어하 우스의 구성을 설명하고, 구축기의 임시 저장소에서 테이豈 단 위의 데이터 관리를 살펴본다.
본 장에서는 앞서 기술한 관련 연구의 기존 데이터 웨어하우 스에서 이용한 데이터 벌크 삽입기법과 본 논문에서 제안한 테 이블 단위의 데이터 관리기법을 이용한 성능 평가를 하였다. 성능 평가를 하기 위한 시스템 환경은 공간 데이터 웨어하우 스 서버와 구축기, 운영 데이터베이스 관리 시스템으로 이루어 졌으며, 각각은 동일한 사양의 시스템이다.
서버로 전송된 파일은 적재를 요청한 각 작업에서 자신에게 필요한 데이터를 찾기 위해 분석한다. 따라서 적재 데이터를 하나의 파일로 관리하모로 특정 차원 테이블의 즉시 적재 요청 시, 이를 처리하기 위한 비용이 증가하며, 서버로의 전송시간이 증가한다.
성능 평가는 테스트셋을 기반으로 1~20개의 차원 테이블을 서버에서 적재를 요청하는 것에 따라, 적재시간의 변화를 측정 한다. 이패, 적재시간이란 적재를 요청한 시점으로부터 적재가 완료되는 시점까지의 시간을 말한다.

이론/모형

서버는 병렬로 전송된 차원 테이블 듈읆 받고 각 차원 테이블 별로 데이터 삽입을 수행한다. 이 때, 저장할 데이터가 차원 테이블 단위로 구성되어 있으므로, 벌크 삽입 기법를 이용하여 데이터를 삽입한다.

성능/효과

또한, 병렬전송과 병렬저장을 하므로, 차원 테이블이 증가하여도, 적 재시간미 크게 증가하지 않는다. 따라서 제안 기법이 기존 기 법보다 약 45%의 성능 향상이 이루어지는 것을 볼 수 있다.
또한, 구축기로부터의 데이터 병렬전송은 적재 데이터의 전송 시간을 감소시키며, 전송 받은 데이터의 벌크 삽입믄 테이터의 저장시간을 감소시킨다. 이는 전체 차원을 요구할 경우에도 테 이블 단위의 병렬전송과 벌크 삽입이 가능하므로, 기존 기법보다 성능이 향상된다.
또한, 직렬 저장을 사묭하므로, 차원 테이뵬이 증가할수록 적재시간이 크게 증가한다. 제안 기법의 경우, 구축기 에서 차원 테이블마다 독립적으로 데이터를 관리하므로, 특정 차원 테이믈 요청 시, 해당 테이블에 일치하는 데이터를 쉽고 빠르게 찾을 수 있으므로, 데이터 검색 비용이 감소한다. 또한, 병렬전송과 병렬저장을 하므로, 차원 테이블이 증가하여도, 적 재시간미 크게 증가하지 않는다.

후속연구

향후 연구로는 공간 데이터 웨어하우스 구축기에 서버로 적 재될 데이터의 데이터 복구에 대한 연구와 공간 데이터 웨어하 우스 서버 저장소에 기존에 생성되었던 차원 테이쁠의 데이터 대한 보다 효율적인 벌크 적재 기법을 연구할 필요가 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법
Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법 Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법
Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper