초록 ▼

· Range Query의 범위 변화에 따른 수행 시간 측정
- Range Query의 selectivity가 감소할 경우 수행 시간이 증가함
- selectivity는 동일하나 위치나 모양이 변화할 경우 수행 시간에 차이가 없음
· 다차원 변환 성능 개선
- 로딩 단계의 데이터 분배 과정을 다차원 변환 단계의 재분배 과정으로 치환하고 기존 재분배 단계를 삭제함으로써 다차원 변환 시간 단축
- 로딩 단계의 데이터 분배 과정에서 SSH 대신 MPI를 사용하여 별도의 파일 저장을 생략하고 불필요한 I/O 감소

· Range Query의 범위 변화에 따른 수행 시간 측정
- Range Query의 selectivity가 감소할 경우 수행 시간이 증가함
- selectivity는 동일하나 위치나 모양이 변화할 경우 수행 시간에 차이가 없음
· 다차원 변환 성능 개선
- 로딩 단계의 데이터 분배 과정을 다차원 변환 단계의 재분배 과정으로 치환하고 기존 재분배 단계를 삭제함으로써 다차원 변환 시간 단축
- 로딩 단계의 데이터 분배 과정에서 SSH 대신 MPI를 사용하여 별도의 파일 저장을 생략하고 불필요한 I/O 감소
- 정렬 과정을 다차원 변환 단계 이전으로 이동하여 다차원 변환과 로딩을 포함한 총 시간 단축
· HDF5 형식 파일로부터의 직접적인 데이터 로딩 방식 개발
- CSV 형식의 중간 파일을 거치는 방식에서의 불필요한 I/O를 줄이고 시간을 단축
· 효율적인 chunking 방식의 guideline 제시
- dense한 형태의 chunking이 최종 데이터의 용량을 최소화

Abstract ▼

Ⅳ. Result of the study
SciDB distributes the data using Secure SHell (SSH) from the master node. The performance is improved by altering the transport from SSH to Message Passing Interface (MPI). In addition, the conversion time takes severe portion of whole processes resulting from the tremendou

Ⅳ. Result of the study
SciDB distributes the data using Secure SHell (SSH) from the master node. The performance is improved by altering the transport from SSH to Message Passing Interface (MPI). In addition, the conversion time takes severe portion of whole processes resulting from the tremendous disk reads/writes. Therefore, instead of saving a huge CSV file as a result of the conversion, sending the data on-the-fly to slave nodes is implemented, increasing the overall performance.
Next, two bottlenecks of redimensioning process (namely sorting and redistribution) are eliminated. Sorting from the process is excluded by the pre-sorting in the loading phase. Since the final destination of the data is decided formerly during the distribution between master node and slave nodes utilizing the hash formula, the redistribution stage need not to be executed.
Also, the guideline of chunking is presented so that the most effective solution is given.
Lastly, overall performance increase is observed by the selective scan experiments.

목차 Contents

• 표지 ... 1
• 제출문 ... 3
• 보고서 요약서 ... 4
• 요약문 ... 5
• Summary ... 7
• Contents ... 10
• 목차 ... 12
• 표목차 ... 14
• 그림목차 ... 15
• 제1장 서론 ... 17
• 제1절 연구개발과제의 개요 ... 17
• 1. 연구개발과제의 필요성 ... 17
• 2. 다차원 배열 RDBMS ... 17
• 3. 연구개발의 필요성 및 중요성 ... 22
• 제2절 연구개발의 목표 및 추진전략 ... 24
• 1. 연구개발의 목표 ... 24
• 2. 연구개발의 추진 전략 ... 25
• 제2장 관련 연구 ... 27
• 제1절 SciDB 관련 동향 ... 27
• 1. SciDB의 내부 구조 ... 27
• 2. SciDB의 성능 평가 ... 29
• 3. SciDB의 활용 ... 30
• 제2절 선행연구의 내용 및 결과 ... 31
• 1. 데이터의 분할 (Data Partitioning) ... 32
• 2. 데이터의 분리 저장 (Data Declustering) ... 32
• 3. 시공간데이터를 위한 색인 (Spatio-Temporal Indexing) ... 34
• 4. 데이터의 다차원 변환 (Data Redimensioning) ... 35
• 제3장 연구개발 수행 내용 및 결과 ... 36
• 제1절 연구개발 수행 내용 ... 36
• 1. 실험 환경 ... 36
• 2. 실험 데이터 ... 37
• 3. 실험 목적 및 내용 ... 39
• 제2절 연구대상 분석 ... 40
• 1. 데이터 로딩 및 다차원 변환 ... 40
• 2. HDF5 형식 파일의 로딩 ... 44
• 3. 질의 유형별 수행시간 비교 및 분석 ... 49
• 4. Chunking 방식에 따른 데이터 용량 비교 ... 54
• 제3절 연구 개발 결과 ... 58
• 1. SciDB 코드 수정 개요 ... 58
• 2. 코드 개발 및 수정 후 실험 수행 및 결과 ... 59
• 제4장 목표 달성도 및 관련분야의 발전 기여도 ... 66
• 제1절 목표 달성도 ... 66
• 1. 연구 항목 대비 목표 달성도 ... 66
• 2. 결과물 ... 67
• 제2절 관련분야의 발전 기여도 ... 67
• 1. 기술적 측면 ... 67
• 2. 경제적 측면 ... 68
• 제5장 결론 ... 70
• 제1절 연구 요약 ... 70
• 제2절 결론 ... 70
• 부록 ... 71
• 1. SciDB 개발 및 수정 코드 ... 71
• 참고문헌 ... 96
• 끝페이지 ... 100