선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 Hadoop 환경에서 저장된 공간 데이터를 공간 데이터 처리 기능이 확장된 SQL기반 질의언어에 의하여 질의할 수 있는 공간 빅데이터 질의처리 시스템을 제시하였다. 공간 빅데이터 질의처리를 위한 질의언어 파서, 질의언어 검증기, 질의계획 생성기, 저장시스템 연동 등 질의처리 기본기능을 개발하였다.
- 이러한 솔루션들은 SQL과 거의 유사한 언어를 사용하여 Hadoop 환경에서 데이터를 저장하고 분석할 수 있게 해주고 있으나, 공간 데이터를 직접 지원하지 않는다. 본 논문에서는 이러한 문제를 해결하기 위하여,기존의 공간 데이터 처리 기술과 빅데이터 처리기술을 접목하여 Hadoop 환경에서 대규모의 공간 빅데이터를 효율적으로 저장관리할 수 있고 SQL 기반 질의언어로 공간 질의를 할 수 있는 공간 빅데이터 질의처리 시스템을 제시하고자 한다.
- 질의언어를 파싱하여 생성된 파스 트리에 대하여 문법상으로 오류가 없는 질의 문장이 의미적 오류를 포함하고 있는지 검사한다.
제안 방법
- 질의언어 파서는 파서(parser) 생성기인 ANTLR를 사용하여 개발되었다. ANTLR의 문법 포맷인 Lexer.g4와 Parser.g4 두 개의 파일로 문법을 정의하고 이를 ANTLR 4.5 라이브러리에 입력함으로써 파서를 생성하였다.
- SQL 기반 언어에 공간 데이터 타입, 공간 함수,공간객체 표준 텍스트 표현인 WKT(Well-Known Text) 명세 등 공간 데이터 관련 요소들을 확장하여 공간 질의언어를 정의하였다.
- 실험에서는 대용량 지도로서 지적도, 지적중심점, 건물 등 3가지 공간 데이터셋을 사용하였다(표 5). Shape 파일을 별도의 loader 프로그램으로 두 시스템에 맞는 포맷으로 각각 변환하여 저장하였다.
- 질의언어 검증기는 카탈로그를 통하여 테이블 이름, 칼럼 이름 및 칼럼 데이터 타입 등 파스 트리의 각 요소에 오류가 없는지 의미를 검증한다. 공간 객체(geometry) 칼럼을 포함하고 있는 SELECT 절 및 WHERE 절에 오는 공간객체에 대한 함수들에 대한 검증도 수행한다.
- 본 논문에서는 Hadoop 환경에서 저장된 공간 데이터를 공간 데이터 처리 기능이 확장된 SQL기반 질의언어에 의하여 질의할 수 있는 공간 빅데이터 질의처리 시스템을 제시하였다. 공간 빅데이터 질의처리를 위한 질의언어 파서, 질의언어 검증기, 질의계획 생성기, 저장시스템 연동 등 질의처리 기본기능을 개발하였다.
- 의 Spatial Hadoop(‘SH’로 표기함)과 비교하였다. 두 시스템에 대하여 공간질의의 대표적인 영역질의(region query)의 질의 실행시간을 비교하였다. 영역질의는 주어진 직사각형 영역과 겹치는(Intesects) 객체를 찾는 질의로 실행하였으며, 질의영역을 표 6과 같이 지도 데이터 전체영역에 대한 상대적 크기에 따라 4가지로 구분하여 실행하였다.
- 그림 1은 공간 빅데이터 질의처리 시스템의 구조이다. 본 시스템은 공간 빅데이터 저장 시스템에서 제공하는 API를 통하여 동작하고, 외부 프로그램에는 API와 인터페이스를 제공하는 구조를 가진다.
- 본 시스템의 기능을 실험하기 위하여 공간 데이터를 Hadoop 클러스터에 저장하고 클라이언트 UI를 통하여 질의문장을 입력하여 시스템의 동작을 확인하였다. 시스템의 질의처리 성능은 기존 유사 시스템인 Spatial Hadoop 시스템과 비교하였다.
- 확장성을 위하여 연산 트리는 저장소 독립적인 논리적 구조로 생성되며, Operation이라는 node와 node간의 연결관계로 나타나는 트리 구조로 표현된다. 연산 트리를 사용자 또는 개발자에게 리포트할 경우나 모듈간에 교환하는 경우 미리 정의된 표현방법이 필요하며 본 시스템에서는 XML 기반의 표현을 사용하였다.
- 두 시스템에 대하여 공간질의의 대표적인 영역질의(region query)의 질의 실행시간을 비교하였다. 영역질의는 주어진 직사각형 영역과 겹치는(Intesects) 객체를 찾는 질의로 실행하였으며, 질의영역을 표 6과 같이 지도 데이터 전체영역에 대한 상대적 크기에 따라 4가지로 구분하여 실행하였다.
- 이러한 목적을 달성하기 위하여, Hadoop 환경에서 공간 데이터에 대한 SQL 기반 언어에 의하여 공간 데이터를 처리하는 공간 빅데이터 질의처리시스템을 개발하였으며, 공간 빅데이터를 위한 질의언어를 정의하고 질의언어 파싱, 질의 검증, 질의계획 생성 등 질의처리의 핵심기능을 개발하였다.
- 카탈로그는 공간 데이터를 나타내는 칼럼의 이름, 좌표계 정보, MBR(Minimum Bounding Rectangle) 정보를 포함한다. 질의언어 검증기는 카탈로그를 통하여 테이블 이름, 칼럼 이름 및 칼럼 데이터 타입 등 파스 트리의 각 요소에 오류가 없는지 의미를 검증한다. 공간 객체(geometry) 칼럼을 포함하고 있는 SELECT 절 및 WHERE 절에 오는 공간객체에 대한 함수들에 대한 검증도 수행한다.
- 공간 빅데이터 질의처리 시스템으로 공간질의를 실행하고 결과를 확인하기 위하여 웹 기반 클라이언트를 사용하였다(그림 4). 질의언어를 입력할 때 공간객체의 좌표를 입력할 경우는 지도기반 UI를 사용하여 화면에서 입력한 좌표를 자동으로 WKT형태로 생성하여 사용하였다. 지도 및 질의결과의 출력을 위하여 공간정보 관련 open API를 제공하는 공간정보오픈플랫폼(V-World) 의 API [7] 를 활용하였다.
대상 데이터
- 본 시스템의 실험은 6개의 노드로 구성된 Hadoop 클러스터에서 수행되었다. 각 노드는 4.
- 실험에서는 대용량 지도로서 지적도, 지적중심점, 건물 등 3가지 공간 데이터셋을 사용하였다(표 5). Shape 파일을 별도의 loader 프로그램으로 두 시스템에 맞는 포맷으로 각각 변환하여 저장하였다.
데이터처리
- 본 시스템의 기능을 실험하기 위하여 공간 데이터를 Hadoop 클러스터에 저장하고 클라이언트 UI를 통하여 질의문장을 입력하여 시스템의 동작을 확인하였다. 시스템의 질의처리 성능은 기존 유사 시스템인 Spatial Hadoop 시스템과 비교하였다.
이론/모형
- 공간 데이터 타입의 객체를 생성하는 ST_PointFromText 와 같은 import 함수에서는 WKT표현을 사용한다. 공간 함수가 포함된 질의문의 예시는 다음과 같다.
- 공간 빅데이터 질의처리 시스템으로 공간질의를 실행하고 결과를 확인하기 위하여 웹 기반 클라이언트를 사용하였다(그림 4). 질의언어를 입력할 때 공간객체의 좌표를 입력할 경우는 지도기반 UI를 사용하여 화면에서 입력한 좌표를 자동으로 WKT형태로 생성하여 사용하였다.
- 질의언어를 입력할 때 공간객체의 좌표를 입력할 경우는 지도기반 UI를 사용하여 화면에서 입력한 좌표를 자동으로 WKT형태로 생성하여 사용하였다. 지도 및 질의결과의 출력을 위하여 공간정보 관련 open API를 제공하는 공간정보오픈플랫폼(V-World) 의 API [7] 를 활용하였다.
- 질의언어 파서는 파서(parser) 생성기인 ANTLR를 사용하여 개발되었다. ANTLR의 문법 포맷인 Lexer.
성능/효과
- 개발한 시스템의 질의처리 성능을 기존 시스템인 Spatial Hadoop과 비교하였으며 공간 데이터에 대한 영역질의의 질의실행시간에 있어서 비교 시스템 대비 약 58% 의 성능향상을 보이는 것으로 나타났다.
- 이를 위하여 공간 조인을 지원하는 질의언어 처리가 필요하며, 매우 많은 데이터 접근 및 연산이 필요한 공간 조인의 효율적인 수행을 위하여 공간 색인(spatial index)을 포함한 Hadoop 환경과 MapReduce 모델에 적합한 처리 기법에 대한 연구가 중요하다. 둘째로는 MapReduce 처리 방법의 특성, 공간 질의의 종류별 특성, 데이터셋의특성 등을 고려하여 Hadoop 분산 환경에 적합한 질의 최적화 기법을 연구하여 적용하는 것이라고 할 수 있다.
- 표 7 및 그림 5는 공간 빅데이터 질의처리 시스템과 Spatial Hadoop의 질의실행시간 비교 결과이다. 질의영역의 크기와 데이터셋에 따라 차이가 있으나 공간 빅데이터 질의처리 시스템은 Spatial Hadoop 시스템보다 빠른 질의실행시간을 나타냈으며 평균 약 58%의 성능향상을 보이는 것으로 나타났다.
후속연구
- 공간 빅데이터 질의처리 시스템은 사용자에게 익숙한 SQL 기반 질의언어를 사용함으로써 공간 빅데이터를 활용하는 응용 개발자가 기존 공간 RDBMS 등의 시스템으로부터 Hadoop 기반 시스템으로 전환하여 상위수준의 분석 및 서비스를 쉽게 개발할 수 있게 해줄 것으로 기대된다. 이를 위하여 향후 시스템이 추가적으로 지원할 내용 및 연구방향으로는, 첫째 공간 데이터 처리에서 중요한 기능 중의 하나인 공간 조인(spatial join)을 지원하는 것이다.
- 본 시스템은 질의언어 기반으로 기능을 제공하는 반면 Spatial Hadoop은 명령어(command) 형태로 기능을 제공하므로 본 시스템은 Spatial Had oop 시스템에 비하여 질의언어 파싱, 검증, 질의계획 생성 등 질의언어 처리 과정이 추가적으로 필요하다. 이러한 질의언어 처리 시간은 실험에 사용한 영역질의에 대하여 질의영역의 크기와 관계없이 약 0.
- 공간 빅데이터 질의처리 시스템은 사용자에게 익숙한 SQL 기반 질의언어를 사용함으로써 공간 빅데이터를 활용하는 응용 개발자가 기존 공간 RDBMS 등의 시스템으로부터 Hadoop 기반 시스템으로 전환하여 상위수준의 분석 및 서비스를 쉽게 개발할 수 있게 해줄 것으로 기대된다. 이를 위하여 향후 시스템이 추가적으로 지원할 내용 및 연구방향으로는, 첫째 공간 데이터 처리에서 중요한 기능 중의 하나인 공간 조인(spatial join)을 지원하는 것이다. 이를 위하여 공간 조인을 지원하는 질의언어 처리가 필요하며, 매우 많은 데이터 접근 및 연산이 필요한 공간 조인의 효율적인 수행을 위하여 공간 색인(spatial index)을 포함한 Hadoop 환경과 MapReduce 모델에 적합한 처리 기법에 대한 연구가 중요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.