[논문]SQL-맵리듀스 통합을 위한 질의 인터페이스 및 질의 최적화 연구 현황

[국내논문] SQL-맵리듀스 통합을 위한 질의 인터페이스 및 질의 최적화 연구 현황
A Survey on Query Interface and Query Optimization for the SQL-MapReduce Integration 원문보기

이태휘 (한국전자통신연구원) , 정문영 (한국전자통신연구원) , 임동혁 (호서대학교 컴퓨터공학과) , 원종호 (한국전자통신연구원)

SQL의 사용자 편의성과 맵리듀스의 함수형 분산 처리 능력을 동시에 활용하기 위한 통합 작업이 이루어지고 있다. 본 논문에서는 최근 이루어진 관련 연구를 질의 인터페이스 측면과 질의 최적화 측면으로 나누어 살펴보고, 향후 연구 과제에 대해 알아본다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

본 논문에서는 SQL과 맵리듀스의 통합을 위한 질의 인터페이스와 질의 최적화 연구 현황을 간략히 소개하였다. 데이터 특성과 주요 질의 형태에 따라 다양한 빅데이터처리 프레임워크가 등장, 발전하고 있는 만큼, 향후에는 이러한 연구를 바탕으로 하나의 시스템에 국한되지 않고 이를 조합해서 활용할 수 있는 형태의 일반적이고 유연한 통합 인터페이스 및 최적화 연구가 필요할 것이다.
본 논문에서는 이러한 SQL-맵리듀스 통합 질의 관련 연구를 살펴보고 향후 연구 방향에 대해 생각해 본다.
1절에서 살펴본 대로, SQL과 맵리듀스를 통합한 질의의 형태는 질의는 SQL에 맵리듀스를 UDF로 활용하는 방식이 주를 이루고 있다. 본 절에서는 맵리듀스를 URF로 간주하고 여러 개의 맵리듀스 UDF를 수행하는 질의의 실행 계획을 최적화하는 연구들에 대해 알아본다.

일반적인 프로그램을 분석하여 실행 비용을 예측한다면 이상적이나 매우 어려운 일이며, 현재로서는 제한적인 API를 사용하는 프로그램에 한해서 분석 및 최적화가 가능한 수준에서 연구가 진행되고 있다. 여러 맵/리 듀스 함수 중 함수 내에서 발생하는 입출력 형태를 파악하여 실행 순서를 변경해도 결과가 동일한 함수들을 찾고, 이러한 경우들을 모두 고려하여 실행 순서를 최적화한다.
SQL과 맵리듀스를 혼합하여 전체 질의를 수행할 수 있다는 장점이 있으나, 하둡의 소스 코드와는 호환되지 않는 자체 API로 URF를 구현해야 하는 단점이 있다. 오라클 인-데이터베이스 하둡(Oracle In-Database Hadoop)⑸에서는 하둡 자바 소스 코드로 된 맵/리듀스 함수를 거의 수정 없이 실행 가능하도록 하여 이러한 호환성 문제를 개선하였다. 맵 함수와 리듀스 함수는 파이프라인 테이블 함수로 구현되는데, 파이프라인 테이블 함수는 데이터 흐름에 삽입되어 중간 데이터를 저장하지 않고 데이터를 SQL 문장으로 스트리밍하게 해준다.

SQL/Map Reduce에서 사용자는 제공되는 고유한 자체 자바 API를 통해 맵 함수와 리듀스 함수에 대응되는 로우 함수(row function)와 파티션 함수(partition function)® 구현한다. 구현한 함수는 FROM 절에서 사용 가능하며, 함수의 결과를 일반 테이블처럼 취급하여 중첩 사용도 가능하다. SQL과 맵리듀스를 혼합하여 전체 질의를 수행할 수 있다는 장점이 있으나, 하둡의 소스 코드와는 호환되지 않는 자체 API로 URF를 구현해야 하는 단점이 있다.

소개하였다. 데이터 특성과 주요 질의 형태에 따라 다양한 빅데이터처리 프레임워크가 등장, 발전하고 있는 만큼, 향후에는 이러한 연구를 바탕으로 하나의 시스템에 국한되지 않고 이를 조합해서 활용할 수 있는 형태의 일반적이고 유연한 통합 인터페이스 및 최적화 연구가 필요할 것이다.
그러나 얀 (YARN)[9], 메소스(Mesos)[10] 등 클러스터 통합 자원관리 프레임워크가 등장함에 따라, 최근에는 이를 일종의 "데이터 운영 체제”[11]로 간주하고 사용 자원을 공유하며 데이터 처리 특성에 맞게 여러 애플리케이션 프레임워크를 활용하는 추세로 나아가고 있다. 이러한 흐름에 발맞추어, 다중 시스템을 활용함으로써 소스 코드 단계를 넘어 맵리듀스, 더 나아가 다른 여러 프레임워크의 프로그램 바이너리를 그대로 실행하는 형태의 통합에 관한 연구가 필요하리라 생각한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증