초록 ▼

본 연구에서는 빅 데이터의 분석과 추천 서비스를 위한 기반 기술을 개발하였다. 데이터 분석에는 온라인 데이터 분석(OLAP)에 초점을 맞추었고, 데이터 추천 서비스를 위해서는 스카이라인 계산을 사용하였다. 하둡 기반의 맵리듀스 프레임워크를 기반 컴퓨팅 환경으로 가정하였다. 개발된 기술은 빅 데이터 대상의 의사 결정 시스템이나 추천 시스템에 매우 유용하게 활용될 수 있다.
본 연구의 성과는 크게 3 종류로 분류된다. 첫째, 데이터의 분석과 추천을 위해 필요한 연산을 대상으로 효율적인 알고리즘을 개발한다. 둘째, 데이터의 분석과

본 연구에서는 빅 데이터의 분석과 추천 서비스를 위한 기반 기술을 개발하였다. 데이터 분석에는 온라인 데이터 분석(OLAP)에 초점을 맞추었고, 데이터 추천 서비스를 위해서는 스카이라인 계산을 사용하였다. 하둡 기반의 맵리듀스 프레임워크를 기반 컴퓨팅 환경으로 가정하였다. 개발된 기술은 빅 데이터 대상의 의사 결정 시스템이나 추천 시스템에 매우 유용하게 활용될 수 있다.
본 연구의 성과는 크게 3 종류로 분류된다. 첫째, 데이터의 분석과 추천을 위해 필요한 연산을 대상으로 효율적인 알고리즘을 개발한다. 둘째, 데이터의 분석과 추천에 범용적으로 사용 가능한 하둡 맵리듀스 컴퓨팅 기법을 개발한다. 셋째, 개발한 맵리듀스 기법에 기반 하여 병렬/분산 데이터 분석, 추천 기법을 개발한다. 도출한 연구 성과는 다음과 같이 간략하게 기술될 수 있다.
(1) 효율적인 스카이라인 계산에 관한 연구
스카이라인 계산은 다차원 데이터 집합으로부터 사용자의 요구 조건에 최적인 데이터를 추출하는 연산이다. 이는 데이터 원소들 사이의 비교로 인해 시간 복잡도가 매우 높은 연산이다. 이 연구에서는 모바일 사용자들을 대상으로, 실시간에 사용자 주변에 있는 데이터들로부터 스카이라인을 계산하여 제공하는 기법을 개발하였다.
(2) 빅 데이터의 분석과 추천 서비스에 활용도가 높은 범용 계산 기법 연구
맵리듀스 컴퓨팅 환경에서는 일반적으로 입력 데이터 집합이 다수의 블록으로 나뉘고, 각 블록은 하나의 맵 태스크에 할당된다. 맵 태스크는 할당된 블록의 데이터를 레코드 단위로 읽어 처리하고, 레코드별로 (키, 밸류) 형태의 계산 결과를 낸다. 맵 태스크의 계산 결과는 셔플/소트 과정을 자동으로 거치며, 동일한 키 값을 갖는 밸류들이 모여 하나의 리듀스 태스크로 배정되고 그로부터 최종 결과가 계산된다. 본 연구에서는 이와는 달리 맵 태스크가 할당된 블록에 대해 최적의 로컬 계산 결과를 내고, 이를 리듀스 태스크로 전달함으로써 맵과 리듀서로 분리된 환경에서 최적의 로컬 결과를 도출하고, 셔플/소트의 오버헤드를 크게 줄이는 기법을 개발하였다.
(3) 하둡 맵리듀스 컴퓨팅 환경에서 효율적인 스카이라인 계산 기법 연구
(2)에서 개발한 기법에 기반 하여, 스카이라인 계산 알고리즘을 개발하였다. 맵 태스크는 할당된 데이터 블록에 대해서 최적인 로컬 스카이라인을 계산한다. 이 때 데이터 필터링과 샘플링을 사용한다. 셔플/소트의 오버헤드가 최소화되었고, 리듀스 태스크에서 신속하게 최종 스카이라인을 계산하도록 하였다. 기존의 기법들과는 달리 잡 체이닝을 사용하지 않아 매우 효율적이다.
(4) 하둡 맵리듀스 컴퓨팅 환경에서 효율적인 온라인 데이터 분석 기법 연구
온라인 데이터 분석은 다차원 데이터로 구성된 데이터 집합으로부터 각 차원별 집계 결과를 계산하는 것이다. (2)에서 개발한 기법을 기반으로 하여, 다수의 맵 태스크가 자신에게 할당된 데이터 블록에 대한 최종 집계 결과를 산출하고, 이를 셔플/소트를 통해 리듀스 태스크에 전달함으로써 두 단계로 나누어진 컴퓨팅 환경에서 최적의 신속한 온라인 데이터 분석 결과를 내도록 하였다.
(5) 빅 데이터 분석 응용 : 메일 필터링에 관한 연구
대중적으로 사용되고 있는 메일 서비스 시스템에서는 광고나 홍보성 메일의 경우 사용자의 취향이나 기호에 상관없이 스팸 메일로 분류된다. 본 연구에서는 사용자의 특성이나 선호도를 사전에 파악하여 사용자 맞춤형 메일 필터링 기법을 제안하였다.
종합적으로, 본 연구에서는 맵리듀스 컴퓨팅 환경에서 빅 데이터의 분석과 추천 서비스에 범용적으로 활용될 수 있는 기반 기술과 응용 기술을 개발하였다.

(출처 : 연구결과 요약문 3p)

목차 Contents

• 표지 ... 1
• 목차 ... 2
• Ⅰ. 연구결과 요약문 ... 3
• Ⅱ. 연구내용 및 결과 ... 4
• 1. 연구과제의 개요 ... 4
• 2. 국내외 기술개발 현황 ... 4
• 3. 연구수행 내용 및 결과 ... 4
• 4. 목표 달성도 및 관련 분야에의 기여도 ... 6
• 5. 연구결과의 활용계획 ... 6
• 6. 연구과정에서 수집한 해외과학기술정보 ... 6
• Ⅲ. 연구성과 ... 7
• 끝페이지 ... 8