초록 ▼

연구개요
빅데이터 처리에 사용되는 데이터의 효율적인 재사용을 위한 가상화 환경에서 인메모리 캐싱 활용 MapReduce 프레임 워크를 최적화 하기 위한 기술을 연구 개발한다, 인메모리 캐시에 캐시되어 있는 데이터를 효율적으로 공유하기 위해 가상화 환경과 인메모리 캐시에 캐시된 데이터를 고려하여 Data locality를 세분화 및 확장하고 이를 태스크 스케줄링에 활용하여 응용의 빠른 실행을 제공한다. 기존 MapReduce 프레임워크의 미흡한 데이터 재사용 기술을 보완하기 위해 빅데이터 처리 응용의 인메모리 캐시를 활용하여 데

연구개요
빅데이터 처리에 사용되는 데이터의 효율적인 재사용을 위한 가상화 환경에서 인메모리 캐싱 활용 MapReduce 프레임 워크를 최적화 하기 위한 기술을 연구 개발한다, 인메모리 캐시에 캐시되어 있는 데이터를 효율적으로 공유하기 위해 가상화 환경과 인메모리 캐시에 캐시된 데이터를 고려하여 Data locality를 세분화 및 확장하고 이를 태스크 스케줄링에 활용하여 응용의 빠른 실행을 제공한다. 기존 MapReduce 프레임워크의 미흡한 데이터 재사용 기술을 보완하기 위해 빅데이터 처리 응용의 인메모리 캐시를 활용하여 데이터 재사용 시 응용의 성능 향상 정도를 정량화 하는 성능 Metric을 정의한다. 다중 사용자가 MapReduce 프레임워크에서 빅데이터 처리 응용실행 시 공평성과 인메모리 캐시에 의한 성능 향상 정도와 접근 빈도를 고려하여 사용자간 활용하는 인메모리 캐시의 양을 동적으로 관리함으로써 사용자간 공평성을 향상시킬 뿐만 아니라 시스템의 효율성을 향상 시킨다.

연구 목표대비 연구결과
본 연구의 목표는 가상화 환경에서 인메모리 캐싱 활용 MapReduce 프레임워크를 최적화하는 기술을 연구하는 것이다. 여러 가상 머신이 하나의 물리적 머신에서 실행되는 가상화 환경의 특성을 고려하여 가상 머신 간에 캐시된 데이터를 효율적으로 활용할 수 있게 하고, MapReduce 가상 클러스터에서 다양한 MapReduce 응용을 효율적으로 실행하기 위해 제한된 인메모리 캐시 자원을 동적으로 분배하는 메모리 자원 관리 기술 연구 개발을 목표로 하였다. 이 목표를 달성하기 위해, 가상화 환경에서 세분화된 data locality를 정의하고 이를 기반으로 스케줄링을 하여 캐시된 데이터를 최대 활용하는 기술과 캐시 재사용에 의한 성능 향상 정도와 입력 데이터에 빈도를 고려한 Caching benefit을 정량화 하여 인메모리 캐시 교체 알고리즘을 Hadoop 2.4.1에 통합 구현하였다. MapReduce 가상 클러스터의 인메모리 캐시 Pool을 다중 사용자에 함께 사용하는 데 있어서 Caching benefit이 큰 응용들에 제한된 메모리 자원을 더 많이 할당하여 다양한 시나리오에 대해 최대 24%까지 실행 시간을 줄여 성능을 향상하는 것을 실험을 통해 확인하였다. 또한 다중 사용자 환경에서는 시스템 효율성뿐만 아니라 공평성을 제공하는 것도 중요한데 각 사용자에게 개발 share를 제공하는 방식을 설계하여 공평성과 효율성을 모두 고려할 수 있는 시스템을 연구 개발하였다.

연구개발결과의 중요성
빅데이터 처리 응용의 효율적인 실행을 위해 데이터 재사용이 요구된다. 빅데이터 처리에 널리 사용되고 있는 MapReduce 프레임워크는 자원의 유연성 있고 신축성 있는 재할당을 가능하게 하는 가상화 기반 클라우드 환경에서 실행되는데 이때 데이터의 효율적인 재사용을 위한 인메모리 캐싱 활용 MapReduce 프레임워크의 최적화를 위한 기술이 필요하다. 가상화 환경에서 인메모리 캐시에 캐시된 데이터의 효율적인 활용을 위해 Data Locality를 확장하고 태스크 스케줄링 시 고려함으로써 적은 오버헤드로 인메모리 캐시 데이터에 대한 메모리 공유를 가능하게 한다. 또한 동적으로 빅데이터 처리 응용의 인메모리 캐시 활용에 의한 성능 향상 정도를 평가함으로써 인메모리 캐시에 상주할 데이터의 선택을 쉽게 한다. 정량화된 성능 향상 정도평가 Metric과 다중 사용자 간 공평성을 고려하여 인메모리 캐시에 데이터를 교체하고 메모리 자원을 할당함으로써 사용자간 공평성을 제공하고 만족도를 향상시키며 시스템의 효율성을 높일 수 있다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구수행내용 및 연구결과 ... 5
• (1) 가상 머신 간의 인메모리 캐시 데이터에 대한 효율적 공유 기법 연구 ... 5
• (2) 다중 사용자에 대한 인메모리 캐시 효율성에 따른 인메모리 캐시 자원 분배 기법 ... 7
• (3) MapReduce 가상 클러스터를 위한 동적 메모리 자원 관리 기법 연구 ... 8
• 3. 연구개발결과의 중요성 ... 12
• 4. 참고문헌 ... 14
• 5. 연구성과 ... 15
• 대표적 연구실적 ... 17
• 끝페이지 ... 32