선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 HDFS상에서 소형 파일의 처리 속도를 향상시키고 네트워크 부하를 감소시키기 위한 캐시 관리기법을 제안한다. 기존 캐시 관리 기법은 청크 메타데이터와 소형 파일을 클라이언트 캐시에서 유지하고 있는 방식을 사용한다.
- 본 논문에서는 HDFS에서 소형 파일의 읽기 성능향상을 위한 분산 캐시 기법을 제안한다. 제안하는 기법에서는 각 데이터 노드들의 캐시에 클라이언트들이 요청했던 파일 중 요청 빈도가 높은 소형 파일들을 유지하며, 각 데이터 노드 캐시에 저장된 소형 파일들의 캐시 메타데이터 정보를 네임노드에서 유지한다.
- 본 논문에서는 HDFS에서 소형 파일의 접근 속도를 향상시키고 네트워크 부하를 최소화하기 위한 캐시 관리 기법을 제안하였다. 제안하는 기법은 사용자들이 자주 사용하는 소형 파일을 각 데이터 노드의 캐시에서 유지하고, 이에 대한 캐시 메타데이터 정보를 네임노드에서 관리하여 데이터 노드의 디스크 접근 횟수를 감소 시켰다.
제안 방법
- 본 논문에서 초점을 맞추고 있는 소형 파일 데이터는 일반적으로 크기가 매우 작고 순차 쓰기 및 읽기가 수행될 가능성이 높다. 그러므로 제안하는 기법의 클라이언트는 요청한 파일을 저장하고 있는 청크의 메타데이터 정보와 요청 파일을 각각 네임 노드와 데이터 노드로부터 수신하여 캐시에 저장한다. 만약, 기존 기법과 같이 클라이언트 캐시에 청크 메타데이터만을 유지할 경우, 요청한 파일 정보가 캐시에 존재하지 않을시, 데이터 노드의 디스크로 파일을 요청한다.
- 따라서 클라이언트의 캐시에 유지되고 있는 소형파일이 아닌 다른 소형 파일 정보가 요청되면 데이터 노드의 디스크에서 파일을 가져와야하기 때문에 파일 처리 시간의 저하를 가져 올 수 있다. 따라서 위와 같은 문제점을 해결하기 위해 제안하는 기법에서 각 데이터 노드의 캐시에는 자주 요청된 소형 파일들을 유지하고, 클라이언트에는 캐시 메타데이터를 저장하는 구조를 갖는다. 따라서 요청한 소형 파일이 클라이언트 캐시에 존재하지 않더라도, 클라이언트 캐시에 저장된 캐시 메타데이터 정보나 네임노드의 캐시 메타데이터를 통해 해당 데이터 노드의 캐시에 접근 하여 처리한다.
- 하지만 슬라이드 파일의 경우는 크기가 작고 그 수가 방대하기 때문에 데이터들을 관리하기가 매우 어렵다. 따라서 이러한 문제들을 해결하기 위해 각 슬라이드가 64MB가 넘지 않도록 병합하여 청크에 유지함으로써 메타데이터의 양을 감소시켰다. 또한, 웹 서버의 캐시에 서로 연관된 슬라이드들을 프리패치하는 전략을 통해 파일 접근 성능을 향상시켰다.
- 질의 요청수를 변화해가며 처리 시간과 데이터 접근 빈도수를 측정했다. 또한, 기존 기법의 캐시 교체 전략인 LRU 기법과 제안하는 기법의 교체 전략 비교를 통한 처리 속도를 측정하였다.
- 본 논문에서 제안하는 기법의 우수성을 보이기 위해, 클라이언트의 캐시를 사용하여 소형 파일 접근을 수행한 기존 기법[11]과의 시뮬레이션을 통해 성능 평가를 수행하였다. 본 시뮬레이션은 [표 2]과 같은 성능 평가 환경을 구성하여 수행하였다.
- 본 논문에서 제안하는 기법의 우수성을 보이기 위해, 클라이언트의 캐시를 사용하여 소형 파일 접근을 수행한 기존 기법[11]과의 시뮬레이션을 통해 성능 평가를 수행하였다. 본 시뮬레이션은 [표 2]과 같은 성능 평가 환경을 구성하여 수행하였다. 성능 평가는 Inter(R) Core(TM) i5-3470 CPU 프로세서 4G 메모리를 가진 Window 7 운영체제를 사용하는 PC에서 수행하였다.
- 본 시뮬레이션은 [표 2]과 같은 성능 평가 환경을 구성하여 수행하였다. 성능 평가는 Inter(R) Core(TM) i5-3470 CPU 프로세서 4G 메모리를 가진 Window 7 운영체제를 사용하는 PC에서 수행하였다. 질의 요청수를 변화해가며 처리 시간과 데이터 접근 빈도수를 측정했다.
- 따라서 많은 양의 소형 파일을 관리해야 할 경우, 소형 파일을 저장하기 위한 청크의 수가 증가되고 네임 노드에서 관리해야할 메타데이터의 양 도 많아져 병목현상이 발생할 수도 있다. 이를 해결하기 위해 본 논문에서는 [11]에서 제시한 것과 유사하게 연관된 소형 파일들을 병합하여 [그림 2]와 같이 64MB 가 넘지 않는 병합된 파일 형태로 관리한다. 병합된 파일의 상위에는 소형 파일들의 (offset, length)가 인덱스 형태로 유지되어 파일들의 위치를 알 수 있다.
- 본 논문에서는 HDFS에서 소형 파일의 읽기 성능향상을 위한 분산 캐시 기법을 제안한다. 제안하는 기법에서는 각 데이터 노드들의 캐시에 클라이언트들이 요청했던 파일 중 요청 빈도가 높은 소형 파일들을 유지하며, 각 데이터 노드 캐시에 저장된 소형 파일들의 캐시 메타데이터 정보를 네임노드에서 유지한다. 또한, 청크 메타데이터와 요청 소형 파일만을 클라이언트의 캐시에서 유지하던 기존 기법과 달리, 클라이언트 캐시에 캐시 메타데이터를 저장하는 추가적인 구조를 갖는다.
- 제안하는 기법의 클라이언트 캐시에서는 캐시 메타데이터 정보를 네임노드로부터 요청받아 청크 메타데이터와 함께 사용한다. 제안하는 기법에서는 각 데이터 노드의 캐시에 저장하는 파일 정보를 캐시 메타데이터로 관리하고, 이에 대한 정보는 네임 노드에서 관리한다. 서로 연관된 정보의 소형 파일들은 클라이언트들이 다시 찾을 가능성이 높으며, 유사한 성향을 갖는 클라이언트들은 서로 비슷한 파일 정보를 찾을 확률이 높다.
- 본 논문에서는 HDFS에서 소형 파일의 접근 속도를 향상시키고 네트워크 부하를 최소화하기 위한 캐시 관리 기법을 제안하였다. 제안하는 기법은 사용자들이 자주 사용하는 소형 파일을 각 데이터 노드의 캐시에서 유지하고, 이에 대한 캐시 메타데이터 정보를 네임노드에서 관리하여 데이터 노드의 디스크 접근 횟수를 감소 시켰다. 또한, 클라이언트 캐시에 청크 메타데이터와 캐시 메타데이터를 유지함으로써 네임노드와의 통신을 최소화하여 소형 파일의 빠른 읽기 처리를 수행한다.
- 질의 요청을 1000에서 8000까지 변화시켜 청크의 접근 빈도를 측정하였다. 제안하는 기법은 클라이언트 캐시와 각 데이터 노드의 캐시를 함께 사용한다. 또한 각 데이터 노드의 캐시에는 자주 요청했던 파일정보들이 유지된다.
- 제안하는 기법의 클라이언트 캐시에서는 캐시 메타데이터 정보를 네임노드로부터 요청받아 청크 메타데이터와 함께 사용한다. 제안하는 기법에서는 각 데이터 노드의 캐시에 저장하는 파일 정보를 캐시 메타데이터로 관리하고, 이에 대한 정보는 네임 노드에서 관리한다.
- [그림 1]는 제안하는 캐시 관리 기법의 구조를 나타낸다. 제안하는 캐시 관리기법은 크게 하둡 클러스터와 이를 접근하여 실제 데이터를 활용하는 클라이언트로 구성된다. 제안하는 하둡 클러스터 시스템은 각 데이터 노드의 캐시에 저장된 소형파일을 사용하는 구조를 통해 캐시에 존재하는 파일에 대한 캐시 메타데이터(cache metadata)를 네임 노드에서 함께 관리하도록 한다.
- 제안하는 캐시 교체에서는 LFU(Least Frequently Used)와 LRU(Least Recently Used) 정책을 결합하여 사용한다. 요청 빈도와 요청 시간 사이의 적절한 비중을 통해 교체할 파일을 추출하기 위해 [표 1]과 같이 클라이언트는 소형 파일 이름, 요청 빈도, 시간 정보 형태 의 데이터 접근 패턴 테이블을 유지한다.
- 제안하는 캐시 관리기법은 크게 하둡 클러스터와 이를 접근하여 실제 데이터를 활용하는 클라이언트로 구성된다. 제안하는 하둡 클러스터 시스템은 각 데이터 노드의 캐시에 저장된 소형파일을 사용하는 구조를 통해 캐시에 존재하는 파일에 대한 캐시 메타데이터(cache metadata)를 네임 노드에서 함께 관리하도록 한다. 각 데이터 노드의 캐시에는 다수의 클라이언트들에 의해 자주 요청된 소형 파일이 유지되는 구조를 가진다.
- 성능 평가는 Inter(R) Core(TM) i5-3470 CPU 프로세서 4G 메모리를 가진 Window 7 운영체제를 사용하는 PC에서 수행하였다. 질의 요청수를 변화해가며 처리 시간과 데이터 접근 빈도수를 측정했다. 또한, 기존 기법의 캐시 교체 전략인 LRU 기법과 제안하는 기법의 교체 전략 비교를 통한 처리 속도를 측정하였다.
- [그림 6]은 소형파일 요청 수에 따른 파일 처리 시간을 비교하여 평가한 결과를 나타낸다. 질의 요청을 1000에서 8000까지 변화시켜 처리시간을 측정하였다. 기존 기법[11]의 경우, 요청된 소형 파일과 청크 메타데이터만을 클라이언트 캐시에 유지한다.
- [그림 7]은 소형 파일 요청 수에 따른 데이터 노드의 청크 접근 빈도수를 비교하여 평가한 결과를 나타낸다. 질의 요청을 1000에서 8000까지 변화시켜 청크의 접근 빈도를 측정하였다. 제안하는 기법은 클라이언트 캐시와 각 데이터 노드의 캐시를 함께 사용한다.
- 이에 따라, 질의 요청이 많아지면 처리 시간도 증가하는 것을 볼 수 있다. 하지만, 제안하는 기법은 클라이언트 캐시에 캐시 메타데이터를 추가적으로 유지하며, 각 데이터 노드의 캐시를 클라이언트 캐시와 함께 사용한다. 이때, 각 데이터 노드의 캐시에는 빈번하게 요청했던 소형파일들이 유지된다.
성능/효과
- 하지만 성능평가 결과, 10MB정도 용량을 갖는 파일에는 접근 비용이 효과적이나, KB단위의 소형 파일 처리에서는 큰 효과를 나타내진 않았다. 그러나 제안하는 기법은 [10][11]처럼 하나의 캐시만을 사용하지 않고 [12]와 같이 분산된 각 데이터 노드의 캐시들을 사용해 많은 파일들을 캐시에 유지할 수 있으며, 기존 연구들 [10-12]과 달리 네임노드에서 추가적으로 캐시 메타데이터를 관리함으로써 소형 파일의 처리 효율을 높인다. 또한, 클라이언트 캐시에서 유지되고 있는 메타데이터와 네임노드 메타데이터 간의 동기화를 통해 클라이언트 캐시의 메타데이터를 최신의 정보로 갱신한다.
- 따라서 이러한 문제들을 해결하기 위해 각 슬라이드가 64MB가 넘지 않도록 병합하여 청크에 유지함으로써 메타데이터의 양을 감소시켰다. 또한, 웹 서버의 캐시에 서로 연관된 슬라이드들을 프리패치하는 전략을 통해 파일 접근 성능을 향상시켰다.
- 본 논문에서 초점을 맞추고 있는 소형 파일 데이터는 일반적으로 크기가 매우 작고 순차 쓰기 및 읽기가 수행될 가능성이 높다. 그러므로 제안하는 기법의 클라이언트는 요청한 파일을 저장하고 있는 청크의 메타데이터 정보와 요청 파일을 각각 네임 노드와 데이터 노드로부터 수신하여 캐시에 저장한다.
- 따라서 파일 요청이 왔을 때, 데이터 노드의 청크에 자주 접근하지 않고도, 각 데이터 노드의 캐시에서 파일을 요청 받을 수 있다. 성능평가 결과, 제안하는 기법이 기존 기법에 비해 최대 약 54% 청크 접근 빈도가 감소했다.
- 이에 따라, 청크의 접근 빈도가 줄어들어 질의 요청이 증가하여도 처리 시간은 많이 증가하지 않는다. 성능평가 결과, 제안하는 분산 캐시 기법이 기존 기법에 비해 처리시간이 최대 약65% 감소했다.
- 이 선택된 값을 통해 식 (1)에 적용하여 가장 작은 값을 갖는 파일을 캐시에서 교체 한다. 성능평가 결과, 제안하는 캐시 교체 전략이 기존 기법의 교체 전략에 비해 처리시간이 최대 약 38% 감소했다.
- 제안하는 기법은 사용자의 프로파일이나 구매 성향을 분석하기 위한 응용 프로그램에서 정보들을 빠르게 검색하기 위해 활용할 수 있다. 성능평과 결과 제안하는 기법은 기존 기법보다 우수한 성능을 나타내는 것을 확인했다. 향후 연구로는 주기적으로 각 데이터 노드의 캐시 정보를 캡처해 다른 이웃 데이터 노드의 디스크에 저장함으로써, 해당 데이터 노드가 이상이 생겨도 다른 노드에서 빠르게 소형 파일 접근이 가능하도록 하는 모듈을 접목하는 것이다.
- 측정한 각 α값의 변화에 따른 평균 처리 시간과 LRU기법을 비교하여 실험하였는데, 0.3이 적절한 α값으로 선택되었다.
- 이런 분산 캐시를 사용하는 방식을 통해 파일 접근 비용의 감소를 보였다. 하지만 성능평가 결과, 10MB정도 용량을 갖는 파일에는 접근 비용이 효과적이나, KB단위의 소형 파일 처리에서는 큰 효과를 나타내진 않았다. 그러나 제안하는 기법은 [10][11]처럼 하나의 캐시만을 사용하지 않고 [12]와 같이 분산된 각 데이터 노드의 캐시들을 사용해 많은 파일들을 캐시에 유지할 수 있으며, 기존 연구들 [10-12]과 달리 네임노드에서 추가적으로 캐시 메타데이터를 관리함으로써 소형 파일의 처리 효율을 높인다.
후속연구
- 또한, 클라이언트 캐시에 청크 메타데이터와 캐시 메타데이터를 유지함으로써 네임노드와의 통신을 최소화하여 소형 파일의 빠른 읽기 처리를 수행한다. 제안하는 기법은 사용자의 프로파일이나 구매 성향을 분석하기 위한 응용 프로그램에서 정보들을 빠르게 검색하기 위해 활용할 수 있다. 성능평과 결과 제안하는 기법은 기존 기법보다 우수한 성능을 나타내는 것을 확인했다.
- 성능평과 결과 제안하는 기법은 기존 기법보다 우수한 성능을 나타내는 것을 확인했다. 향후 연구로는 주기적으로 각 데이터 노드의 캐시 정보를 캡처해 다른 이웃 데이터 노드의 디스크에 저장함으로써, 해당 데이터 노드가 이상이 생겨도 다른 노드에서 빠르게 소형 파일 접근이 가능하도록 하는 모듈을 접목하는 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.