선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서 페이지랭크 워크로드를 사용해서 반복되는 스테이지에서 RDD를 캐싱하지 않을 때(NO caching), 메모리에 캐싱할 때(Memory), 타키온파일시스템에 캐싱할 때(TFS: OFFHEAP) 총 3가지로 나누어서 실험한다. 따라서 RDD를 캐싱하는 위치를 통해 전체 잡의 수행시간에 끼치는 영향을 보고, 그 이유에 대해서 분석한다.
- 메모리는 디스크장치보다 용량대비 비용이 높기 때문이다. 따라서 본 논문에서는 타키온파일시스템을 활용 해 RDD를 보다 효율적으로 캐싱함으로써 스파크의 단점을 보완해 반복되는 워크로드에서의 성능향상을 하였다.
- 메모리 기반의 파일시스템인 타키온[10]을 통해 적은 메모리 용량을 가진 서버환경에서 인메모리기반 프레임워크인 스파크를 활용할 수 있게 한다. 본 논문에서는 스파크만을 이용해서 클러스터를 구성할 때와 스파크와 타키온파일시스템을 함께 이용해 클러스터를 구성할 때 두 가지 경우의 성능 차이에 대해 비교분석하였다. 실험에 사용된 워크로드는 페이지랭크 알고리즘이다.
- 본 논문은 메모리의 부족으로 발생하는 성능제약을 해결하기 위한 방안으로 타키온 파일시스템을 도입하여 효과적인 메모리 사용방안을 제시한다. 메모리 기반의 파일시스템인 타키온[10]을 통해 적은 메모리 용량을 가진 서버환경에서 인메모리기반 프레임워크인 스파크를 활용할 수 있게 한다.
가설 설정
- RDD를 OFFHEAP 공간에 저장하는 것을 통해 예상되는 결과는 자바가상머신 기반으로 돌아가는 스파크에서 JVM Heap이 부족해서 발생하는 Java Garbage Collection(GC)이 줄어들 것이다. 따라서 메모리가 부족해서 실패하거나 성능저하의 원인이 되는 메모리가 부족한 환경에서 타키온은 성능개선의 해결점으로 적용되어질 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.