본 연구에서는 대용량 저장장치를 위한 백업시스템 PRUNE을 개발하였다. PRUNE은 파일에서 중복된 데이터를 효과적으로 제거함으로써 백업 속도 및 백업시에 드는 비용을 최소화 시키는 것을 목적으로 한다. PRUNE은 크게 Redundancydetection, Fingerprint manager, Chunk manager의 세가지 주요기능으로 구현 되어있다. PRUNE에서는 서버와 ...
본 연구에서는 대용량 저장장치를 위한 백업시스템 PRUNE을 개발하였다. PRUNE은 파일에서 중복된 데이터를 효과적으로 제거함으로써 백업 속도 및 백업시에 드는 비용을 최소화 시키는 것을 목적으로 한다. PRUNE은 크게 Redundancydetection, Fingerprint manager, Chunk manager의 세가지 주요기능으로 구현 되어있다. PRUNE에서는 서버와 클라이언트 양쪽에서 Fingerprint를 관리하고 있으며 이를 통하여 저장장치의 사용량뿐만아니라 네트워크의 전송량도 감소시킬 수 있었다. 분산 인덱스 및 메모리 필터와 같은 효과적인 인덱스 관리 기법을 사용하여 Fingerprint manager관리 성능을 향상시킬수 있었다. 이러한 기법을 통하여 PRUNE은 효과적인 중복제거 및 효율적인 백업이 가능하다. 본 연구에서는 다양한 실험을 통하여 중복제거의 효과 및 성능을 보였으며, 메모리 필터 기반의 인덱스 검색 최적화 및 분산 인덱스 기법으로 Fingerprint를 관리할때의 디스크 사용빈도를 75%까지 감소키실수 있었다. 또한 지능적인 청킹 기법을 적용하여 일반적으로 파일을 나누는데 사용되는 고정크기와 가변크기 청킹의 장점을 함께 사용할수 있도록 하였으며 선택적으로 가변 크기 청크에 대해서만 압축이 가능하도록 만들어 속도와 성능을 모두 끌어올릴수 있었다.
본 연구에서는 대용량 저장장치를 위한 백업시스템 PRUNE을 개발하였다. PRUNE은 파일에서 중복된 데이터를 효과적으로 제거함으로써 백업 속도 및 백업시에 드는 비용을 최소화 시키는 것을 목적으로 한다. PRUNE은 크게 Redundancy detection, Fingerprint manager, Chunk manager의 세가지 주요기능으로 구현 되어있다. PRUNE에서는 서버와 클라이언트 양쪽에서 Fingerprint를 관리하고 있으며 이를 통하여 저장장치의 사용량뿐만아니라 네트워크의 전송량도 감소시킬 수 있었다. 분산 인덱스 및 메모리 필터와 같은 효과적인 인덱스 관리 기법을 사용하여 Fingerprint manager관리 성능을 향상시킬수 있었다. 이러한 기법을 통하여 PRUNE은 효과적인 중복제거 및 효율적인 백업이 가능하다. 본 연구에서는 다양한 실험을 통하여 중복제거의 효과 및 성능을 보였으며, 메모리 필터 기반의 인덱스 검색 최적화 및 분산 인덱스 기법으로 Fingerprint를 관리할때의 디스크 사용빈도를 75%까지 감소키실수 있었다. 또한 지능적인 청킹 기법을 적용하여 일반적으로 파일을 나누는데 사용되는 고정크기와 가변크기 청킹의 장점을 함께 사용할수 있도록 하였으며 선택적으로 가변 크기 청크에 대해서만 압축이 가능하도록 만들어 속도와 성능을 모두 끌어올릴수 있었다.
In this work, we develop novel backup system, PRUNE, for massive scale data storage. PRUNE aims at improving the backup latency and storage overhead of backup via effectively eliminating information redundancy in the files. PRUNE eliminates intra-file and inter-file information redundancy. PRUNE con...
In this work, we develop novel backup system, PRUNE, for massive scale data storage. PRUNE aims at improving the backup latency and storage overhead of backup via effectively eliminating information redundancy in the files. PRUNE eliminates intra-file and inter-file information redundancy. PRUNE consists of three key technical ingredients: redundancy detection, fingerprint manager, and chunk manager. PRUNE maintains fingerprint table at both client and server side so that it can minimize not only the storage requirement but also the data transfer overhead between the server and the client. For efficient file chunking, we develop incremental modulo-K algorithm which enables us to improve the file chunking time significantly. Fingerprint manager is designed for scalability. PRUNE minimizes fingerprint management overhead(index lookup and insert) via introducing main memory index lookup structure and workload-aware index partitioning of the index file in the storage. Backup server maintains three data structures for redundancy elimination: backup history, chunk repository and fingerprint tables. These data structures altogether enables PRUNE to effectively eliminate redundancy and to perform efficient backup. We perform various experiment to measure the efficiency of redundancy elimination. With filter based in-memory index data structure and index partitioning, PRUNE eliminates 75% of disk accesses involved in fingerprint management. Intelligent chunking can use the pros of both fixed-size chunk and variable size chunk method and also can compression selectively.
In this work, we develop novel backup system, PRUNE, for massive scale data storage. PRUNE aims at improving the backup latency and storage overhead of backup via effectively eliminating information redundancy in the files. PRUNE eliminates intra-file and inter-file information redundancy. PRUNE consists of three key technical ingredients: redundancy detection, fingerprint manager, and chunk manager. PRUNE maintains fingerprint table at both client and server side so that it can minimize not only the storage requirement but also the data transfer overhead between the server and the client. For efficient file chunking, we develop incremental modulo-K algorithm which enables us to improve the file chunking time significantly. Fingerprint manager is designed for scalability. PRUNE minimizes fingerprint management overhead(index lookup and insert) via introducing main memory index lookup structure and workload-aware index partitioning of the index file in the storage. Backup server maintains three data structures for redundancy elimination: backup history, chunk repository and fingerprint tables. These data structures altogether enables PRUNE to effectively eliminate redundancy and to perform efficient backup. We perform various experiment to measure the efficiency of redundancy elimination. With filter based in-memory index data structure and index partitioning, PRUNE eliminates 75% of disk accesses involved in fingerprint management. Intelligent chunking can use the pros of both fixed-size chunk and variable size chunk method and also can compression selectively.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.