선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 SA 알고리즘을 제안하고 이를 이용한 시스템을 설계함으로써 클라이언트가 업로드 하고자 하는 파일이 서버에 동일한 파일이 있는 경우 업로드를 하지 않으므로 저장공간 절약과 트래픽 감소 및 업로드 시간을 줄일 수 있는 방법을 제시한다. 또한 서버에 있는 파일이 저작권 및 관리상 문제로 제거해야 되는 경우에도 쉽게 제거할 수 있는 시스템을 설계 및 구현이 가능하다.
- 본 논문에서는 해쉬 함수의 성능 분석과 본 논문에서 제안 하는 시스템 설계에 가장 적합한 자체적으로 고안한 SA(Simple Arithmetic) 해쉬 알고리즘을 제안하고 있다. 2장에서는 기존 해쉬 알고리즘을 및 기존 서버 설계 방식에 관해 논하고 3장에서는 제안하는 SA 해쉬 알고리즘을 소개하며 SA 해쉬 알고리즘을 이용한 중복 파일 업로드 방지 서버 지스템의 설계 방식을 제안하고 있다.
- 자체 고안한 SA(Simple Arithmetic)해쉬 알고리즘을 이용하여 동일 파일 업로드 방지 및 저작권 관리 편의 시스템 설계를 본 논문에서 제안하고자 한다. SA 해쉬 알고리즘에 관한 소개와 시스템 설계에 관해 소개한다.
제안 방법
- 일반 서버 시스템 설계에서의 이점은 설계의 편리성과 하나의 파일은 한명의 클라이언트만이 편집 권한을 가져 권한 설정에 있어 관리가 편리하다. 본 논문에서 제안하는 시스템은 클라이언트가 업로드를 요청할 때 파일의 해쉬 코드를 서버에 전송하여 서버에 동일한 파일이 있는지 해쉬 코드로 검사한다. 동일한 파일이 존재한다면, 업로드를 받지 않고도 기존파일의 사용권한을 얻을수 있다.
- 해쉬 알고리즘을 웹 환경이 아닌 일반 프로그램으로 실행 하였을 때 속도 비교표이다. 시간 측정은 해쉬 코드 생성할 파일을 RAM에 로드한 후 순수 해쉬코드를 생성하였을 때의 시간을 측정하였다. 다른 변수들을 제거하기 위해 신뢰도가 높은 RAM에 로드한 다음 진행을 하여 RAM과 CPU간의 연산으로 처리 시간만을 측정하여 다른 변수들이 발생할 수 없게 되는 것이다.
- 위의 도표는 일반 전송 방식인 중복을 허용하는 시스템과본 논문에서 제안하는 SA 해쉬 알고리즘을 이용한 시스템의 성능을 분석한 표이다. 실험은 1Gibi-byte 파일을 1000개중 중복률을 parameter로 한 실험을 진행하였다. 설계 방법 선택에 있어 이 성능 분석 자료가 가장 중요한 자료가 될 것이다.
- 해쉬를 이용한 서버 시스템 구성에 있어서 어떤 해쉬 함수 알고리즘을 사용하여 설계하였나에 따라서도 성능의 차이가 발생한다. 앞서 일반 서버 시스템과 SA 해쉬 알고리즘을 사용한 서버의 성능은 비교하였다. SA 해쉬 알고리즘이 아닌 다른 해쉬 알고리즘으로 설계하였을 때의 성능 분석이다.
- 제안 하고자 하는 SA 해쉬 함수를 이용한 중복파일 방지 시스템은 Client의 업로드 요청된 파일의 SA hash algorithm 해쉬 코드를 Meta Data Server에 전송하고, 현재 서버에서 동일한 파일이 있는지 검색하여 존재 유무에 대한 Response를 한다. 동일한 파일이 존재한다면, 업로드를 받지 않고 Retain Count를 증가시킨 뒤 클라이언트가 파일 사용을 할 수 있는 권한을 부여한다.
성능/효과
- 35초 이내로 평균치에 크게 멀어지는 실험값은 나오지 않았다. 1Gibibyte를 처리할 때 SA 해쉬 알고리즘은 가장 적은 시간을 소모한 평균 14.57초로 나왔고 MD5는 평균 43.36초로 나왔다. 웹 환경에서도 SA 해쉬 알고리즘은 가장 빠른 처리 속도를 보이고 있다.
- 본 논문에서 제안하는 SA알고리즘은 초당 267Mib처리로 가장 빨랐으며 기존 해쉬 알고리즘 중 가장 빠른 MD5보다 3배 이상의 속도를 보이고 있다. MD5는 초당 88Mib의 속도를 나타내었으며 알고리즘의 복잡도가 높거나 해쉬 코드 길이가 길어질수록 처리 속도가 감소하는 것을 볼 수 있었다.
- 일반 서버 시스템과 SA 해쉬 알고리즘을 사용한 서버 시스템 성능 분석으로 파일의 중복률에 따른 데이터 처리 시간을 측정을 하여 중복 률이 11% 이상이 되는 경우에 SA 해쉬 알고리즘을 사용한 서버 시스템 설계가 더 효율적인 것을 알 수 있다. 그래서 본 논문에서 제안하는 SA 해쉬 알고리즘을 이용한 서버 시스템 설계는 일반 웹 게시판과 같이 중복률이 낮고 파일 용량이 작은 시스템 보다 중복률이 높고 파일의 용량이 큰 시스템에서 효용 가치가 높다고 할 수 있다.
- 제안하는 시스템의 해쉬 알고리즘은 서명문에 사용되는 것이 아니고 대용량 파일의 특징을 표현하는 함수이기 때문에 속도의 성능이 매우 중요하다. 그러므로 제안하는 시스템을 구현하기에 있어서 기존 타 해쉬 함수를 사용하기 보다는 제안하는 SA Hash algorithm을 사용하는 것이 효율적이다.
- SA 해쉬 알고리즘이 아닌 다른 해쉬 알고리즘으로 설계하였을 때의 성능 분석이다. 기존 해쉬 알고리즘 중 가장 빠른 MD5가 중복률이 30%이상일 때 일반 서버 시스템 보다 효율적으로 나타났고 그 이 외의 해쉬 알고리즘인 SHA 계열의 해쉬 알고리즘은 중복률이 50%가 되어도 일반 중복을 허용한 시스템 보다 비효율적으로 나타났다. 스토리지 절약에는 어떤 해쉬 알고리즘을 사용해도 되지만 처리 속도가 너무 증가하게 되면 시스템의 효용성이 없게 된다.
- 성능 분석에 있어서는 기존 해쉬 함수들 MD5, SHA-1, SHA-2와 SA 해쉬 함수의 속도를 비교함으로써 제안하는 시스템의 가장 적합한 해쉬 함수가 SA 해쉬 함수인 것을 증명하였다. 기존 해쉬 알고리즘을 이용해 중복파일 업로드를 방지하는 시스템에서는 기존 해쉬 알고리즘 중 가장 빠른 MD5가 중복률이 30%이상일 경우 일반 서버 시스템 보다 효율적으로 나타났고 SHA-1, SHA-2는 중복률이 50%가 되어도 일반 서버 시스템 보다 느려 해쉬 값으로 중복 파일 업로드 방지 시스템 설계에 있어 사용하는 것은 비효율적인 것을 알 수 있다. 일반 서버 시스템과 SA 해쉬 알고리즘을 사용한 서버 시스템 성능 분석으로 파일의 중복률에 따른 데이터 처리 시간을 측정을 하여 중복 률이 11% 이상이 되는 경우에 SA 해쉬 알고리즘을 사용한 서버 시스템 설계가 더 효율적인 것을 알 수 있다.
- 본 논문에서 제안하는 시스템은 파일의 누적과 중복률이 증가할수록 효과 적으로 시스템 구성을 할 수 있고 중복률이 11%이상이 될 경우에 효율적이라 할 수 있다. 만약 0~11%의 중복률을 가지는 시스템에서 본 논문에서 제안하는 방법으로 시스템을 설계를 하게 된다면 해쉬코드 생성 전송, 동일해쉬 코드 존재 여부 확인, 그리고 Response까지의 시간 그리고 파일전송 시간이 걸리기 때문에 더 많은 시간이 필요해 비효율적이게 된다. 하지만 중복률이 11%이상이 될 경우 효율적인 시스템 구성이 가능하고, 중복률이 55%이상이 되면 시간적 감소는 물론, 스토리지 공간이 50%이상 감소할 수 있게 된다.
- 2초 이내로 편차가 났다. 본 논문에서 제안하는 SA알고리즘은 초당 267Mib처리로 가장 빨랐으며 기존 해쉬 알고리즘 중 가장 빠른 MD5보다 3배 이상의 속도를 보이고 있다. MD5는 초당 88Mib의 속도를 나타내었으며 알고리즘의 복잡도가 높거나 해쉬 코드 길이가 길어질수록 처리 속도가 감소하는 것을 볼 수 있었다.
- 본 논문에서 제안하는 시스템은 파일의 누적과 중복률이 증가할수록 효과 적으로 시스템 구성을 할 수 있고 중복률이 11%이상이 될 경우에 효율적이라 할 수 있다. 만약 0~11%의 중복률을 가지는 시스템에서 본 논문에서 제안하는 방법으로 시스템을 설계를 하게 된다면 해쉬코드 생성 전송, 동일해쉬 코드 존재 여부 확인, 그리고 Response까지의 시간 그리고 파일전송 시간이 걸리기 때문에 더 많은 시간이 필요해 비효율적이게 된다.
- 업로드 중복방지 시스템에 최적화된 SA 해쉬 알고리즘은 기존 해쉬 알고리즘 중 가장 빠른 MD5보다 3배 빠른 속도를 가지고 있으며, 해쉬 값의 충돌 여부를 결정하는 해쉬 값의 길이가 512bit로 SHA-2(512bit)와 동일하고, 필요에 있어그 이상의 길이로 설정이 가능하다. 성능 분석에 있어서는 기존 해쉬 함수들 MD5, SHA-1, SHA-2와 SA 해쉬 함수의 속도를 비교함으로써 제안하는 시스템의 가장 적합한 해쉬 함수가 SA 해쉬 함수인 것을 증명하였다. 기존 해쉬 알고리즘을 이용해 중복파일 업로드를 방지하는 시스템에서는 기존 해쉬 알고리즘 중 가장 빠른 MD5가 중복률이 30%이상일 경우 일반 서버 시스템 보다 효율적으로 나타났고 SHA-1, SHA-2는 중복률이 50%가 되어도 일반 서버 시스템 보다 느려 해쉬 값으로 중복 파일 업로드 방지 시스템 설계에 있어 사용하는 것은 비효율적인 것을 알 수 있다.
- 다른 변수들을 제거하기 위해 신뢰도가 높은 RAM에 로드한 다음 진행을 하여 RAM과 CPU간의 연산으로 처리 시간만을 측정하여 다른 변수들이 발생할 수 없게 되는 것이다. 실험은 동일 파일로 50회의 실험 결과의 평균을 산출한 것이고, 각 실험에 있어 근소한 시간적 차이는 보이지만 평균치에 근접하였다. 동일 알고리즘에 동일 파일의 최대값과 최소값은 0.
- 하지만본 시스템의 구성에서의 모든 프로세서가 포함이 된 가장 정확한 속도 비교의 자료이기도 하다. 실험은 동일 파일로 각각 50회의 실험한 평균치를 나타내었고, 최고치와 최저치의 편차는 2.35초 이내로 평균치에 크게 멀어지는 실험값은 나오지 않았다. 1Gibibyte를 처리할 때 SA 해쉬 알고리즘은 가장 적은 시간을 소모한 평균 14.
- 기존 해쉬 알고리즘을 이용해 중복파일 업로드를 방지하는 시스템에서는 기존 해쉬 알고리즘 중 가장 빠른 MD5가 중복률이 30%이상일 경우 일반 서버 시스템 보다 효율적으로 나타났고 SHA-1, SHA-2는 중복률이 50%가 되어도 일반 서버 시스템 보다 느려 해쉬 값으로 중복 파일 업로드 방지 시스템 설계에 있어 사용하는 것은 비효율적인 것을 알 수 있다. 일반 서버 시스템과 SA 해쉬 알고리즘을 사용한 서버 시스템 성능 분석으로 파일의 중복률에 따른 데이터 처리 시간을 측정을 하여 중복 률이 11% 이상이 되는 경우에 SA 해쉬 알고리즘을 사용한 서버 시스템 설계가 더 효율적인 것을 알 수 있다. 그래서 본 논문에서 제안하는 SA 해쉬 알고리즘을 이용한 서버 시스템 설계는 일반 웹 게시판과 같이 중복률이 낮고 파일 용량이 작은 시스템 보다 중복률이 높고 파일의 용량이 큰 시스템에서 효용 가치가 높다고 할 수 있다.
- 업로드 속도가 빠를수록 일반 서버 시스템 방식이 유리해 지며 실험한 업로드 속도는 일반 인터넷에 비해 빠른 속도의 환경에서 실험을 하였다. 중복 률이 0~10%까지는 일반 서버 시스템이 효율적이나 중복률이 11%이상이 되면서 본 논문에서 제안하는 SA해쉬 알고리즘을 이용한 서버 시스템이 효율적인 것을 확인할 수 있다.
후속연구
- 제안 시스템을 구성하는데 있어 가장 주의해야 되는 부분은 Server Side와 Client Side이다. Client Side로 시스템을 구성하여야 업로드 이전에 판단 및 처리하여 효율적인 시스템 구성과 본 제안 시스템의 성능을 올바르게 활용할수 있다. 하지만 기존에 있는 Client Side Script언어는 client 로컬 파일을 읽는 것이 보안에 위배되어 사용할 수 없 었다.
- 그러한 데이터들 중 대표적으로 대용량과 중복 비율이 큰 데이터가 동영상 데이터이다. 그래서 동영상 데이터들을 많이 저장하는 서버 시스템을 설계 하는 것에 있어 본 논문에서 제안하는 설계 방식을 사용한다면 효율적인 서버 시스템 설계가 가능하다.
- 즉 Client Side가 가능한 언어로 처리를 하여야 한다. 그렇지 않고 Server Side로 처리를 하게 되면 일단 파일을 업로드 받고 나서 추후 과정들을 이어나가기 때문에, 기존 서버 시스템 설계보다 비효율적인 설계가될 것이다. 제안 시스템을 구성하는데 있어 가장 주의해야 되는 부분은 Server Side와 Client Side이다.
- 실험은 1Gibi-byte 파일을 1000개중 중복률을 parameter로 한 실험을 진행하였다. 설계 방법 선택에 있어 이 성능 분석 자료가 가장 중요한 자료가 될 것이다. 중복률에 따라 일반 서버 시스템과 본 논문에서 제안하는 시스템의 성능에 차이를 보이고 있고, 설계를 하고자 하는 시스템의 중복률이 선택의 기준이 된다.
- 향후 과제로서는 해쉬 값의 충돌을 방지하는 부분이 본 시스템 설계에 있어 가장 위협적인 문제점이기에 충돌을 방지할수 있는 방법 연구와 하나의 파일을 여러 클라이언트에서 사용 권한을 부여하고 있기 때문에 사용 권한 관리 방법이 추가 적으로 연구되어야 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.