$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

클러스터 파일 시스템의 메타데이터 서버를 위한 내용 기반 부하 분산 알고리즘
A Content-based Load Balancing Algorithm for Metadata Servers in Cluster File System 원문보기

정보처리학회논문지. The KIPS transactions. Part A. Part A, v.13A no.4 = no.101, 2006년, pp.323 - 334  

장준호 (삼성전자 메모리 사업부) ,  한세영 (서강대학교 컴퓨터학과) ,  박성용 (서강대학교 컴퓨터학과)

초록
AI-Helper 아이콘AI-Helper

클러스터 파일 시스템의 성능을 결정짓는 주요 요소 중 하나는 메타 데이터 서비스의 성능이다. 본 논문에서는 메타 데이터 연산의 종류에 따라 적절한 메타 데이터 서버에게 클라이언트의 요청을 동적으로 분배할 수 있는 내용 기반의 부하 분산 알고리즘을 제안한다. 이 알고리즘에서는 메타 데이터 서버 사이에 데이터의 이동을 유발 시키는 대신 메타 데이터를 복제하고 수정 메시지를 로깅하게 함으로써, 기존의 알고리즘에 비해 클라이언트의 요청을 서버들에게 균등하게 분배하여 응답 지연 시간을 현저히 줄일 수 있었다.

Abstract AI-Helper 아이콘AI-Helper

A metadata service is one of the important factors to affect the performance of cluster file systems. We propose a content-based load balancing algorithm that dynamically distributes client requests to appropriate metadata servers based on the types of metadata operations. By replicating metadatas a...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 분배기의 동작 과정을 살펴보고자 한다. 또한 마지막 절에서 각 연산의 수행 시간과 부하량을 이론적으로 분석하고 비교하고자 한다.
  • 본 논문에서는 메타 데이터 서비스 성능에 영향을 미치는 파일 시스템 연산의 특징을 분석하여 비대칭 메타 데이터 서버 클러스터에 적합한 내용 기반의 동적 부하 분산 알고리즘을 제안하였다. 클라이언트 요청의 분산 과정에서 발생하는 메타 데이터의 이동을 최소화하기 위해서 모든 서버가 동시에 수정 관련 연산을 수행하고 그 사항을 로깅 하도록 하였다.
  • 본 장에서는 지연 정책을 수반한 메타 데이터의 혼합 분할 방식에서의 단점을 보완하여, 메타 데이터 서버들의 부하 변동 상황을 동적으로 반영하여 클라이언트의 메타 데이터 연산 요청을 효율적으로 분산시키는 방법을 제안하고자 한다. 메타 데이터 서버 클러스터를 위한 전용 요청 분배기를 사용하여 클라이언트의 각 요청에 대한 내용을 파악하고, 적절한 메타 데이터 서버에게 그 요청을 전달하여 처리하도록 하는 내용 기반의 분산 알고리즘을 사용하고, 더 나아가각 메타 데이터 서버들의 부하를 동적으로 반영하여 요청을 분배 하도록 하는 동적 부하 분산 알고리듬을 제안하고자 한다.
  • 본 절에서는 클러스터 파일 시스템의 연산들을 메타 데이터 검색 연산, 디렉터리 메타 데이터 수정 연산, 그리고 파일 메타 데이터 수정 연산으로 분류하고, 각각에 해당하는 파일 시스템 연산을 수행하기 위한 메타 데이터 서버들과 요청 분배기의 동작 과정을 살펴보고자 한다. 또한 마지막 절에서 각 연산의 수행 시간과 부하량을 이론적으로 분석하고 비교하고자 한다.

가설 설정

  • 미국의 SUN사는 기술문서를 통해 NFS의 성능 유지를 위하여 inode의 캐시 적중비율(hit ratio)을 90% 이상으로 유지할 것을 추천하고 있다. 따라서 본 논문에서도 대용량 메모리를 이용한다고 가정하고 캐시 적중 비율을 90%로 유지하는 것으로 하였다.
  • 현재 리눅스 Ext2 파일 시스템은 inode의 크기가 128 바이트지만 클러스터 파일 시스템은 그 구현 방식에 따라 해시 값, 파일 데이터의 분산 저장 정보 등을 추가로 포함하여야만 한다. 따라서 본 성능 평가에서는 메타 데이터의 크기를 256 바이트로 가정하고 수행하였다.
  • 메타 데이터 서버들의 성능이 동일하다고 가정하고, 의 서버들에 대하여 위의 알고리즘을 적용한 결과는과 같다.
  • 메타 데이터의 수정 관련 연산은 서버 간의 가용성과 일관성을 위하여 직접 디스크에 쓴다고 가정하고, 읽기 연산은 성능을 고려하여 메모리 캐시를 사용한다고 가정한다. 리눅스 커널의 추가적인 연산 시간을 포함한 실질적인 메모리와 디스크의 평균 접근 시간은 직접 서버에서 측정하였다.
  • 통신 시간은 무시하였다. 메타 데이터의 이동만을 고려하여 한 번 통신에 필요한 메시지 크기를 256 바이트로 가정하였다. 100 Mbps 대역폭을 갖는 네트워크에서 하나의 메시지 전달에 필요한 이론적인 시간은 0.
  • 시뮬레이션을 위한 메타 데이터 서버 모델은 하드웨어 사양이 같은 서버들로 가정하였다. 서버는 인텔 펜티엄 m - 800Mhz CPU, PC100 타입의 메모리, 그리고 Ultra ATA - 66과 5600 RPM을 지원하는 하드 디스크로 구성 되었으며, 리눅스 커널 2.
  • 그래프이다. 전체 클러스터 파일 시스템 연산 중 수정 관련 연산의 비율을 10%, 30%, 50%, 70%, 90%로 변화시키면서 평균 대기 요청 수와 응답 시간을 측정하였으며, 이때 요청 분배 서버의 처리 시간 1/Ce 0으로 가정 하였다. (그림 10)은 모든 서버에서 수행을 기다리는 클라이언트 요청의 평균 개수를 나타낸 그래프이고, (그림 11)은 클라이언트 요청에 대한 평균 응답 시간을 측정하여 나타낸 그래프이다.
  • 큐잉 이론의 시스템 모델 중 요청 분배 서버를 M/M/1 모델로 가정하고, C는 요청 분배 서버의 용량, 즉 서비스 비율을 나타내고, 入는 클라이언트 요청의 발생 비율을 나타내면, 요청 분배 서버의 성능이라 할 수 있는 평균 응답속도 Re 다음과 같이 표현할 수 있다[12].
본문요약 정보가 도움이 되었나요?

참고문헌 (12)

  1. SPEC, 'SFS 3.0 Documentation Version 1.0,' Standard Performance Evaluation Corporation, 2001 

  2. K. W. Preslan et al., 'A 64 Bit, Shared Disk File System for Linux,' Proceedings of the 16th IEEE Mass Storage Systems Symposium, pp.22-41, 1999 

  3. http://www.macroimpact.com 

  4. P. H. Carns et al, 'PVFS: A Parallel File System For Linux Clusters,' Proceedings of the 4th Annual Linux Showcase and Conference, Atlanta, pp.317-327, Oct., 2000 

  5. Peter J. Braam et al., 'The Lustre Storage Architecture,' Cluster File System. Inc, Mar., 2003 

  6. Scott A. Brandt et al., 'Efficient Metadata Management in Large Distributed Storage Systems,' Proceedings of the 11th IEEE NASA Goddard Conference on Mass Storage Systems and Technologies, Apr., 2003 

  7. Jin Xiong et al., 'Design and Perforamance of the the Dawning Cluster File System,' IEEE International Conference on Cluster Computing (Cluster'03), Dec., 2003 

  8. Peter F. Corbett et al., 'The Vesta parallel file system,' ACM Transactions on Computer Systems(TOCS), Vol.14, No.3, pp.225-264, Aug., 1996 

  9. Daniel P. Bovet et al, Understanding the Linux Kernel, O'Reilly and Associates, Sebastopol, 2003 

  10. http://www.mesquite.com 

  11. L. mummert and M. Satyanarayanan. 'Long term distributed file reference tracing: Implementation and experience'. Software-Practice and Experience (SPE), Vol.26, No.6, pp.705-736, June, 1996 

  12. Kishor Shridharbhai Trivedi, Probability and Statistics with Reliability, Queuing, and Computer Science Applications, John Wiley & Sons, Inc., New York, 2002 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로