[논문]PVFS를 위한 상호협력 캐쉬의 설계 및 구현

황인철; 김호중; 정한조; 김동환; 김호진; 맹승렬; 조정완

PVFS를 위한 상호협력 캐쉬의 설계 및 구현
The Design and Implementation of the Cooperative Cache for PVFS 원문보기

황인철 (한국과학기술원 전자전산학과 전산학전공) , 김호중 (한국과학기술원 전자전산학과 전산학전공) , 정한조 (한국과학기술원 전자전산학과 전산학전공) , 김동환 (한국과학기술원 전자전산학과 전산학전공) , 김호진 (한국과학기술원 전자전산학과 전산학전공) , 맹승렬 (한국과학기술원 전자전산학과 전산학전공) , 조정완 (한국과학기술원 전자전산학과 전산학전공)

요즘 값싼 PC들을 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 컴퓨팅에 대한 연구가 활발히 이루어지고 있다. 이러한 연구 중 파일에 대한 서비스를 제공하여 주는 파일 시스템에서 높은 대역폭과 병렬성을 지원하는 분산 파일 시스템이 개발되고 있다. 한편 기존 분산 파일 시스템에 대한 연구 중 서버의 부하를 감소시키고 성능을 향상시키기 위하여 상호협력 캐쉬가 제시되었다. 상호협력 캐쉬는 클라이언트간 파일 캐쉬를 공유함으로써 자신에게 없는 파일에 대한 내용을 다른 클라이언트가 가지고 있을 경우 서버에게 파일을 요구하지 않고 클라이언트간 파일 내용 전달을 통하여 요구를 처리하게 된다. 분산 파일 시스템 중 클러스터 컴퓨팅에서 많이 사용되고 있는 Linux 운영체제에서 구현된 PVFS는 높은 성능과 병렬 I/O를 제공한다. 하지만 기존 PVFS에서는 파일에 대한 캐쉬를 제공하지 않는다. 따라서 본 논문에서는 기존 PVFS에서 제공하지 않은 상호협력 캐쉬를 설계하고 구현한다. 그리고 기존 PVFS와의 성능 비교를 통하여 캐쉬의 효율성을 증명한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 PVFS에서는 파일 캐쉬를 제공하지 않으며 단순히 사용자 프로그램에게 파일의 내용올 I/O 서버로부터 전달해 주는 서비스 만을 제공한다. 따라서 본 논문에서는 높은 성능을 얻기 위하여 PVFS를 위한 상호협력 개쉬를 설계 하고 구현한다. 그리고 구현된 상호협력 캐쉬를 사윰한 PVFS 와 기존 PVFS를 비교 평가한다.
본 논문에서 클러스터 컴퓨팅에서 많이 사용되는 Linux 운영체제롤 지원하는 병렬 파일 시스템인 PVFS에서 지원 하지 않던 상호협력 캐쉬를 설계하고 구현하였다.
상호협력 캐쉬를 동작시키기 위해서는 캐쉬 관리자가 다른 클라이언트가 캐슁하고 있는 데이터의 정보를 가지고 있어야 한다. 본 논문에서는 관리 비용이 싸고 확장성이 뛰 어난 힌트를 기반으로 하는 상호 협력 캐쉬를 설계하고 구현하였다. 그리고 병렬 I/O를 지원하는 파일 시스템에 맞지 않는 기존 힌트를 이용한 방법과 달리 본 논문 설계하고 구현한 상호협력 캐쉬에서는 병렬 I/O 파일 시스템에 적합한 블럭단위의 일관성을 유지한다.

제안 방법

따라서 본 논문에서는 높은 성능을 얻기 위하여 PVFS를 위한 상호협력 개쉬를 설계 하고 구현한다. 그리고 구현된 상호협력 캐쉬를 사윰한 PVFS 와 기존 PVFS를 비교 평가한다.
그러나 실제 클러스터 환경에서는 여러 사용자가 여러 노도에서 같은 파일에 대한 접근올 하기 때문에 본 논문에서는 Vilayaanur.와 달리 단일 사용자가아닌 여러 사용자가 커널 모듈을 이용할 경우를 가정하여 상호협력 캐쉬를 커널 모듈을 수정함으로써 구현하였다.
PVFS에 서는 분산단위를 기본 64KB로 하며, 시스템에 적합하게 설정이 가능하다. 이러한 캐쉬 블럭이나 LRU 리스트, 유휴 리스트, 헤쉬 테이블, 비트맵 테이블들은 많은 모듈에서 동시 접근 가능하기 때문에 일관성을 위하여 락(lock)을 사용 하여 동시성을 추구하였다.
- 읽기/쓰기 프로그램 : 읽기/쓰기 요구 크기를 변화시켜 가면서 읽기/쓰기를 수행한다. 읽기일 경우 서버에 캐쉼이 되어 있는 경우(cache_hot_coop), 다른 노드에 캐슁이 되어 있는 경우 (coop_hot_coop), I/O서버의 캐쉬에 있는 경우(io_hot_coop)/없는 경우(io_cool_coop), 기존 PVFS에서 I/O서버의 캐쉬에 있는 경우(io_hot_pvfs)/없는 경우에 따라 여러 번 수행하여 평균값을 계산하였다. 쓰기의 경우에는 캐슁하고 있는 다른 클라이언트가 있을 경우(cLex)/없을 경우(no_cli), 기존 PVFS(pvfs)에 따라 여러 번 수행하여 평균값을 계산하였다.

데이터처리

읽기일 경우 서버에 캐쉼이 되어 있는 경우(cache_hot_coop), 다른 노드에 캐슁이 되어 있는 경우 (coop_hot_coop), I/O서버의 캐쉬에 있는 경우(io_hot_coop)/없는 경우(io_cool_coop), 기존 PVFS에서 I/O서버의 캐쉬에 있는 경우(io_hot_pvfs)/없는 경우에 따라 여러 번 수행하여 평균값을 계산하였다. 쓰기의 경우에는 캐슁하고 있는 다른 클라이언트가 있을 경우(cLex)/없을 경우(no_cli), 기존 PVFS(pvfs)에 따라 여러 번 수행하여 평균값을 계산하였다. - 행렬 곱셈 프로그램 : 파일에 저장되어 있는 1024*1024 행렬 두개를 읽은 후 곱하여 그 결과를 파일에 적는 프로그램을 수행한다.

성능/효과

같은 파일에 읽기/쓰기를 수행하는 간단한 행렬 곱셈 프로그램에서〔표 2]와 같이 기존 PVFS에 비해 상호협력 캐쉬를 이용할 경우 약 4%정도의 수행시간 향상을 얻을 수 있었다.
쓰기 요구의 크기를 변경하면서 여러 환경에서 기존 PVFS와 비교하여 보았을 때 큰 차이 없이 유사한 성 능을 나타내었다. 그리고 간단한 행렬 곱셈 프로그램에서 기존 PVFS보다 약 4%정도의 성농향상을 보였다. 성능평가에서 살펴본 바와 상호협력 캐쉬를 사용하는 PVFS를 사용할 경우 대용량 파일을 접근하는 여러 응용프로그램들의 성능이 개선되고 클러스터 전체의 성능 향상에 큰 도움이 될것을 추측할 수 있었다.
그리고 간단한 행렬 곱셈 프로그램에서 기존 PVFS보다 약 4%정도의 성농향상을 보였다. 성능평가에서 살펴본 바와 상호협력 캐쉬를 사용하는 PVFS를 사용할 경우 대용량 파일을 접근하는 여러 응용프로그램들의 성능이 개선되고 클러스터 전체의 성능 향상에 큰 도움이 될것을 추측할 수 있었다.
읽기 요구의 크기를 변경하면서 여러 환경에서 기존 PVFS와 비교 평가하였을 경우 캐쉬를 사용하는 것이 사용 하지 않는 시스템보다 빠른 응답시간 안에 요구를 해결할 수 있었다. 쓰기 요구의 크기를 변경하면서 여러 환경에서 기존 PVFS와 비교하여 보았을 때 큰 차이 없이 유사한 성 능을 나타내었다.

후속연구

향후에는 실제 클러스터 시스템을 사용하는 응용프로그램을 가지고 성능평가와 성능분석을 할 예정이고, 쓰기의 경우 높은 성능을 얻기 위하여 버퍼링을 지원할 예정이다. 그리고 읽기나 쓰기 요구롤 함께 모아서 한번에 처리할 수 있는 방법에 대한 연구를 수행할 것이다.
향후에는 실제 클러스터 시스템을 사용하는 응용프로그램을 가지고 성능평가와 성능분석을 할 예정이고, 쓰기의 경우 높은 성능을 얻기 위하여 버퍼링을 지원할 예정이다. 그리고 읽기나 쓰기 요구롤 함께 모아서 한번에 처리할 수 있는 방법에 대한 연구를 수행할 것이다.

원문 보기

ScienceON 원문보기

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증

PVFS를 위한 상호협력 캐쉬의 설계 및 구현
The Design and Implementation of the Cooperative Cache for PVFS 원문보기

초록
AI-Helper