[논문]리눅스 클러스터 파일 시스템을 위한 Myrinet 기반 초고속 통신모듈의 설계 및 구현

박의수; 이흥기; 최현우; 김형식; 유원경; 유관종

리눅스 클러스터 파일 시스템을 위한 Myrinet 기반 초고속 통신모듈의 설계 및 구현
Design and Implementation of a Myrinet based High-speed Communication Module for the Linux Cluster File System 원문보기

박의수 (충남대학교 컴퓨터과학과) , 이흥기 (충남대학교 컴퓨터과학과) , 최현우 (대전보건대학 컴퓨터정보처리과) , 김형식 (충남대학교 컴퓨터과학과) , 유원경 (성신여대 컴퓨터정보학부) , 유관종 (충남대학교 컴퓨터과학과)

클러스터 파일 시스템은 데이터 입출력 대역폭을 극대화하여 효율성을 높이고 각 노드의 입출력 부담을 균등하게 부과하기 위하여 원본 파일을 여러 노드에 분산 저장한다. 이렇게 파일을 노드들에 분산 저장하기 위해서는 효율적인 노드간 데이터 통신을 필요로 하며, 노드 내부에서도 클러스터 파일 시스템과 어플리케이션과의 효율적인 전용 데이터 교환 메커니즘을 지원해야 한다. 본 논문에서는 WAN(Wide Area Network)에 적합하도록 설계된 TCP를 이용한 기존의 교환 메커니즘인 통신모듈이 가지고 있는 문제점을 해결하기 위해 다양한 프로토콜과 하드웨어적인 접근을 통해 Myrinet이 초고속 통신모듈에 적합함을 보이고 GM API를 활용하여 기존의 소켓기반인 TCP/IP를 이용한 통신 모듈을 대처할 새로운 통신모듈의 모델을 제시한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기존의 소켓기반의 TCP/IP롤 이용한 통산 모듈이 가지고 있는 사용자 영역이나 커널 영역에 존재하는 여러 네트워크 계충으로 인하여 하부 네트워크가 제공하는 대역폭을 충분히 활용하지 못하여 생기는 호스트 내부의 소프트웨어구간의 병목현상으로 생기는 성능저하롤 해결하고 클러스터 파일 시스템이 안정적이고 효율적인 방법으로 대용량의 멀티미디어 데이터를 보다 빠르게 분산 저장하기 위하여 필요한 통산 모듈 올 설계한다. 이롤 위해 기존의 프로토콜과 함꼐 Zero copy를 지원하는 사용자수준의 다양한 통신 방식의 성능율 다각적으로 분석하여 클러스터 파일 시스템상에서 멀티미디어 통신에 적합한 최적의 네트워크 통신환경을 결정한다.
본 논문에서는 클러스터 과일 시스템에서 흔히 사용되는 기존 소켓기반의 TCPZtP를 이용한 통신모듈에서의 단점인 대용량의 데이터에 대한 노드간의 전송속도 문제점을 해결하기 위하여 실험을 통하여 클러스터 파일 시스템에 적합한 최적의 사용자 수준의 통신 프로토콜올 선정하였다. 그리고 선정된 통신 프로토콜과 하드웨어적 환경인 Myrinet GM의 타당성을 제시 하고 이 GM API를 이용하여 통신모듈의 기능을 효과적으로 구현하는 방안을 제시한 후에 초고속 통신모듈의 모델을 제시하고 구현하였다.

제안 방법

본 논문에서는 클러스터 과일 시스템에서 흔히 사용되는 기존 소켓기반의 TCPZtP를 이용한 통신모듈에서의 단점인 대용량의 데이터에 대한 노드간의 전송속도 문제점을 해결하기 위하여 실험을 통하여 클러스터 파일 시스템에 적합한 최적의 사용자 수준의 통신 프로토콜올 선정하였다. 그리고 선정된 통신 프로토콜과 하드웨어적 환경인 Myrinet GM의 타당성을 제시 하고 이 GM API를 이용하여 통신모듈의 기능을 효과적으로 구현하는 방안을 제시한 후에 초고속 통신모듈의 모델을 제시하고 구현하였다.
이롤 위해 기존의 프로토콜과 함꼐 Zero copy를 지원하는 사용자수준의 다양한 통신 방식의 성능율 다각적으로 분석하여 클러스터 파일 시스템상에서 멀티미디어 통신에 적합한 최적의 네트워크 통신환경을 결정한다. 다음으로 리눅스 클러스터의 핵심이 되는 클러스터 파일 시스템울 구성하는 각 노 드간의 원활한 통신을 보장하기 위해 최적의 프로토콜과 하드 웨어 조건에서 통신모듈의 구조를 정의하고 모듈간의 데이터 교환 과정을 설계한다. 마지막으로, 노드와 노드사이의 초고속 통신을 통한 데이터 교환을 가눙하게 하는 노드간 통신모듈 (Inter-node communication module), 즉 통신모듈 라이브러리를 최적의 프로토콜인 GM APH₃]를 이용해 리눅스 환경에서 개발한다.
다음으로 리눅스 클러스터의 핵심이 되는 클러스터 파일 시스템울 구성하는 각 노 드간의 원활한 통신을 보장하기 위해 최적의 프로토콜과 하드 웨어 조건에서 통신모듈의 구조를 정의하고 모듈간의 데이터 교환 과정을 설계한다. 마지막으로, 노드와 노드사이의 초고속 통신을 통한 데이터 교환을 가눙하게 하는 노드간 통신모듈 (Inter-node communication module), 즉 통신모듈 라이브러리를 최적의 프로토콜인 GM APH₃]를 이용해 리눅스 환경에서 개발한다.
이더넷 기반에 각각 M-VIA 와 TCP/IP 를 대비시킨 실험을 통하여 M-VIA 와 TCP/IP 의 성능올 비교한다. 미리넷 기반에서는 각각 순수 GM, GM위에 TCP/IP, GM위에 VIA를 대비시켜 실험하여 이들간의 대역폭과 지연시간 비교 분석한다. 이를 통하여 다양한 퉁신 환경 중에서 클러스터 파일 시스템에 적합한 통신 환경을 채택한다.
다양한 프로토콜과 하드웨어적인 실험을 위해서 아래와 같은 5가지 환경에서 실험을 시행하였다. 이더넷 기반에 각각 M-VIA 와 TCP/IP 를 대비시킨 실험을 통하여 M-VIA 와 TCP/IP 의 성능올 비교한다. 미리넷 기반에서는 각각 순수 GM, GM위에 TCP/IP, GM위에 VIA를 대비시켜 실험하여 이들간의 대역폭과 지연시간 비교 분석한다.
본 논문에서는 기존의 소켓기반의 TCP/IP롤 이용한 통산 모듈이 가지고 있는 사용자 영역이나 커널 영역에 존재하는 여러 네트워크 계충으로 인하여 하부 네트워크가 제공하는 대역폭을 충분히 활용하지 못하여 생기는 호스트 내부의 소프트웨어구간의 병목현상으로 생기는 성능저하롤 해결하고 클러스터 파일 시스템이 안정적이고 효율적인 방법으로 대용량의 멀티미디어 데이터를 보다 빠르게 분산 저장하기 위하여 필요한 통산 모듈 올 설계한다. 이롤 위해 기존의 프로토콜과 함꼐 Zero copy를 지원하는 사용자수준의 다양한 통신 방식의 성능율 다각적으로 분석하여 클러스터 파일 시스템상에서 멀티미디어 통신에 적합한 최적의 네트워크 통신환경을 결정한다. 다음으로 리눅스 클러스터의 핵심이 되는 클러스터 파일 시스템울 구성하는 각 노 드간의 원활한 통신을 보장하기 위해 최적의 프로토콜과 하드 웨어 조건에서 통신모듈의 구조를 정의하고 모듈간의 데이터 교환 과정을 설계한다.
GM 통신 라이브러리는 그림과 같이 데몬 간의 통신수행 부분을 정의한다. 클러스터 파일 시스템의 구성 노드는 GM통신모듈을 이용하여 다른 노드와 통신을 수행한다. 노드 간 통신은 기본적으로 GM API를 사용하며 클러스터 파일 시스템 데몬을 실행하면 데몬 초기화 단계에서 다른 노드의 데몬과 GM 연결을 준비한다.

성능/효과

혼 논문에서 제시한 GM기반 통신모듈은 프로세스와 I/O 디 바이스간 커널의 개입을 제거한 Zero copy에 입각하여 복사에 의한 통신 오버헤드를 줄일 수 있었다. 본 연구 결과를 토대로 좀더 다양한 네트워크 환경 하에서의 통신 성능 측정이 필요하다.

후속연구

본 연구 결과를 토대로 좀더 다양한 네트워크 환경 하에서의 통신 성능 측정이 필요하다. 그리고 통신 모듈의 최적화의 요건이 되는 다양한 패킷사이즈에 대한 테스트와 함꼐 최고의 성능을 발휘할 수 있는 버퍼 관리기법율 통하여 성눙올 개선할 계획이다.
혼 논문에서 제시한 GM기반 통신모듈은 프로세스와 I/O 디 바이스간 커널의 개입을 제거한 Zero copy에 입각하여 복사에 의한 통신 오버헤드를 줄일 수 있었다. 본 연구 결과를 토대로 좀더 다양한 네트워크 환경 하에서의 통신 성능 측정이 필요하다. 그리고 통신 모듈의 최적화의 요건이 되는 다양한 패킷사이즈에 대한 테스트와 함꼐 최고의 성능을 발휘할 수 있는 버퍼 관리기법율 통하여 성눙올 개선할 계획이다.

원문 보기

ScienceON 원문보기

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

저작권 관리 안내

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증

리눅스 클러스터 파일 시스템을 위한 Myrinet 기반 초고속 통신모듈의 설계 및 구현
Design and Implementation of a Myrinet based High-speed Communication Module for the Linux Cluster File System 원문보기

초록
AI-Helper