[논문]Non-Transparent Bridge 기반 링 네트워크 통신 방식 구현

김상겸; 이양우; 임승호

Non-Transparent Bridge 기반 링 네트워크 통신 방식 구현
Implementation of Non-Transparent Bridge Interface-based Ring Topology 원문보기

김상겸 (한국외국어대학교 컴퓨터전자시스템공학부) , 이양우 (한국외국어대학교 컴퓨터전자시스템공학부) , 임승호 (한국외국어대학교 컴퓨터전자시스템공학부)

다수의 계산노드를 초고성능 상호연결망으로 연결하여 클러스터 시스템으로 구성하는 HPC에서 인터 콘넥션 기술로 Infiniband, Ethernet등의 기술이 많이 사용된다. PCIe 기반의 노드간 직접 연결 기술로는 NTB(Non-Transparent Bridge) 기반의 인터콘넥션 기술이 있으나, NTB의 기본은 두 노드간에 분리된 메모리를 공유하는 방식이다. 본 논문에서는 다중 NTB 포트에 직접 연결된 다수의 호스트들간에 무스위치 네트워크를 구성하여 NTB 통신을 이용한 데이터 공유 방법의 설계와 구현에 대해서 다룬다. 각 호스트에 연결된 두 개의 NTB포트를 이용해서 링 네트워크를 구성하고, 링 네트워크 상에서 NTB 인터컨넥션을 이용한 데이터 공유 방식의 구현을 하였다. 이와 같이 PCIe 기반 무스위치 네트워크를 통해서 Cost-Effective한 HPC 상호연결망을 구성할 수 있다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구개발에서는 PCIe의 NTB(Non-Transparent Bridge) 기술을 활용해서 다중 호스트 기반의 PCIe 무스위치 인터컨넥션 통신방안(Switchless Interconnection Network)에 대해서 연구해보도록 한ㄷ. 구체적으로는 다중 포트 기반의 호스트간 직접적인 NTB 연결을 통하여 링 토폴로지를 구성하고, NTB 기반의 다중 호스트 클러스터 내에서 데이터 공유 방법에 대한 설계 및 구현을 하도록 한다.

제안 방법

다중 NTB 포트 기반으로 링 네트워크를 구성하는 구현을 위해서 본 논문에서는 PLX사의 PEX8749/PEX8733을 이용해서 구현 및 개발한 PCIe NTB Adapter를 이용해서 구성하였다. 3대의 호스트에 각각 두 개의 NTB Adapter를 설치하고, 각각의 NTB Port를 서로 물려서 링 네트워크를 구성하도록 한 후, NTB Device Driver, NTB DMA device driver를 로딩하여 서로 NTB 동작이 가능하도록 구성하였다. 그 후, 위에서 설명한 링 네트워크 통신 환경 구성을 위한 셋업 단계를 거쳐서 각각의 호스트가 가지는 두 개의 NTB 포트 각각이 서로 공유 가능한 메모리를 가지도록 구현하였다.
본 연구개발에서는 PCIe의 NTB(Non-Transparent Bridge) 기술을 활용해서 다중 호스트 기반의 PCIe 무스위치 인터컨넥션 통신방안(Switchless Interconnection Network)에 대해서 연구해보도록 한ㄷ. 구체적으로는 다중 포트 기반의 호스트간 직접적인 NTB 연결을 통하여 링 토폴로지를 구성하고, NTB 기반의 다중 호스트 클러스터 내에서 데이터 공유 방법에 대한 설계 및 구현을 하도록 한다.
3대의 호스트에 각각 두 개의 NTB Adapter를 설치하고, 각각의 NTB Port를 서로 물려서 링 네트워크를 구성하도록 한 후, NTB Device Driver, NTB DMA device driver를 로딩하여 서로 NTB 동작이 가능하도록 구성하였다. 그 후, 위에서 설명한 링 네트워크 통신 환경 구성을 위한 셋업 단계를 거쳐서 각각의 호스트가 가지는 두 개의 NTB 포트 각각이 서로 공유 가능한 메모리를 가지도록 구현하였다. 링 네트워크 셋업 설정이 완료된 후에는, 서로 공유하고 있는 메모리 주소를 통해서 데이터 송수신이 가능하게 된다.
기본적으로 NTB는 두 대의 호스트를 서로 다른 메모리 영역을 통해서 데이터 공유 또는 전송하는 방식을 제공하는데, 본 논문에서는 하나의 호스트에 두 개 이상의 NTB 포트를 위한 호스트 아답터를 연결하고, 각 호스트의 포트를 양쪽의 다른 호스트에 연결하는 방식으로 세 대 이상의 호스트를 링 형식으로 연결하여 다중 호스트를 구성한다. 그림 1은 다중 포트 기반의 NTB 링 클러스터를 구성한 그림을 도식화한 것이다.
다중 NTB 포트 기반으로 링 네트워크를 구성하는 구현을 위해서 본 논문에서는 PLX사의 PEX8749/PEX8733을 이용해서 구현 및 개발한 PCIe NTB Adapter를 이용해서 구성하였다. 3대의 호스트에 각각 두 개의 NTB Adapter를 설치하고, 각각의 NTB Port를 서로 물려서 링 네트워크를 구성하도록 한 후, NTB Device Driver, NTB DMA device driver를 로딩하여 서로 NTB 동작이 가능하도록 구성하였다.
그런데, 기본적인 PCIe NTB는 두 노드간의 분리된 메모리 영역을 통해서 데이터 공유를 할 수 있기 때문에, 다수의 노드를 연결하여 구성하기가 쉽지 않다. 본 논문에서는 다중 NTB 포트로 구성된 다수의 노드를 상호 연결하여 링 네트워크를 구성한 후, 네트워크 내의 노드들간의 상호 데이터를 공유할 수 있는 시스템을 구현하였다. 이러한 구현을 통해서 PCIe NTB 기반의 Cost-Effective하면서 고속의 데이터 공유가 가능한 클러스터 구성이 가능하다.

성능/효과

첫 번째로 오른쪽 그림과 같이, PCIe NTB는 또한 primary host의 PCI bus로 구성된 서브시스템 계층구조에 secondary host를 연결하는 데 사용될 수 있다. 두 번째로, 왼쪽 그림과 같이 Back to Back(B2B) NTB를 두 호스트간에 연결하게 되면, 하나의 호스트의 primary address가 NTB에 의해서 secondary address로 변환되어 해당 호스트의 address space에 보이지 않게 되며, 마찬가지로, secondary address 역시 다른 쪽 host의 NTB에 의해서 address map에 포함되지 않게 된다. 이 경우, 어느 한쪽에서 doorbell 인터럽트를 발생시키거나 scratchpad register를 통해서 interprocessor commmunication을 하기 위해서는 secondary side의 BAR 0/1를 접근하여 해당 doorbell register와 scratchpad register에 값을 쓸 수 있다.

후속연구

두 대의 컴퓨터를 NTB를 이용해서 연결하는 방법은 Primary-Secondary 연결 방식과 B2B(Back to Back) 연결 방식을 생각할 수 있다. 첫 번째로 오른쪽 그림과 같이, PCIe NTB는 또한 primary host의 PCI bus로 구성된 서브시스템 계층구조에 secondary host를 연결하는 데 사용될 수 있다. 두 번째로, 왼쪽 그림과 같이 Back to Back(B2B) NTB를 두 호스트간에 연결하게 되면, 하나의 호스트의 primary address가 NTB에 의해서 secondary address로 변환되어 해당 호스트의 address space에 보이지 않게 되며, 마찬가지로, secondary address 역시 다른 쪽 host의 NTB에 의해서 address map에 포함되지 않게 된다.

핵심어

질문

논문에서 추출한 답변

NTB의 기본은 어떤 방식인가?

다수의 계산노드를 초고성능 상호연결망으로 연결하여 클러스터 시스템으로 구성하는 HPC에서 인터 콘넥션 기술로 Infiniband, Ethernet등의 기술이 많이 사용된다. PCIe 기반의 노드간 직접 연결 기술로는 NTB(Non-Transparent Bridge) 기반의 인터콘넥션 기술이 있으나, NTB의 기본은 두 노드간에 분리된 메모리를 공유하는 방식이다. 본 논문에서는 다중 NTB 포트에 직접 연결된 다수의 호스트들간에 무스위치 네트워크를 구성하여 NTB 통신을 이용한 데이터 공유 방법의 설계와 구현에 대해서 다룬다.

HPC에서 인터 콘넥션 기술로 무엇을 많이 사용하는가?

다수의 계산노드를 초고성능 상호연결망으로 연결하여 클러스터 시스템으로 구성하는 HPC에서 인터 콘넥션 기술로 Infiniband, Ethernet등의 기술이 많이 사용된다. PCIe 기반의 노드간 직접 연결 기술로는 NTB(Non-Transparent Bridge) 기반의 인터콘넥션 기술이 있으나, NTB의 기본은 두 노드간에 분리된 메모리를 공유하는 방식이다.

주요 HPC 리딩 연구기관들은 자체 Interconnect 기술을 확보하기 위해서 많은 연구를 진행하고 있으며 이를 기반으로 Top500의 주요 HPC를 선보이고 있는데, 그 사례로는 무엇이 있는가?

이에, 주요 HPC 리딩 연구기관들은 자체 Interconnect 기술을 확보하기 위해서 많은 연구를 진행하고 있으며 이를 기반으로 Top500의 주요 HPC를 선보이고 있다. 예로써 중국의 텐허는 TH Express-2를 일본의 Kei는 Tofu를 사용하고 있으며, 미국 또한 타이탄의 Cray Gemini와 Intel의 Omni-Path와 같은 독자적인 상호연결망 시스템을 사용하고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Non-Transparent Bridge 기반 링 네트워크 통신 방식 구현
Implementation of Non-Transparent Bridge Interface-based Ring Topology 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Non-Transparent Bridge 기반 링 네트워크 통신 방식 구현 Implementation of Non-Transparent Bridge Interface-based Ring Topology 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Non-Transparent Bridge 기반 링 네트워크 통신 방식 구현
Implementation of Non-Transparent Bridge Interface-based Ring Topology 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper