선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- MAHA 바이오 응용 SW는 MAHA 시스템을 활용하여 고속으로 인간 유전체 분석을 수행하는 것을 목표로 한다. 유전체 분석은 생물 자료 시편(타액, 혈액 등)을 이용하여 수백만 개의 유전체단편 정보(수십 ~ 수백 개 길이의 유전체 정보를 가진 리드 데이터) 추출하여 이를 유전체 분석을 위한 원 자료로 이용한다.
- MAHA 슈퍼컴퓨팅 시스템은 Table 3의 사양과 같이 이론 성능 300 TeraFLOPS의 시스템 구현을 단계별로 개발하는 것을 목표로 하고 있다. 이에 따라 2011년도에 이론 성능 50 TeraFLOPS의 시스템을 설계, 구축 하였다.
- 본 논문에서는 슈퍼컴퓨팅 관련 기술 확보를 위하여 2011년부터 개발 중인 MAHA 슈퍼컴퓨팅 시스템의 설계 및 구조에 대하여 서술하고, 시스템의 실측을 통한 성능 측정 결과를 제시하였다. MAHA 슈퍼컴퓨팅 시스템은 대규모의 유전체 분석을 고속으로 처리하는 것을 목표로 개발되고 있으며, 이를 위하여 MAHA 컴퓨팅 플랫폼, MAHA 파일 시스템, MAHA 시스템 소프트웨어, MAHA 바이오 응용의 4개 분야에 대한 기술을 개발하고 있다.
제안 방법
- 2011년 개발한 50 TeraFLOPS MAHA 슈퍼컴퓨팅 시스템의 실제 성능을 평가하기 위하여, Hybrid high Performance Linpack(HPL) 벤치마크를 수행하여 성능을 평가하였다. 성능 평가는 Linux 2.
- 연산 네트워크는 고속의 연산 및 데이터 전송을 위한 InfiniBand 네트워크로 설계하였다. InfiniBand로 구성된 연산 네트워크는 고속의 데이터 전송을 위하여 Folded-Clos 토폴로지로 구성되며, non-blocking 성능을 가지도록 설계하였다. InfiniBand와 별도로 독자 네트워크인 PCIeLINK Fabric 설계 및 구현 중에 있으며, PCIeLINK 네트워크는 PCI Express 기술을 활용하여 컴퓨팅 노드간의 고속의 지역 네트워크로 활용될 예정이다.
- MAHA 슈퍼컴퓨팅 시스템은 Fig. 4와 Fig. 7의 구조로 설계한 컴퓨팅 플랫폼을 기반으로 하여 시스템의 구조를 구현하였다. 컴퓨팅 시스템은 집적도의 향상과 관리의 용이성 등을 고려하여 블레이드 서버 형태로 개발하였다.
- 대규모 유전체를 고속으로 분석하기 위해서는 고속의 데이터처리와 고속의 파일시스템, 효과적인 시스템 관리 소프트웨어와 유전체 분석 알고리즘을 필요로 한다. MAHA 슈퍼컴퓨팅 시스템은 GPGPU와 MIC기술에 기반 한 이종 매니코어 연산장치를 사용하여 이론 성능 300 TeraFLOPS를 가지도록 설계하였다. 다음의 Table 3은 MAHA 슈퍼컴퓨터의 설계 사양이다.
- MAHA 시스템 소프트웨어는 이종 매니코어 연산장치에 기반 한 MAHA 시스템에서 워크플로우 형태의 유전체 데이터 분석 및 단백질 구조 분석을 편리하고 효율적으로 수행할 수 있도록 설계되었다. 이에 따라 MAHA 시스템 소프트웨어는 HPC 환경을 위한 바이오 워크플로우 관리 기능, 바이오 응용의 특성을 반영한 자원 관리 기능, 그리고 MAHA 시스템을 위한 클러스터 통합 관리 기능을 제공한다(Fig.
- MAHA 파일 시스템은 Fig. 10에서와 같이 데이터의 특성(접근 빈도, 크기)에 따라서 계층적으로 데이터 서버에 저장 및 접근되는 구조로 설계하였다. 컴퓨팅 노드에 즉시적으로 사용되며, 사용빈도가 높은 고성능 데이터는 SSD 기반의 스토리지 서버에 저장하여 시스템의 성능을 향상시키며, 데이터의 특성에 따라 HDD 병렬 파일시스템, MAID 파일 시스템으로 데이터를 동적 배치 및 이동하여 시스템의 성능, 용량을 보장함과 동시에 저전력을 구현하도록 설계하였다.
- MAHA 슈퍼컴퓨팅 시스템은 공랭식 냉각 방식을 기본으로 하며, 한국의 기후 특성에 맞추어 공조시스템의 전력 소모를 최소화 하도록 설계하였다[15]. 공조는 두열의 시스템 랙을 back-to-back 배열하여 뜨거워진 공기가 중앙으로 모여 상부의 배기구를 통하여 배출되는 hot zone 방식의 구조로 설계하였다. 또한, 서버실의 내부온도와 외부온도를 비교하여 외부온도가 충분히 낮을 경우, 외부의 차가운 공기를 서버실로 공급함으로써 불필요한 냉각 전력을 절감하도록 설계하였다(Fig.
- 관리노드는 1대의 로그인노드, 2대의 active-standby 관리노드의 3개의 노드가 하나의 관리노드 그룹을 이뤄 시스템을 관리하도록 설계하였다. Active-standby 형상의 관리 노드는 시스템의 가용성과 안정성을 제공한다.
- MAHA 파일 시스템은 메타데이터 서버, SSD와 HDD로 구성된 데이터 서버, 그리고 클라이언트 파일 시스템으로 구성된다. 데이터 서버는 범용 서버에 기반, 복수개의 RAID 제어기와 SDD 및 HDD의 장착이 가능한 백플레인으로 설계하여 높은 성능을 보장함과 동시에 시스템의 cost를 최소화 하도록 설계하였다.
- 공조는 두열의 시스템 랙을 back-to-back 배열하여 뜨거워진 공기가 중앙으로 모여 상부의 배기구를 통하여 배출되는 hot zone 방식의 구조로 설계하였다. 또한, 서버실의 내부온도와 외부온도를 비교하여 외부온도가 충분히 낮을 경우, 외부의 차가운 공기를 서버실로 공급함으로써 불필요한 냉각 전력을 절감하도록 설계하였다(Fig. 8).
- MAHA 슈퍼컴퓨팅 시스템은 일반 서버와 달리, 매니코어 연산장치를 고집적하여 연산성능을 향상시키도록 설계된 시스템으로써, 같은 대수의 상용 서버에 비하여 상대적으로 많은 전력을 사용한다. 서버의 운용에 따른 효과적인 공조를 위하여 MAHA 슈퍼컴퓨팅 시스템을 위한 공조 시스템을 설계하였다.
- MAHA 슈퍼컴퓨팅 시스템은 전술한 바와 같이 일반 상용 서버에 비해, 상대적으로 많은 전력을 사용한다. 서버의 운용에 따른 효과적인 냉각 및 공조를 위하여 MAHA 슈퍼컴퓨팅 시스템을 위한 공조 시스템을 설계, 구현하였으며, 다음의 Fig. 17은 구현한 서버실 공조 시스템으로, 외기 입력을 통한 시스템 냉각 구조를 구현하였다.
- 스토리지 노드는 고성능과 대용량을 제공하기 위하여 SSD 서버와 HDD기반의 MAID(Massive Array of Idle Disk) 서버를 설계하고, 이를 기반으로 시스템에 데이터를 공급한다.
- 시스템 네트워크는 관리 네트워크와 연산 네트워크로 나누어지며, 관리 네트워크는 1/10 GbE의 계층 구조로 설계되었으며 관리노드를 통하여 시스템의 상태관리, Job 스케줄링, 자원관리를 수행한다. 연산 네트워크는 고속의 연산 및 데이터 전송을 위한 InfiniBand 네트워크로 설계하였다.
- 2012년도 MAHA 시스템은 이론 성능 100 TeraFLOPS 성능을 가지도록 설계되었다. 시스템은 다양한 응용 프로그램과 바이오 파이프라인 특성에 따른 최적의 매니코어 기술을 지원하기 위하여, 50 TeraFLOPS 규모의 Intel Xeon Phi(이전 MIC)[16] 기반의 컴퓨팅 플랫폼을 설계하였다. Fig.
- 2 TeraFLOPS, 1 TB 메모리의 시스템을 구축하였다. 시스템의 스토리지로는 SSD 기반의 14 TB, HDD기반의 70TB 용량을 제공하며, 시스템 네트워크로 1/10GbE와 40Gbps InfiniBand 네트워크를 구현하였다.
- 시스템 네트워크는 관리 네트워크와 연산 네트워크로 나누어지며, 관리 네트워크는 1/10 GbE의 계층 구조로 설계되었으며 관리노드를 통하여 시스템의 상태관리, Job 스케줄링, 자원관리를 수행한다. 연산 네트워크는 고속의 연산 및 데이터 전송을 위한 InfiniBand 네트워크로 설계하였다. InfiniBand로 구성된 연산 네트워크는 고속의 데이터 전송을 위하여 Folded-Clos 토폴로지로 구성되며, non-blocking 성능을 가지도록 설계하였다.
- MAHA 슈퍼컴퓨팅 시스템은 Table 3의 사양과 같이 이론 성능 300 TeraFLOPS의 시스템 구현을 단계별로 개발하는 것을 목표로 하고 있다. 이에 따라 2011년도에 이론 성능 50 TeraFLOPS의 시스템을 설계, 구축 하였다. Fig.
- 만들어진 유전체 지도는 다양한 분석을 위한 포맷 변환을 거치고(포맷 컨버팅 단계), 전체 유전체 지도에서 유전적으로 의미 있는 정보(SNP, Single Nucleotide Polymorphism)를 추출한다(SNP Calling 단계). 추출된 SNP를 바탕으로 개개인의 특성에 따른 변이 정보를 분석하고, 이를 기반으로 유전적인 특징을 찾는 단계(SNP 해석)를 거쳐 개인에 따른 유전적인 특성을 파악하게 된다.
- 컴퓨팅 노드는 2개의 8 코어 Intel Xeon E5 프로세서와 2개의 NVIDIA의 M2090 GPGPU를 하나의 노드에 집적하여 구현하였다. 1개의 컴퓨팅 노드의 이론 성능은 총 1.
- 67 TeraFLOPS를 제공하며, 1,040개의 코어, 32GB의 1,600MHz DDR3 메모리를 내장하였다. 컴퓨팅 노드는 5개의 노드가 1개의 서브랙을 구성하고, 총 32개 노드, 이론 성능 53.2 TeraFLOPS, 1 TB 메모리의 시스템을 구축하였다. 시스템의 스토리지로는 SSD 기반의 14 TB, HDD기반의 70TB 용량을 제공하며, 시스템 네트워크로 1/10GbE와 40Gbps InfiniBand 네트워크를 구현하였다.
- 10에서와 같이 데이터의 특성(접근 빈도, 크기)에 따라서 계층적으로 데이터 서버에 저장 및 접근되는 구조로 설계하였다. 컴퓨팅 노드에 즉시적으로 사용되며, 사용빈도가 높은 고성능 데이터는 SSD 기반의 스토리지 서버에 저장하여 시스템의 성능을 향상시키며, 데이터의 특성에 따라 HDD 병렬 파일시스템, MAID 파일 시스템으로 데이터를 동적 배치 및 이동하여 시스템의 성능, 용량을 보장함과 동시에 저전력을 구현하도록 설계하였다. 특히 MAID 파일 시스템(HW 포함)은 데이터의 특성에 기반 하여 HDD의 동작과 전력을 제어하여 시스템 수준의 전력 소모를 절감하도록 설계하였다.
- 7의 구조로 설계한 컴퓨팅 플랫폼을 기반으로 하여 시스템의 구조를 구현하였다. 컴퓨팅 시스템은 집적도의 향상과 관리의 용이성 등을 고려하여 블레이드 서버 형태로 개발하였다. 다음의 Fig.
- 컴퓨팅 노드에 즉시적으로 사용되며, 사용빈도가 높은 고성능 데이터는 SSD 기반의 스토리지 서버에 저장하여 시스템의 성능을 향상시키며, 데이터의 특성에 따라 HDD 병렬 파일시스템, MAID 파일 시스템으로 데이터를 동적 배치 및 이동하여 시스템의 성능, 용량을 보장함과 동시에 저전력을 구현하도록 설계하였다. 특히 MAID 파일 시스템(HW 포함)은 데이터의 특성에 기반 하여 HDD의 동작과 전력을 제어하여 시스템 수준의 전력 소모를 절감하도록 설계하였다.
대상 데이터
- 컴퓨팅 노드는 2개의 8 코어 Intel Xeon E5 프로세서와 2개의 NVIDIA의 M2090 GPGPU를 하나의 노드에 집적하여 구현하였다. 1개의 컴퓨팅 노드의 이론 성능은 총 1.67 TeraFLOPS를 제공하며, 1,040개의 코어, 32GB의 1,600MHz DDR3 메모리를 내장하였다. 컴퓨팅 노드는 5개의 노드가 1개의 서브랙을 구성하고, 총 32개 노드, 이론 성능 53.
이론/모형
- 2011년 개발한 50 TeraFLOPS MAHA 슈퍼컴퓨팅 시스템의 실제 성능을 평가하기 위하여, Hybrid high Performance Linpack(HPL) 벤치마크를 수행하여 성능을 평가하였다. 성능 평가는 Linux 2.6.32, Intel MKL, OpenMPI 1.4.3, SGE에 기반하여 수행하였다. 성능 측정 결과 최대 30.
성능/효과
- 2011년 50 TeraFLOPS 규모의 MAHA 슈퍼컴퓨팅 시스템을 설계 및 구현하였으며, 구현된 시스템의 실측 결과 30.1 TeraFLOPS 성능과 56.2% 시스템 효율을 나타내었다. MAHA 슈퍼컴퓨팅 시스템은 2015년까지 총 이론 성능 300 TeraFLOPS 규모로 개발되고 있으며, 기술 확보를 위한 전용 네트워크 기술, 파일 시스템 기술, 시스템 소프트웨어 및 매니코어 바이오 응용 프로그램 기술을 개발하고 있다.
- 3, SGE에 기반하여 수행하였다. 성능 측정 결과 최대 30.31 TeraFLOPS, 평균 29.9 TeraFLOPS의 성능, 시스템 효율 56.2%의 결과를 측정하였다. 다음의 Fig.
후속연구
- InfiniBand로 구성된 연산 네트워크는 고속의 데이터 전송을 위하여 Folded-Clos 토폴로지로 구성되며, non-blocking 성능을 가지도록 설계하였다. InfiniBand와 별도로 독자 네트워크인 PCIeLINK Fabric 설계 및 구현 중에 있으며, PCIeLINK 네트워크는 PCI Express 기술을 활용하여 컴퓨팅 노드간의 고속의 지역 네트워크로 활용될 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.