초록 ▼

□ 연구개발 목표 및 내용
최종 연구목표
초고성능컴퓨터 설계·구축에 필요한 핵심 시스템 기술 확보를 통해 페타플롭스급 성능의 초고성능컴퓨터 시스템 개발

연구 내용
• 서버 성능
- 초고성능 컴퓨팅 계산노드 테스트베드 구축 및 시스템 통합
- 3TFlops 이상 초고성능컴퓨터 시스템 계산노드 자체 개발
- 50코어 이상 메인프로세서 이종 가속기 직접 연결
• 인터커넥트 성능
- 인터커넥트 구성 관리 상용 시스템 연동 시험 및 통합 검증
- 포트당 대역폭 200Gb

□ 연구개발 목표 및 내용
최종 연구목표
초고성능컴퓨터 설계·구축에 필요한 핵심 시스템 기술 확보를 통해 페타플롭스급 성능의 초고성능컴퓨터 시스템 개발

연구 내용
• 서버 성능
- 초고성능 컴퓨팅 계산노드 테스트베드 구축 및 시스템 통합
- 3TFlops 이상 초고성능컴퓨터 시스템 계산노드 자체 개발
- 50코어 이상 메인프로세서 이종 가속기 직접 연결
• 인터커넥트 성능
- 인터커넥트 구성 관리 상용 시스템 연동 시험 및 통합 검증
- 포트당 대역폭 200Gbps 이상(단방향 기준) 개발
• 에너지 효율성
- 노드당 에너지효율성 6~10GFlops/Watt 달성을 위한 시스템 구현
- 차세대 서버관리 API를 적용한 관리 도구 개발

1단계
목표:초고성능컴퓨터 시스템 요소기술 개발
내용:
- 매니코어 기반 초고성능 컴퓨터 프로토타입 연구 및 개발
- HDCA 시스템 버스 확장 시스템 개발
- 다채널 광 인터커넥트 및 고속 병열 채널 보드 연구

2단계
목표: 초고성능컴퓨터 시스템 국내 자체 개발 역량 확보
내용:
- 차세대 매니코어 기반 초고성능컴퓨터 개발 및 구축
- HDCA 시스템 버스 확장 시스템 통합 테스트
- 가속장치간 고속 연결망 기술 연구
- 인터커넥트 구성 관리 시슽메 통합 검증

□ 연구개발성과
□ 초고성능컴퓨터 원천 기술 개발 및 시스템 통합(KISTI)
• 인텔 제온 파이(XeonPhi) 나이츠랜딩(KNL) 시스템 개발 (1~3차년도)
- 설계 변경 및 개발 검증 자체 기술 확보 (BMC, VR 관련 칩셋을 교체, 국내 제작)
- 상용 UEFI(BIOS) 솔루션 및 BMC 펌웨어 연구
- OCP(Facebook 표준) 규격의 서버 설계
- ETRI 개발 시스템버스확장장치(HDPEX) 통합 테스트 베드 구축, 실측성능93.9TF (성능효율 59.7%, 5노드 기준)
• Cascade Lake Xeon(CLX) 클러스터 시작품 제작 (3~4차년도)
- Intel Cascade Lake (2세대 스케일러블 프로세서) 제온 2소켓 플랫폼 개발 [KC인증 수행]
( PCIe 3.0 GPU 4개, 네트워크 슬롯 1개 지원, 2소켓 56코어 384GB RAM )
- 단일노드: CPU 실측성능 3.3TF (성능효율 68.2%), GPU 23.2TF (성능효율 82.6%), 14.2GF/W [TTA 시험인증]
- 8노드시스템: GPU 실측성능 160.5TF (성능효율 60.9%)
• 아이스레이크 플랫폼 계산노드 시작품 제작 (5차년도)
- Intel Ice Lake (3세대 SP) 제온프로세서 2소켓 플랫폼 개발
( GPU 4개, 네트워크 슬롯 2개 지원 [PCIe 4.0(16GT/s)], 2소켓 76코어, 1TB RAM )
- 안전성 검증 완료
□ HDCA를 위한 서버 시스템 버스 확장 기술 연구 개발 (ETRI)
• HDCA 서버 시스템 버스 확장 하드웨어 개발(1~3차년도)
- 서버 시스템 버스 PCIe의 외부 확장을 위한 HW 자체 설계 및 개발(국내 제작)
- PCI Express Gen3 기반, OCP(Facebook 표준) 규격의 4x GPU 확장 HW
- 시스템 버스 확장 HW 시험 : 실측성능 14.24 (4x P100, 성능효율 75.74%) [TTA 시험인증]
- KISTI 개발 서버와의 통합 테스트 베드 구축 및 통합 시험
• KNL서버 : 실측성능 93.9TF (20x V100, 성능효율 59.7%, 5노드 기준)
• KISTI-PUR서버 : 실측성능 66.46TF (12x V100, 성능효율 78.93%, 1노드 기준)
• KISTI-PUR서버 : 실측성능 76.13TF (8x A100, 성능효율 48.80%, 1노드 기
• FPGA 기반 가속장치 간 고속 연결망 IPR 및 프로토타입 개발 (4~5차년도)
- FPGA 가속 장치간 고속 데이터 전송을 위한 연결망 IPR 개발 및 구현
• 호스트 서버 연결용 PCIe Gen3 연결 IPR 개발(Gen3 x4, x8)
• FPGA간 Aurora 프로토골 기반 고속 연결망 IPR 개발(12Gbps, x3)
• PCIe 대비 1/5의 빠른 지연시간과 동급의 대역폭 확보(0.17~0.28usec, 2.88GB/s, x3 레인기준, 연구목표 TTA 시험인증)
- FPGA 고속 연결망 검증을 위한 테스트 보드 설계 및 제작
• 기타연구개발성과
- 국제 저널 1건 (SICE)
- 국내/국제 학술대회 11건
- 특허 3건 (국내, 출원)
- 프로그램 등록 10건
□ Optical PCB 기반 200Gbps 급 초고속 인터커넥트 시스템 개발 (KAIST)
• 실리콘 포토닉스 (Silicon Photonics Advanced) 광 모듈 개발 (1,2차년도)
- 20Gb/s transceiver 개발 (40nm 공정) 및 단일 채널 25Gbps 급 광 모듈 구현
- 25Gbps/ch x 4채널 기반 100Gbps 실리콘 포토닉스 트랜시버 IC 개발
- 병렬채널 (4채널) 구동을 위한 PAM4 및 gray-coding 기반 FPWM 변조 인/디코더 기술 개발 - Coding gain (시간 당 정보량) 기존 33%에서 75%로 증가
• HCA 인터커넥트 시스템을 위한 OPCB 기반 200Gbps 급 Host Channel Adapter(HCA) 보드 개발
- OPCB-HCA 초고속 인터커넥터 100Gbps x2 HCA 보드 개발 (1-4차년도)
√ Adapter Card: Mellanox ConnectX-5
√ Form Factor 규격: 100Gbps 급 QSFP28 dual port / OPCB Interface
√ PCI Express Gen 3.0 기반 100Gb/s Ethernet/Infiniband 지원
- OPCB-HCA 초고속 인터커넥터 200Gbps x2 HCA 보드 개발 (5차년도)
√ Adapter Card: Mellanox ConnectX-6
√ Form Factor 규격: 200Gbps 급 QSFP56 dual port
√ PCI Express Gen 4.0 기반 200Gb/sEthernet/Infiniband 지원
- KISTI-KAIST 통합 테스트베드 환경에서 HCA 성능 테스트 (TTA 공인 검증)
• HCP 인터커넥트 환경에서 저지연 네트워크 토폴로지 FleX 및 Link-failure 감내형 흐름 제어 라우팅 알고리즘 개발
- 비용 효율적, 고장 감내가 뛰어난 Low-diameter FleX 인터커넥션 토폴로지 개발
- Bisection Width 성능, 우회 경로 기반 Link-failure 강건성, 동적 패킷 제어 기법(LBR) 기반 Saturation Throughput을 약 2배 이상 향상
- FleX가 Slimfly와 비슷한 수준의 낮은 구성/운용 비용으로 HyperX와 유사한 수준의 낮은 네트워크 지연 시간 달성 (Simulator 기반)
• OPCB 기반 200Gbps급 광전송 모듈 개발 (3-5차년도)
- TIR aspherical mirror를 이용한 수직-수평 빔 경로전환 구조 기반 200Gbps 급 OPCB 광모듈 개발
- 24채널 MT ferrule, 2개의 12채널 비구면 커넥터 및 fiber ribbon 구현
- 25Gbps x 8ch = 200 Gbps를 지원하는 OPCB 모듈 제작
- OPCB 기반 HCA-광모듈 패키지 고도화를 통한 구조적/열적 안정성 확보. 0-50℃ 환경과 물리적 진동 부하 환경에서의 1dB 이내 안정성 확보 (광기술원 공인 검증)
• 기타연구개발성과
- 국제 저널 4건 (SICE)
- 국내/국제 학술대회 2건
- 국내 특허 출원 9건
- 국내 특허 등록 2건

□ 연구개발성과 활용계획 및 기대 효과
• 초고성능 컴퓨터 국내 자체 개발을 위한 발판 마련
- 엑사급 규모의 초고성능컴퓨터 개발에서 반드시 고려되어야 하는 이기종 하드웨어 개발 기술역량 확보. HPC 서버 기술 해외기술 의존도를 낮출 것으로 기대
- 산업체-연구소-대학간 융합연구를 통한 결과물 창출. 관련 국내 산업 생태계 활성화
- 플래그십 규모의 슈퍼컴퓨터 국내 개발 실현 가능성 증가

(출처 : 요약문 5p)

목차 Contents

• 표지 ... 1
• 제출서 ... 2
• 최종보고서 ... 3
• 요 약 문 ... 5
• 목차 ... 10
• 1. 연구개발과제의 개요 ... 11
• 1-1. 연구개발 기술 개요 ... 11
• 1-2. 환경 분석 및 기술 현황 ... 14
• 1-3. 연구개발 목표 ... 20
• 2. 연구개발과제의 내용 및 결과 ... 22
• 2-1. 총괄 연구내용 및 결과 ... 22
• 2-2. 주관과제별 연구내용 및 결과 ... 30
• 주관과제1 초고성능컴퓨터 원천 기술 개발 및 시스템 통합(KISTI) ... 30
• 주관과제2 HDCA를 위한 서버 시스템 버스 확장 기술 연구 개발 (ETRI) ... 108
• 주관과제3 Optical PCB 기반 200Gbps 급 초고속 인터커넥트 시스템 개발 (KAIST) ... 201
• 2-3. 세부 정량적 연구개발성과 ... 302
• 2-4. 관련분야 기여도 ... 313
• 3. 융합연구 생태계 조성 ... 314
• 3-1. 융합연구 추진체계 ... 314
• 3-2. 융합연구 추진실적 ... 316
• 3-3. 위험 관리 및 효과 ... 320
• 4. 연구개발성과의 관리 및 활용계획 ... 321
• 4-1. 성과의 관리 및 활용계획 ... 321
• 5. 자체평가의견 ... 322
• 5-1. 연구수행 실적 및 달성도 ... 322
• 5-2. 목표 미달 시 원인분석 ... 324
• 끝페이지 ... 326