초록 ▼

□ 연구개요
고속 네트워크 인터페이스와 FPGA가 장착된 차세대 SSD를 기반으로 디바이스 수준에서 자율적으로 데이터를 관리하는 디바이스 중심 스마트 분산 KV (Key-Value) 시스템을 개발하고, 이를 통해 머신러닝 응용의 성능을 가속하도록 한다.

□ 연구 목표대비 연구결과
1차년도의 연구결과로 KVSSD의 디바이스 특성을 분석하고, 이를 활용하여 정교한 KVSSD 개발을 위한 에뮬레이터 개발을 하였으며, KVSSD 인터페이스를 확장한 compound 커맨드를 제안하여 10개의 store와 retriev

□ 연구개요
고속 네트워크 인터페이스와 FPGA가 장착된 차세대 SSD를 기반으로 디바이스 수준에서 자율적으로 데이터를 관리하는 디바이스 중심 스마트 분산 KV (Key-Value) 시스템을 개발하고, 이를 통해 머신러닝 응용의 성능을 가속하도록 한다.

□ 연구 목표대비 연구결과
1차년도의 연구결과로 KVSSD의 디바이스 특성을 분석하고, 이를 활용하여 정교한 KVSSD 개발을 위한 에뮬레이터 개발을 하였으며, KVSSD 인터페이스를 확장한 compound 커맨드를 제안하여 10개의 store와 retrieve 커맨드 지연시간이 각각 48.5%, 55.3% 감소하는 것을 확인하였다.
2차년도의 연구결과로 차세대 SSD를 위한 요구사항을 분석하고 ZCU-102G를 이용하여 하드웨어 가속 환경을 구축하여 고속 데이터 전송 패스를 연구하였으며, KVSSD 기반 키-밸류 스토어인 Dotori를 개발하여 블록 SSD 기반 키-밸류 스토어 대비 복구 성능이 3.9배, YCSB A와 B의 성능이 각각 3.3배, 2.87배 증가함을 확인하였다.
3차년도의 연구결과로 Ceph RADOS와 유사한 방식의 데이터 복제 및 일관성 지원 방안과 노드 장애 검출 기법을 개발하고, Learned index 기법에 대한 구현과 분석을 진행하였으며, Dotori에 데이터 접근 패턴에 따른 최적화를 적용하여 기존 대비 38~80%의 성능 향상을 확인하였다.
4차년도의 연구결과로 거대 AI 모델 중 하나인 GPT-3를 기반으로 머신러닝 응용의 특성 및 학습 파이프라인을 분석하고, FPGA를 활용하여 비디오 데이터 변환을 가속하여 호스트 CPU 대비 약 6~10배의 성능 향상을 확인하였다.
5차년도의 연구결과로 개발된 분산 KV 시스템을 통해 머신러닝 응용의 학습 데이터셋 로드와 체크포인팅을 가속하였으며, RocksDB 기반 분산 KV 시스템 대비 각각 1.1배, 3.6배 개선됨을 확인하였다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 연구개발을 통해 개발된 NVMeVirt-KV 및 Dotori는 오픈소스로 공개되었으며 이를 기반으로 구축한 스마트 분산 KV 시스템 또한 오픈소스로 공개할 예정이다. 이에 따라 국내외 기업들의 상용화나 해당 기술의 국제적인 전파에 기여할 수 있다.
본 연구개발성과는 데이터 집약적인 빅데이터 응용 및 기존의 머신러닝 응용뿐만 아니라 최근 가장 활발하게 진행되고 있는 연구 중 하나인 LLM (Large Language Model)과 같은 대규모 언어 모델 응용에 대해서도 적용시킬 수 있다. 이로 인해 스토리지와 관련한 대규모 언어 모델 응용의 요구사항을 충족할 수 있으며 스마트 분산 KV 시스템의 활발한 활용이 기대된다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 6
• 1) 정성적 연구개발성과(연구개발결과) ... 6
• 2) 세부 정량적 연구개발성과 ... 17
• 3) 목표 달성 수준 ... 17
• 4) 목표 미달 시 원인 분석 ... 18
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 18
• 5. 연구개발성과의 관리 및 활용 계획 ... 18
• 1) 대규모 언어 모델을 위한 추가 연구 수행 ... 18
• 2) 스마트 분산 KV 시스템 오픈소스화 ... 18
• 3) 관련 특허 확보 및 라이센싱 ... 18
• 4) 유튜브 채널을 통해 오픈소스화한 연구 결과물 관련 영상 자료 공개 ... 18
• 6. 자체점검표 ... 19
• 7. 참고문헌 ... 19
• 끝페이지 ... 39