초록 ▼

□ 연구개요
인공지능 학습의 데이터 로딩 과정을 최적화하기 위한 하드웨어 가속기 설계 연구를 진행한다. 데이터 로딩 과정은 인공지능 모델 학습에서 정확도 및 학습 시간에 많은 영향을 주고 있지만 데이터 로딩 파이프라인의 가속화에 관한 연구는 미약하다. 특히, CPU와 GPU의 성능 차가 커지고, 인공지능 모델의 견고함을 위한 데이터 로딩 과정이 복잡해짐에 따라, 고성능 모델의 학습에서 CPU 데이터 로딩 과정이 점점 병목현상이 되고 있다. 따라서 이를 가속화하기 위한 선행 연구가 필요하다.

□ 연구 목표대비 연구결

□ 연구개요
인공지능 학습의 데이터 로딩 과정을 최적화하기 위한 하드웨어 가속기 설계 연구를 진행한다. 데이터 로딩 과정은 인공지능 모델 학습에서 정확도 및 학습 시간에 많은 영향을 주고 있지만 데이터 로딩 파이프라인의 가속화에 관한 연구는 미약하다. 특히, CPU와 GPU의 성능 차가 커지고, 인공지능 모델의 견고함을 위한 데이터 로딩 과정이 복잡해짐에 따라, 고성능 모델의 학습에서 CPU 데이터 로딩 과정이 점점 병목현상이 되고 있다. 따라서 이를 가속화하기 위한 선행 연구가 필요하다.

□ 연구 목표대비 연구결과
본 연구에서는 기존 데이터 로딩 파이프라인의 문제점을 밝히고, 다양한 인공지능 모델 학습의 워크로드(workload) 특성을 바탕으로, 인공지능 서버의 데이터 전처리 과정의 문제점을 밝히고 인공지능 플랫폼의 데이터 전처리 시스템을 근본적으로 재설계하는 것을 최종 목표로 하였다.
우선 기존 CPU 및 NVIDIA DALI의 GPU에서의 데이터 로딩 파이프라인을 활용하여 기존 데이터 증강 기법 처리 방식의 특성 및 문제점을 탐구하였고 복잡해진 데이터 증강 기법에서는 GPU를 활용한 데이터 로딩 처리가 CPU보다 빨랐으나, 이를 위한 충분한 GPU 유휴 사이클이 존재하지 않음을 데이터 증강 기법별 실험을 통해 밝혀냈다.
CPU와 GPU에 대해 협력적으로 Intra-Batch 병렬 처리를 활용하여 데이터 로딩 속도를 높이고 균형을 맞추는 인공지능 플랫폼의 전처리 시스템 Manticore를 설계하였다. Manticore에서는 Intra-Batch 병렬 처리, 사전 작업 할당(ahead-of-time task allocation) 및 동적 워커(worker) 스케줄링을 이용하여 기존 DNN(Deep Neural Network) 데이터 로딩 프레임워크의 문제점을 효율적으로 해결한다. 이를 검증하기 위해 OpenImage 데이터셋을 사용하여 경쟁되는 데이터 증강 전략보다 성능이 우수함을 보여주고 다양한 시나리오에서 DNN 학습 속도를 향상시킴을 시연한다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 연구를 통한 데이터 전처리를 대상으로 한 시스템 최적화 기술개발은 인공지능 시장의 더 빠른 성장을 이끌 수 있는 원동력이 된다는데 큰 의미가 있다. 국내 반도체 기술은 세계 정상급인 데 반해 시스템 플랫폼 설계 기술은 선도국가와 비교하면 많이 뒤처진 상황이다. 본 과제를 통해 “인공지능을 위한 고성능 데이터 전처리 SW 시스템” 연구를 선도할 수 있으며 해외 기술과 견줄 수 있는 인공지능 플랫폼 국내 기술 역량을 확보할 수 있을 것으로 예상한다. CPU 및 GPU에서 동적 데이터 증강 알고리즘의 속도를 높이는 DNN 프레임워크인 Manticore 시스템을 제안하고 현재 각광을 받고 있는 클러스터 환경에서 인공지능 특화 데이터 로딩 시스템의 성능 향상에 관해 탐색하여 실제 활용을 앞당길 수 있을 것이라고 기대한다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1) 연구의 필요성 ... 4
• 2) 연구 목표 ... 5
• 3) 연구내용 및 연구범위 ... 5
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 7
• 제 1 절 선행 연구 ... 7
• 제 2 절 Manticore: 세분화된(fined-grained) 협력(cooperative) 병렬화를 통한 DNN 데이터 로딩 시스템 설계 ... 9
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 10
• 1) 연구개발결과 ... 10
• 2) 목표 달성 수준 ... 14
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 14
• 5. 연구개발성과의 관리 및 활용 계획 ... 14
• 6. 참고문헌 ... 14
• [붙임1] 세부 정량적 연구개발성과 ... 17
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 18
• 끝페이지 ... 24