초록 ▼

□연구개요
심층 신경망(deep neural network)이 인공 지능의 여러 응용 분야에서 좋은 성능을 보이고 있으나, 그 복잡도에 있어서 아직 생물학적 신경망에 못 미치고 있다. 본 연구에서는 생물학적 신경망과 유사한 복잡도를 가지는 초대규모 심층 신경망을 빠르게 학습시킬 수 있는 초병렬(massively parallel) 심층 학습(deep learning) 알고리즘을 제안한다.

□연구 목표대비 연구결과
본 연구에서는 초대규모 심층 신경망(deep neural network) 구조 및 초병렬(massi

□연구개요
심층 신경망(deep neural network)이 인공 지능의 여러 응용 분야에서 좋은 성능을 보이고 있으나, 그 복잡도에 있어서 아직 생물학적 신경망에 못 미치고 있다. 본 연구에서는 생물학적 신경망과 유사한 복잡도를 가지는 초대규모 심층 신경망을 빠르게 학습시킬 수 있는 초병렬(massively parallel) 심층 학습(deep learning) 알고리즘을 제안한다.

□연구 목표대비 연구결과
본 연구에서는 초대규모 심층 신경망(deep neural network) 구조 및 초병렬(massively parallel) 심층 학습(deep learning) 알고리즘을 연구한다. 심층 신경망은 뉴런을 층(layer) 단위로 쌓아 올려서 인간의 두뇌 구조를 모사한 계산 모델로서, 일반적으로 뉴런의 수가 많을수록 높은 성능을 보인다. 뉴런의 수가 증가함에 따라 요구되는 연산량도 증가되므로, 단일 서버가 아닌 다수의 서버를 이용한 분산 처리 방식의 병렬 학습이 필요하다. 그러나 심층 신경망은 뉴런 상호 간에 데이터 전송 횟수가 많아서 임의로 분할할 경우 데이터 전송 및 동기화에 많은 부하가 걸리게 되며, 이는 병렬화의 효율을 떨어뜨릴 수 있다. 본 연구에서 제안하는 방법은 이러한 데이터 전송 및 동기화를 최소화할 수 있는 층 단위 병렬화에 해당하는 파이프라인(pipeline) 방식의 병렬 학습 알고리즘이다. 이러한 파이프라인 방법은 연산 노드 간에 상대적으로 적은 양의 데이터 전송을 요구하므로 범용 GPU를 탑재한 연산 노드를 대규모로 연결하는 방식에 적합하다. 이러한 대규모 심층 신경망 구조는 고가의 특수 하드웨어 대신 범용의 GPU를 대규모로 연결한 클러스터로 구현이 가능하므로 상대적으로 저비용에 고효율로 구축할 수 있다. 또한, 클러스터를 대규모로 확장하는데 있어 병목으로 작용하는 서버 간의 통신 대역폭을 문제를 중앙 집중식 연결이 아닌 인접 서버간의 P2P 통신만으로 해결할 수 있다. 본 연구에서는 이러한 파이프라인 방식의 장점을 유지하면서, 추가적으로 기존의 순차적 학습 알고리즘의 병렬화 때문에 발생하는 근사 오류 문제를 완화함으로써 학습 정확도를 안정적으로 유지할 수 있는 심층 신경망 병렬 학습 알고리즘을 제안하였다.

□연구개발결과의 중요성
본 연구에서 제안하는 대규모 심층 신경망 병렬 학습 알고리즘은 기존의 여러 응용분야에 획기적인 성능 향상을 가져올 뿐만 아니라 새로운 접근 방법 및 가능성을 제시할 것이다. 특히 고가의 전용 하드웨어로만 시도할 수 있던 초대규모 심층 신경망 연구를 다수의 범용 서버를 연결하여 수행할 수 있게 함으로써 여러 대학 및 중소기업 연구소 등에서도 초대형 심층 신경망의 잠재된 가능성에 관한 연구가 보편화되어 기계 학습(machine learning) 이론과 첨단 응용 분야에 새로운 접근 방법을 제시할 수 있을 것이다. 예를 들어, 인간의 음성 언어 이해 과정과는 전혀 다른 HMM(hidden Markov models) 프레임워크를 벗어나지 못한 DNN-HMM 기반의 음성 인식에 새로운 방법론을 제시할 수 있을 것이다. 또한, 감성적인 TTS(text to speech), 의미 기반의 VAD(voice activity detection) 등에 활용되어 인간 중심의 인간-기계 인터페이스 및 진정한 인공 지능(strong artificial intelligence)의 초석이 될 수 있을 것이다.

(출처 : 요 약 문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1-1) 범용 하드웨어를 이용한 초대규모 DNN 병렬화 연구의 필요성 ... 4
• 1-2) 심층 신경망 학습 알고리즘 개요 ... 4
• 1-3) 연구 범위 ... 5
• 2. 연구수행내용 및 연구결과 ... 6
• 2-1) 데이터 병렬성을 이용한 병렬화 방법 ... 6
• 2-2) 모델 병렬성을 이용한 병렬화 방법 ... 8
• 2-3) 범용 하드웨어를 이용한 연산 클러스터 구축 ... 10
• 2-4) 초대규모 연산 클러스터로의 확장을 위한 통신 병목 현상 해결 ... 11
• 2-5) 병렬화 알고리즘의 연산량 및 통신량 분석 ... 12
• 2-6) Pipelined SGD 알고리즘의 Delayed Gradient 문제 해결 방법 I ... 13
• 2-7) Pipelined SGD 알고리즘의 Delayed Gradient 문제 해결 방법 II ... 14
• 3. 연구개발결과의 중요성 ... 17
• 1) 초대규모 DNN 연구의 중요성 ... 17
• 2) 초대규모 DNN 병렬화 연구의 중요성 ... 17
• 3) 범용 하드웨어를 이용한 초대규모 DNN 연구의 중요성 ... 17
• 4) 확장성 있는 대규모 DNN 연구의 중요성 ... 17
• 4. 참고문헌 ... 19
• 5. 연구성과 ... 22
• 대표적 연구실적 ... 25
• 끝페이지 ... 40