본 논문에서는 라즈베리파이를 클러스터로 구성하여 Deep Learning 학습병렬연산 소프트웨어 개발을 위한 개발 환경을 구성하는 것이다. Deep learning은 많은 계층으로 구성된 기계학습 알고리즘으로 ...
본 논문에서는 라즈베리파이를 클러스터로 구성하여 Deep Learning 학습병렬연산 소프트웨어 개발을 위한 개발 환경을 구성하는 것이다. Deep learning은 많은 계층으로 구성된 기계학습 알고리즘으로 CNN(Convolution Neural Network), DBN(Deep Brif Network), RNN(Reccurent Neural Network), Auto Encorder 등 다양한 방식으로 구성되어 있다. 해당 알고리즘을 이용하여 바둑을 두는 인공지능(Google 알파고), 영상처리 및 인식기능, 로봇의 동작 상태 판단등 다양한 분야에 이용되고 있다. 알고리즘 구현이후에 학습이란 과정을 거쳐 각 계층 간의 연결강도를 결정하게 된다. 다수의 계층으로 구성된 신경망의 최적의 연결강도를 결정하기 위해서 Big Data를 이용한 학습이 진행된다. 다수의 계층과 Big Data를 이용한 학습은 상당히 많은 연산시간을 소비하게 된다. 이러한 연산 시간은 Deep Learning 연구개발에 커다란 장애물로 존재 했다. 이러한 문제를 해결하기 위하여 다양한 병렬 학습 기술이 연구 개발되고 있다. 병렬 학습 기술의 연구를 위해서는 CPU(Computie Processing Unit)와 GPU(Graphics Processing Unit)으로 이루어진 다수의 컴퓨터가 병렬 처리가 가능하도록 연구 환경이 구성되어 있어야한다. 이러한 연구 환경의 구성을 위해서는 높은 가격 및 넓은 설치 공간 등의 문제로 대다수의 연구자가 접근하기엔 제약 조건이 존재한다. 따라서 본 논문에서는 저렴한 가격과 작은 크기의 장점을 가진 라즈베리파이를 이용한 Deep Learning 병렬학습 연구위한 병렬컴퓨터 개발을 제안한다. 구성 후 개발된 클러스터의 확인 작업은 데이터 처리 병렬화, 연산 능력 확장법을 적용하여 진행했다. 기존의 병렬컴퓨터 환경을 시뮬레이션 가능성을 확인하기 위해 학습에 이용될 노드의 수, Batch의 크기 등을 조절하며 학습시간을 측정하여 진행하였다.
본 논문에서는 라즈베리파이를 클러스터로 구성하여 Deep Learning 학습병렬연산 소프트웨어 개발을 위한 개발 환경을 구성하는 것이다. Deep learning은 많은 계층으로 구성된 기계학습 알고리즘으로 CNN(Convolution Neural Network), DBN(Deep Brif Network), RNN(Reccurent Neural Network), Auto Encorder 등 다양한 방식으로 구성되어 있다. 해당 알고리즘을 이용하여 바둑을 두는 인공지능(Google 알파고), 영상처리 및 인식기능, 로봇의 동작 상태 판단등 다양한 분야에 이용되고 있다. 알고리즘 구현이후에 학습이란 과정을 거쳐 각 계층 간의 연결강도를 결정하게 된다. 다수의 계층으로 구성된 신경망의 최적의 연결강도를 결정하기 위해서 Big Data를 이용한 학습이 진행된다. 다수의 계층과 Big Data를 이용한 학습은 상당히 많은 연산시간을 소비하게 된다. 이러한 연산 시간은 Deep Learning 연구개발에 커다란 장애물로 존재 했다. 이러한 문제를 해결하기 위하여 다양한 병렬 학습 기술이 연구 개발되고 있다. 병렬 학습 기술의 연구를 위해서는 CPU(Computie Processing Unit)와 GPU(Graphics Processing Unit)으로 이루어진 다수의 컴퓨터가 병렬 처리가 가능하도록 연구 환경이 구성되어 있어야한다. 이러한 연구 환경의 구성을 위해서는 높은 가격 및 넓은 설치 공간 등의 문제로 대다수의 연구자가 접근하기엔 제약 조건이 존재한다. 따라서 본 논문에서는 저렴한 가격과 작은 크기의 장점을 가진 라즈베리파이를 이용한 Deep Learning 병렬학습 연구위한 병렬컴퓨터 개발을 제안한다. 구성 후 개발된 클러스터의 확인 작업은 데이터 처리 병렬화, 연산 능력 확장법을 적용하여 진행했다. 기존의 병렬컴퓨터 환경을 시뮬레이션 가능성을 확인하기 위해 학습에 이용될 노드의 수, Batch의 크기 등을 조절하며 학습시간을 측정하여 진행하였다.
The purpose of this study is to constitute a Raspberry Pi cluster in order to construct a development environment for developing deep learning training parallelizing software. Deep learning is a machine learning algorithm comprising a complex hierarchy, including CNN(Convolution Neural Network), DBN...
The purpose of this study is to constitute a Raspberry Pi cluster in order to construct a development environment for developing deep learning training parallelizing software. Deep learning is a machine learning algorithm comprising a complex hierarchy, including CNN(Convolution Neural Network), DBN(Deep Brief Network), RNN(Recurrent Neural Network), Auto Encoder, and so forth. The algorithm is used for various fields, such as go-playing AI(google Alpha-go), image processing, recognition, and the determination of robotic movement. After the realization of the algorithm, a ‘training’ process is added to determine the intensity of connection between each level among the hierarchy. To determine the optimal connection intensity of nerve network comprising multiple levels, the training uses big data. This training, which utilizes both the multiple levels and big data consumes much time for calculations, and this prolonged calculation time has been a huge obstacle for the research and development of deep learning. To resolve such problem, various parallelizing training techniques are being devised. For the research of the parallelizing training technique, first, a research environment capable of performing parallelizing process by multiple computers with CPU and GPU is required. To foster such an environment, there are limitations of high costs and large installation space in order for a majority of researchers to gain access. Therefore, suggested in this study is the development of parallelized computer for the research of deep learning parallelizing training, by utilizing the Raspberry Pi, which is small in size and low by price. The confirmation work for the cluster was conducted by data process parallelization, and the expansion of computing capability. To confirm the simulatability of the existing parallelized computer environment, the time of training was measured, by adjusting such items as the number of nodes to be used for the training and the batch size.
The purpose of this study is to constitute a Raspberry Pi cluster in order to construct a development environment for developing deep learning training parallelizing software. Deep learning is a machine learning algorithm comprising a complex hierarchy, including CNN(Convolution Neural Network), DBN(Deep Brief Network), RNN(Recurrent Neural Network), Auto Encoder, and so forth. The algorithm is used for various fields, such as go-playing AI(google Alpha-go), image processing, recognition, and the determination of robotic movement. After the realization of the algorithm, a ‘training’ process is added to determine the intensity of connection between each level among the hierarchy. To determine the optimal connection intensity of nerve network comprising multiple levels, the training uses big data. This training, which utilizes both the multiple levels and big data consumes much time for calculations, and this prolonged calculation time has been a huge obstacle for the research and development of deep learning. To resolve such problem, various parallelizing training techniques are being devised. For the research of the parallelizing training technique, first, a research environment capable of performing parallelizing process by multiple computers with CPU and GPU is required. To foster such an environment, there are limitations of high costs and large installation space in order for a majority of researchers to gain access. Therefore, suggested in this study is the development of parallelized computer for the research of deep learning parallelizing training, by utilizing the Raspberry Pi, which is small in size and low by price. The confirmation work for the cluster was conducted by data process parallelization, and the expansion of computing capability. To confirm the simulatability of the existing parallelized computer environment, the time of training was measured, by adjusting such items as the number of nodes to be used for the training and the batch size.
주제어
#라즈베리파이 클러스터 병렬 컴퓨터 병렬 연산 deep learning Raspberry Pi cluster convolution neural network parallelized computer parallel computing
학위논문 정보
저자
허원호
학위수여기관
연세대학교 대학원
학위구분
국내석사
학과
전기전자공학과
지도교수
이동욱,김은태
발행연도
2016
총페이지
42장
키워드
라즈베리파이 클러스터 병렬 컴퓨터 병렬 연산 deep learning Raspberry Pi cluster convolution neural network parallelized computer parallel computing
※ AI-Helper는 부적절한 답변을 할 수 있습니다.