최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고, 점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서 회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는 범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다. 특히, 재학습에 의하여 성능을 향상시키고, 각 계층별 차이를 고려하기 위하여 계층별 오류율을 할당하여 원하는 성능을 보장할 수 있는 간단한 방법을 제안하였다. 대표적인 영상인식 신경망구조인 FCN (전연결) 구조와 CNN (컨벌루션 신경망) 구조에서 대하여 실험한 결과 약 1/10 정도의 연결만으로도 원 신경망과 유사한 성능을 보일 수 있음을 확인하였다.
최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고, 점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서 회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는 범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다. 특히, 재학습에 의하여 성능을 향상시키고, 각 계층별 차이를 고려하기 위하여 계층별 오류율을 할당하여 원하는 성능을 보장할 수 있는 간단한 방법을 제안하였다. 대표적인 영상인식 신경망구조인 FCN (전연결) 구조와 CNN (컨벌루션 신경망) 구조에서 대하여 실험한 결과 약 1/10 정도의 연결만으로도 원 신경망과 유사한 성능을 보일 수 있음을 확인하였다.
Recently Deep-learning, Technologies using Large or Deep Artificial Neural Networks, have Shown Remarkable Performance, and the Increasing Size of the Network Contributes to its Performance Improvement. However, the Increase in the Size of the Neural Network Leads to an Increase in the Calculation A...
Recently Deep-learning, Technologies using Large or Deep Artificial Neural Networks, have Shown Remarkable Performance, and the Increasing Size of the Network Contributes to its Performance Improvement. However, the Increase in the Size of the Neural Network Leads to an Increase in the Calculation Amount, which Causes Problems Such as Circuit Complexity, Price, Heat Generation, and Real-time Restriction. In This Paper, We Propose and Test a Method to Reduce the Number of Network Connections by Effectively Pruning the Redundancy in the Connection and Showing the Difference between the Performance and the Desired Range of the Original Neural Network. In Particular, we Proposed a Simple Method to Improve the Performance by Re-learning and to Guarantee the Desired Performance by Allocating the Error Rate per Layer in Order to Consider the Difference of each Layer. Experiments have been Performed on a Typical Neural Network Structure such as FCN (full connection network) and CNN (convolution neural network) Structure and Confirmed that the Performance Similar to that of the Original Neural Network can be Obtained by Only about 1/10 Connection.
Recently Deep-learning, Technologies using Large or Deep Artificial Neural Networks, have Shown Remarkable Performance, and the Increasing Size of the Network Contributes to its Performance Improvement. However, the Increase in the Size of the Neural Network Leads to an Increase in the Calculation Amount, which Causes Problems Such as Circuit Complexity, Price, Heat Generation, and Real-time Restriction. In This Paper, We Propose and Test a Method to Reduce the Number of Network Connections by Effectively Pruning the Redundancy in the Connection and Showing the Difference between the Performance and the Desired Range of the Original Neural Network. In Particular, we Proposed a Simple Method to Improve the Performance by Re-learning and to Guarantee the Desired Performance by Allocating the Error Rate per Layer in Order to Consider the Difference of each Layer. Experiments have been Performed on a Typical Neural Network Structure such as FCN (full connection network) and CNN (convolution neural network) Structure and Confirmed that the Performance Similar to that of the Original Neural Network can be Obtained by Only about 1/10 Connection.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 측면은 인공신경망의 구조, 학습방법에 따라 세부적인 달라질 수 있을 것으로 예상된다. 본 논문에서 알고리즘 관점에서 효과적으로 연결의 수를 줄이는 방법으로, 연결 가중치의 크기를 기준으로 연결을 해지하는 방안을 살펴본다. 우선, 제 2절에서는 단일 신경망에서 MNIST데이터의 분류기의 학습된 가중치 패턴의 특성을 살펴보고, 이를 바탕으로 연결해지에 따른 정확도의 감소정도를 살펴본다.
실험에 사용한 신경망 구조도 대표적인 3계층과 4 (5)계층 FCN (전 연결 신경망)와 CNN (컨벌루션 신경망)로 제한하고, 입력데이터도 MNIST 데이터만을 살펴본다. 이러한 제한의 이유는 일관된 비교와 분석이 이 본 논문의 목적이며 논문의 길이제약도 고려하였다. 이후 다양한 데이터와, 네트워크 환경에 대하여는 별도의 연구나 보고서를 통하여 발표할 예정이다.
지금까지 학습된 신경망을 시각화하는 연구의 주목적은 학습이 어떤 방식으로 진행되며 이의 의미를 분석하여, 추가적인 정보 및 학습방법의 개선에 활용할 목적이었다. 본 연구에서는 해지를 할 연결들의 통계적 지역적 특성을 판단하기 위한 목적이다.
본 연구에서는 날로 증가하는 인공신경망의 복잡도를 줄이기 위한 방안으로 약한 연결을 제거하고, 제 학습하는 방법을 살펴보았다. 또한 약한 연결을 제거한 후에 효과적인 재학습을 위하여 심층신경망의 계층적 민감도모델을 제시하고 이를 바탕으로, 제거하는 정도(임계치 또는 비율)를 조절하는 방안을 제시하였다.
가설 설정
CNN-3의 경우, 하나의 커널이 위치를 옮기면서 연산이 행해지므로 연결의 개수는 커널의, 크기에 샘플링 수, 즉 입력의 크기를 간격으로 나눈 수를 곱하여 계산한다. 단 CNN에서 사용하는 풀링(pooling) 단계는 본 연구에서는 그대로 유지하는 것을 가정하였다. 이렇게 각 225792, 3612672, 31360 개이다.
제안 방법
우선, 제 2절에서는 단일 신경망에서 MNIST데이터의 분류기의 학습된 가중치 패턴의 특성을 살펴보고, 이를 바탕으로 연결해지에 따른 정확도의 감소정도를 살펴본다. 제3절에서 연결 해지 후 재학습을 통하여 정확도를 향상시키는 방법과 계층별로 허용오차를 부가하여 재학습설계를 단순화 하는 방식을 소개한다. 제4절에서 대표적인 신경망 구조인 FCN와 CNN에서 계층별로 연결제거에 따른 성능 변화를 살펴본다.
제3절에서 연결 해지 후 재학습을 통하여 정확도를 향상시키는 방법과 계층별로 허용오차를 부가하여 재학습설계를 단순화 하는 방식을 소개한다. 제4절에서 대표적인 신경망 구조인 FCN와 CNN에서 계층별로 연결제거에 따른 성능 변화를 살펴본다. 제5절에서는 본연구의 의미와 추후 연구 방향에 대하여 논거 한다.
우선 가장 단순해서 이해와 설명이 용이한 단일계층 신경망대하여 훈련후의 가중치 값이 어떠한 특성을 갖는지를 살펴보고, 일괄적인 연결제거를 사용했을 때의 정확도 변화에 대하여 살펴본다. Fig.
앞서 살펴 본바와 같이 가중치의 히스토그램에 선명한 임계치 대상이 없으므로, Fig. 4에서 임계치 값을 변화시키면서 분류정확도를 살펴보았다. Fig.
따라서 이이상의 효율향상을 얻기 위해서는 단순한 연결해지 이외의 방법이 필요하다. 이를 보완하기 위하여 성긴 연결구조의 신경망을 재훈련 시키는 방법을 사용한다. 재훈련 방식은 단순화된 방법으로 수행할 수 있을 것으로 생각되나, 본 연구에서는 원 신경망 학습과 동일한 절차를 거치도록 하였다.
이를 보완하기 위하여 성긴 연결구조의 신경망을 재훈련 시키는 방법을 사용한다. 재훈련 방식은 단순화된 방법으로 수행할 수 있을 것으로 생각되나, 본 연구에서는 원 신경망 학습과 동일한 절차를 거치도록 하였다. FCN-1의 경우 재학습을 통하여 연결수를 1.
본 연구에서 사용하는 계층별 연결의 수를 할당하는 방식은, 주어진 허용 오차가 주어졌을 때 각 계층별 허용오차가 원 신경망에 비하여 동등한 정도의 저하가 되도록 균일하게 배분하는 것이다. 즉 현재 신경망의 오류율이 95%의 정확도를 갖고 5개의 계층을 사용하는 경우 각 계층별 허용오차는 1%로 제한된다.
앞서 제안한 균일 오류 분배 방식을 사용하여 인공신경망의 단순화가 어느 정도까지 효과를 보일 수 있는지를 확인하는 실험을 수행하였다. 앞서 언급한 것처럼 전연결망과 컨볼루션날 망에 대하여 수행하였다.
앞서 제안한 균일 오류 분배 방식을 사용하여 인공신경망의 단순화가 어느 정도까지 효과를 보일 수 있는지를 확인하는 실험을 수행하였다. 앞서 언급한 것처럼 전연결망과 컨볼루션날 망에 대하여 수행하였다. 우선, 각 계층별로 모델링하기 위하여, 다른 계층은 동일하게 유지한 상태에서 한계층만의 정확도/오차율을 계산한다.
본 연구에서는 날로 증가하는 인공신경망의 복잡도를 줄이기 위한 방안으로 약한 연결을 제거하고, 제 학습하는 방법을 살펴보았다. 또한 약한 연결을 제거한 후에 효과적인 재학습을 위하여 심층신경망의 계층적 민감도모델을 제시하고 이를 바탕으로, 제거하는 정도(임계치 또는 비율)를 조절하는 방안을 제시하였다. 그 결과 원하는 최소 정확도를 보장하는 하면서 계산효과적인 형태의 신경망을 구축할 수 있음을 보였다.
그 결과 원하는 최소 정확도를 보장하는 하면서 계산효과적인 형태의 신경망을 구축할 수 있음을 보였다. 이때 계층구조의 경우에는 각 계층별 연결수에 따라 민감도가 달라지므로, 이를 고려한 알고리즘을 제안하고 적용하였다.
대상 데이터
본 연구에는 실험환경으로 Google에서 개발한 Tensorflow 오픈소스 라이브러리를 사용하였다. 실험에서는 계산속도 평가하려는 목적은 아니었으므로, 하드웨어 환경은 실험결과에 직접적인 관련은 없으나, PC환경에 Linux OS와 NVIDIA GTX 1070 그래픽 카드 한 개를 사용하였다.
본 연구에는 실험환경으로 Google에서 개발한 Tensorflow 오픈소스 라이브러리를 사용하였다. 실험에서는 계산속도 평가하려는 목적은 아니었으므로, 하드웨어 환경은 실험결과에 직접적인 관련은 없으나, PC환경에 Linux OS와 NVIDIA GTX 1070 그래픽 카드 한 개를 사용하였다. 참고로, 실험 및 논문 제출당시의 Tensorflow r1.
해당네트워크의 구조와 특징 및 관련 연구는 Table 1에 표시한 바와 같다. 실험에 사용한 신경망 구조도 대표적인 3계층과 4 (5)계층 FCN (전 연결 신경망)와 CNN (컨벌루션 신경망)로 제한하고, 입력데이터도 MNIST 데이터만을 살펴본다. 이러한 제한의 이유는 일관된 비교와 분석이 이 본 논문의 목적이며 논문의 길이제약도 고려하였다.
성능/효과
FCN-2의 경우 각 235,200개, 30,000개, 1000개이다. 실험결과 3% 오차율 저하를 기준으로 (93%에서 90%로) 두 계층 즉, 3단의 네트워크에서 사용된 네트워크의 수와 비율은 각각 34,266/23,5200 = 0.145, 4,494/30,000 = 0.149, 197/1,000= 0.197이다. CNN-3의 경우, 하나의 커널이 위치를 옮기면서 연산이 행해지므로 연결의 개수는 커널의, 크기에 샘플링 수, 즉 입력의 크기를 간격으로 나눈 수를 곱하여 계산한다.
이렇게 각 225792, 3612672, 31360 개이다. 실험결과 6% 오차율 저하를 기준으로 (99%에서 93%로) 3 계층 신경망에서 사용된 연결의 수는 64,288/225,792 = 0.285, 555,268 /3,612,672 = 0.154, 3,509/31,360 = 0.112이다. 위 실험모두에서 정확도와 계산이득을 고려하였을 때, 하위계층의 연결을 좀 더 많이 제거하는 것이 효과적이라는 것을 확일 할 수 있었지만, 그 비율이 일정하지는 않다는 점도 확인 할수 있다.
112이다. 위 실험모두에서 정확도와 계산이득을 고려하였을 때, 하위계층의 연결을 좀 더 많이 제거하는 것이 효과적이라는 것을 확일 할 수 있었지만, 그 비율이 일정하지는 않다는 점도 확인 할수 있다. 이는 사용하는 데이터의 특성 네트워크의 특성에 의존될 가능성이 있어 시스템 최적화 요소로 작용하며 추후 연구가 필요한 부분이다.
또한 약한 연결을 제거한 후에 효과적인 재학습을 위하여 심층신경망의 계층적 민감도모델을 제시하고 이를 바탕으로, 제거하는 정도(임계치 또는 비율)를 조절하는 방안을 제시하였다. 그 결과 원하는 최소 정확도를 보장하는 하면서 계산효과적인 형태의 신경망을 구축할 수 있음을 보였다. 이때 계층구조의 경우에는 각 계층별 연결수에 따라 민감도가 달라지므로, 이를 고려한 알고리즘을 제안하고 적용하였다.
후속연구
특히 실시간 임베디드 시스템의 경우에는, 계산양 증가에 따른 발열문제는 논외로 하더라도, 하드웨어 자원의 제약으로 알고리즘을 적용할 수 없는 경우가 발생한다. 따라서 이러한 실용적인 연구가 되기 위해서는 규모의 증가와 함께 효과적인 구조의 연구에 대한 연구도 병행되어야 할 것으로 판단한다.
이러한 제한의 이유는 일관된 비교와 분석이 이 본 논문의 목적이며 논문의 길이제약도 고려하였다. 이후 다양한 데이터와, 네트워크 환경에 대하여는 별도의 연구나 보고서를 통하여 발표할 예정이다.
위 실험모두에서 정확도와 계산이득을 고려하였을 때, 하위계층의 연결을 좀 더 많이 제거하는 것이 효과적이라는 것을 확일 할 수 있었지만, 그 비율이 일정하지는 않다는 점도 확인 할수 있다. 이는 사용하는 데이터의 특성 네트워크의 특성에 의존될 가능성이 있어 시스템 최적화 요소로 작용하며 추후 연구가 필요한 부분이다.
연구 환경과 시공간의 제약상 본 연구에 사용한 데이터와 신경망의 규모는 최근 사용하는 신경망에 비하여 제한적이지만, 알고리즘의 적용 방법과 경향은 유사할 것으로 판단되며, 좀 더 대규모의 신경망을 사용한 분석결과는 추후 진행 후 발표를 할 예정이다.
또한 자연적으로 존재하던 잉여 연결에 의한 고장-둔감성이 약화될 가능성이 있다. 그러나 이러한 문제가 본 연구의 의도와 방향에 근본적인 한계라고 생각하지는 않으며 VLSI칩 설계하는 영역에서 지속적으로 연구되고 있으므로 계속적인 발전이 있으리라 예상된다.
특히 소스코딩의 데이터양-왜곡 (Rate-distortion) 이론은 영상압축 기법에서 최적화 방법으로 활용되어 왔다. 따라서 이 연구 결과들을 접목시킨다면 연결해지 방법의 체계화가 가능할 것으로 조심스럽게 예상해본다.
질의응답
핵심어
질문
논문에서 추출한 답변
신경망 크기의 증가의 장단점은 무엇인가?
신경망 크기의 증가는 성능의 증가로 반영되는 장점이 있지만, 반면 시스템 구현측면에서는 큰 어려움과 문제점이 된다[4-6]. 학습과 적용시의 계산양이 증가하여, 이를 지원하기위한 하드웨어의 규모가 점차 켜져야 한다.
모든 해지율을 계산하게 되면 재훈련과정에서 시스템 설계에 겪게 될 어려움을 해결하기 위해 어떤 방식을 사용하는가?
재훈련과정은 계산양이 많이 필요하기 때문에, 모든 해지율을 계산하는 것은 시스템 설계에 큰 어려움이 된다. 따라서 측정 비율에 해당하는 재학습만을 수행한 후, 중간 값에 대해서는 내삽으로 예측하는 방식을 사용한다. 이에 단순한 선형보간방식을 사용할 수도 있으나, 앞선 그래프를 보면 특정 임계치를 기점으로 오차율이 급속히 증가한다는 것을 볼 수 있다.
신경망 크기의 증가는 어떤 문제를 야기하는가?
최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고, 점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서 회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는 범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다.
참고문헌 (8)
LeCuns, Y., Bengio, Y., and Hinton, G., "Deep learning," Nature, Vol. 521, No. 7553, pp. 436-444, 2015.
Lee, K., H, lee, S.-Y., and Chung, N., Koo, C., "The Effects of IT Usage of Exhibition Onsite and Overall Effectiveness Toward Attendee's Satisfaction", The Journal of Internet Electronic Commerce Research, Vol. 16, No. 6, pp. 77-94, 2016.
Hong, T. H. and Kim, J. W., "Intelligent Intrusion Detection Systems Using the Asymmetric costs of Errors in Data Mining," The Journal of Information Systems, Vol. 15, No. 4, pp. 211-224, 2016
LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P., "Gradient-based Learning Applied to Document Recognition," Proceedings of the IEEE, Vol. 86, No. 11, pp.2278-2324, 1998.
Han, S., Pool, J., Tran, J., and Dally, W., "Learning both Weights and Connections for Efficient Neural Network." In Advances in Neural Information Processing Systems, pp. 1135-1143, 2015.
Naumov, M., Chien, L. S., Vandermersch, P., and Kapasi, U. "Cusparse Library," In GPU Technology Conference, Spetmber, 2010.
Chen, T., Du, Z., Sun, N., Wang, J., Wu, C., Chen, Y., and Temam, O. "Diannao: A Small-Footprint High-throughput Accelerator for Ubiquitous Machine-learning. In ACM Sigplan Notices, Vol. 49, No. 4, pp. 269-284. 2014.
Zhang, S., Du, Z., Zhang, L., Lan, H., Liu, S., Li, L., and Chen, Y., "Cambricon-X: An Accelerator for Sparse Neural Networks," 49th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO), pp. 1-12, 2016.
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.