본 논문에서는 딥러닝에서 활용되는 정규화(regularization) 및 항등사상(identitymapping)이 활성함수(activation function) 성능에 미치는 영향에 대해 설명한다. 딥러닝에서 활성함수는 비선형 변환을 위해 사용된다. 초기에는 sigmoid 함수가 사용되었으며, 기울기가 사라지는 기존의 활성함수의 문제점을 극복하기 위해 ReLU(Rectified Linear Unit), LReLU(Leaky ReLU), PReLU(Parametric ReLU), ELU(Exponetial Linear Unit)이 개발되었다. 활성함수와의 연구와는 별도로 과적합(Overfitting)문제를 해결하기 위해, Dropout, 배치 정규화(Batch normalization) 등의 정규화 방법들이 개발되었다. 추가적으로 과적합을 피하기 위해, 일반적으로 기계학습 분야에서 사용되는 data augmentation 기법이 활용된다. 딥러닝 구조의 측면에서는 기존에 단순히 컨볼루션(Convolution) 층을 쌓아올리는 구조에서 항등사상을 추가하여 순방향, 역방향의 신호흐름을 개선한 residual network가 개발되었다. 위에서 언급된 활성함수들은 각기 서로 다른 특성을 가지고 있으나, 새로운 정규화 및 딥러닝 구조 연구에서는 가장 많이 사용되는 ReLU에 대해서만 검증되었다. 따라서 본 논문에서는 정규화 및 항등사상에 따른 활성함수의 성능에 대해 실험적으로 분석하였다. 분석을 통해, 정규화 및 항등사상 유무에 따른 활성함수 성능의 경향을 제시하였으며, 이는 활성함수 선택을 위한 교차검증 횟수를 줄일 수 있을 것이다.
본 논문에서는 딥러닝에서 활용되는 정규화(regularization) 및 항등사상(identity mapping)이 활성함수(activation function) 성능에 미치는 영향에 대해 설명한다. 딥러닝에서 활성함수는 비선형 변환을 위해 사용된다. 초기에는 sigmoid 함수가 사용되었으며, 기울기가 사라지는 기존의 활성함수의 문제점을 극복하기 위해 ReLU(Rectified Linear Unit), LReLU(Leaky ReLU), PReLU(Parametric ReLU), ELU(Exponetial Linear Unit)이 개발되었다. 활성함수와의 연구와는 별도로 과적합(Overfitting)문제를 해결하기 위해, Dropout, 배치 정규화(Batch normalization) 등의 정규화 방법들이 개발되었다. 추가적으로 과적합을 피하기 위해, 일반적으로 기계학습 분야에서 사용되는 data augmentation 기법이 활용된다. 딥러닝 구조의 측면에서는 기존에 단순히 컨볼루션(Convolution) 층을 쌓아올리는 구조에서 항등사상을 추가하여 순방향, 역방향의 신호흐름을 개선한 residual network가 개발되었다. 위에서 언급된 활성함수들은 각기 서로 다른 특성을 가지고 있으나, 새로운 정규화 및 딥러닝 구조 연구에서는 가장 많이 사용되는 ReLU에 대해서만 검증되었다. 따라서 본 논문에서는 정규화 및 항등사상에 따른 활성함수의 성능에 대해 실험적으로 분석하였다. 분석을 통해, 정규화 및 항등사상 유무에 따른 활성함수 성능의 경향을 제시하였으며, 이는 활성함수 선택을 위한 교차검증 횟수를 줄일 수 있을 것이다.
In this paper, we describe the effect of the regularization method and the network with identity mapping on the performance of the activation functions in deep convolutional neural networks. The activation functions act as nonlinear transformation. In early convolutional neural networks, a sigmoid f...
In this paper, we describe the effect of the regularization method and the network with identity mapping on the performance of the activation functions in deep convolutional neural networks. The activation functions act as nonlinear transformation. In early convolutional neural networks, a sigmoid function was used. To overcome the problem of the existing activation functions such as gradient vanishing, various activation functions were developed such as ReLU, Leaky ReLU, parametric ReLU, and ELU. To solve the overfitting problem, regularization methods such as dropout and batch normalization were developed on the sidelines of the activation functions. Additionally, data augmentation is usually applied to deep learning to avoid overfitting. The activation functions mentioned above have different characteristics, but the new regularization method and the network with identity mapping were validated only using ReLU. Therefore, we have experimentally shown the effect of the regularization method and the network with identity mapping on the performance of the activation functions. Through this analysis, we have presented the tendency of the performance of activation functions according to regularization and identity mapping. These results will reduce the number of training trials to find the best activation function.
In this paper, we describe the effect of the regularization method and the network with identity mapping on the performance of the activation functions in deep convolutional neural networks. The activation functions act as nonlinear transformation. In early convolutional neural networks, a sigmoid function was used. To overcome the problem of the existing activation functions such as gradient vanishing, various activation functions were developed such as ReLU, Leaky ReLU, parametric ReLU, and ELU. To solve the overfitting problem, regularization methods such as dropout and batch normalization were developed on the sidelines of the activation functions. Additionally, data augmentation is usually applied to deep learning to avoid overfitting. The activation functions mentioned above have different characteristics, but the new regularization method and the network with identity mapping were validated only using ReLU. Therefore, we have experimentally shown the effect of the regularization method and the network with identity mapping on the performance of the activation functions. Through this analysis, we have presented the tendency of the performance of activation functions according to regularization and identity mapping. These results will reduce the number of training trials to find the best activation function.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 딥러닝을 활용한 영상분류에 있어서, 정규화 및 항등사상이 활성함수에 미치는 영향에 대해 실험을 실시 및 분석을 실시하였다. 정규화 및 항등사상 적용 유무에 따른 영상분류 성능을 제시하고 경향을 분석하여 각 경우에 따라 어떤 활성함수를 활용하여 검증을 시도해보는 것이 좋은지를 제시하였다.
오직 PReLU만 학습 가능한 파라미터를 가지고있다. 본 논문에서는 이러한 특성이 정규화 및 residual network에 대해 어떠한 성능 변화가 있는지 연구를 수행하였다.
원래 목적은 과적합을 피하기 위한 목적은 아니었으나, 이 또한 학습 간 무작위 요소가 포함되어, 정규화에 많은 도움을 준다. 원래 목적은 미니배치 최적화를 수행 시, 각 미니배치는 서로 다른 분포를 가져최적화에 방해되는 효과를 가져 온다. 이를 극복하기 위해, 각 미니배치가 유사한 분포를 가지도록 아래 식(1)과 같이 n차 입력 x = [x1, x2, .
하지만 각 활성함수는 서로 다른 특성을 가지고 있기 때문에, 본 논문에서는 각종 정규화 및 항등사상을 사용하는 residual network에 대해 활성함수가 어떤 성능을 나타내는지 실험적으로 분석하고 경향을 제시한다. 이러한 분석을 바탕으로, 정규화 및 항등사상의 적용 여부에 따라 어떤 활성함수를 선택하는 것이 좋은지 제시한다.
위의 활성함수 중 가장 기본적으로 많이 사용되는 것은 ReLU이며, 따라서 최근 개발되는 정규화 및 각종 딥러닝 구조개선 논문에서는 ReLU에 대해서만 검증이 실시되었다. 하지만 각 활성함수는 서로 다른 특성을 가지고 있기 때문에, 본 논문에서는 각종 정규화 및 항등사상을 사용하는 residual network에 대해 활성함수가 어떤 성능을 나타내는지 실험적으로 분석하고 경향을 제시한다. 이러한 분석을 바탕으로, 정규화 및 항등사상의 적용 여부에 따라 어떤 활성함수를 선택하는 것이 좋은지 제시한다.
가설 설정
ReLU를 제외한 나머지 활성함수들은 음의 출력을 가지고 있다. 둘째, 음의 입력에 대한 기울기이다. LReLU와 PReLU는 일정한 기울기를 가지며, ReLU는 0, ELU는 초기에는 기울기를 가지지만 빠르게 0으로 수렴한다.
제안 방법
항등사상이 적용유무에 따른 차이를 알아보기 위해 1) 항등사상이 적용되지 않는 VGG16[9], 2) 항등사상이 적용된 Resnet18에 대해 실험을 수행하였다. VGG16의 구조는 표1에 제시되어 있으며, (conv 3x3, 64) X 2는 커널(kernel) 크기가 3x3, 출력 피쳐맵(feature map)이 64, 그리고 이 컨볼루션층이 2번 반복됨을 의미하며, maxpool 2x2 / 2는 커널의 크기가 2x2이며, 스트라이드 (stride)가 2를 의미한다.
본 실험에서는 1) ReLU, 2) PReLU, 3) ELU 총 3가지 활성함수에 대해 실험을 수행하였다. PReLU는 LReLU와 유사한 특성을 가지고 있으며, 더 일반화된 것이므로 PReLU에 대해서만 실험을 실시하였다.
본 실험에서는 1) ReLU, 2) PReLU, 3) ELU 총 3가지 활성함수에 대해 실험을 수행하였다. PReLU는 LReLU와 유사한 특성을 가지고 있으며, 더 일반화된 것이므로 PReLU에 대해서만 실험을 실시하였다.
실험은 데이터세트 2가지, 정규화 2가지, 구조 2가지, 활성함수 3가지의 모든 조합, 즉 24가지에 대해 실시하였다.
딥러닝 구조적으로 그래디언트 소실/폭발을 해결한 방법은 residual network[4]이다. 이 구조는 단순히 컨볼루션층을 쌓아 올리는 방식에서는 일정 깊이 이상(약20)에서는 최적화가 되지 않는 문제를 해결하기 위해, 추가적으로 항등사상을 추가하여, 순방향/역방향으로 신호의 흐름을 개선하여, 기존에 비해 매우 깊은 약 1100 이상의 깊이에서도 학습이 가능하도록 하였다.
이때 미니배치 구성이 매번 달라지므로, 각 미니배치의 분포가 다르게 되어 최적화 시 방해가 되는 요소가 된다. 이를 극복하기 위해, 배치정규화는 각 미니배치마다 평균이 0, 분산이 1이 되도록 정규화를 수행하여, 여러 미니배치간 분포의 차이를 최소화 시켰다. 또한, 분포를 정규화 시킴으로써, 더 큰 학습률 에도 최적화가 될 수 있도록 하여 학습시간을 단축시켰으며, 미니배치마다 다른 평균 및 분산을 가지므로, 학습 간 무작위 요소가 가미되어 과적합 문제를 해결하는 효과도 가지고 있다.
두 데이터세트 모두 총 50,000장의 학습데이터와 10,000장의 테스트 데이터가 있으며, 총 클래스의 개수는 각각 10개, 100개이며, 영상크기는 32 x 32의 RGB 영상이다. 입력의 전처리 방법은 RGB 각 채널에 대해 평균을 0, 분산을 1로 정규화을 수행하였다.
본 논문에서는 딥러닝을 활용한 영상분류에 있어서, 정규화 및 항등사상이 활성함수에 미치는 영향에 대해 실험을 실시 및 분석을 실시하였다. 정규화 및 항등사상 적용 유무에 따른 영상분류 성능을 제시하고 경향을 분석하여 각 경우에 따라 어떤 활성함수를 활용하여 검증을 시도해보는 것이 좋은지를 제시하였다. 이는 영상분류를 위한 모델 개발 시 활성함수 선택에 대한 교차검증횟수를 줄일 수 있을 것이다.
대상 데이터
본 실험에서는 영상분류에서 벤치마크 데이터세트로 활용되는 CIFAR10, 100에 대해서 실험을 실시하였다. 두 데이터세트 모두 총 50,000장의 학습데이터와 10,000장의 테스트 데이터가 있으며, 총 클래스의 개수는 각각 10개, 100개이며, 영상크기는 32 x 32의 RGB 영상이다. 입력의 전처리 방법은 RGB 각 채널에 대해 평균을 0, 분산을 1로 정규화을 수행하였다.
최적화 방법으로는 그래디언트 하강 방식을 사용하였다. 미니배치의 크기는 128, 모멘트는 0.9을 사용하였다. 초기 학습율은 0.
본 실험에서는 영상분류에서 벤치마크 데이터세트로 활용되는 CIFAR10, 100에 대해서 실험을 실시하였다. 두 데이터세트 모두 총 50,000장의 학습데이터와 10,000장의 테스트 데이터가 있으며, 총 클래스의 개수는 각각 10개, 100개이며, 영상크기는 32 x 32의 RGB 영상이다.
이론/모형
일반적으로 dropout은 배치 정규화를 적용 후 추가적으로 필요하다면 적용하기 때문에, 배치 정규화와 dropout을 하나의 정규화 방법으로써 실험을 실시한다. data augmentation은 일반적으로 많이 사용하는 horizontal random flip과 random crop을 적용하였다. random crop은 32 x 32 영상에 상하좌우 4픽셀씩 추가한 후 무작위로 32 x 32 이미지를 추출하였으며, 테스트시에는 원본 이미지를 그대로 활용한다.
최적화 방법으로는 그래디언트 하강 방식을 사용하였다. 미니배치의 크기는 128, 모멘트는 0.
성능/효과
결론적으로 data augmentation이 적용되지 않았을 때에는 항등사상 유무와 상관없이 PReLU가 상당히 좋은 성능을 보인다. 하지만 data augmentation이 적용되었을 때에는, 항등사상이 없는 경우 모든 데이터세트에 대해 ELU가 가장 좋은 성능이 나왔으며, 항등사상이 있는 경우에는 ReLU, ELU가 좋은 성능을 보였다.
하지만 data augmentation이 적용되었을 때에는, 항등사상의 유무에 따라 CIFAR10과는 다른 경향이 보임을 알 수 있다. 우선 항등사상이 적용되지 않은 VGG16의 경우 음의 출력을 가지는 PReLU, ELU가 ReLU에 비해 상당히 잘 나옴을 알 수 있으며, 특히 음의 입력에 대해 기울기가 빠르게 0으로 근접하는 ELU가 상당히 좋은 성능을 보임을 알 수 있다. 항등사상이 적용되는 Resnet18의 경우에서는 ReLU가 상당한 성능향상이 있다.
이를 통해 얻은 효과로는 학습시간이 기존보다 빨라졌으며, 추가적으로 과적합을 예방하는 효과를 보였다. 기존 정규화 방법으로는 주로 dropout이 사용되었으나, 최근에는 기본적으로 배치 정규화를 모든 컨볼루션층에 적용시키고, 추가적으로 정규화가 필요하다면 dropout을 사용하는 추세이다.
결론적으로 data augmentation이 적용되지 않았을 때에는 항등사상 유무와 상관없이 PReLU가 상당히 좋은 성능을 보인다. 하지만 data augmentation이 적용되었을 때에는, 항등사상이 없는 경우 모든 데이터세트에 대해 ELU가 가장 좋은 성능이 나왔으며, 항등사상이 있는 경우에는 ReLU, ELU가 좋은 성능을 보였다. 일반적으로 좋은 성능을 얻기 위해서는 data augmentation을 활용한다.
후속연구
정규화 및 항등사상 적용 유무에 따른 영상분류 성능을 제시하고 경향을 분석하여 각 경우에 따라 어떤 활성함수를 활용하여 검증을 시도해보는 것이 좋은지를 제시하였다. 이는 영상분류를 위한 모델 개발 시 활성함수 선택에 대한 교차검증횟수를 줄일 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
딥러닝은 어떤 분야에서 활용되는가?
딥러닝은 영상분류, 얼굴인식, 물체인식 등 다양한 컴퓨터비전 분야에서 탁월한 성능을 보이고 있다.
딥러닝은 어떤 문제점이 있는가?
하지만 이러한 우수한 성능에도 불구하고 과적합 (overfitting), 그래디언트 소실/폭발(gradient vanishing/exploding) 등의 문제를 가지고 있다. 이러한 문제를 해결하기 위해 많은 연구가 진행되어 왔다.
과적합 문제를 해결하기 위해 어떤 방법이 제안되었는가?
이러한 문제를 해결하기 위해 많은 연구가 진행되어 왔다. 우선, 과적합 문제를 해결하기 위해, dropout[1], dropconnect[2]등이 제안되었다. dropout은 학습 간 임의로 노드를 0으로, dropconnect는 학습 간 임의로 파라미터를 0으로 만드는 것으로, 두 방법 모두 학습 간 서로 다른 모델이 학습되어, 모델 앙상블의 효과를 가져 온다.
참고문헌 (9)
Srivastava, Nitish, et al., "Dropout: a simple way to prevent neural networks from overfitting," Journal of Machine Learning Research 15.1, pp. 1929-1958, 2014.
Wan, Li, et al., "Regularization of neural networks using dropconnect." Proceedings of the 30th international conference on machine learning (ICML-13), 2013.
Ioffe, Sergey, and Christian Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift." International Conference on Machine Learning, 2015.
He, Kaiming, et al., "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition, 2016. DOI: https://doi.org/10.1109/CVPR.2016.90
Nair, Vinod, and Geoffrey E. Hinton, "Rectified linear units improve restricted boltzmann machines." Proceedings of the 27th international conference on machine learning (ICML-10), 2010.
Maas, Andrew L., Awni Y. Hannun, and Andrew Y. Ng., "Rectifier nonlinearities improve neural network acoustic models." Proc. ICML, vol. 30, no. 1, 2013.
He, Kaiming, et al., "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification." Proceedings of the IEEE international conference on computer vision, 2015. DOI: https://doi.org/10.1109/ICCV.2015.123
Clevert, Djork-Arne, Thomas Unterthiner, and Sepp Hochreiter, "Fast and accurate deep network learning by exponential linear units (elus)," arXiv preprint arXiv: 1511.07289, 2015.
Simonyan, Karen, and Andrew Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.