[논문]컨벌루션 신경망에서 활성 함수가 미치는 영상 분류 성능 비교

박성욱; 김도연

doi:10.9717/kmms.2018.21.10.1142

[국내논문] 컨벌루션 신경망에서 활성 함수가 미치는 영상 분류 성능 비교
Comparison of Image Classification Performance by Activation Functions in Convolutional Neural Networks 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.21 no.10, 2018년, pp.1142 - 1149

박성욱 (Dept. of Computer Eng., Sunchon National University) , 김도연 (Dept. of Computer Eng., Sunchon National University)

Abstract ▼ AI-Helper

Recently, computer vision application is increasing by using CNN which is one of the deep learning algorithms. However, CNN does not provide perfect classification performance due to gradient vanishing problem. Most of CNN algorithms use an activation function called ReLU to mitigate the gradient vanishing problem. In this study, four activation functions that can replace ReLU were applied to four different structural networks. Experimental results show that ReLU has the lowest performance in accuracy, loss rate, and speed of initial learning convergence from 20 experiments. It is concluded that the optimal activation function varied from network to network but the four activation functions were higher than ReLU.

주제어

표/그림 (12)

표 Table 1. Image subsection
표 Table 2. Hyper-parameter lambda value of each activation function
그림 Fig. 1. Initial convergence speed comparison of each activation function in nin.
표 Table 3. Hardware specifications used in the experiment
표 Table 4. Top-1 error rate and softmax loss rate of each activation function in nin
표 Table 5. Top-1 error rate and softmax loss rate of each activation function in inception-bn
그림 Fig. 2. Initial convergence speed comparison of each activation function in inception-bn.
그림 Fig. 3. Initial convergence speed comparison of each activation function in wrn-28-10.
표 Table 6. Top-1 error rate and softmax loss rate of each activation function in wrn-28-10
그림 Fig. 4. Initial convergence speed comparison of each activation function in densenet-161.
표 Table 7. Top-1 error rate and softmax loss rate of each activation function in densenet-161
표 Table 8. The highest performance activation function of each network

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 CNN의 기울기 소실 문제를 완화하기 위해 제안 된 다양한 활성 함수들을, 서로 다른 구조의 CNN 모델에서 실험하였다. 활성 함수로 ReLU, LReLU, PReLU, RReLU, ELU를 사용하였고 CNN 모델로 NIN, Inception-BN, WRN-28-10, DenseNet-161을 사용하였다.
본 논문에서는 네트워크 및 활성 함수에 따라 CNN의 분류 성능이 어떻게 변화하는지 비교하고 분석하였다. 학습에 사용 된 네트워크 모델은 Lin et al.
하지만 아직도 대부분의 네트워크 설계자들은 활성 함수로 ReLU를 채택하여 사용하고 있다. 이에 본 연구에서는 최근 발표된 4가지 활성 함수 및 ReLU를 서로 다른 4개 구조 네트워크에 적용하여 실험해보고 위 함수 각각이 분류 성능에 어떤 영향을 미치지는 지 알아보고자 한다.

제안 방법

[10]의 넓은 잔류 네트워크(Wide Residual Network, WRN) 그리고 Huang et al. [11]의 밀집하게 연결 된 컨벌루션 망(Densely Connected Convolutional Network, DenseNet)이고, 각 네트워크 은닉 계층(Hidden Layer)의 활성 함수 및 분류계층(Classification Layer)의 출력 클래스 수를 변형시켜 사용하였다. 구동을 위한 딥러닝 프레임워크로 공개 소스 Caffe[12]를 이용하였다.
네 가지 CNN 모델(NIN, Inception-BN, WRN, DenseNet)과 다섯 가지 활성 함수(ReLU, LReLU, PReLU, RReLU, ELU)를 조합하여 총 20가지의 실험 환경을 구성하였다. NIN은 분류 계층의 완전연결구조를 전역 평균 풀링(Global Average Pooling) 구조로 대체하여 오버피팅 및 많은 계산량 문제를 해결한 모델이고 Inception-BN은 초기 GoogLeNet[17]의 배치 정규화(Batch Normalization)를 적용한 모델이다.
와 같다. 본 논문에서는 위와 같은 설정을, 도출한 결론의 객관성 확보를 위해 모든 실험에 동일하게 적용하였다.
에폭(Epoch)은 ‘250’으로 지정하였으며 솔버 및 네트워크 파라미터 설정은 앞서 언급했던 내용과 동일하다. 본 논문은 검증 데이터 세트를 사용하여 출력 된 Top-1 오류율(Error Rate)과 각 활성 함수들의 학습 수렴속도(Training Convergence Speed) 및 손실률(Loss Rate)을 통해 성능을 평가한다.

대상 데이터

본 논문에선 총 35,100장의 이미지를 가지고 실험을 진행하였고, 학습 데이터 세트(Training Data Set)로 29,700장, 검증 데이터 세트(Validation Data Set)로 5,400장이 사용되었다.
실험데이터는 주변에서 쉽게 볼 수 있는 산림 곤충을 대상으로 선정했다. 이후 ImageNet에서 27개를 선택하고 각 클래스에 해당하는 이미지들을 수집하여 데이터세트로 구성하였다.
실험데이터는 주변에서 쉽게 볼 수 있는 산림 곤충을 대상으로 선정했다. 이후 ImageNet에서 27개를 선택하고 각 클래스에 해당하는 이미지들을 수집하여 데이터세트로 구성하였다. 이미지 세부 항목은 Table 1과 같다.

이론/모형

[11]의 밀집하게 연결 된 컨벌루션 망(Densely Connected Convolutional Network, DenseNet)이고, 각 네트워크 은닉 계층(Hidden Layer)의 활성 함수 및 분류계층(Classification Layer)의 출력 클래스 수를 변형시켜 사용하였다. 구동을 위한 딥러닝 프레임워크로 공개 소스 Caffe[12]를 이용하였다.
활성 함수 측면에서, 시그모이드(Sigmoid), 쌍곡 탄젠트(Hyperbolic Tangent) 함수는ReLU보다 성능이 좋지 않다고 입증된바[19-21]가 있어 실험에서 제외하였다. 매개변수 갱신 방법의 경우 네스테로프 모멘텀(Nesterov Momentum)[22]을 사용하였다.
본 논문에서는 CNN의 기울기 소실 문제를 완화하기 위해 제안 된 다양한 활성 함수들을, 서로 다른 구조의 CNN 모델에서 실험하였다. 활성 함수로 ReLU, LReLU, PReLU, RReLU, ELU를 사용하였고 CNN 모델로 NIN, Inception-BN, WRN-28-10, DenseNet-161을 사용하였다. 27종의 소규모 곤충데이터세트를 20가지 실험에서 학습 시켰을 때 가장 높은 성능을 보여준 활성 함수는 Table 8과 같다.

성능/효과

Fig. 2에서 ELU는 다른 활성 함수보다 학습 수렴속도가 빠르며 5 Epoch이후 68.25%의 가장 높은 정확도를 기록했다. 가장 낮은 정확도를 기록한 ReLU는 62.
89%의 차이를 보였고, 5 Epoch때는 4 Epoch때 보다 오히려 성능이 떨어졌다. LReLU는 1 Epoch때 두 번째로 낮은 정확도로 학습을 시작하였지만 2 Epoch때부터 ELU보다 높은 정확도를 보여주며 최종 순위 3위를 기록했고 ELU가 그 뒤를 이었다. 분석 결과, NIN 모델에서 PReLU와 RReLU는 초기 학습수렴속도가 다른 활성 함수들보다 빨랐고 정확도 역시 높았다.
NIN에서 PReLU가, Inception-BN에서 ELU, WRN28-10에서 PReLU 그리고 DenseNet-161에서는 ELU가 가장 높은 성능을 보여주었다. ReLU는 20가지 실험에서 정확도, 손실률, 초기 학습 수렴속도 모두 성능이 가장 낮았다.
41%로 그 뒤를 이었다. ReLU는 18.44%로 가장 높은 오류율을 보였고 ELU와 3.31%의 성능 차이를 보였다. 테스트 손실률의 경우도 ELU가 0.
NIN에서 PReLU가, Inception-BN에서 ELU, WRN28-10에서 PReLU 그리고 DenseNet-161에서는 ELU가 가장 높은 성능을 보여주었다. ReLU는 20가지 실험에서 정확도, 손실률, 초기 학습 수렴속도 모두 성능이 가장 낮았다. 이를 바탕으로, 0보다 작은 음수가 활성값(Active-Value)으로 입력되었을 때 0이 아닌 양수로 출력하는 방법이 더 좋은 성능을 얻을 수 있다는 것을 알 수 있다.
21%로 그 뒤를 이었다. ReLU는 21.02%로 가장 높은 오류율을 보였고 PReLU와 3.18%의 성능 차이를 보였다. 테스트 손실률의 경우는 ELU가 0.
57%로 그 뒤를 이었다. ReLU는 22.73%로 가장 높은 오류율을 보였고 PReLU와 5.55%의 성능 차이를 보였다. PReLU와 RReLU는 오류율이 0.
18%로 그 뒤를 이었다. ReLU는 23.37%로 가장 높은 오류율을 보였고 PReLU와 2.98%의 성능 차이를 보였다. 테스트 손실률의 경우는 RReLU가 1.
30%로 가장 높았다. 가장 낮은 정확도를 기록한 ReLU는 42.15%로 1위인 PReLU와 11.15%의 차이를 보였고, 5 Epoch 때는 4 Epoch때보다 오히려 성능이 떨어졌다. LReLU와 ELU는 3, 4 Epoch때 이전보다 성능이 떨어지는 모습을 보였지만, 이후 상승세를 보였다.
18% 더 높은 정확도를 기록했다. 가장 낮은 정확도를 기록한 ReLU는 43.5%로 1위인 PReLU와 13.89%의 차이를 보였고, 5 Epoch때는 4 Epoch때 보다 오히려 성능이 떨어졌다. LReLU는 1 Epoch때 두 번째로 낮은 정확도로 학습을 시작하였지만 2 Epoch때부터 ELU보다 높은 정확도를 보여주며 최종 순위 3위를 기록했고 ELU가 그 뒤를 이었다.
25%의 가장 높은 정확도를 기록했다. 가장 낮은 정확도를 기록한 ReLU는 62.02%로 1위인 PReLU와 6.23%의 차이를 보였고, NIN 모델과 달리 5 Epoch때 성능이 떨어지지 않았다. PReLU는 2 Epoch까지 RReLU 보다 학습 수렴속도가 빠르지만 3 Epoch부터 RReLU와 속도 면에서 비슷한 양상을 보인다.
분석 결과, NIN 모델에서 PReLU와 RReLU는 초기 학습수렴속도가 다른 활성 함수들보다 빨랐고 정확도 역시 높았다. 결과적으로 PReLU가 5 Epoch를 기준으로 가장 높은 정확도를 보여주었지만 RReLU와의 초기 1.18%의 차이는 관련 하이퍼파라미터 조정으로 그 순위가 역전될 수도 있다고 판단된다. 따라서 둘 중 더 우수한 활성 함수가 무엇인지 결정 짓기 어렵다.
분석 결과, Inception-BN 모델에서 ELU는 초기 학습 수렴속도가 다른 활성 함수들보다 빨랐고 정확도 역시 높았다. 결과적으로, PReLU가 5 Epoch를 기준으로 가장 높은 정확도를 보여주었다. 5 Epoch기준, PReLU와 RReLU의 정확도 차이는 0.
64%로 최종 순위 4위를 기록했다. 분석 결과, Inception-BN 모델에서 ELU는 초기 학습 수렴속도가 다른 활성 함수들보다 빨랐고 정확도 역시 높았다. 결과적으로, PReLU가 5 Epoch를 기준으로 가장 높은 정확도를 보여주었다.
LReLU는 1 Epoch때 두 번째로 낮은 정확도로 학습을 시작하였지만 2 Epoch때부터 ELU보다 높은 정확도를 보여주며 최종 순위 3위를 기록했고 ELU가 그 뒤를 이었다. 분석 결과, NIN 모델에서 PReLU와 RReLU는 초기 학습수렴속도가 다른 활성 함수들보다 빨랐고 정확도 역시 높았다. 결과적으로 PReLU가 5 Epoch를 기준으로 가장 높은 정확도를 보여주었지만 RReLU와의 초기 1.
90%로 비슷했다. 분석 결과, WRN-28-10 모델에서 1 Epoch정확도는 ELU가 가장 높지만, 3 Epoch이후 PReLU에 역전을 허용했다. ReLU를 제외한 나머지 활성 함수들의 학습 수렴속도는 큰 차이를 보이지 않았다.
LReLU와 ELU는 3, 4 Epoch때 이전보다 성능이 떨어지는 모습을 보였지만, 이후 상승세를 보였다. 분석 결과,DenseNet-161 모델에서도 ReLU를 제외한 나머지 활성 함수들의 초기 학습 수렴속도는 ReLU보다 빨랐고 정확도 역시 높았다.
ReLU는 20가지 실험에서 정확도, 손실률, 초기 학습 수렴속도 모두 성능이 가장 낮았다. 이를 바탕으로, 0보다 작은 음수가 활성값(Active-Value)으로 입력되었을 때 0이 아닌 양수로 출력하는 방법이 더 좋은 성능을 얻을 수 있다는 것을 알 수 있다.
18%의 성능 차이를 보였다. 테스트 손실률의 경우는 ELU가 0.75%로 가장 낮았으며 PReLU와 0.04%의 근소한 차이를 보였다. RReLU가 0.
98%의 성능 차이를 보였다. 테스트 손실률의 경우는 RReLU가 1.13%로 가장 낮았으며 PReLU와 0.05%의 근소한 차이를 보였다. ELU가 1.
31%의 성능 차이를 보였다. 테스트 손실률의 경우도 ELU가 0.69%로 가장 낮았으며 RReLU와 0.08%의 근소한 차이를 보였다. PReLU가 0.
01% 차이 밖에 나지 않기 때문에 사실, 동일하다고 봐도 무방하다. 테스트 손실률의 경우도 ELU가 0.94%로 가장 낮았으며 PReLU와 0.03%의 근소한 차이를 보였다. RReLU가 1.

후속연구

끝으로, 실험에 사용된 결과들은 추가 학습 및 솔버의 하이퍼파라미터 값 조정을 통해 더 높은 정확도를 얻을 수 있을 것으로 기대된다. 향후 연구 과제로 빠르고 정확한 활성 함수의 개발도 중요하지만, ReLU이후 발표 된 나머지 활성 함수들의 상하관계를 명확하게 밝힐 수 있는 연구가 필요할 것으로 사료된다.
끝으로, 실험에 사용된 결과들은 추가 학습 및 솔버의 하이퍼파라미터 값 조정을 통해 더 높은 정확도를 얻을 수 있을 것으로 기대된다. 향후 연구 과제로 빠르고 정확한 활성 함수의 개발도 중요하지만, ReLU이후 발표 된 나머지 활성 함수들의 상하관계를 명확하게 밝힐 수 있는 연구가 필요할 것으로 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	분류란 무엇인가?	패턴을 파악해 여러 클래스로 구분 짓는 작업을 분류라고 한다. ILSVRC는 이미지넷(ImageNet)[5]이 제공하는 1,000여 클래스로 분류된 100만 개의 이미지를 인식하여 그 정확도를 겨루는 대회이다.
	컨벌루션 신경망의 성능이 저하되는 이유에는 어떤것이 있는가?	CNN 역시 완벽한 분류 성능은 내지 못한다. CNN의 성능이 저하되는 이유 중 하나는 기울기 소실(Gradient Vanishing)에 있다. 기울기 소실 문제를해결하기 위해, 활성 함수(Activation Function) 측면에서 정규화 선형 유닛(Rectified Linear Unit, ReLU)[7]이 등장하였지만 이 함수도 문제점은 존재한다.
	CNN은 어떤 계층으로 구성되어 있는가?	CNN을 구성하고 있는 컨벌루션 계층(Convolution Layer), 풀링 계층(Pooling Layer) 그리고 완전연결 계층(Fully-Connected Layer)의 개념은 매우 간단하다. 컨벌루션 계층과 풀링 계층은 2차원 평면행렬에서 지정 영역의 값들을 단일값으로 압축하는 것이다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증