[논문]앙상블 학습 알고리즘을 이용한 컨벌루션 신경망의 분류 성능 분석에 관한 연구

박성욱; 김종찬; 김도연

doi:10.9717/kmms.2019.22.6.665

앙상블 학습 알고리즘을 이용한 컨벌루션 신경망의 분류 성능 분석에 관한 연구
A Study on Classification Performance Analysis of Convolutional Neural Network using Ensemble Learning Algorithm 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.22 no.6, 2019년, pp.665 - 675

박성욱 (Dept. of Computer Engineering, Sunchon National University) , 김종찬 (Dept. of Computer Engineering, Sunchon National University) , 김도연 (Dept. of Computer Engineering, Sunchon National University)

Abstract ▼ AI-Helper

In this paper, we compare and analyze the classification performance of deep learning algorithm Convolutional Neural Network(CNN) ac cording to ensemble generation and combining techniques. We used several CNN models(VGG16, VGG19, DenseNet121, DenseNet169, DenseNet201, ResNet18, ResNet34, ResNet50, ResNet101, ResNet152, GoogLeNet) to create 10 ensemble generation combinations and applied 6 combine techniques(average, weighted average, maximum, minimum, median, product) to the optimal combination. Experimental results, DenseNet169-VGG16-GoogLeNet combination in ensemble generation, and the product rule in ensemble combination showed the best performance. Based on this, it was concluded that ensemble in different models of high benchmarking scores is another way to get good results.

주제어

표/그림 (18)

그림 Fig. 1. Ensemble Methods.
그림 Fig. 2. Structure of VGG16 model.
그림 Fig. 3. Inception module with dimension reductions[8].
그림 Fig. 4. Principle of residual learning[3].
그림 Fig. 5. DenseNet with three dense blocks[9].
그림 Fig. 6. Example of a cropped insect image.
그림 Fig. 7. Representative insect images used in the experiment.
표 Table 1. Data set information
그림 Fig. 8. Accuracy and loss rate curve of VGGNet.
그림 Fig. 9. Accuracy and loss rate curve of DenseNet.
표 Table 2. Operating System and software version for reproduction
그림 Fig. 10. Accuracy and loss rate curve of ResNet.
표 Table 3. Validation performance for each model
표 Table 4. Comparison of accuracy according to ensemble generation methods in VGG model
표 Table 5. Comparison of accuracy according to ensemble generation methods in DenseNet model
표 Table 6. Comparison of accuracy according to ensemble generation methods in ResNet model
표 Table 7. Comparison of accuracy according to the classifier confidence in a weighted average rule
표 Table 8. Comparison of accuracy according to ensemble combine technique in optimum model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 CNN의 분류 성능을 개선하고자 다양한 앙상블 학습 알고리즘들을 실험했다. 여러 CNN 모델(VGG16, VGG19, DenseNet121, DenseNet169, DenseNet201, ResNet18, ResNet34, ResNet50, ResNet101, ResNet152, GoogLeNet)을 이용해 10가지 앙상블 생성 조합을 만들었고 최적 조합에 6가지 결합 규칙(평균, 가중 평균, 최대, 최소, 메디안, 곱)을 적용했다.
본 논문에서는 앙상블 생성 및 결합 규칙에 따라 CNN의 분류 성능이 어떻게 변화하는지 비교 분석했다. 학습에 사용된 CNN 모델은 Simonyan et al[7]의 VGGNet, Szegedy et al[8]의 GoogLeNet, He et al[3]의 ResNet, Huang et al[9]의 DenseNet이고 각 모델 출력층의 클래스 수를 변형시켜 사용했다.

제안 방법

모든 모델의 최상위 2개 층은 제거하고 전역 평균 풀링(Global Average Pooling, GAP)[16]층과 FC층을 추가시켰다. GAP은 별도의 파라미터(Parameter) 최적화 작업이 필요 없고 플래튼(Flatten)층과 달리 공간 정보를 반영하기 때문에 과적합(Overfitting)을 피할 수 있다.
95%의 차이를 보였다. 실험에서, 서로 구조가 다른 모델은 4개이기 때문에 4개 모델을 조합해서 실험하고 비교했다. ResNet18-ResNet34-ResNet50-ResNet101-ResNet152의 경우, 96.
DenseNet169-VGG16-GoogLeNet의 첫 번째 모델은 DenseNet169, 두 번째 모델은 VGG16, 세 번째 모델은 GoogLeNet이다. 실험은 기준이 되는 모델 1개와 나머지 모델 2개의 신뢰도를 변경하며 진행했다. 이때, 나머지 모델들의 신뢰도는 동일하게 설정했다.
본 논문에서는 CNN의 분류 성능을 개선하고자 다양한 앙상블 학습 알고리즘들을 실험했다. 여러 CNN 모델(VGG16, VGG19, DenseNet121, DenseNet169, DenseNet201, ResNet18, ResNet34, ResNet50, ResNet101, ResNet152, GoogLeNet)을 이용해 10가지 앙상블 생성 조합을 만들었고 최적 조합에 6가지 결합 규칙(평균, 가중 평균, 최대, 최소, 메디안, 곱)을 적용했다.
GAP은 별도의 파라미터(Parameter) 최적화 작업이 필요 없고 플래튼(Flatten)층과 달리 공간 정보를 반영하기 때문에 과적합(Overfitting)을 피할 수 있다. 최종 출력층의 활성 함수는 소프트맥스를 사용했다. 소프트맥스는 최종 출력에서 가장 높은 확률값을 정답 클래스로 분류한다.
DenseNet은 ResNet과 달리 합산이 아닌 연결을 통해 이전층의 출력과 현재층의 출력이 합쳐진다. 특징맵(Feature Map)의 크기를 줄이는 다운 샘플링(Down Sampling)을 용이하게 하기 위해 Fig. 5처럼 모델을 여러 개의 밀집된 블록(Dense Block)으로 나누고 블록 내 하위층 가중치(Weight)를 상위층에 모두 분산시킨다.
하이퍼파라미터(Hyper-parameter) 설정은 3.2절에서 언급했던 내용과 동일하며 테스트 데이터세트 5,400장을 사용하여 출력된 정확도를 통해 앙상블 생성 조합 및 6가지 결합 규칙들의 성능을 평가했다. Table 4∼Table 6의 앙상블 생성 실험에서는 단일 모델과 층의 깊이만 다른 모델 앙상블을 비교하고 층의 깊이만 다른 모델 앙상블과 서로 다른 구조의 모델 앙상블을 비교했다.

대상 데이터

Table 7에서 모든 α값의 합은 1이다. DenseNet169-VGG16-GoogLeNet의 첫 번째 모델은 DenseNet169, 두 번째 모델은 VGG16, 세 번째 모델은 GoogLeNet이다. 실험은 기준이 되는 모델 1개와 나머지 모델 2개의 신뢰도를 변경하며 진행했다.
불균형 클래스의 데이터세트는 결과의 신뢰도를 저해하기 때문에 각 곤충 클래스 영상에 플립핑(Flipping), 시어링(Shearing), 확대/축소, 회전등의 데이터 증대를 적용하여 훈련세트 1,458장, 검증세트 162장, 테스트세트 180장으로 조정했다. 결과적으로 훈련세트는 43,740장, 검증세트는 4,860장, 테스트세트는 5,400장이 되고 실험은 총합 54,000장의 영상을 이용했다. 데이터세트 세부사항은 Table 1, 대표 곤충 영상은 Fig.
이미지넷(ImageNet)에서 5종, 웹 크롤링(Web Crawling)으로 25종 클래스의 영상을 수집했고 별도의 전처리(Preprocessing)작업을 했다. 데이터는 현실 상황에 최대한 가까운 모습을 가지는 것이 이상적이라 사료되어 잡음(Noise)이 심한 데이터를 최대한 제거했고 Fig. 6와 같이 클래스 정보를 훼손하지 않는 범위에서 영상을 크롭(Crop)하여 실험 데이터세트로 구성했다.
학습에 사용된 CNN 모델은 Simonyan et al[7]의 VGGNet, Szegedy et al[8]의 GoogLeNet, He et al[3]의 ResNet, Huang et al[9]의 DenseNet이고 각 모델 출력층의 클래스 수를 변형시켜 사용했다. 딥러닝 라이브러리로 텐서플로(Tensorflow)[10], 상위 툴로 케라스(Keras)[11]를 사용했다. 텐서플로는 복잡한 신경망을 구성하여 딥러닝 문제를 효과적으로 해결하는 공개소스 소프트웨어 라이브러리다.
훈련, 검증, 테스트 시 영상 크기는 VGGNet, GoogLeNet, ResNet, DenseNet 모두 299*299 화소(Pixel)로 조절했다. 불균형 클래스의 데이터세트는 결과의 신뢰도를 저해하기 때문에 각 곤충 클래스 영상에 플립핑(Flipping), 시어링(Shearing), 확대/축소, 회전등의 데이터 증대를 적용하여 훈련세트 1,458장, 검증세트 162장, 테스트세트 180장으로 조정했다. 결과적으로 훈련세트는 43,740장, 검증세트는 4,860장, 테스트세트는 5,400장이 되고 실험은 총합 54,000장의 영상을 이용했다.
실험 영상은 주변에서 쉽게 관찰할 수 있는 30종의 산림곤충으로 선정했다. 이미지넷(ImageNet)에서 5종, 웹 크롤링(Web Crawling)으로 25종 클래스의 영상을 수집했고 별도의 전처리(Preprocessing)작업을 했다.
앙상블 생성 조합에 기준이 되는 모델을 선정하기 위해 VGGNet(VGG16, VGG19), ResNet(ResNet18, ResNet34, ResNet50, ResNet101, ResNet152), DenseNet(DenseNet121, DenseNet169, DenseNet201), GoogLeNet을 훈련시켰다. VGGNet, ResNet, DenseNet, GoogLeNet은 2.
실험 영상은 주변에서 쉽게 관찰할 수 있는 30종의 산림곤충으로 선정했다. 이미지넷(ImageNet)에서 5종, 웹 크롤링(Web Crawling)으로 25종 클래스의 영상을 수집했고 별도의 전처리(Preprocessing)작업을 했다. 데이터는 현실 상황에 최대한 가까운 모습을 가지는 것이 이상적이라 사료되어 잡음(Noise)이 심한 데이터를 최대한 제거했고 Fig.
즉, 앙상블의 다양성이 더 좋은 성능을 발휘한다는 것을 보이기 위함이다. 총 11개 모델로, 1 에폭(Epoch)마다 검증 데이터로 훈련 결과를 모니터링 했다.
하드웨어 사양의 경우는 CPU(Central Processing Unit)는 Intel Core i7 7세대 Kaby Lake 7700K, Graphics Card는 NVIDIA TITAN Xp 12GB, RAM은 삼성 DDR4 32GB, SSD(Solid State Drive)는 삼성전자 850 Pro 512GB를 사용했다. 실험에 사용된 운영체제(Operating System) 및 소프트웨어 버전은 Table 2와 같다.

이론/모형

가중치 초기화의 경우, 참여한 CNN 모델 모두 글로로트 균등 분포(Glorot Uniform Distribution)[22] 방법을 사용했고, 미니 배치(Mini Batch) 크기는 ‘32’, 에폭은 ‘100’으로 설정했다.
10은 DenseNet이며 100 에폭까지의 검증 정확도 및 손실률 변화를 나타낸다. 검증 데이터의 정확도가 최고점이면 모델을 저장하는 모델 체크포인트(Model Check-point) 알고리즘을 적용했고, 최적 학습 에폭을 자동으로 탐색하게 설정했다. 훈련 결과는 VGGNet은 VGG16 모델이 52 에폭에서 95.
최적화기의 경우, VGGNet, ResNet, DenseNet은 확률적 경사 하강법(Stochastic Gradient Descent, SGD)[19]을 사용했고, 학습률=‘0.01’, 모멘텀(Momentum)=‘0’, 가중치 감쇠(Weight Decay)=‘0’, 네스테로프(Nesterov)[20]=“False”로 설정했다.
본 논문에서는 앙상블 생성 및 결합 규칙에 따라 CNN의 분류 성능이 어떻게 변화하는지 비교 분석했다. 학습에 사용된 CNN 모델은 Simonyan et al[7]의 VGGNet, Szegedy et al[8]의 GoogLeNet, He et al[3]의 ResNet, Huang et al[9]의 DenseNet이고 각 모델 출력층의 클래스 수를 변형시켜 사용했다. 딥러닝 라이브러리로 텐서플로(Tensorflow)[10], 상위 툴로 케라스(Keras)[11]를 사용했다.
훈련에 참여한 CNN 모델 모두 손실 함수(Loss Function)는 크로스 엔트로피(Cross Entropy)[17]를 사용했고, 활성 함수는 정규화 선형 유닛(Rectified Linear Unit, ReLU)[18]을 사용했다. 크로스 엔트로피는 오류가 클수록 높은 패널티(Penalty)를 부과하기 때문에 딥러닝에서 느린 학습 문제를 보완한다.

성능/효과

10가지 앙상블 생성 실험에서는 DenseNet169-VGG16-GoogLeNet 조합이 97.79%의 정확도로 가장 높은 성능을 보여줬다. Table 4∼Table 6 결과에서 층의 깊이만 다른 모델을 앙상블 하는 것보다 서로 다른 구조의 모델을 앙상블 하는 것이 더 좋은 결과를 보였다.
6가지 결합 규칙을 이용한 23가지 앙상블 결합 실험에서는 곱 규칙이 98.05%의 정확도로 가장 높은 성능을 보여줬다. 곱 규칙은 모델 하나가 아주 낮은 확률을 출력하면 해당 클래스의 최종 예측값이 0에 가까워지는 문제가 생기지만 앙상블이 본 논문처럼 높은 벤치마킹 점수의 모델들로만 구성되었을 때는 우수한 성능을 낼 수 있었다.
30%의 가장 낮은 정확도를 보여줬다. ResNet34-VGG16-GoogLeNet-DenseNet169 조합이 97.25%로 가장 높은 정확도를 보여줬고 ResNet34와 2.95%의 차이를 보였다. 실험에서, 서로 구조가 다른 모델은 4개이기 때문에 4개 모델을 조합해서 실험하고 비교했다.
98%의 가장 우수한 성능을 보였다. VGG16과 GoogLeNet은 기준 모델의 신뢰도가 0.4, 나머지 모델의 신뢰도가 0.3일 때 가장 높은 정확도를 기록했지만 1위와 0.39%, 0.32%의 성능 차이를 보였다.
결과적으로, 높은 벤치마킹 점수의 상이한 모델을 앙상블 하는 것도 유의미한 결과를 얻을 수 있는 방법이라고 결론 지었다. 테스트 정확도는 임의 탐색(Random Search)[28], 베이지안(Bayesian)[29] 같은 하이퍼라라미터 최적화 알고리즘을 이용하면 보다 향상시킬 수 있을 것으로 사료된다.
05%의 정확도로 가장 높은 성능을 보여줬다. 곱 규칙은 모델 하나가 아주 낮은 확률을 출력하면 해당 클래스의 최종 예측값이 0에 가까워지는 문제가 생기지만 앙상블이 본 논문처럼 높은 벤치마킹 점수의 모델들로만 구성되었을 때는 우수한 성능을 낼 수 있었다. 가중 평균 규칙 방법은 97.
79%로 가장 높은 정확도를 보여줬다. 단일 모델 DenseNet169는 97.11%로 가장 낮은 정확도를 보였고 DenseNet169-VGG16-GoogLeNet과 0.68%의 차이를 보였다. DenseNet169-GoogLeNet-ResNet34가 97.
98%의 정확도로 두 번째로 높은 성능을 기록했다. 신뢰도 1을 모든 모델에 균등하게 나누는 방법이 그렇지 않은 방법보다 성능이 좋았고 단일 모델 테스트에서 정확도가 가장 높았던 DenseNet169에 다른 모델보다 높은 신뢰도를 주는 선택이 가장 나은 결과를 보였다.
케라스는 딥러닝 모델을 만들기 위한 고수준의 구성 요소를 제공하는 모델 수준의 라이브러리다. 실험 결과, 앙상블 생성에서는 DenseNet169-VGG16-GoogLeNet 조합이, 앙상블 결합에서는 곱 규칙(Product Rule)이 가장 우수한 성능을 보였다.
Table 6 결과에서 앙상블 생성에서 큰 수의 법칙이 항상 성립되지 않음을 보였다. 위 결과들을 종합해보면, 앙상블 생성에 참여한 모델 개수나 최상위 모델이 얼마나 우수한지보다 후보 모델의 다양성이 성능 향상에 더 크게 기여할 것이라 판단된다.
이때, 나머지 모델들의 신뢰도는 동일하게 설정했다. 총 18가지 실험에서 기준 모델이 DenseNet169일 때 97.98%의 가장 우수한 성능을 보였다. VGG16과 GoogLeNet은 기준 모델의 신뢰도가 0.
Table 8은 앙상블 생성 실험에서 가장 성능이 좋았던 DenseNet169-VGG16-GoogLeNet 조합에 평균, 최대, 최소, 메디안, 곱 규칙을 적용한 결과다. 총 5가지 실험에서 곱 규칙이 98.05%로 가장 높은 정확도를 보여주었고 Table 7의 가중 평균 규칙 결과 A보다도 0.07% 더 높았다. 최대 규칙을 제외한 최소, 메디안 규칙은 정확도가 평균 규칙보다 0.
06% 높았다. 최대 규칙은 정확도가 평균 규칙보다 0.28% 낮았지만 단일 모델 및 층의 깊이만 다른 모델을 앙상블 하는 방법보다 성능이 좋았다.
07% 더 높았다. 최대 규칙을 제외한 최소, 메디안 규칙은 정확도가 평균 규칙보다 0.09%, 0.06% 높았다. 최대 규칙은 정확도가 평균 규칙보다 0.
GoogLeNet은 단일 모델로 훈련했기 때문에 따로 그래프를 삽입하지 않았다. 최적 학습 에폭에서 VGG16의 손실률(Loss Rate)은 0.3098%, ResNet34는 0.3134%, DenseNet169는 0.1185%, GoogLeNet은 0.3134%를 기록했다. 모든 모델의 훈련 결과 세부사항은 Table 3과 같다.
51%로 그 뒤를 이었다. 층의 깊이만 다른 모델을 앙상블해도 단일 모델 보다는 결과가 좋았고 층의 깊이만 다른 모델을 앙상블 하는 것보다 서로 다른 구조의 모델을 앙상블 하는 것이 더 나은 결과를 보였다.
검증 데이터의 정확도가 최고점이면 모델을 저장하는 모델 체크포인트(Model Check-point) 알고리즘을 적용했고, 최적 학습 에폭을 자동으로 탐색하게 설정했다. 훈련 결과는 VGGNet은 VGG16 모델이 52 에폭에서 95.40%, ResNet은 ResNet34 모델이 68 에폭에서 93.68%, DenseNet은 DenseNet169 모델이 95 에폭에서 97.46%의 가장 높은 정확도를 기록했다. GoogLeNet은 75 에폭에서 94.
훈련, 검증, 테스트 시 영상 크기는 VGGNet, GoogLeNet, ResNet, DenseNet 모두 299*299 화소(Pixel)로 조절했다. 불균형 클래스의 데이터세트는 결과의 신뢰도를 저해하기 때문에 각 곤충 클래스 영상에 플립핑(Flipping), 시어링(Shearing), 확대/축소, 회전등의 데이터 증대를 적용하여 훈련세트 1,458장, 검증세트 162장, 테스트세트 180장으로 조정했다.

후속연구

가중 평균 규칙의 경우, 다른 조합방식으로 추가실험 하여 곱 규칙과의 성능 차이를 더 좁힐 수 있을 것이라 판단된다. 두 규칙 간 성능 차이는 0.
결과적으로, 높은 벤치마킹 점수의 상이한 모델을 앙상블 하는 것도 유의미한 결과를 얻을 수 있는 방법이라고 결론 지었다. 테스트 정확도는 임의 탐색(Random Search)[28], 베이지안(Bayesian)[29] 같은 하이퍼라라미터 최적화 알고리즘을 이용하면 보다 향상시킬 수 있을 것으로 사료된다.
향후 과제는 실험에 사용된 학습 알고리즘들의 상하관계를 보다 명확하게 밝혀 앙상블 예측에서 시간과 비용을 절약하는데 도움이 될 수 있는 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CNN 신경망에서 이미지가 어떻게 인식 및 분류 되는가?	이미지 인식 작업에 특화된 컨벌루션 신경망(Convolutional Neural Network, CNN)[2]은 동물의 시각피질을 인공적으로 흉내 내어 필기체 숫자나 얼굴과 같은 복잡한 이미지를 효율적으로 인식할 수 있다. CNN은 크게 컨벌루션층에서 이미지를 변환하고 풀링(Pooling)층에서 차원을 축소하며 분류(Classification)층에서 클래스(Class)를 분류한다.CNN은 선구적인 연구를 계속해 왔기 때문에 특정 분야의 이미지 인식에서는 사람보다 높은 정밀도를 얻을 수 있지만 아직 완벽한 성능은 내지 못한 실정이다[3].
	앙상블이 의미하는 바는?	이미지 인식 분야에서는 이전보다 분류 성능을 높이기 위해 앙상블 방법을 주로 사용한다. 앙상블이란여러 전문가로부터 얻은 다수의 의견을 가장 합리적이면서 효율적인 방법으로 결합하여 의사결정하는 방법이다. 딥러닝에서 앙상블 방법은 여러 모델(Model)이 출력한 예측값(Prediction Value)을 적절한 방법으로 결합하여 더 높은 정확도(Accuracy)를 출력한다[4].
	컴퓨터 비전(Computer Vision) 분야에서 이미지 인식(Image Recognition) 문제가 지난 몇 년간 큰 개선을 이루게 된 요소는?	컴퓨터 비전(Computer Vision) 분야에서 이미지 인식(Image Recognition) 문제는 지난 몇 년 사이큰 개선을 이뤘다. 이 개선에는 ‘컴퓨팅 파워의 증가’,‘ GPGPU(General-Purpose computing on Graphics Processing Units)’,‘인터넷 기술의 발전’등의 요소가 크게 기여했다. 컴퓨팅 파워의 증가는 오류 역전파 (Back-Propagation) 기법의 개발과 함께 딥러닝(Deep Learning)[1] 알고리즘의 진화를 촉진시켰고 GPGPU와 같은 GPU(Graphics ProcessingUnit) 범용 프로그래밍 방법의 개발은 신경망(Neural Network)을 병렬로 학습할 수 있게 하여 기존 대비 작업속도를 10배 이상 향상시켰다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증