[논문]대용량 이미지넷 인식을 위한 CNN 기반 Weighted 앙상블 기법

정희철; 최민국; 김준광; 권순; 정우영

doi:10.14372/iemek.2020.15.4.197

대용량 이미지넷 인식을 위한 CNN 기반 Weighted 앙상블 기법
CNN-based Weighted Ensemble Technique for ImageNet Classification 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.15 no.4, 2020년, pp.197 - 204

정희철 (Kyungpook National University) , 최민국 (hutom) , 김준광 (DGIST) , 권순 (DGIST) , 정우영 (DGIST)

Abstract ▼ AI-Helper

The ImageNet dataset is a large scale dataset and contains various natural scene images. In this paper, we propose a convolutional neural network (CNN)-based weighted ensemble technique for the ImageNet classification task. First, in order to fuse several models, our technique uses weights for each model, unlike the existing average-based ensemble technique. Then we propose an algorithm that automatically finds the coefficients used in later ensemble process. Our algorithm sequentially selects the model with the best performance of the validation set, and then obtains a weight that improves performance when combined with existing selected models. We applied the proposed algorithm to a total of 13 heterogeneous models, and as a result, 5 models were selected. These selected models were combined with weights, and we achieved 3.297% Top-5 error rate on the ImageNet test dataset.

주제어

표/그림 (5)

그림 그림 1. 제안하는 weighted 앙상블 기법 Fig. 1 Proposed method
표 표 1. 가중치를 구하는 제안 알고리즘 Table 1. Proposed algorithm for computing weights
그림 그림 2. 각 모델별 Top-5 에러율 비교. Fig. 2 Comparison of Top-5 error rates for each model
그림 그림 3. 덴스 크롭에 사용된 스케일 종류 예시 Fig. 3 Examples of scales used for dense crop
표 표 2. 최종 선택된 모델 및 제안 기법 성능 Table 2. Performances of final models and proposed method.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 대용량 데이터셋인 이미지넷 데이터셋의 분류를 위한 새로운 앙상블 기법을 제안하였다. 첫째, 여러 CNN 모델을 통합하기 위해 기존의 평균 기반 앙상블 기술과 달리 가중치를 활용하였다.
현재 EfficientNet [10], NasNet[11], SENet [12], DenseNet [13], ResNeXt[14] 등의 아키텍쳐 형태의 발전은 급격하지만, 결국 마지막에는 평균 기반의 앙상블 기법을 적용하게 된다. 본 연구에서는 이러한 단순 평균 앙상블 기법보다 더 나은 방법에 대해 제시하고 실험으로 검증하였다. 또한, 본 논문에서 제안한 weighted 앙상블 알고리즘의 경우 최근에 제안된 아키텍쳐에도 적용이 가능한 기술이다.
본 연구의 주 목적은 세계 최고 기록을 달성하는 것은 아니며, 일반적으로 딥러닝에서 사용되는 평균 기반의 앙상블 기법보다 더 좋은 방법을 찾기 위한 연구이다. 현재 EfficientNet [10], NasNet[11], SENet [12], DenseNet [13], ResNeXt[14] 등의 아키텍쳐 형태의 발전은 급격하지만, 결국 마지막에는 평균 기반의 앙상블 기법을 적용하게 된다.

가설 설정

세 번째는 입력 데이터의 무작위 셔플링 덕분에 앙상블에 효과가 있을 것으로 추측된다. 네트워크가 학습에 사용되는 이미지를 보는 순서에 따라 학습된 모델의 특성이 바뀔 수 있으므로, 앙상블을 할 때 시너지 효과를 이룰 수 있을 것이다.

제안 방법

먼저, ResNet의 마지막 컨볼루션 레이어 (convolutional layer) 이후 전역 평균 풀링 레이어 (global average pooling layer) 부분을 7x7의 평균 풀링 (average pooling)으로 교체하였다. 또한 2048x1000 크기의 마지막 선형 레이어 (linear fully connected layer)를 1x1x2048x1000의 컨볼루션 레이어로 변환하여 다양한 이미지 크기를 입력받을 수 있도록 하였다.
또한 우리는 보다 높은 인식률 달성을 위해 테스트 시에도 데이터 증강 기법을 사용하였다. AlexNet은 논문에서 제안한 것과 마찬가지로 10 크롭을 이용하여 테스트하였으며, GoogLeNet은 싱글 크롭 (single crop), 그리고 Tensorflow 기반의 모델들은 144 크롭을 사용했고, Caffe 및 Torch 기반의 ResNet 관련 모델들은 덴스 크롭 기법을 사용하였다.
또한, 제안 알고리즘에서는 탐욕 탐색(greedy search)를 이용해 검증 셋의 성능만을 고려하여 모델을 선택하게 된다. 하지만, 그 과정에서 모델의 파라미터 수라든지, 깊이, 차지하는 메모리 양도 같이 고려하여 최적화하게 된다면, 모델의 성능과 무거움 (heavy) 정도를 저울질하여 최고의 인식률을 갖으면서도 일정 이하의 계산량을 갖게 되는 최적의 모델 조합도 찾아낼 수 있을 것이다.
이를 효율적으로 구현하기 위해 우리는 다음과 같은 방법으로 ResNet 모델을 변형하였다. 먼저, ResNet의 마지막 컨볼루션 레이어 (convolutional layer) 이후 전역 평균 풀링 레이어 (global average pooling layer) 부분을 7x7의 평균 풀링 (average pooling)으로 교체하였다. 또한 2048x1000 크기의 마지막 선형 레이어 (linear fully connected layer)를 1x1x2048x1000의 컨볼루션 레이어로 변환하여 다양한 이미지 크기를 입력받을 수 있도록 하였다.
본 연구에서 특성이 다른 모델 여러개를 사용하여 앙상블 기법을 적용하고 있다. 하지만, 본 연구에서는 서로 다른 네트워크 구조를 사용함으로써 얻는 이득에 대해서는 실험을 진행하지 않았다.
본 연구에서는 먼저 그림 1과 같이 weighted 앙상블 기법을 제안한다. Weighted 앙상블 기법은 서로 다른 성질을 갖는 모델들이 서로 밸런스가 맞도록 하는 앙상블 기법으로, 검증 셋 (validation set)에서의 성능이 좋은 모델에 더 큰 가중치를 주도록 설계되었다.
우리의 제안 기법은 모델이 N개일 때, N차원에서의 최적의 해를 찾는 문제라고 할 수 있다. 우리는 최적의 가중치를 찾기 위해 표 1과 같이 탐욕(greedy) 방식으로 w_i를 찾는 알고리즘을 제안한다. 제안 알고리즘은 가장 성능이 좋은 모델부터 순차적으로 검증 셋에 대한 인식률이 가장 잘 나오는 조합을 찾는 과정이다.
GoogLeNet에서는 추론하고자하는 이미지를 144차례 크롭하여 각 크롭된 이미지를 모델의 입력으로 사용한 뒤, 그 결과들을 평균 내는 데이터 증강(data augmentation) 기반 앙상블 기법을 사용하였다. 이 당시 2위를 기록했던 VGGNet의 경우에는 GoogLeNet의 144 크롭보다 더 많은 크롭을 적용하는 덴스 크롭 (dense crop) 기법을 제안하였다.
첫째, 여러 CNN 모델을 통합하기 위해 기존의 평균 기반 앙상블 기술과 달리 가중치를 활용하였다. 이후 앙상블에 사용된 계수를 자동으로 찾는 알고리즘을 제안하였다. 제안 알고리즘은 validation set의 성능을 최대화하는 모델을 순차적으로 선택한 이후 기존에 선택된 모델과 앙상블을 할 때 성능을 향상시킬 수 있도록 가중치를 조정하였다.
이후 앙상블에 사용된 계수를 자동으로 찾는 알고리즘을 제안하였다. 제안 알고리즘은 validation set의 성능을 최대화하는 모델을 순차적으로 선택한 이후 기존에 선택된 모델과 앙상블을 할 때 성능을 향상시킬 수 있도록 가중치를 조정하였다. 결론적으로 제안 알고리즘을 이용하여 총 13개의 heterogeneous 모델에 앙상블을 적용한 결과 8개의 모델은 가중치가 0으로 얻어져 최종 앙상블 모델에 선택되지 않았으며 나머지 5개의 모델이 선택되었다.
본 연구에서는 대용량 데이터셋인 이미지넷 데이터셋의 분류를 위한 새로운 앙상블 기법을 제안하였다. 첫째, 여러 CNN 모델을 통합하기 위해 기존의 평균 기반 앙상블 기술과 달리 가중치를 활용하였다. 이후 앙상블에 사용된 계수를 자동으로 찾는 알고리즘을 제안하였다.
2%의 Top-5 인식 에러율을 보였다. 테스트 성능 향상을 위해 10 크롭 (crop)방식을 테스트 과정에서 적용하였다.

대상 데이터

를 다운로드 받아 활용하였다. 또한, 두 ResNet 152층 모델 중 하나의 모델과 200층, 212층, 224층 모델은 Torch Framework를 사용한 코드³⁾를 활용하여 직접 학습하였다. 그리고 Inception v3와 Inception-ResNet v2 모델은 Tensorflow에서 제공하는 모델⁴⁾을 다운로드 받아 사용하였다.
제안 기법을 이용하기 위해서는 아키텍쳐가 서로 다른 형태를 띠는 여러 모델들이 필요하다. 본 연구에서는 그림 2와 같이 2012년도부터 2015년도까지 ILSVRC에서 우승했던 대표적인 아키텍쳐들(AlexNet, GoogleNet, ResNet)을 포함하여 Inception V3 [16], Inception-ResNet v2 [17]아키텍쳐 등 총 13개의 모델을 앙상블을 위한 베이스라인 모델로 활용하였다.
57%의 에러률을 달성하였다. 이 때 사용된 모델은 2개의 152층 모델을 포함한 총 6개의 모델의 앙상블 모델이었다. (152층 단일 모델 약 4.
이 중 AlexNet, GoogLeNet, ResNet 등은 Caffe 프레임워크에 기반한 공개된 학습된 모델²⁾를 다운로드 받아 활용하였다. 또한, 두 ResNet 152층 모델 중 하나의 모델과 200층, 212층, 224층 모델은 Torch Framework를 사용한 코드³⁾를 활용하여 직접 학습하였다.
Weighted 앙상블 기법은 서로 다른 성질을 갖는 모델들이 서로 밸런스가 맞도록 하는 앙상블 기법으로, 검증 셋 (validation set)에서의 성능이 좋은 모델에 더 큰 가중치를 주도록 설계되었다. 이를 위해 우리는 AlexNet [6], GoogLeNet [7], ResNet [9] 등 10가지 서로 다른 아키텍쳐를 이용하여 총 13개의 모델을 학습시켰다. 우리가 제안하는 weighted 앙상블 기법을 적용하게 되면 다양한 모델을 포함한 풀에서 자동으로 테스트 과정에 도움을 줄 가능성이 높은 모델만 선택할 수 있게 된다.
이미지넷 데이터셋의 검증 셋은 각 클래스당 50장의 이미지로 구성되어있으며, 총 50,000장의 이미지로 이루어져있다. 테스트 셋 (test set)은 각 클래스당 100장의 이미지로 구성되어 총 100,000장의 테스트 이미지가 있다.
각 모델별 Top-5 에러율 비교. 이미지넷의 학습 셋을 사용하여 학습을 하였으며, 검증 셋을 이용하여 테스트를 수행. 동일한 이름을 갖는 모델은 같은 아키텍쳐 구조에 서로 다른 랜덤 초기값으로부터 학습시킨 모델임.
표 2에서는 제안 기법을 사용하여 산출된 정량적 수치를 보여준다. 제안 기법을 통해 총 13개의 모델 중에 ResNet 224층, 212층 모델 두 개, 그리고 Inception v3, Inception-ResNet v2 등이 선택되었다. 주목할 만한 것은 두 ResNet 224층 모델 가운데 하나의 모델은 성능향상에 도움이 되지 않아 선택이 되지 않았다.
이미지넷 데이터셋의 검증 셋은 각 클래스당 50장의 이미지로 구성되어있으며, 총 50,000장의 이미지로 이루어져있다. 테스트 셋 (test set)은 각 클래스당 100장의 이미지로 구성되어 총 100,000장의 테스트 이미지가 있다. 테스트 셋은 검증 셋과는 달리 레이블 (label)을 직접 제공하지 않으며, 웹 페이지를 통해 제출된 결과로부터 인식률을 얻을 수 있도록 구성되어있다.

이론/모형

또한 우리는 보다 높은 인식률 달성을 위해 테스트 시에도 데이터 증강 기법을 사용하였다. AlexNet은 논문에서 제안한 것과 마찬가지로 10 크롭을 이용하여 테스트하였으며, GoogLeNet은 싱글 크롭 (single crop), 그리고 Tensorflow 기반의 모델들은 144 크롭을 사용했고, Caffe 및 Torch 기반의 ResNet 관련 모델들은 덴스 크롭 기법을 사용하였다. 그림 3은 본 연구에서 사용한 덴스 크롭에 사용된 스케일(scale) 종류 예시를 보여준다.
이 두 가지 모델 모두 정확한 예측을 위해 모델 앙상블 기법을 사용하였다. GoogLeNet에서는 추론하고자하는 이미지를 144차례 크롭하여 각 크롭된 이미지를 모델의 입력으로 사용한 뒤, 그 결과들을 평균 내는 데이터 증강(data augmentation) 기반 앙상블 기법을 사용하였다. 이 당시 2위를 기록했던 VGGNet의 경우에는 GoogLeNet의 144 크롭보다 더 많은 크롭을 적용하는 덴스 크롭 (dense crop) 기법을 제안하였다.
또한, 두 ResNet 152층 모델 중 하나의 모델과 200층, 212층, 224층 모델은 Torch Framework를 사용한 코드³⁾를 활용하여 직접 학습하였다. 그리고 Inception v3와 Inception-ResNet v2 모델은 Tensorflow에서 제공하는 모델⁴⁾을 다운로드 받아 사용하였다.
우리는 Weighted ensemble 기법을 매트랩 (Matlab)을 통해 구현하였다. 연산 크기가 큰 각 모델의 검증 셋에 대한 출력값들은 GPU 기반의 코드를 통해 미리 추출해놓고, 연산량이 많지 않은 weighted 앙상블 기법은 CPU 기반으로 알고리즘을 적용하였다.
우리는 Weighted ensemble 기법을 매트랩 (Matlab)을 통해 구현하였다. 연산 크기가 큰 각 모델의 검증 셋에 대한 출력값들은 GPU 기반의 코드를 통해 미리 추출해놓고, 연산량이 많지 않은 weighted 앙상블 기법은 CPU 기반으로 알고리즘을 적용하였다.
2014년도에는 Google에서 제안한 GoogLeNet [7]이 우승을 차지하게 되었고, AlexNet의 receptive field 크기를 고려한 VGGNet [8]은 2등을 차지하게 되었다. 이 두 가지 모델 모두 정확한 예측을 위해 모델 앙상블 기법을 사용하였다. GoogLeNet에서는 추론하고자하는 이미지를 144차례 크롭하여 각 크롭된 이미지를 모델의 입력으로 사용한 뒤, 그 결과들을 평균 내는 데이터 증강(data augmentation) 기반 앙상블 기법을 사용하였다.

성능/효과

우리는 이 결과를 기반으로 여러 모델들의 추론 결과를 조합할 때는 각 모델이 높은 인식률을 갖는 것도 중요하지만, 조합을 했을 때 각 모델의 출력 간에 상호 보완적 효과가 일어나는 것이 앙상블에 있어 더욱 중요한 요인이라는 결론을 얻을 수 있었다. 결론적으로 우리는 총 5가지의 모델들을 제안한 가중치 기반의 조합을 했을 때, 3.297%의 Top-5 에러율을 달성할 수 있었으며, 이는 우리가 구한 5가지 모델들의 평균 앙상블을 적용했을 때 대비 약 0.06%의 에러율 향상이 있었다.
제안 알고리즘은 validation set의 성능을 최대화하는 모델을 순차적으로 선택한 이후 기존에 선택된 모델과 앙상블을 할 때 성능을 향상시킬 수 있도록 가중치를 조정하였다. 결론적으로 제안 알고리즘을 이용하여 총 13개의 heterogeneous 모델에 앙상블을 적용한 결과 8개의 모델은 가중치가 0으로 얻어져 최종 앙상블 모델에 선택되지 않았으며 나머지 5개의 모델이 선택되었다. 이 5개의 모델을 이용하여 우리는 ImageNet test set에서 3.
앙상블 성능은 각 모델의 아키텍쳐와, 파라미터 수, 모델의 인식률 등의 요인들이 복합적으로 작용을 하지만 이를 통제하여 실험을 진행하는 것은 상당히 어렵다. 다만, 본 연구에서 진행한 실험(표 2)을 통해 결론을 내릴 수 있는 부분은 특성이 서로 다른 모델들이 조합된 경우 단순 평균 앙상블보다는 가중치 기반의 앙상블 기법이 더욱 좋다고 결론을 내릴 수 있다.
본 연구에서는 이러한 단순 평균 앙상블 기법보다 더 나은 방법에 대해 제시하고 실험으로 검증하였다. 또한, 본 논문에서 제안한 weighted 앙상블 알고리즘의 경우 최근에 제안된 아키텍쳐에도 적용이 가능한 기술이다.
전통적인 앙상블 기법은 일반적으로 서로 동일한 구조를 갖는 아키텍쳐를 이용하며, 모든 네트워크들이 동일한 가중치를 이용하여 앙상블이 이루어진다. 본 연구에서는 이러한 기존의 기법과는 달리 모델 간 가중치 기반의 추론 정보 융합 기법에 대해 제안하여 기존의 앙상블 기법에 비해 높은 성능을 달성하였다.
또한 Inception v3와 ResNet 212 두 개 모델 중 하나는 오히려 ResNet 200층보다 낮은 성능을 갖는데도 불구하고 선택되었으며, 반대로 ResNet 200은 선택되지 않았다. 우리는 이 결과를 기반으로 여러 모델들의 추론 결과를 조합할 때는 각 모델이 높은 인식률을 갖는 것도 중요하지만, 조합을 했을 때 각 모델의 출력 간에 상호 보완적 효과가 일어나는 것이 앙상블에 있어 더욱 중요한 요인이라는 결론을 얻을 수 있었다. 결론적으로 우리는 총 5가지의 모델들을 제안한 가중치 기반의 조합을 했을 때, 3.
결론적으로 제안 알고리즘을 이용하여 총 13개의 heterogeneous 모델에 앙상블을 적용한 결과 8개의 모델은 가중치가 0으로 얻어져 최종 앙상블 모델에 선택되지 않았으며 나머지 5개의 모델이 선택되었다. 이 5개의 모델을 이용하여 우리는 ImageNet test set에서 3.297% Top-5 에러율을 달성할 수 있었다.
우리가 제안하는 weighted 앙상블 기법을 적용하게 되면 다양한 모델을 포함한 풀에서 자동으로 테스트 과정에 도움을 줄 가능성이 높은 모델만 선택할 수 있게 된다. 이 결과 우리는 총 5개의 모델을 선택할 수 있었고, 기존의 평균값 기반의 앙상블 기법에 비해 더 좋은 성능을 얻을 수 있다. 평가 결과에 따르면 5개의 모델에 대한 평균 앙상블을 적용 했을 때 3.
4%로 개선시켰다. 이 당시 사용된 모델의 인식 결과는 AlexNet 5개를 앙상블을 통해 얻은 결과이며, 단일 모델은 약 18.2%의 Top-5 인식 에러율을 보였다. 테스트 성능 향상을 위해 10 크롭 (crop)방식을 테스트 과정에서 적용하였다.
제안하는 기법으로 얻어진 5가지의 모델이 아닌 총 13개의 모델을 이용하여 평균 앙상블을 적용한 경우에는 4% 이상의 에러율을 기록하여 최고 성능의 모델에 비해 에러율이 상승하는 결과를 얻을 수 있었다. 이는 AlexNet과 GoogLeNet과 같이 절대 성능이 낮은 모델을 평균 앙상블에 함께 활용할 경우 최종 출력에 좋지 못한 영향을 끼치는 것으로 추정된다.
이처럼 제안하는 기법을 적용할 경우 다양한 성능의 모델 가운데 최종 출력에 도움을 줄 수 있는 모델들만을 선택할 수 있었다. 즉, 제안하는 기법은 총 13개의 인식 모델 가운데 최종 출력에 도움을 주지 못하는 모델들을 제거하여 도움을 줄 수 있는 5개의 모델로 압축하였다고 간주할 수 있으며, 이를 통해 높은 인식률을 기록할 수 있었다.
성능 극대화를 위해 활용되는 앙상블 기법이 딥러닝에서 잘 동작하는 이유는 다음과 같이 정리할 수 있다. 첫째로, 스크래치로 훈련을 시작할 때, 깊은 신경망의 초기 가중치는 무작위로 설정된다. 이러한 무작위 초기 값으로부터 학습을 하게 되면 최종 모델의 weight 값은 유일(unique)하지 않으며, 초기 값에 따라 다른 weight가 학습되게 된다.
각 모델의 Top-5 에러율은 그림 2와 같다. 총 13개의 모델 중에 Inception-ResNet v2 아키텍쳐를 사용한 모델이 3.79%의 에러율로 가장 성능이 뛰어났으며, ResNet 152층의 경우 학습 결과 4.375% 에러율을 달성하였으며, 이는 기존 논문에서 리포팅되었던 4.49% 보다 약 0.1% 정도 향상된 결과이다.
이 결과 우리는 총 5개의 모델을 선택할 수 있었고, 기존의 평균값 기반의 앙상블 기법에 비해 더 좋은 성능을 얻을 수 있다. 평가 결과에 따르면 5개의 모델에 대한 평균 앙상블을 적용 했을 때 3.357% 의 Top-5 에러율을 보이던 것이, 제안한 weighted 앙상블 기법을 이용하여 3.297% 의 에러율을 기록할 수 있었다.

후속연구

또한, 제안 알고리즘에서는 탐욕 탐색(greedy search)를 이용해 검증 셋의 성능만을 고려하여 모델을 선택하게 된다. 하지만, 그 과정에서 모델의 파라미터 수라든지, 깊이, 차지하는 메모리 양도 같이 고려하여 최적화하게 된다면, 모델의 성능과 무거움 (heavy) 정도를 저울질하여 최고의 인식률을 갖으면서도 일정 이하의 계산량을 갖게 되는 최적의 모델 조합도 찾아낼 수 있을 것이다.
본 연구에서 특성이 다른 모델 여러개를 사용하여 앙상블 기법을 적용하고 있다. 하지만, 본 연구에서는 서로 다른 네트워크 구조를 사용함으로써 얻는 이득에 대해서는 실험을 진행하지 않았다. 그 이유는, 서로 특성이 다른 모델들의 융합과 동일한 모델들의 융합의 직접적인 비교가 힘들기 때문이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	앙상블 기법의 형태에는 무엇이 있는가?	ILSVRC 대회에서 우승한 기술들을 살펴보면 앙상블 (ensemble) 기법을 사용한다는 공통점이 있다. 앙상블 기법은 크게 두가지 형태로 구분할 수 있는데, 모델 앙상블, 데이터 증강을 이용한 앙상블 기법이 있다. 모델 앙상블의 경우 같은 종류의 여러 모델을 만들어 독립적으로 학습시킨 후 최종 출력값을 평균하여 결과를 추출하는 방식이다.
	이미지 기반의 객체 인식 기술은 어디에 활용되고 있는가?	이미지 기반의 객체 인식 기술은 자동차, 스마트폰, CCTV 등과 같은 기기에 탑재되어 무인 자율 주행 [1], 지문 및 얼굴 인식 [2, 3], 차량 모니터링 [4] 등에 활용되고 있다. 이러한 객체 인식 기술은 딥러닝 (deep learning) 의 발전으로 특정 인식 문제에 있어 사람보다 높은 인식률을 보이기도 하였다.
	앙상블 기법이 딥러닝에서 잘 동작하는 이유는?	성능 극대화를 위해 활용되는 앙상블 기법이 딥러닝에서 잘 동작하는 이유는 다음과 같이 정리할 수 있다. 첫째로, 스크래치로 훈련을 시작할 때, 깊은 신경망의 초기 가중치는 무작위로 설정된다. 이러한 무작위 초기 값으로부터 학습을 하게 되면 최종 모델의 weight 값은 유일(unique)하지 않으며, 초기 값에 따라 다른 weight가 학습되게 된다. 이러한 다양성에 의해 서로 다른 모델은 최종 출력에서 시너지 효과를 창출할 수 있을 것으로 추측된다. 우리는 두 번째 이유로 데이터 증강에 의한 효과가 있을 수 있다. 예를 들어, 랜덤 크롭을 훈련시 적용한다고 가정했을 때, 학습할 때 서로 다른 모델들이 서로 다른 이미지를 학습하는 효과를 얻을 수 있고, 이는 테스트 할 때는 동일한 이미지가 입력으로 들어오지만 각 모델은 이미 다른 위치를 보고 학습했기 때문에 서로 다른 확률값을 출력함으로써 일반화에 도움을 줄 수 있다. 세 번째는 입력 데이터의 무작위 셔플링 덕분에 앙상블에 효과가 있을 것으로 추측된다. 네트워크가 학습에 사용되는 이미지를 보는 순서에 따라 학습된 모델의 특성이 바뀔 수 있으므로, 앙상블을 할 때 시너지 효과를 이룰 수 있을 것이다.

참고문헌 (17)

M. Bojarski, D. Del Testa, D. Dworakowski, B. Firner, B. Flepp, P. Goyal, L. D. Jackel, M. Monfort, U. Muller, J. Zhang, X. Zhang, J. Zhao, K. Zieba, "End to end learning for self-driving cars.", arXiv preprint arXiv:1604.07316, 2016.
Y. Sun, D. Liang, X. Wang, X. Tang, "Deepid3: Face Recognition with Very Deep Neural Networks.", arXiv preprint arXiv:1502.00873, 2015.
M. A. Wani, F. A. Bhat, S. Afzal, A. I. Khan, "Supervised Deep Learning in Fingerprint Recognition. Advances in Deep Learning.", Springer, Singapore, pp. 111-132, 2020.
H. Jung, M. K. Choi, J. Jung, J. H. Lee, S. Kwon, W. Young Jung, "ResNet-based Vehicle Classification and Localization in Traffic Surveillance Systems.", Proceedings of the IEEE conference on computer vision and pattern recognition workshops, pp. 61-67, 2017.
O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A.C. Berg, L. Fei-Fei, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision, Vol. 115, pp. 211-252, 2015.

상세보기
Krizhevsky, Alex, Ilya Sutskever, Geoffrey E. Hinton. "Imagenet Classification with Deep Convolutional Neural Networks." Advances in neural information processing systems, pp. 1097-1105, 2012.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, A. Rabinovich, "Going Deeper with Convolutions.", In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1-9, 2015.
SIMONYAN, Karen ZISSERMAN, Andrew. "Very Deep Convolutional Networks for Large-scale Image Recognition.", arXiv preprint arXiv:1409.1556, 2014.
K. He, X. Zhang, S. Ren, J. Sun, "Deep Residual Learning for Image Recognition." Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
M. Tan, Q. V. Le. "Efficientnet: Rethinking Model Scaling for Convolutional Neural Networks." arXiv preprint arXiv:1905.11946 (2019).
B. Zoph, Q. V. Le, "Neural Architecture Search with Reinforcement Learning." arXiv preprint arXiv:1611.01578 (2016).
HU, Jie SHEN, Li SUN, Gang. "Squeeze-and-excitation Networks.", In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7132-7141, 2018.
F. Iandola, M. Moskewicz, S. Karayev, R. Girshick, T. Darrell, K. Keutzer, "Densenet: Implementing Efficient Convnet Descriptor Pyramids." arXiv preprint arXiv:1404.1869 (2014).
S. Xie, R. Girshick, P. Dollar, Z. Tu, K. He, "Aggregated Residual Transformations for Deep Neural Networks." Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1492-1500, 2017.
D. MATTHEW, R. FERGUS, "Visualizing and Understanding Convolutional Neural Networks.", In Proceedings of the 13th European Conference Computer Vision and Pattern Recognition, Zurich, Switzerland, pp. 6-12, 2014.
C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna, "Rethinking the Inception Architecture for Computer Vision." Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2818-2826, 2016.
C. Szegedy, S. Ioffe, V. Vanhoucke, A. A. Alemi, "Inception-v4, Inception-resnet and the Impact of Residual Connections on Learning." Thirty-first AAAI conference on artificial intelligence. 2017.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증