[논문]RGB-csb를 활용한 제한된 CNN에서의 정확도 분석 및 비교

공준배; 장민석; 남광우; 이연식

doi:10.13067/jkiecs.2020.15.1.133

초록
AI-Helper

본 논문은 대부분의 변형된 CNN(: Convolution Neural Networks)에서 사용하지 않는 첫 번째 컨볼루션 층(convolution layer)을 사용해 정확도 향상을 노리는 방법을 소개한다. GoogLeNet, DenseNet과 같은 CNN에서 첫 번째 컨볼루션 층에서는 기존방식(3×3 컨볼루션연산 및 배규정규화, 활성화함수)만을 사용하는데 이 부분을 RGB-csb(: RGB channel separation block)로 대체한다. 이를 통해 RGB값을 특징 맵에 적용시켜 정확성을 향상시킬 수 있는 선행연구 결과에 추가적으로, 기존 CNN과 제한된 영상 개수를 사용하여 정확도를 비교한다. 본 논문에서 제안한 방법은 영상의 개수가 적을수록 학습 정확도 편차가 커 불안정하지만 기존 CNN에 비해 정확도가 평균적으로 높음을 알 수 있다. 영상의 개수가 적을수록 평균적으로 약 2.3% 높은 정확도를 보였으나 정확도 편차는 5% 정도로 크게 나타났다. 반대로 영상의 개수가 많아질수록 기존 CNN과의 평균 정확도의 차이는 약 1%로 줄어들고, 각 학습 결과의 정확도 편차 또한 줄어든다.

Abstract ▼ AI-Helper

This paper introduces a method for improving accuracy using the first convolution layer, which is not used in most modified CNN(: Convolution Neural Networks). In CNN, such as GoogLeNet and DenseNet, the first convolution layer uses only the traditional methods(3×3 convolutional computation, ...

This paper introduces a method for improving accuracy using the first convolution layer, which is not used in most modified CNN(: Convolution Neural Networks). In CNN, such as GoogLeNet and DenseNet, the first convolution layer uses only the traditional methods(3×3 convolutional computation, batch normalization, and activation functions), replacing this with RGB-csb. In addition to the results of preceding studies that can improve accuracy by applying RGB values to feature maps, the accuracy is compared with existing CNN using a limited number of images. The method proposed in this paper shows that the smaller the number of images, the greater the learning accuracy deviation, the more unstable, but the higher the accuracy on average compared to the existing CNN. As the number of images increases, the difference in accuracy between the existing CNN and the proposed method decreases, and the proposed method does not seem to have a significant effect.

주제어

표/그림 (6)

그림 그림 1. RGB-csb 구조 Fig. 1 Structure of RGB-csb
그림 그림 2. RGB-csb 내부 구조 Fig. 2 Inner structure of RGB-csb
표 표 1. 실험 환경 Table 1. Experiment environment
표 표 2. 실험 모델 분류 표 Table 2. Experiment model classification table
그림 그림 3. 실험에 사용된 CNN 구조 Fig. 3 CNN structure used in experiments
표 표 3. 실험 정확도 Table 3. Test Accuracy

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 첫 번째 컨볼루션 층을 변형해 정확도를 높일 수 있는 방법을 제안하고, 이를 기반으로 영상 수에 따른 제한된 영상에서의 정확도 분석을 통해 본 논문에서 제안한 방법과 CNN구조 사이의 정확도를 분석 및 비교한다.

제안 방법

본 논문에서는 RGB-csb를 첫 번째 컨볼루션 층에 대체하여 사용한다. 입력된 컬러 영상은 기본적으로 RGB의 3색 정보가 포함되어 있다.
세 가지 기술들 모두 정확도 향상을 위해 다양한 방법들을 추가하였으나 이러한 기술들은 학습효과나 성능저하 문제로 인해 CNN의 첫 번째 컨볼루션 층에 서는 그들이 제안한 구조를 사용하지 않는다. 본 논문 에서는 첫 번째 컨볼루션 층을 RGB-csb로 대체하여 다른 CNN들의 정확도 성능을 향상시킬 방법을 제안 하며 실험을 통해 기존CNN과 비교한다.

대상 데이터

본 논문에서 사용한 실험 데이터는 인터넷에서 검색한 동물 영상데이터이며 약 5천장의 5종류로 실험을 진행하였다. 실험 환경에 사용한 컴퓨터 환경은 다음과 같다.

데이터처리

본 논문에서는 RGB-scb를 첫 번째 컨볼루션층 대신 사용해 입력 영상의 RGB값을 각 특징 맵에 추가적으로 입력해 정확도를 높이는 방법을 제안했다. 또한 이러한 방법을 기반으로 영상 수에 따른 정확도 평균 및 비교분석을 실시하였다.
6개의 컨볼루션 층에는 비교대상에 따라 RGB-csb를 포함하거나 포함하지 않는다. 학습은 비교모델마다 정확도의 신뢰도를 확보하기 위해 각각 10번씩 진행해 비교하였다.

성능/효과

결론적으로 정확도가 기존 CNN에 비해 적은 영상의 개수에서 각각 평균적으로 향상된 것은 RGB-clb 의 RGB채널 값에 따른 SUM 연산이 기존 Convolution layer 보다 정확도 측면에서 긍정적인 영향을 준 결과로 판단된다. 실험결과에서 볼 수 있듯 RGB-csb를 통해 첫 번째 Convolution layer를 변형 시켜 대부분의 응용 CNN구조에서 정확도 향상이 될 것으로 보인다.
이는 RGB-csb가 입력 영상의 개수를 어느 정도 늘려주는 효과로 볼 수 있으며 이는 data augmentation과 비슷한 효과를 보이며 실제로 data augmentation에서 색반전등을 통해 데이터를 늘리기도 한다. 본 논문에서 제안한 RGB-csb는 RGB 3색 영상을 모두 활용해 커널 결과 값에 추가적인 연산을 수행하는데 이를 통해 영상의 특징 및 정보를 늘려 적은 데이터일수록 좋은 효율을 보이는 것으로 판단된다.
반대로 영상의 개수가 많아질수록 기존 CNN과의 평균 정확도의 차이는 약 1%로 줄어들고, 각 학습 결과의 정확도 편차 또한 줄어든다. 즉, 제안 방법에서 훈련 및 시험 영상 개수가 증가할수록 기존 CNN모델에 비하여 정확도의 차이가 적어지면서 로그함수의 상관관계를 나타냄을 알 수 있다. 이는 RGB-csb가 입력 영상의 개수를 어느 정도 늘려주는 효과로 볼 수 있으며 이는 data augmentation과 비슷한 효과를 보이며 실제로 data augmentation에서 색반전등을 통해 데이터를 늘리기도 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CNN란?	CNN은 딥러닝의 신경망 중 하나이며 DNN(: Deep Neural Network)의 한 종류이다. DNN은 기본적으로 하나의 입력층과 여러 은닉층, 하나의 출력층으로 구성되어져 있으며 CNN도 동일하다[5].
	DNN는 어떻게 구성되어 있는가?	CNN은 딥러닝의 신경망 중 하나이며 DNN(: Deep Neural Network)의 한 종류이다. DNN은 기본적으로 하나의 입력층과 여러 은닉층, 하나의 출력층으로 구성되어져 있으며 CNN도 동일하다[5]. 영상인식 분야 에서 주로 CNN을 사용하며 TensorFlow, Caffe, Torch, Theano등을 통해 구현한다[6].
	DenseNet의 단점은?	DenseNet은 입력 영상 값을 출력 값의 채널 뒤에 합쳐 쌓아 올리는 방식이며 이를 통해 초기 입력 값의 특징 맵을 마지막 출력 값까지 가져갈 수 있는 장점이 있다 [9]. 그러나 앞서 언급했던 신경망과 동일하게 첫 레이 어에서는 Dense Block을 적용하지 않는다.

참고문헌 (10)

J. Park, "Comparison Speed of Pedestrian Detection with Parallel Processing Graphic Processor and General Purpose Processor," J. of the Korea Institute of Electronic Communication Sciences, vol. 10, no. 2, June 2015, pp. 239-245.

원문보기 상세보기
N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, "Dropout: A simple way to prevent neural networks from overfitting," The Journal of Machine Learning Research, vol.15(1), June 2014, pp. 1929-1958.
S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," International Conference on Machine Learning, Lille, France, 2015.
V. Nair and G. Hinton, "Rectified linear units improve restricted boltzmann machines," International Conference on Machine Learning, Haifa, Israel, 2010.
S. Chung and Y. Chung "Comparison of Audio Event Detection Performance using DNN," J. of the Korea Institute of Electronic Communication Sciences, vol. 13, no. 3, June 2018, pp. 571-578.

원문보기 상세보기
Y. Lee and P. Moon, "A Comparison and Analysis of Deep Learning Framework," J. of the Korea Institute of Electronic Communication Sciences, vol. 12, no. 1, 2017, pp. 115-122.

원문보기 상세보기
C. Szegedy, W. Lium, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," Computer Vision and Pattern Recognition, Boston, U.S.A, 2015.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Computer Vision and Pattern Recognition, Las Vegas, U.S.A, 2016.
G. Huang, Z. Liu, K. Weinberger, and L. Maaten, "Densely connected convolutional networks," Computer Vision and Pattern Recognition, Hawaii, U.S.A, 2017.
J. Kong, Y. Lee, and M. Jang, "Convolution Neural Network with RGB channel separation block," Proc. of MITA2019, Hochiminh, Vietnam, 2019.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

RGB-csb를 활용한 제한된 CNN에서의 정확도 분석 및 비교
Accuracy Analysis and Comparison in Limited CNN using RGB-csb 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

RGB-csb를 활용한 제한된 CNN에서의 정확도 분석 및 비교 Accuracy Analysis and Comparison in Limited CNN using RGB-csb 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

장민석 (19) 남광우 (36) 이연식 (41)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

RGB-csb를 활용한 제한된 CNN에서의 정확도 분석 및 비교
Accuracy Analysis and Comparison in Limited CNN using RGB-csb 원문보기

초록
AI-Helper

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper