[논문]HS 알고리즘을 이용한 CNN의 Hyperparameter 결정 기법

이우영; 고광은; 김종우; 심귀보

doi:10.5391/jkiis.2017.27.1.022

초록
AI-Helper

Convolutional Neural Network(CNN)는 특징 추출과 분류의 두 단계로 나눌 수 있다. 그 중 특징 추출 단계의 커널의 크기, 채널의 수, stride 등의 hyperparameter는 CNN의 구조를 결정할 뿐만 아니라 특징을 추출하는 데에도 영향을 주기 때문에 CNN의 전체적인 성능에도 영향을 준다. 본 논문에서는 Parameter-Setting-Free Harmony Search(PSF-HS) 알고리즘을 이용하여 CNN의 특징 추출 단계에서의 hyperparameter를 최적화 하는 방법을 제안하였다. CNN의 전체 구조를 설정한 뒤 hyperparameter를 변수로 설정하였고 PSF-HS 알고리즘을 적용하여 hyperparameter를 최적화 하였다. 시뮬레이션은 MATLAB을 이용하여 진행하였고 CNN은 mnist 데이터를 이용하여 학습과 테스트를 했다. 총 500번 동안 변수를 업데이트했고 제안하는 방법을 이용하여 구한 CNN 구조 중 가장 높은 정확도를 가지는 구조는 99.28%의 정확도로 mnist 데이터를 분류하는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

The Convolutional Neural Network(CNN) can be divided into two stages: feature extraction and classification. The hyperparameters such as kernel size, number of channels, and stride in the feature extraction step affect the overall performance of CNN as well as determining the structure of CNN. In th...

The Convolutional Neural Network(CNN) can be divided into two stages: feature extraction and classification. The hyperparameters such as kernel size, number of channels, and stride in the feature extraction step affect the overall performance of CNN as well as determining the structure of CNN. In this paper, we propose a method to optimize the hyperparameter in CNN feature extraction stage using Parameter-Setting-Free Harmony Search (PSF-HS) algorithm. After setting the overall structure of CNN, hyperparameter was set as a variable and the hyperparameter was optimized by applying PSF-HS algorithm. The simulation was conducted using MATLAB, and CNN learned and tested using mnist data. We update the parameters for a total of 500 times, and it is confirmed that the structure with the highest accuracy among the CNN structures obtained by the proposed method classifies the mnist data with an accuracy of 99.28%.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 PSF-HS를 이용하여 CNN의 특징 추출 단계에서의 적절한 커널의 크기와 채널의 수를 구하는 방법을 제안하였다. 최적화하고자하는 hyperparameter를 변수로 설정한 뒤 제안하는 방법을 이용하여 업데이트 과정을 거치면 변수들이 일정 범위 내로 수렴하려는 현상을 확인할 수 있었다.

제안 방법

본 논문에서는 Parameter-Setting-Free Harmony Search(PSF-HS) 알고리즘을 이용하여 CNN의 특징 추출 단계의 hyperparameter를 결정하는 방법을 제안한다. 실험에서는 CNN 각 층의 구조를 고정한 뒤 커널 필터의 크기와 채널의 수를 변수로 설정하였고, PSF-HS 알고리즘을 이용하여 생성된 변수로 CNN을 학습시킨 뒤 정확도를 기준으로 변수를 업데이트하는 방법으로 시뮬레이션을 진행하였다.
초기 하모니 메모리를 생성하고 난 뒤에 하모니 메모리의 크기의 3배인 60번 반복할 동안은 HMCR=0.5, PAR=0.5로 설정하여기본적인 HS 알고리즘을 진행하였고 그 이후에는 종료조건을 만족할 때 까지 PSF-HS 알고리즘을 진행하였다. 종료조건은 변수를 500번 업데이트하는 것 또는 정확도가 99.

대상 데이터

하모니 메모리의 크기는 20으로 설정했고 랜덤선택 방법으로 하모니 메모리의 초기 변수 k1, k2, k3, c1, c2를 생성하였다. 다음으로 초기 변수와 mnist 학습 데이터 50,000장을 이용하여 CNN을 학습시켰고 mnist 테스트 데이터 10,000장을 이용하여 정확도를 구하였다[14]. 정확도는 정확하게 분류된 테스트 데이터의 개수를 전체 테스트 데이터의 개수로 나누어서 구하였다.

데이터처리

4 LTS 운영체제를 사용하는 PC를 사용하였다. vcnn double-bladed 라이브러리를 이용하여 코드를 구현하였고 MATLAB R2015b을 이용하여 시뮬레이션을 진행하였다[15]. 표 1은 초기에 생성된 하모니 메모리이다.

성능/효과

PSF-HS를 이용하여 HM을 500번 업데이트한 결과 99.11%-99.28%의 정확도로 모든 CNN구조가 초기에 생성된 20개의 CNN 구조보다 더 정확하게 mnist 테스트 데이터를 분류하는 것을 확인할 수 있었다. 표 2에 빨간색으로 표시한 CNN 구조에서 커널의 크기가 k1=9, k2=5, k3=4의 값으로 수렴하고 있는 것을 확인하였다.
초기 하모니 메모리의 각 변수를 이용하여 CNN의 구조를 생성한 뒤 정확도를 확인해본 결과 20개의 CNN은 97.47%-99.00%의 정확도로 mnist 테스트 데이터를 분류하는 것을 확인할 수 있었다. 또한 초기 하모니 메모리를 구성할 때 생성된 변수들은 일정 값에 수렴하지 않고 넓은 범위에서 생성되는 것을 확인할 수 있었다.
본 논문에서는 PSF-HS를 이용하여 CNN의 특징 추출 단계에서의 적절한 커널의 크기와 채널의 수를 구하는 방법을 제안하였다. 최적화하고자하는 hyperparameter를 변수로 설정한 뒤 제안하는 방법을 이용하여 업데이트 과정을 거치면 변수들이 일정 범위 내로 수렴하려는 현상을 확인할 수 있었다.

후속연구

향후 연구에서는 mnist 데이터 이외에도 상대적으로 정확도가 낮게 분류되는 데이터를 이용하여 추가 실험을 진행할 것이다. 또한 stride까지 포함한 hyperparameter가 CNN의 분류 정확도에 어떠한 영향을 주는지 확인하기 위하여 입력 데이터의 크기가 더 큰 CNN 구조에 stride까지 변수로 설정한 뒤 CNN의 특징 추출 단계에서의 hyperparameter를 결정하는 방법과 CNN 층 구조를 결정하는 방법에 대하여 연구를 진행할 예정이다.
향후 연구에서는 mnist 데이터 이외에도 상대적으로 정확도가 낮게 분류되는 데이터를 이용하여 추가 실험을 진행할 것이다. 또한 stride까지 포함한 hyperparameter가 CNN의 분류 정확도에 어떠한 영향을 주는지 확인하기 위하여 입력 데이터의 크기가 더 큰 CNN 구조에 stride까지 변수로 설정한 뒤 CNN의 특징 추출 단계에서의 hyperparameter를 결정하는 방법과 CNN 층 구조를 결정하는 방법에 대하여 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	다층신경망의 장점은 무엇인가?	다층신경망은 비선형적인 문제를 해결할 수 있고 학습 데이터로부터 원하는 근사 함수를 만들 수 있다는 장점이 있다. 하지만 데이터의 특징을 고려하지 않고 원본 데이터에 대하여 직접적으로 연산하기 때문에 많은 학습데이터를 필요로 하고, 그에 따라 학습 시간이 많이 소요되는 점과 과적합 문제라는 단점이 존재한다.
	HS 알고리즘에서 HMCR과 PAR이 중요한 이유는 무엇인가?	기억 회상을 사용할 확률(Harmony Memory Considering Rate, HMCR)과 피치 조정을 사용할 확률(Pitch Adjusting Rate, PAR)은변수를 생성하는데 영향을 주기 때문에 최적의 해를 찾는 성능에 영향을 준다. 따라서 HS 알고리즘을 사용할 때 HMCR과 PAR을 정하는 문제는 매우 중요하다.
	다층신경망이란 무엇인가?	다층신경망(Multi-layer neural network)은 사람이 학습하는 방법을 모방하여 구현한 기계학습 알고리즘인 인공신경망 구조의 일종으로 함수 추론, 패턴 인식, 클러스터링 등의 다양한 분야에서 사용된다. 다층신경망은 입력 층과 출력 층 사이에 하나 이상의 은닉 층을 가지는 구조로 이루어져 있고 입력 데이터와 목표 출력으로 이루어진 학습 데이터를 이용하여 학습하는 지도학습 기반의 학습 모델이다.

참고문헌 (15)

G. S. Choi, C. Yu, R. M. Jin, S. K. Yu and M. G. Chun, "Short-term water demand forecasting algorithm using AR model and MLP," Journal of Korean Institute of Intelligent Systems, vol. 19, no. 5, pp.713-719, 2009.

원문보기 상세보기
Y. LeCun, L. Bottou, Y. Bengio and P. Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, vol. 86 no. 11, pp. 2278-2324, 1998.

상세보기
N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov, "Dropout: a simple way to prevent neural networks from overfitting," Journal of Machine Learning Research, vol. 15, no. 1, pp. 1929-1958, 2014.
J. H. Yu and K. B. Sim, "Face Classification Using Cascade Facial Detection and Convolutional Neural Network," Journal of Korean Institute of Intelligent Systems, vol. 26, no. 1, pp. 70-75, 2016.

원문보기 상세보기
A. Krizhevsky, I. Sutskever and G. E. Hinton, "Imagenet classification with deep convolutional neural networks". In Advances in neural information processing systems, pp. 1097-1105, 2012.
M. D. Zeiler and R. Fergus, "Visualizing and understanding convolutional networks," In European conference on computer vision, pp. 818-833, 2014.
W. Wang, J. Yang, J. Xiao, S. Li and D. Zhou, "Face Recognition Based on Deep Learning," Human Centered Computing, pp. 812-820, 2014.
S. Ahn, "Deep Learning Architectures and Applications," Journal of Intelligence and Information Systems, vol. 22, no. 2, pp. 127-142, 2016.

원문보기 상세보기
X. S. Yang and Z. W. Geem, Music-inspired harmony search algorithm: theory and applications, 2009.
K. S. Lee and Z. W. Geem, "A new meta-heuristic algorithm for continuous engineering optimization: harmony search theory and practice," Computer methods in applied mechanics and engineering, vol. 194, no. 36, pp. 3902-3933, 2005.

상세보기
T. J. Lee, S. M. Park, K. E. Ko, W. K. Sung and K. B. Sim, "Implementation of unsupervised nonlinear classifier with binary harmony search algorithm," Journal of Korean Institute of Intelligent Systems, Vol. 23, no. 4, pp. 354-359, 2013.

원문보기 상세보기
S. K. Lee, K. E. Ko and K. B. Sim, "Study on Improvement of Convergence in Harmony Search Algorithms," Journal of Korean Institute of Intelligent Systems, Vol. 21, no. 3, pp. 401-406, 2011.

원문보기 상세보기
Z. W. Geem and K. B. Sim, "Parameter-setting-free harmony search algorithm," Applied Mathematics and Computation, Vol. 217, no. 8, pp. 3881-3889, 2010.

상세보기
Y. LeCun, C. Cortes and C. J. Burges, MNIST handwritten digit database. AT&T Labs [Online]. Available: http://yann. lecun.com/exdb/mnist/, 2010, [Accessed: December 25, 2016]
J. S. Ren and L. Xu, "On vectorization of deep convolutional neural networks for vision tasks," arXiv preprint arXiv:1501.07338, 2015.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

HS 알고리즘을 이용한 CNN의 Hyperparameter 결정 기법
Method that determining the Hyperparameter of CNN using HS algorithm 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

HS 알고리즘을 이용한 CNN의 Hyperparameter 결정 기법 Method that determining the Hyperparameter of CNN using HS algorithm 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

이우영 (2) 고광은 (50) 심귀보 (215)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

HS 알고리즘을 이용한 CNN의 Hyperparameter 결정 기법
Method that determining the Hyperparameter of CNN using HS algorithm 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper