[논문]딥러닝 학습에서 최적의 알고리즘과 뉴론수 탐색

장하영; 유은경; 김혁진

doi:10.14400/jdc.2022.20.4.389

초록
AI-Helper

딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

Abstract ▼ AI-Helper

Deep Learning is based on a perceptron, and is currently being used in various fields such as image recognition, voice recognition, object detection, and drug development. Accordingly, a variety of learning algorithms have been proposed, and the number of neurons constituting a neural network varies...

Deep Learning is based on a perceptron, and is currently being used in various fields such as image recognition, voice recognition, object detection, and drug development. Accordingly, a variety of learning algorithms have been proposed, and the number of neurons constituting a neural network varies greatly among researchers. This study analyzed the learning characteristics according to the number of neurons of the currently used SGD, momentum methods, AdaGrad, RMSProp, and Adam methods. To this end, a neural network was constructed with one input layer, three hidden layers, and one output layer. ReLU was applied to the activation function, cross entropy error (CEE) was applied to the loss function, and MNIST was used for the experimental dataset. As a result, it was concluded that the number of neurons 100-300, the algorithm Adam, and the number of learning (iteraction) 200 would be the most efficient in deep learning learning. This study will provide implications for the algorithm to be developed and the reference value of the number of neurons given new learning data in the future.

주제어

표/그림 (12)

그림 Fig. 1. Structure of Neural network
그림 Fig. 2. Test of SGD: neuron number=10, 50, 100, 300, 500
그림 Fig. 3. Test of Momentum: neuron number=10, 50, 100, 300, 500
표 Table 1. Total learning time for each algorithm
그림 Fig. 4. Test of AdaGrad : neuron number=10, 50, 100, 300, 500
그림 Fig. 5. Test of RMSProp : neuron number=10, 50, 100, 300, 500
그림 Fig. 6. Test of Adam : neuron number=10, 50, 100, 300, 500
그림 Fig. 7. Test of SGD, Momentum, AdaGrad, RMSProp and Adam : neuron number=10
그림 Fig. 8. Test of SGD, Momentum, AdaGrad, RMSProp and Adam : neuron number=50
그림 Fig. 9. Test of SGD, Momentum, AdaGrad, RMSProp and Adam : neuron number=100
그림 Fig. 10. Test of SGD, Momentum, AdaGrad, RMSProp and Adam : neuron number=300
그림 Fig. 11. Test of SGD, Momentum, AdaGrad, RMSProp and Adam : neuron number=500

참고문헌 (15)

https://terms.naver.com/entry.naver?docId3386834&categoryId58369&cid58369.
Y. M. Park & D. I. Jung. (2022). Development of vision system for quality inspection of automotive parts and comparison of machine learning models. The journal of Convergence on Culture Technology, 8(1), 409-415.
M. H. Jung & W. H. Kwon. (2021). Present status and future of AI-based drug discovery. Journal of the Korea Institute Of Information and Communication Engineering, 25(12), 1797-1808.

원문보기 상세보기
T. Mitchell. (1997). Machine Learning. NW: McGraw-Hill.
E. J. Lim, E. Y. Lee, & I. G. Lee. (2021). Behavior and Script Similarity-Based Cryptojacking Detection Framework Using Machine Learning. Journal of The Korea Institute of Information Security and Cryptology, 31(6), 1105-1114.

원문보기 상세보기
Y. J. Seo & K. S. Kim. (2021). Development of an Artificial Intelligence Model for Predicting the Policy and the Environment Affecting the Public Interest on the Real Estate. Journal of Korean Institute of Information Technology, 19(12), 135-141.

상세보기
S. Ruder. (2016). An overview of gradient descent optimization algorithms, arXiv preprint arXiv:1609.04747.
D. S. Yook, H. W. Lee, & I. C. Yoo. (2020). A survey on parallel training algorithms for deep neural networks. The Journal of The Acoustical Society of Korea, 39(6), 505-514.

원문보기 상세보기
J. P. Youn. (2021). A Study on the Prediction Method of Air-Compressor's Health Condition Using Convolutional Neural Network(CNN), Master's thesis, Soong-sil University, Seoul.
G. H. Joo, C. H. Park, & H. S. Im. (2020). Performance Evaluation of Machine Learning Optimizers. Journal of IKEEE, 24(3), 766-776.

원문보기 상세보기
D. John, H. Elad & S. Yoram. (2011). Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, 12, 2121-2159.

상세보기
M. J. Kang. (2020). Comparison of Gradient Descent for Deep Learning. Journal of Korea Academia-Industrial cooperation Society, 21(2), 189-194.

원문보기 상세보기
D. Kingma & J. Ba. (2014). Adam: A Method for Stochastic optimization, arXiv preprint arXiv:1412.6980.
S. Y. Kim, W. K. Chung, & S. R. Shin. (2019). Acoustic Full-waveform Inversion using Adam Optimizer. Geophysics and Geophysical Exploration, 22(4), 202-209.

원문보기 상세보기
Y. LeCun, B. E. Boser, J. S. Denker & D. Henderson, R.E. Howard, W. E Hubbard & L.D. Jackel. (1990). Handwritten digit recognition with a back-propagation network, In Advances in neural information processing systems, 396-404.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 학습에서 최적의 알고리즘과 뉴론수 탐색
Optimal Algorithm and Number of Neurons in Deep Learning 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12)

표/그림 (12)

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 학습에서 최적의 알고리즘과 뉴론수 탐색 Optimal Algorithm and Number of Neurons in Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12) 모든 표/그림 보기

표/그림 (12) 슬라이드로 보기

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

김혁진 (24)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 학습에서 최적의 알고리즘과 뉴론수 탐색
Optimal Algorithm and Number of Neurons in Deep Learning 원문보기

초록
AI-Helper

표/그림 (12)

표/그림 (12)