[논문]일반화 신경망의 개선된 학습 과정을 위한 최적화 신경망 학습률들의 효율성 비교

윤여창; 이성덕

doi:10.5351/kjas.2013.26.5.847

일반화 신경망의 개선된 학습 과정을 위한 최적화 신경망 학습률들의 효율성 비교
A Comparison of the Effects of Optimization Learning Rates using a Modified Learning Process for Generalized Neural Network 원문보기

응용통계연구 = The Korean journal of applied statistics, v.26 no.5, 2013년, pp.847 - 856

초록
AI-Helper

본 연구에서는 Liu 등의 학습 알고리즘과 Wu와 Zhang의 초기 가중값의 범위 설정, 그리고 Gunaseeli와 Karthikeyan의 초기 가중값에 관한 연구 결과를 이용하여 일반화 네트워크를 구할 수 있는 개선된 학습을 제안하고, 최적화된 신경망 학습률들을 이용하여 개선된 학습 과정의 학습효율등을 비교해 본다. 제시된 알고리즘을 이용한 학습에서 학습 초기에는 가장 단순한 학습 패턴과 은닉층으로부터 학습을 시작한다. 신경망 학습과정 중에 지역 최소값에 수렴되는 경우에는 가중값 범위 조정을 통하여 지역 최소값 문제를 해결하고, 지역 최소값으로부터 탈출이 용이하지 않으면 은닉노드를 점차적으로 하나씩 추가하면서 학습한다. 각 단계에서 새롭게 추가된 노드에 대한 초기 가중값의 선택은 이차계획법을 이용한 최적 처리절차를 이용한다. 최적 처리절차는 은닉층의 노드가 추가된 후의 새로운 네트워크에서 학습회수를 단순히 증가시키지 않아도 주어진 학습 허용오차를 만족시킬 수 있다. 본 연구에서 적용한 개선된 알고리즘을 이용하면서 초기 가중값들에 관한 기존 연구들을 적용하면 신경망 학습시의 수렴 정도를 높여주고 최소한의 단순 구조를 갖는 일반화 네트워크로 추정할 수 있게 된다. 이러한 학습률들을 변화시키는 모의실험을 통하여 기존의 연구 결과와의 학습 효율을 비교하고 향후 연구 방향을 제시하고자 한다.

Abstract ▼ AI-Helper

We propose a modified learning process for generalized neural network using a learning algorithm by Liu et al. (2001). We consider the effect of initial weights, training results and learning errors using a modified learning process. We employ an incremental training procedure where training patterns are learned systematically. Our algorithm starts with a single training pattern and a single hidden layer neuron. During the course of neural network training, we try to escape from the local minimum by using a weight scaling technique. We allow the network to grow by adding a hidden layer neuron only after several consecutive failed attempts to escape from a local minimum. Our optimization procedure tends to make the network reach the error tolerance with no or little training after the addition of a hidden layer neuron. Simulation results with suitable initial weights indicate that the present constructive algorithm can obtain neural networks very close to minimal structures and that convergence to a solution in neural network training can be guaranteed. We tested these algorithms extensively with small training sets.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 일반화 네트워크를 찾기 위하여, 은닉노드의 개수와 학습패턴을 각각 하나씩 점차적으로 증가시키면서 학습주기마다 확인되는 허용오차의 변화를 이용하여 각 단계에서 비교된 최적의 모형을 선택할 수 있도록 하는 일반화 신경망의 개선된 학습과정을 제안한다. 그리고 이 개선된 학습 알고리즘을 신경망에 적용할 때 나타나는 신경망 학습의 효과 즉, 초기 가중값, 학습량 그리고 학습오차 등과 같은 주요 학습률들의 변화에 대하여 살펴본다. 개선된 학습과정은 초기 가중값의 범위설정에 관한 Wu와 Zhang (2002)의 연구 결과와 Liu 등 (2001)의 신경망 학습과정을 이용하고, Al-Shareef와 Abbod (2010)의 최적화 초기 가중값을 이용하 여 일반화 네트워크를 구할 수 있도록 한다.
본 연구에서는 일반화 네트워크를 찾기 위하여, 은닉노드의 개수와 학습패턴을 각각 하나씩 점차적으로 증가시키면서 학습주기마다 확인되는 허용오차의 변화를 이용하여 각 단계에서 비교된 최적의 모형을 선택할 수 있도록 하는 일반화 신경망의 개선된 학습과정을 제안한다. 그리고 이 개선된 학습 알고리즘을 신경망에 적용할 때 나타나는 신경망 학습의 효과 즉, 초기 가중값, 학습량 그리고 학습오차 등과 같은 주요 학습률들의 변화에 대하여 살펴본다.
Framling (2004), Zhang와 Jiang (2010) 등의 신경망 학습 알고리즘에 관한 최근의 연구 결과들은 많은 경우에서 수렴 속도를 어떻게 증진시키는가에 주로 초점을 두고 있다. 이들 연구에서 가장 중요한 문제점 중의 하나는 전역 최소값을 찾지 못하고 지역 최소값으로 수렴되는 경우에 이를 해결할 수 있는 방안을 찾는 것이다. 이들이 적용한 알고리즘의 학습과정은 수렴 속도를 개선시키고는 있지만 일반적인 비선형 문제에서 목적한 학습에 도달하지 못하고 지역 최소값에 수렴됨으로써 발생되는 포화(saturation)문제의 개선이 대부분이다.

제안 방법

1에서 첫번째 열은 두 가지 학습결과를 비교하기 위하여 초기 가중값의 발생 범위의 설정을 나타내고 있다. 개선된 학습 과정은 설정된 각 구간에서 발생시킨 초기값을 이용하여 네트워크를 학습한다. 이때 주어진 허용오차를 만족할 때까지 네트워크를 확장시키면서 최종적으로 선택된 일반화 네트워크를 이용하여 비선형 함수를 추정하고, 그때의 학습량과 MSE를 각각 계산한 결과이다.
본 연구에서는 FNN의 학습 초기에 설정한 각 구간에서 발생시킨 가중값을 이용하여 네트워크를 학습시키고, 주어진 허용오차를 만족할 때까지 네트워크를 단순 모형에서부터 점차로 확장시키면서 일반화 네트워크를 구하는 개선된 학습과정을 제안하였다. 또한 이 학습과정을 이용한 신경망 학습을 통하여, 각 초기 가중값에 따른 학습량과 학습오차를 비교하였다. 제안된 개선된 학습과정은 Liu 등 (2001)의 학습 알고리즘과 Wu와 Zhang (2002)의 초기 가중값, Gunaseeli와 Karthikeyan (2007)의 초기 가중값의 범위 설정에 관한 연구 결과를 이용하여 일반화 네트워크를 구하고 이들의 학습효율을 살펴보았다.
1에서 가중값은 설정된 각 구간에서 발생시킨다. 발생된 가중값을 이용하여 네트워크를 학습시키고, 주어진 허용오차를 만족할 때까지 네트워크를 단순 모형에서부터 점차로 확장시키는 학습과정을 통하여 일반화 네트워크를 구축해 나간다.
본 연구에서는 FNN의 학습 초기에 설정한 각 구간에서 발생시킨 가중값을 이용하여 네트워크를 학습시키고, 주어진 허용오차를 만족할 때까지 네트워크를 단순 모형에서부터 점차로 확장시키면서 일반화 네트워크를 구하는 개선된 학습과정을 제안하였다. 또한 이 학습과정을 이용한 신경망 학습을 통하여, 각 초기 가중값에 따른 학습량과 학습오차를 비교하였다.
시스템에서 발생시킬 가중값으로는 Wu와 Zhang (2002)의 초기 가중값 구간인 [−c, c]의 균등분포로부터 랜덤하게 발생시켜 학습을 시작하면서 은닉노드가 Nh개인 신경망을 두 가지 방법으로 연속적으로 학습한다.
즉 네트워크는 단지 한 개의 노드를 갖는다. 여기서 설명되는 접근방법은 출력노드가 한 개 이상의 네트워크에도 쉽게 적용될 수 있지만, 본 연구에서는 출력노드를 한 개로 단순화 시킨 경우만 다룬다. 식 (2.
여기서 시스템 오차를 제로에 가깝게 감소시킬 수 있는 가중값들의 선택은 이차계획법(quadratic programming)과 같은 최적화 기법들을 이용한다. 이와 같은 방법을 이용한 개선된 학습 알고리즘을 수식화하여 그 학습 결과를 전형적인 FNN 학습 알고리즘을 이용한 결과와 비교해 본다.
이들의 연구에서 적절한 신경망의 구조를 선택하기 위해 적용한 방법은 다음과 같다. 입력노드를 1개에서 5개까지 단계별로 변화시킬 때마다 은닉노드 개수를 각각 1개에서 10개까지 변화시키면서, 각각의 경우에 학습오차를 구하여 이 오차가 가장 작아지는 신경망 구조를 택하였다. 예측은 여기서 선택된 구조를 사용하였다.
또한 이 학습과정을 이용한 신경망 학습을 통하여, 각 초기 가중값에 따른 학습량과 학습오차를 비교하였다. 제안된 개선된 학습과정은 Liu 등 (2001)의 학습 알고리즘과 Wu와 Zhang (2002)의 초기 가중값, Gunaseeli와 Karthikeyan (2007)의 초기 가중값의 범위 설정에 관한 연구 결과를 이용하여 일반화 네트워크를 구하고 이들의 학습효율을 살펴보았다. 일반화 네트워크를 구하여 이를 통한 신경망 학습을 하도록 제안된 개선된 알고리즘은 Wu와 Zhang (2002)의 초기 가중값의 범위 설정에 관한 연구 결과와 비교할 때 거의 유사하게 허용오차 내에서 시스템의 오차를 만족했다.
허용 오차 ε를 만족하기 위해 선택된 패턴을 이용하여 은닉노드 하나로 신경망을 학습한다.

이론/모형

시스템에서 발생시킬 가중값으로는 Wu와 Zhang (2002)의 초기 가중값 구간인 [−c, c]의 균등분포로부터 랜덤하게 발생시켜 학습을 시작하면서 은닉노드가 N_h개인 신경망을 두 가지 방법으로 연속적으로 학습한다. 신경망 구조는 Al-Shareef와 Abbod (2010)의 최적화 초기 가중값을 이용한다. 개선된 가중값의 발생방법은 다차원 자료에 확장 적용될 수 있다.
이러한 방법으로 증가된 은닉층 노드와 이와 연결된 새로운 초기 가중값들을 결정할 수 있는 방법을 개발할 필요가 있다. 여기서 시스템 오차를 제로에 가깝게 감소시킬 수 있는 가중값들의 선택은 이차계획법(quadratic programming)과 같은 최적화 기법들을 이용한다. 이와 같은 방법을 이용한 개선된 학습 알고리즘을 수식화하여 그 학습 결과를 전형적인 FNN 학습 알고리즘을 이용한 결과와 비교해 본다.
005인 정규분포를 따르는 오차를 포함하고 있다. 적용된 학습 알고리즘의 단계 3은 LM(Levenberg-Marquardt) 알고리즘을 이용한다. 학습의 중단시점으로 설정한 최종 학습 허용오차는 ε = 0.
예측은 여기서 선택된 구조를 사용하였다. 학습을 위한 오차 판단기준으로는 MSE와 평균절대값오차(Mean Absoluted Error; MAE)를 이용하였다.

성능/효과

일반화 네트워크를 구하여 이를 통한 신경망 학습을 하도록 제안된 개선된 알고리즘은 Wu와 Zhang (2002)의 초기 가중값의 범위 설정에 관한 연구 결과와 비교할 때 거의 유사하게 허용오차 내에서 시스템의 오차를 만족했다. 그리고 학습의 발산이 나타나는 경우에도, 제안된 개선된 학습과정은 수렴으로 진행되고 있음을 알 수 있다. 그리고 Gunaseeli와 Karthikeyan (2007)의 초기 가중값 발생 범위를 적용한 경우에서도 두 연구 결과가 비슷한 결과를 보였다.

후속연구

그리고 Gunaseeli와 Karthikeyan (2007)의 초기 가중값 발생 범위를 적용한 경우에서도 두 연구 결과가 비슷한 결과를 보였다. 이 연구에서는 일반화 네트워크를 찾는 과정의 복잡성 때문에 출력노드를 한 개로 제한하였지만, 보다 복잡한 네트워크에 적용하는 문제는 향후 과제로 남긴다.
만약 그렇지 않다면 네트워크 모수의 개수를 증가 시킨다. 이러한 방법으로 증가된 은닉층 노드와 이와 연결된 새로운 초기 가중값들을 결정할 수 있는 방법을 개발할 필요가 있다. 여기서 시스템 오차를 제로에 가깝게 감소시킬 수 있는 가중값들의 선택은 이차계획법(quadratic programming)과 같은 최적화 기법들을 이용한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	시계열 자료를 분석하는 일반적인 분석방법으로 주로 어떤 모형을 사용해왔는가?	시계열 자료를 분석하는 일반적인 분석방법은 선형 및 비선형 시계열 모형을 주로 사용해왔다. 최근 신경망을 이용하여 시계열 자료를 분석하고 예측하는 연구가 많은데 특히 단기예측에 있어서 매우 유익한 방법임이 많은 연구의 결과로 인정되어 있다.
	학습을 위한 오차 판단기준으로는 어떤 것을 이용하였는가?	예측은 여기서 선택된 구조를 사용하였다. 학습을 위한 오차 판단기준으로는 MSE와 평균절대값오차(Mean Absoluted Error; MAE)를 이용하였다.
	신경망방법을 이용한 예측결과의 한계점은 무엇인가?	이들은 신경망방법을 이용한 예측결과가 Box-Jenkins 방법만큼 효율적임을 보였다. 그러나 시계열 자료에 주기성(periodicity)이 있는 경우에는 신경망이 Box-Jenkins 방법보다 별 효과가 없었다. White (1988)은 상관관계가 높은 자료로써 미국 IBM의 일별 주식값 변동자료에 대한 신경망 예측을 하였다.

참고문헌 (17)

Al-Shareef, A. J. and Abbod, M. F. (2010). Neural Network Initial Weights Optimisation, 12th International Conference on Computer Modelling and Simulation, 57-61.
Anthony, M. and Bartlett, P. L. (2009). Neural Network Learning: Theoretical Foundations, Cambridge University Press.
Diotalevi, F. and Valle, M. (2001). Weight Perturbation Learning Algorithm with Local Learning Rate Adaptation for the Classification of Remote-Sensing Images, Proceedings of European Symposium on Artificial Neural Networks, 217-222.
Framling, K. (2004). Scaled Gradient Descent Learning Rate: Reinforcement Learning with Light-seeking Robot, Proceedings of International Conference on Informatics in Control, Automation and Robotics, 3-11.
Fukuoka, Y., Matsuki, H., Minamitani, H. and Ishida, A. (1998). A modified back-propagation method to avoid false local minima, Neural Network, 11, 1059-1072.

상세보기
Gunaseeli, N. and Karthikeyan, M. (2007). A Constructive Approach of Modified Standard Backpropagation Algorithm with Optimum Initialization for Feedforward Neural Networks, International Conference on Computational Intelligence and Multimedia Application, 325-331.
Haykin, S. (2010). Neural Networks and Learning Machines, 3rd Ed., PHI Learning Private Limited.
Liu, D., Chang, T. S. and Zhang, Y. (2001). A New Learning Algorithm for Feedforward Neural Networks, Proceedings of IEEE, International Symposium on Intelligent Control, 39-44.
Maasoumi, E., Khotanzad, A. and Abaye, A. (1994). Artificial neural networks for some macroeconomic series : A first report, Econometric Reviews, 13, 105-122.

상세보기
Maghami, P. G. and Sparks, D. W. (2000). Design of neural networks for fast convergence and accuracy: Dynamics and control, IEEE Trans. Neural Networks, 11, 113-123.

상세보기
Parekh, R., Yang, J. and Honavar, V. (2000). Constructive neural-network learning algorithms for pattern classification, IEEE Trans. Neural Networks, 11, 436-451.

상세보기
RoyChowdhury, P., Singh, Y. P. and Chansarkar, R. (1999). Dynamic tunneling technique for efficient training of multilayer perceptrons, IEEE Trans, Neural Networks, 10, 48-55.

상세보기
Sharda, R. and Patil, R. B. (1990). Neural Networks as Forecasting Experts : An Empirical Test,Proceeding of the IJCNN Meeting, 491-494.
White, H. (1988). Economic Prediction Using Neural Networks : The Case of IBM Stock Prices, Proceedings of the Second Annual IEEE Confernece in Neural Networks, 2, 451-458.
Wu, Y. and Zhang, L. (2002). The Effect of Initial Weight, Learning Rate and Regularization on Generalization Performance and Efficiency, Proceedings on ICSP, 1191-1194.
Yam, J. Y. F. and Chow, T. W. S. (2000). A Weight Initialization Method for Improving Training Speed in Feedforward Neural Network, IEEE Trans. Neural Networks, 30, 219-232.
Zhang, Y. and Jiang, Q. (2010). An Improved Initial Method for Clustering High-Dimensional Data, 2nd International Workshop on Database Technology and Applications, 1-4.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증