[논문]신경망 학습의 일반화 성능향상을 위한 인자들의 결합효과

윤여창

doi:10.3745/kipstb.2005.12b.3.343

신경망 학습의 일반화 성능향상을 위한 인자들의 결합효과
The Joint Effect of factors on Generalization Performance of Neural Network Learning Procedure 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.12B no.3 = no.99, 2005년, pp.343 - 348

초록
AI-Helper

본 연구에서는 신경망 학습의 일반화 성능과 학습속도를 개선시키기 위한 인자들의 결합 효과를 살펴본다. 신경망 학습에서 중요한 평가 척도로서 여기서 고려하는 인자들에는 초기 가중값의 범위와 학습률 그리고 계수조정 등이 있다. 특히 초기 가중값과 학습률을 고정시킨 후 새롭게 조정된 계수들을 단계적으로 변화시키는 새로운 인자 결합방법을 이용한다. 이를 통하여 신경망 학습량과 학습속도를 비교해 보고, 계수조정을 통한 개선된 학습 영향을 살펴본다. 그리고 비선형의 단순한 예제를 이용한 실증분석을 통하여 신경망 모형의 일반화 성능과 학습 속도 개선을 위한 각 인자들의 개별 효과와 결합 효과를 살펴보고 그 개선 방안을 논의한다.

Abstract ▼ AI-Helper

The goal of this paper is to study the joint effect of factors of neural network teaming procedure. There are many factors, which may affect the generalization ability and teaming speed of neural networks, such as the initial values of weights, the learning rates, and the regularization coefficients. We will apply a constructive training algerian for neural network, then patterns are trained incrementally by considering them one by one. First, we will investigate the effect of these factors on generalization performance and learning speed. Based on these factors' effect, we will propose a joint method that simultaneously considers these three factors, and dynamically hue the learning rate and regularization coefficient. Then we will present the results of some experimental comparison among these kinds of methods in several simulated nonlinear data. Finally, we will draw conclusions and make plan for future work.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

초기 가중값과 학습률, 그리고 계수조정의 효과는 실증분석을 통하여 살펴보고, 제시 된 방법들을 결합한 학습에서의 신경망 학습량과 학습오차 들을 기존의 연구에서 많이 이용하고 있는 간단한 비선형함 수모형을 이용하여 그 비교 결과를 제시한다. 마지막으로 결론과 향후 연구방향을 제시하고자 한다.
이 연구에서는 비선형의 적응적 학습시스템을 위한 신경 망 모형의 일반화 성능과 실시간 학습에 영향을 주는 몇 가지 중요한 인자(factor)들을 살펴보고 이들 인자들의 결합효 과 등을 논의한다. 특히 Zhang, et al[l]의 개선된 알고리즘을 이용한 학습을 통하여, 신경망의 일반화 성능과 학습속 도에 크게 영향을 주고 있는 인자들 즉, 초기 가중값의 범 위, 학습률 그리고 계수조정 등을 통한 학습의 효과를 살펴 본다.
이 연구에서는 비선형의 적응적 학습시스템을 위한 일반 화 성능과 실시간 학습에 영향을 주는 중요한 인자들인 초기 가중값의 범위, 학습률 그리고 계수조정 등을 통한 신경 망 학습의 효과를 살펴보았다. 그리고 이들 인자들의 영향 비교를 토대로 세가지 인자들을 동시에 고려하는 결합방법을 논의하였다.
이 절에서는 신경망 학습의 일반화 성능과 효율에 영향을 주는 초기 가중값이 학습과정에 어떻게 영향을 미치는가를 살펴본다. 일반적으로 신경망 학습과정에 많이 이용되고 있는 오차감소 방법으로는 격자감소(gradient descent) 알고리즘을 들 수 있다.
이 절에서는 신경망의 일반화 성능과 효용을 높이기 위하여 초기 가중값의 범위, 학습률 그리고 계수조정의 결합 효과를 살펴본다. 신경망에서 각 인자들의 학습 효과를 극대 화하기 위하여 각 인자들을 설정된 범위 내에서 초기 학습 을 하고, 새로운 결합분석 방법을 이용하여 보다 학습효과가 높은 인자들을 이용한 학습을 한다.

제안 방법

이 연구에서는 비선형의 적응적 학습시스템을 위한 일반 화 성능과 실시간 학습에 영향을 주는 중요한 인자들인 초기 가중값의 범위, 학습률 그리고 계수조정 등을 통한 신경 망 학습의 효과를 살펴보았다. 그리고 이들 인자들의 영향 비교를 토대로 세가지 인자들을 동시에 고려하는 결합방법을 논의하였다. 몇 가지 실증분석을 통하여 결합방법을 이용한 학습효과를 살펴보고, 제시된 방법들을 이용한 학습에 서의 신경망 학습량과 학습오차들의 비교 결과를 제시하였다.
그리고 이들 인자들의 영향 비교를 토대로 세가지 인자들을 동시에 고려하는 결합방법을 논의하였다. 몇 가지 실증분석을 통하여 결합방법을 이용한 학습효과를 살펴보고, 제시된 방법들을 이용한 학습에 서의 신경망 학습량과 학습오차들의 비교 결과를 제시하였다.
01, 20] 사이에서 변경시킨다. 셋째, 일반화 성능과 학습속도에 대하여 초기 가중값과 학습률을 각각 고정시킨 후 조정된 계수들의 효과를 조사한다. 조정된 계수들은 구간 [0.
이 절에서는 신경망의 일반화 성능과 효용을 높이기 위하여 초기 가중값의 범위, 학습률 그리고 계수조정의 결합 효과를 살펴본다. 신경망에서 각 인자들의 학습 효과를 극대 화하기 위하여 각 인자들을 설정된 범위 내에서 초기 학습 을 하고, 새로운 결합분석 방법을 이용하여 보다 학습효과가 높은 인자들을 이용한 학습을 한다. 특히 본 연구에서는 계수조정을 통한 결합효과를 위해서 다음 식 (4)와 같이 Wu와 Zhang[2]의 새로운 계수조정함수를 이용한다.
신경망 학습과정에는 격자감소법을 이용한다. 실험을 단순화 하기 위하여 10개의 모의 학습자료와 검정자료를 각각의 주어진 구간을 이용한 균등분포에서 발생시키며, 발생 된 표본은 평균이 0이고 분산이 0.005인 정규분포를 따르는 오차를 포함한다고 하자.
특히 Zhang, et al[l]의 개선된 알고리즘을 이용한 학습을 통하여, 신경망의 일반화 성능과 학습속 도에 크게 영향을 주고 있는 인자들 즉, 초기 가중값의 범 위, 학습률 그리고 계수조정 등을 통한 학습의 효과를 살펴 본다. 이들 인자들의 영향 비교를 토대로 세가지 인자들을 동시에 고려하는 Wu와 Zhang[2]의 학습방법을 적용하면서 인자 결합방법을 새롭게 적용하여 신경망 학습량과 학습오 차에 미치는 영향 등을 살펴본다. 초기 가중값과 학습률, 그리고 계수조정의 효과는 실증분석을 통하여 살펴보고, 제시 된 방법들을 결합한 학습에서의 신경망 학습량과 학습오차 들을 기존의 연구에서 많이 이용하고 있는 간단한 비선형함 수모형을 이용하여 그 비교 결과를 제시한다.
이들 인자들의 영향 비교를 토대로 세가지 인자들을 동시에 고려하는 Wu와 Zhang[2]의 학습방법을 적용하면서 인자 결합방법을 새롭게 적용하여 신경망 학습량과 학습오 차에 미치는 영향 등을 살펴본다. 초기 가중값과 학습률, 그리고 계수조정의 효과는 실증분석을 통하여 살펴보고, 제시 된 방법들을 결합한 학습에서의 신경망 학습량과 학습오차 들을 기존의 연구에서 많이 이용하고 있는 간단한 비선형함 수모형을 이용하여 그 비교 결과를 제시한다. 마지막으로 결론과 향후 연구방향을 제시하고자 한다.
단계 3: 가장 작은 오차와 빠른 학습속도를 얻기 위한 계 수조정값을 찾는다. 초기 가중값과 학습률을 고정시킨 후 주어진 범위에서 순차적으로 계수를 조정하면서 몇 번의 주기로 신경망을 학습한다.
이 연구에서는 비선형의 적응적 학습시스템을 위한 신경 망 모형의 일반화 성능과 실시간 학습에 영향을 주는 몇 가지 중요한 인자(factor)들을 살펴보고 이들 인자들의 결합효 과 등을 논의한다. 특히 Zhang, et al[l]의 개선된 알고리즘을 이용한 학습을 통하여, 신경망의 일반화 성능과 학습속 도에 크게 영향을 주고 있는 인자들 즉, 초기 가중값의 범 위, 학습률 그리고 계수조정 등을 통한 학습의 효과를 살펴 본다. 이들 인자들의 영향 비교를 토대로 세가지 인자들을 동시에 고려하는 Wu와 Zhang[2]의 학습방법을 적용하면서 인자 결합방법을 새롭게 적용하여 신경망 학습량과 학습오 차에 미치는 영향 등을 살펴본다.
단계 1:가장 작은 학습오차와 빠른 학습속도를 얻기 위한 최적의 가중값 c를 찾는다. 학습률을 고정한 후 주어진 범위 내에서 발생된 초기 가중값을 이 용해 몇 번의 주기로 신경망을 학습한다.

이론/모형

005로 설정 한다. 신경망 학습과정에는 격자감소법을 이용한다. 실험을 단순화 하기 위하여 10개의 모의 학습자료와 검정자료를 각각의 주어진 구간을 이용한 균등분포에서 발생시키며, 발생 된 표본은 평균이 0이고 분산이 0.
여기서 신경망 학습은 Zhang, et al[l]의 개선된 알고리즘을 이용한다,
신경망에서 각 인자들의 학습 효과를 극대 화하기 위하여 각 인자들을 설정된 범위 내에서 초기 학습 을 하고, 새로운 결합분석 방법을 이용하여 보다 학습효과가 높은 인자들을 이용한 학습을 한다. 특히 본 연구에서는 계수조정을 통한 결합효과를 위해서 다음 식 (4)와 같이 Wu와 Zhang[2]의 새로운 계수조정함수를 이용한다.

성능/효과

그 결과로써 학습률, 초기 가중값의 범위 그리고 계수조 정 등이 일반화 성능과 학습속도에 중요한 영향을 준다는 것을 살펴 보았다. 이들 인자들의 값이 너무 크거나 작은 경우는 좋은 학습 결과를 나타내지 않고 있다.
두 가지 예제에서 초기 가중값의 범위가 0.01 이고 학습률 이 주어진 범위에서 상대적으로 높은 경우인 2.0에서 일반 화 성능은 계수조정값을 0.000015로 설정할 때 가장 좋은 학 습오차를 보이고 있고, 이 결과는 Wu와 Zhang[2]의 결과와 비교할 때 전 영역에서 효과가 있음을 보여주고 있다.

후속연구

즉 세가지 인자 들에 대하여 결합방법을 이용한 신경망 학습은 네트워크의 일반화 성능과 효율을 보다 높일 수 있다. 향후 연구로는 신경망 학습 인자들에 대한 좀더 이론적인 접근이 필요하며 더 좋은 일반화 성능과 효율을 얻기 위한 학습 알고리즘을 제안할 필요가 있다고 본다.

참고문헌 (10)

Y. Zhang, D. Liu and T.S. Chang, 'A New Learning Algorithm for Feedforwad Neural Networks,' Proceedings of the IEEE International Symposium on Intelligent Control, pp.39-44, 2001
Y. Wu and L. Zhang, 'The Effect of Initial Weight, Learning Rate and Regularization on Generalization Performance and Efficiency,' ICSP Proceedings, pp.1191-1194, 2002
V. Cherkassky, R. Shepherd, 'Regularization effect of weight initialization in back propagation networks,' 1998 World Congress on Computational Intelligence, pp.2258-2261, 1998
R.A. Jacobs, 'Increased Rates of convergence Through Learning Rate Adaptation,' Neural Networks, Vol.1, No.4, pp.295-307, 1988

상세보기
T. Tollenaere, 'SuperSAB: Fast Adaptive back-propagation with Good Scaling Properties,' Neural Networks, Vol.3, No.5, pp.561-573, 1990

상세보기
D.R. Wilson and T.R. Martinez, 'The Need for Small Learning Rates on Large Problem,' International Joint Conference on Neural Network, pp.115-119, 2001
A.S. Weigend, D.E. Rumelhart and B.A. Huberman, 'Generalization by Weight-Elimination with Application to Forecasting,' in Advances in Neural Information Processing Systems, San Mateo, CA: Morgan Kaufmann, pp.875-882, 1991
S. Bo, 'Optimal Weight Decay in Perceptron,' Proceedings of the International Conference on Neural Networks, pp.551-556, 1996
A. Atiya and C.Y. Ji, 'How Initial Conditions affect Generalization Performance in Large Networks,' IEEE Transaction on Neural Networks, Vol.8, No.2, pp.448-451, 1997

상세보기
M.H. Hassoun, 'Fundamentals of Artificial Neural Networks', MIT Press, 1995

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증