[논문]다층퍼셉트론의 오류역전파 학습과 계층별 학습의 비교 분석

곽영태

다층퍼셉트론의 오류역전파 학습과 계층별 학습의 비교 분석
Comparative Analysis on Error Back Propagation Learning and Layer By Layer Learning in Multi Layer Perceptrons 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.7 no.5, 2003년, pp.1044 - 1051

곽영태 (익산대학 컴퓨터과학과)

초록
AI-Helper

본 논문은 MLP의 학습 방법으로 사용되는 EBP학습, Cross Entropy함수, 계층별 학습을 소개하고, 필기체 숫자인식 문제를 대상으로 각 학습 방법의 장단점을 비교한다. 실험 결과, EBP학습은 학습 초기에 학습 속도가 다른 학습 방법에 비해 느리지만, 일반화 성능이 좋다. 또한, EBP학습의 단점을 보안한 Cross Entropy 함수는 학습 속도가 EBP학습보다 빠르다. 그러나, 출력층의 오차 신호가 목표 벡터에 대해 선형적으로 학습하기 때문에, 일반화 성능이 EBP학습보다 낮다. 그리고, 계층별 학습은 학습 초기에, 학습 속도가 가장 빠르다. 그러나, 일정한 시간 후, 더 이상 학습이 진행되지 않기 때문에, 일반화 성능이 가장 낮은 결과를 얻었다. 따라서, 본 논문은 MLP를 응용하고자 할 때, 학습 방법의 선택 기준을 제시한다.

Abstract ▼ AI-Helper

This paper surveys the EBP(Error Back Propagation) learning, the Cross Entropy function and the LBL(Layer By Layer) learning, which are used for learning the MLP(Multi Layer Perceptrons). We compare the merits and demerits of each learning method in the handwritten digit recognition. Although the speed of EBP learning is slower than other learning methods in the initial learning process, its generalization capability is better. Also, the speed of Cross Entropy function that makes up for the weak points of EBP learning is faster than that of EBP learning. But its generalization capability is worse because the error signal of the output layer trains the target vector linearly. The speed of LBL learning is the fastest speed among the other learning methods in the initial learning process. However, it can't train for more after a certain time, it has the lowest generalization capability. Therefore, this paper proposes the standard of selecting the learning method when we apply the MLP.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한, MLP의 웅용에 적합한 학습방법을 선택하는 기준을 제시한다.
먼저, 계층별 학습을 분석해보자. 계층별 학습에서 전체 학습 패턴에 대한 은닉층의 목표 벡터가 시그모이드 함수의 범위 내에 존재한다면, 한 번의 최소 제곱법으로 가중치를 구하여 학습을 종료할 수 있다.
본 논문은 MLP의 학습방법으로 사용되는 EBP학습, Cross Entropy함수, 계층별 학습의 학습 방법을 소개하고, 필기체 숫자인식 문제를 대상으로 각 학습방법의 장단점을 비교하였다.

제안 방법

그리고, 학습상수는 모두 O.(X)1 로 했으며, 각 학습 방법은 C 로 구현하고, 의사역행렬에 대한 계산은 MATLAB을 결합시켜 구현했다.
따라서, 본 논문은 MLP의 학습방법으로 사용되는 EBP학습, 오차함수로 Cross Entropy 함수를 사용하는 방법, 계층별 학습 등을 소개하고, 실험을 통하여 각 학습방법의 장단점을 비교 분석한다. 또한, MLP의 웅용에 적합한 학습방법을 선택하는 기준을 제시한다.
Squares Method)으로 구한다. 또한, 은닉층의 목표 벡터도 최소 제곱법으로 구한 후, 은닉층의 MSE함수를 정의하고, 최소 제곱법으로 은닉층의 가중치를 구한다. 이런 계층별 학습은 최소 제곱법을 사용하기 때문에, 학습 속도가 빠르다.

대상 데이터

본 논문의 실험은 필기체 숫자인식 문제를 대상으로 실험하였다. 필기체 숫자는 CEDAR Database[14] 의 숫자 중, 각 숫자에 대해 100개씩, 모두 1, 000개를 학습에 사용하였고, 시험 패턴은 각 숫자에 대해 50개씩, 500개의 숫자를 이용하였다.
실험을 위한 MLP는 입력 노드 144개, 출력 노드 10 개로 구성되고, 은닉 노드의 수는 10개와 20개로 구성하였다. 그리고, 각 학습방법은 은닉 노드의 수에 따라, 가중치의 초기화를 3회씩 다르게 한 후, 학습 결과를 식(10)과 같은 MSE함수로 표현했다.
실험하였다. 필기체 숫자는 CEDAR Database[14] 의 숫자 중, 각 숫자에 대해 100개씩, 모두 1, 000개를 학습에 사용하였고, 시험 패턴은 각 숫자에 대해 50개씩, 500개의 숫자를 이용하였다. 한 숫자의 영상은 12x12 픽셀로 구성되며, 각 픽셀은 16레벨의 그레이 이미지로 바꾼 후, [-1~+1]로 정규화한 다음, MLP에 입력시켰다.

이론/모형

두 번째, 새로운 오차함수를 사용하는 방법은 오차 함수를 평균 제 곱 오차(Mean Squared Error) 함수 대신 Cross Entropy함수를 사용한다[8]. 이 방법은 출력 노드의 오차 신호가 목표 값에 선형적으로 변하므로, 학습속도는 빠르다.
세 번째, 계층별(Layer By Layer) 학습이 있다 [9, 10], 계층별 학습은 출력층의 가중치를 목표 벡터와 은닉층의 출력 벡터를 이용하여 최소 제곱법 (Least Squares Method)으로 구한다. 또한, 은닉층의 목표 벡터도 최소 제곱법으로 구한 후, 은닉층의 MSE함수를 정의하고, 최소 제곱법으로 은닉층의 가중치를 구한다.

성능/효과

그러나, 일정한 시간 후, 더 이상 학습이 진행되지 않는다. 따라서, 수렴성이나 일반 화 성능이 가장 낮은 결과 롤 얻었다.
먼저, EBP학습은 은닉 노드의 수가 증가할수록, 학습 속도와 일반 화 성능이 우수하다. 그러나, 은닉 노드의 수가 적은 경우, 학습이 제대로 이루어지지 않는다.
그리고, 田장의 실험에는 각 학습방법의 확인을 위해서 입력 문자에 상당한 왜곡과 변형이 많은 필기체 숫자(CEDAR Database)]"]를 대상으로 실험한 결과가 있다. 실험 결과, 학습 속노, 계층별 학습, Cross Entropy함수, EBP학습 순으로 빨랐으며, 일반 화 성능은 EBP 학습, Cross Entropy함수, 계층별 학습순으로 우수했다. IV 장의 결론은 실험 결과를 분석하여 각 학습 방법의 장단점 및 응용방법을 제시한다.
학습 결과, EBP학습은 학습 초기에 학습 속도가 다른 학습방법에 비해 느리지만, 일반화 성능은 좋은 결과를 얻었다. 또한, EBP학습의 단점을보안한 Cross Entropy함수는 학습속도가 EBP 학습보다 빠르다.

참고문헌 (19)

D. E. Rumelhart and J. I. McCelland, Parallel Distributed Processing, MIT Press, Cambridge, MA, pp. 318-362, 1986
R. P. Lippmann, 'An Introduction to Computing with Neural Nets,' IEEE ASSP Magazine, vol. 4, no. 2, pp. 4-22, April 1987

상세보기
J. M. Zurada, Introduction to Artificial Neural Systems, West Publishing Co., 1992
Simon Haykin, Neural Networks: A Comprehensive Foundation, Macmillan College Publishing Co., 1994
J. R. Chen and P. Mars, 'Stepsize variation methods for accelerating the backpropation algorithm,' Proc. IJCNN Jan. 15-19, 1990, Washington, DC, USA, vol. I, pp. 601-604
Ali Rezgui and Nazif Tepedelenlioglu, 'The effect of the slope of the activation function on the back propagation algorithm,' Proceeding of IJCNN'90 Washington D.C., vol. 1, pp. 707-710
Plagianakos, V.P., Magoulas, G.D., Vrahatis, M.N., 'Deterministic nonmonotone strategies for effective training of multilayer perceptrons,' IEEE Trans. Neural Networks, vol. 13, pp. 1268-1284, 2002

상세보기
A. Van Ooyen and B. Nienhuis, 'Improving the convergence of the back-propagation algorithm,' Neural Networks, vol. 78, pp. 465-471, 1992
G.-J. Wang and C.-C. Chen, 'A Fast Multilayer Neural-Network Training Algorithm Based on the Layer-By-Layer Optimizing Procedures,' IEEE Trans. Neural Networks, vol. 7, pp. 768-775, May, 1996

상세보기
Lengelle, R., and Denoeux, T., 'Training MLPs Layer by Layer Using an Objective Function for Internal Representations,' Neural Networks, vol. 9, January, 1996

상세보기
Jim. Y. F. Yam and Tommy W. S. Chow, 'Extended Least Squares Based Algorithm for Training Feedforward Networks,' IEEE Trans. Neural Networks, vol. 8, pp. 806-810, May, 1997

상세보기
C M. Bishop, Neural Networks for Pattern Recognition, Clarendon Press, Oxford, 1997
Ampazis, N., Perantonis, S,J., "Two highly efficient second-order algorithms for training feedforward networks,' IEEE Trans. Neural Networks, vol. 13, pp. 1064-1074, Sep., 2002

상세보기
J. J. Hull, 'A database for handwritten text recognition research,' IEEE Trans. Pattern and Machine Intell., vol. 16, pp. 550-554, 1994

상세보기
J. Villiers and E. Barnard, 'Backpropagation Neural Nets with One and Two Hidden Layers,' IEEE Trans. Neural Netwoks, vol. 4, no. 1, pp. 136-141, 1993

상세보기
M M Islam and K Murase, 'A new algorithm to design compact two-hidden-layer artificial neural networks,' Neural Netwoks, vol. 14, 2001
K. Hornik, M. Stinchcombe, and H. White, 'Multilayer feedforward networks are universal approximators,' Neural Networks, vol. 2, pp. 359-366, 1989

상세보기
Shah, J.V., Chi-Sang Poon, 'Linear independence of internal representations in multilayer perceptrons,' IEEE Trans. Neural Netwoks, vol. 10, no. 1, pp. 10-18, 1999

상세보기
David J. Winter, Matrix Algebra, Macmillan Publishing Company, 1992

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

다층퍼셉트론의 오류역전파 학습과 계층별 학습의 비교 분석
Comparative Analysis on Error Back Propagation Learning and Layer By Layer Learning in Multi Layer Perceptrons 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

참고문헌 (19)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

다층퍼셉트론의 오류역전파 학습과 계층별 학습의 비교 분석 Comparative Analysis on Error Back Propagation Learning and Layer By Layer Learning in Multi Layer Perceptrons 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

참고문헌 (19)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

다층퍼셉트론의 오류역전파 학습과 계층별 학습의 비교 분석
Comparative Analysis on Error Back Propagation Learning and Layer By Layer Learning in Multi Layer Perceptrons 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper