[논문]다층퍼셉트론의 강하 학습을 위한 최적 학습률

오상훈

다층퍼셉트론의 강하 학습을 위한 최적 학습률
Optimal Learning Rates in Gradient Descent Training of Multilayer Perceptrons 원문보기

이 논문은 다층퍼셉트론의 학습을 빠르게 하기 위한 최적 학습률을 제안한다. 이 학습률은 한 뉴런에 연결된 가중치들에 대한 학습률과, 중간층에 가상의 목표값을 설정하기 위한 학습률로 나타난다. 그 결과, 중간층 가중치의 최적 학습률은 가상의 중간층 목표값 할당 성분과 중간층 오차함수를 최소화 시키고자하는 성분의 곱으로 나타난다. 제안한 방법은 고립단어인식과 필기체 숫자 인식 문제의 시뮬레이션으로 효용성을 확인하였다.

This paper proposes optimal learning rates in the gradient descent training of multilayer perceptrons, which are a separate learning rate for weights associated with each neuron and a separate one for assigning virtual hidden targets associated with each training pattern Effectiveness of the proposed error function was demonstrated for a handwritten digit recognition and an isolated-word recognition tasks and very fast learning convergence was obtained.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

위와 같은 접근방법 이외에, EBP의 학습률을 가변시키는 방법도 제안되었다. EBP가 최적의 학습률을 지니게 되면 학습속도가 아주 빨라질 것이므로, 이 논문은 이 학습률 가변 방법에 초점을 맞춘다. 학습률 가변의 한 형태로 BD(Bold Driver) 방법이 있다[5].
다층퍼셉트론(MLP)이 N개의 입력 뉴런과 H개의 중간층 뉴런 및 M개의 출력 뉴런들로 구성되어 있다고 하자. 어떤 입력패턴 x=[x₁, x₂,.
이 논문에서는 MLP의 EBP 알고리즘에 대한 학습속도 향상의 방안으로 최적 학습률을 제안하였다. 출력층 가중치의 최적 학습률은 중간층 가중치가 고정되었다는 가정 하에 유도하였다.
이 논문은 EBP 알고리즘에서 각 뉴런과 학습패턴에 대한 최적의 학습률을 찾는 방법을 제안한다. Ⅱ장에서 MLP에 대하여 간략히 설명하고, Ⅲ장에서 출력층 가중치에 대한 최적 학습률을 제안한다.

제안 방법

더욱 더 철저한 효용성 검증을 위하여 고립단어 인식 문제도 시뮬레이션 하였다. 50 단어가 인식대 상이며 , 900개의 합스패턴에서 1024차원의 ZCPA 특징[10]을 추출 후 50개의 중간층 뉴런을 지닌 MLP에 학습시켰다. [그림 3]은 1050개의 시험패턴에 대한 오인식률을 나타내는데, 제안한 방법이 BD와 DBD보다 훨씬 더 학습 속도가 빠름을 알 수 있다.
MLP의 학습방법으로는 DB[5]를 이용한 EBP, DBD를 이용한 EBP, 그리고, 제안한 최적 학습률을 이용한 EBP를 사용하였다. BD를 이용한 EBP는 초기 학습률을 0.
01, κ= 1×10^-7로 정하였다. 그리고, 이 논문에서 제안한 학습 방법에서는 중간층 가중치들이 학습되지 않은 상황에서 출력층 가중치들이 매우 큰 값을 지니는 것을 방지하기 위하여, 학습의 두 번째 epoch까지는 # 의 크기가 1을 넘지 않도록 제한하였다. 각각의 학습방법에 대하여 [― 1 × 10^-4,1× 10⁴에서 균일분포를 지니도록 임의로 선택된 가중치들을 초기치로 하여 학습시키는 것을 4번 실시하여 평균치를 그림으로 그렸다.
그 다음, 이 가상의 목표값에 대한 중간층 오차함수를 제안한다. 그리고, 중간층 가중치의 변경량을 계산한 후, 가상의 목표값을 제거하여 EBP 학습에서 중간층 가중치 변경식에 대한 최적 학습률을 유도한다.
더욱 더 철저한 효용성 검증을 위하여 고립단어 인식 문제도 시뮬레이션 하였다. 50 단어가 인식대 상이며 , 900개의 합스패턴에서 1024차원의 ZCPA 특징[10]을 추출 후 50개의 중간층 뉴런을 지닌 MLP에 학습시켰다.
이제 가상의 중간층 목표값을 제거하여 EBP 알고리즘 형태를 지닌 중간층 가중치 변경식을 유도하겠다.(8)에서 # 가 작은 값을 지닐 경우, 테일러 급수 전개에 의해 (11)은
제안한 방법의 효용성을 검증하기 위하여 필기체 숫자 인식 문제를 시뮬레이션하여 보았다. CEDAR 데이터베이스[9]에서 5000개의 숫자 영상을 추출하여 크기 정규화 과정을 거친 후 학습에 사용하였다.

대상 데이터

제안한 방법의 효용성을 검증하기 위하여 필기체 숫자 인식 문제를 시뮬레이션하여 보았다. CEDAR 데이터베이스[9]에서 5000개의 숫자 영상을 추출하여 크기 정규화 과정을 거친 후 학습에 사용하였다. 숫자 영상의 크기는 12×12픽셀이며 각 픽셀은 16가지 레벨의 값을 지닌다.

성능/효과

BD와 DBD 방법은 학습률이 최적 값이 아니므로 학습속도가 느리다. 이에 반하여, 제안한 방법은 최적 학습률을 사용하였기에 MSE가 학습초기부터 급격히 줄어든다. [그림 2] (b)는 2213개의 학습시키지 않은 시험패턴에 대한 오인식률을 보여준다.
필기체 숫자 인식과 고립단어 인식 문제의 시뮬레이션으로 제안한 방법을 BD 및 DBD와 비교하였는데, 주장한 바와 같이 제안한 방법이 학습초기부터 MSE가 급격히 줄어듦을 확인할 수 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

다층퍼셉트론의 강하 학습을 위한 최적 학습률
Optimal Learning Rates in Gradient Descent Training of Multilayer Perceptrons 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

다층퍼셉트론의 강하 학습을 위한 최적 학습률 Optimal Learning Rates in Gradient Descent Training of Multilayer Perceptrons 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

저자의 다른 논문 :

오상훈 (28)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

다층퍼셉트론의 강하 학습을 위한 최적 학습률
Optimal Learning Rates in Gradient Descent Training of Multilayer Perceptrons 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper