[논문]모멘트의 동적 변환에 의한 Kernel Relaxation의 성능과 RMSE

김은미; 이배호

문제 정의

본 논문에서는 SVM의 순차 학습방법에 있어서 수렴 율개 선을 위해 동적 모멘트를 이용한 학습 방법을 제안하였다. 제안된 학습방법은 수렴에 따른 모멘트의 값을 동적으로 변경하는 방법이다.
따라서 최적의 모멘트는 정적 모멘트에서 나타난 단점들을 보완하고 장점을 살릴 수 있는 모멘트 스케쥴링 방법이 된다. 본 논문에서는 수렴에 따른 가변적인 모멘트를 이용하여 SVM의 학습 성능을 개선하는 새로운 방법을 제안한다. 이러한 스케쥴링 방법을 위해 본 논문에서는 학습 횟수와 성능을 한정적 비례관계로 가정한다.
본 논문에서는 순차 학습법에서의 수렴 시 발진 억제를 위해 과거의 속성값을 반영하는 상수 7를 추가하여 수렴 정도에 따라 모멘트의 크기를 조절하여 순차 학습법의 수렴 속도와 학습 성능을 향상시키는 학습 방법을 제안한다.
이는 KA의 빠른 수렴 속도에 따른 문제 점으로 사료된다. 이에 細과 같은 유연한 초평면을 갖으며 잦은 발진 현상을 보이는 relaxation에서 확실한 평가가 가능한가를 알아보기로 한다. 표 3은 KR 에서의 NM, SM, DM과 그때의 RMSE를 비교한 것이다.

가설 설정

본 논문에서는 수렴에 따른 가변적인 모멘트를 이용하여 SVM의 학습 성능을 개선하는 새로운 방법을 제안한다. 이러한 스케쥴링 방법을 위해 본 논문에서는 학습 횟수와 성능을 한정적 비례관계로 가정한다. 한정적 비례관계란 초기 한정된 구간 내의 학습에서 최초 학습 성능향상을 기대할 수 있는 임의의 학습 회수와 성능과의 관계를 말하며 이때 학습성능은 학습횟수와 비례관계를 가지게 된다.

제안 방법

실험은 제안된 동적모멘트의 학습 성 능과 R* MSE 평 가하기 위한 것으로 KA와 KR 에 각각 정적. 동적 모멘트를 적용하여 학습성능과 RMSE를 확인하였다. KA에 사용된 최적 정적모멘트의 값과 동적 모멘트의 값은。에서 2까지 0.
1씩 변화시켰으며 각 Epoch 당 학습 성능을 알아보기 위해 Epoch를 50번에서 200번까지 변화 시켜 실험하였다. 또한 동적 모멘트 사용 이전과 동적 모멘트의 사용 후에 대한 최적의 학습 성능을 알아보기 위해 최적의 모멘트를 이용하여 0 각각에 대한 학습성능을 비교하였다. 이하 모멘트 사용하지 않은 것을 NM(not moment), 정적모멘트를 적용한 것을 SM(static moment), 동적 모멘트를 적용한 것을 DM(dynamic momentum)라 칭한다, 표 2는 KA에 모멘트를 사용하지 않은 경우와 최적의 모멘트를 사용한 기존의 정적모멘트 및 본 논문에서 제안한 동적 모멘트 각각에 대한 학습성능과 그때의 RMS 오류율을 비교한 것이다.
따른 학습 성능을 알아보기 위해。를 0.1 에서 0.9까지 0.1씩 변화시켰으며 각 Epoch 당 학습 성능을 알아보기 위해 Epoch를 50번에서 200번까지 변화 시켜 실험하였다. 또한 동적 모멘트 사용 이전과 동적 모멘트의 사용 후에 대한 최적의 학습 성능을 알아보기 위해 최적의 모멘트를 이용하여 0 각각에 대한 학습성능을 비교하였다.
동적 모멘트를 적용하여 학습성능과 RMSE를 확인하였다. KA에 사용된 최적 정적모멘트의 값과 동적 모멘트의 값은。에서 2까지 0.1씩 각증가시키며 각 모멘트 값에 대해 매회 50번씩 학습한 결과 중 가장 우수한 학습성능을 갖는 모멘트 값을 확인하였으며 隅의 최적 모멘트값의 산출도 KA와 동일하게 모멘트를 변화시켰다. 이하 실험에서 정적모멘트 값과 동적 모멘트 값은 실험 결과 최적의 분류성능을 보인 KA에서는 3.
이러한 발진 현상을 줄여 수렴속도를 향상하는 방법으로는 기존의 선형 판별함수의 학습법이나 신경망에서 제안된 모멘트를 이용할 수 있다[5]. 이에 본 논문에서는 기존의 상수 모멘트를 정 적모멘트(static moment)로 정의 하며 본 는문에서 제안한 동적 모멘트(dynamic momentum) 와 구분한다.
제안하였다. 제안된 학습방법은 수렴에 따른 모멘트의 값을 동적으로 변경하는 방법이다. 제안된 동적 모멘트를 이용한 학습법을 SVM의 순차학습 방법인 KA와 KR을 이용하여 실험하였다.
결국 동적 모멘트 Me 앞서 말한 것과 같이 학습 횟수 k에 의해 정의된 모멘트 한계치 m의 범위내에서 세밀하게 조정된다. 제한 조건으로 M < m을 두어 M이 단조 증가되는 것을 제한함으로써 기존의 상수 모멘트인 m을 초기 선언된 모멘트 내에서 가변적 변화가 가능하도록 하였다. 이때 최초의 한계치에 대한 학습 횟수인 "게 도달할 경우 M=m이 되어 최초의 한계치에서 다시 모멘트값은 초기화되어 현재의 학습을 그대로 반영하게 된다.

대상 데이터

1을 본사용하였다. 본 실험에서 사용한 데이터는 신경망 분류기 표준 평가 데이터인 SONAR 데이테6]로 차원의 수는 60차원, 데이터의 총 개수는 208개로 처음 104개를 학습 데이터로 나머지 104개를 테스트 데이터로 사용하여 실험하였다. 실험은 제안된 동적모멘트의 학습 성 능과 R* MSE 평 가하기 위한 것으로 KA와 KR 에 각각 정적.
본 실험은 Windows 2000서버를 사용하였으며, 시스템의 구현을 위해 Matlab Ver. 6.1을 본사용하였다. 본 실험에서 사용한 데이터는 신경망 분류기 표준 평가 데이터인 SONAR 데이테6]로 차원의 수는 60차원, 데이터의 총 개수는 208개로 처음 104개를 학습 데이터로 나머지 104개를 테스트 데이터로 사용하여 실험하였다.

데이터처리

공정한 학습 성능 평가를 위해 신경망 분류기 표준 평가 데이터 인 SONAR 분류 문제를 이용하였으며 [6] 으며, 회귀 문제의 평가를 위해 root mean square error(RMSE)를 사용하였다.

이론/모형

있다. 라그랑지안 승수법을 이용하여 라그랑지안 함수를 구성한다[2].
본 논문에서는 회귀 문제의한 방법 인 RMS 오류율을 사용하였다. RMSE 는 (Mean Square Error)MSE의 절대값인 표준 에러로 성능에 대한 에러율을 확인함으로써 회귀 문제를 해결할 수 있다.
제안된 학습방법은 수렴에 따른 모멘트의 값을 동적으로 변경하는 방법이다. 제안된 동적 모멘트를 이용한 학습법을 SVM의 순차학습 방법인 KA와 KR을 이용하여 실험하였다. 실험 결과 KS 와 KR 가 수렴에 이를 경우 RMS 에러율은 수렴되지 않았지만 회귀율의 향상을 볼 수 있었다.

성능/효과

이와 마찬가지로 회귀 현상에서도 표 3과 그림 3-b에서 나타나는 것처럼 모멘트 사용 전이나 기존의 정적모멘트 사용보다 동적 모멘트의 적용시RMS오류율이 상당히 감소됨으 확인할 수 있다. 결과적으로 수렴 점에 매우 유연한 초평면을 갖는 I®의 학습에 있어서 정적모멘트 A 이용한 방법보다 동적 모멘트를 이용한 학습 방법이 학습성능과 수렴 속도 향상에 효과적인 방법이 됨을 RMSE를 통해 확인할 수 있다.
:5%로 나타났다. 두 실험 결과 DM>SM>NM 순으로 전체적으로 모멘트를 이용하여 학습하였을 경우 향상된 학습성능을 보였으며 정적모멘트보다 본 논문에서 제안한 동적 모멘트가 우수한 것으로 나타났다. 그러나 실험에서 모멘트를 이용하지 않은 K由의 학습 성능에서 알 수 있듯이 。의 조정만으로는 성능 향상에 한계가 있음을 알 수 있다.
실험 결과 KS 와 KR 가 수렴에 이를 경우 RMS 에러율은 수렴되지 않았지만 회귀율의 향상을 볼 수 있었다. 보다 정확한 결과 산출을 위해 Epoch을 10, 0005)까지 실험한 결과 RMS 에러율이 모멘트 사용 전 과 정적 모멘트의 사용의 유사함과 동적 모멘트의 상당한 감소를 볼 수 있었다. 이로써 다시 한 번 동적모멘트의 우수성을 확인할 수 있었다.
모멘트를 사용하지 않을 때 Epoch 30에서 학습성능이 높거나 왔으나 이것은 학습 중에 나타나는 발진에 불과舌- 며, 정 적모멘트를 이용하여 학습 성능의 향상을 가져왔으나 수렴속도에는 약 160 정도로 크게 변화가 없는 것을 알 수 있다. 수렴에 근접해 갈수록 동적모멘드를 사용하였을 때의 학습성능이 Epoch의 증가에 다라 향상되는 것을 볼 수 있었다. 즉, 동적 모멘트를 이용한 학습방법이 정적모멘트를 이용한 학습 방법보다 우수한 학습 성능을 보였으며 수렴속도가 두 배 정도 빨라진 것을 알 수 있다.
제안된 동적 모멘트를 이용한 학습법을 SVM의 순차학습 방법인 KA와 KR을 이용하여 실험하였다. 실험 결과 KS 와 KR 가 수렴에 이를 경우 RMS 에러율은 수렴되지 않았지만 회귀율의 향상을 볼 수 있었다. 보다 정확한 결과 산출을 위해 Epoch을 10, 0005)까지 실험한 결과 RMS 에러율이 모멘트 사용 전 과 정적 모멘트의 사용의 유사함과 동적 모멘트의 상당한 감소를 볼 수 있었다.
실험 결과 수렴 속도와 학습 성능 면에서 기존의 정적모멘트를 이용한 방법에 비해 향상된 성능과 수렴 속도를 보이는 것을 확인하였으며 RMSE 또한 동적 모멘트일 경우 에러율이 7.3943e-001 로 감소되는 것을 확인하였다.
실험 결과 훈련 데이터(training data)의 경우, 수렴 시 가장 높은 학습 성능은 거의 100%로 나타났으며 실험 데이터(testing data)의 경우, 모멘트를 사용하지 않을 때 수렴 시 가장 높은 학습 성능은 <7= 0.3에서 91.34%, 정적모멘트를 사용했을 때 91.34%, 동적 모멘트를 사용했을 때 92.30%로 동적모멘트 적용 시 학습 성능의 향상을 알 수 있었다. 그러나 RMS에러율은 그림 2-b처럼 모멘트 적용 전과 모멘트 적용 후의 다소 적은 차이를 보일 뿐 거의 같은 곡선을 나타냈다.
즉, 동적 모멘트를 이용한 학습방법이 정적모멘트를 이용한 학습 방법보다 우수한 학습 성능을 보였으며 수렴속도가 두 배 정도 빨라진 것을 알 수 있다. 이와 마찬가지로 회귀 현상에서도 표 3과 그림 3-b에서 나타나는 것처럼 모멘트 사용 전이나 기존의 정적모멘트 사용보다 동적 모멘트의 적용시RMS오류율이 상당히 감소됨으 확인할 수 있다. 결과적으로 수렴 점에 매우 유연한 초평면을 갖는 I®의 학습에 있어서 정적모멘트 A 이용한 방법보다 동적 모멘트를 이용한 학습 방법이 학습성능과 수렴 속도 향상에 효과적인 방법이 됨을 RMSE를 통해 확인할 수 있다.
수렴에 근접해 갈수록 동적모멘드를 사용하였을 때의 학습성능이 Epoch의 증가에 다라 향상되는 것을 볼 수 있었다. 즉, 동적 모멘트를 이용한 학습방법이 정적모멘트를 이용한 학습 방법보다 우수한 학습 성능을 보였으며 수렴속도가 두 배 정도 빨라진 것을 알 수 있다. 이와 마찬가지로 회귀 현상에서도 표 3과 그림 3-b에서 나타나는 것처럼 모멘트 사용 전이나 기존의 정적모멘트 사용보다 동적 모멘트의 적용시RMS오류율이 상당히 감소됨으 확인할 수 있다.
첫 번째 문제점은 수렴을 위해 필요한 충분히 작은 모멘트를 선언했을 경우로 학습 초기 모멘트의 영향을 거의 받지 못함으로 수렴 시간과 성능 면에서 정적모멘트 사용이전에 비해 향상된 변화를 기대 할 수 없다는 것이다. 두 번째 문제점은 초기 학습의 속도를 높이기 위해 수렴 점에서의 모멘트 보다 큰 모멘트가 주어졌을 경우이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

모멘트의 동적 변환에 의한 Kernel Relaxation의 성능과 RMSE
Performance and Root Mean Squared Error of Kernel Relaxation by the Dynamic Change of the Moment 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

모멘트의 동적 변환에 의한 Kernel Relaxation의 성능과 RMSE Performance and Root Mean Squared Error of Kernel Relaxation by the Dynamic Change of the Moment 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

저자의 다른 논문 :

김은미 (4) 이배호 (21)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

모멘트의 동적 변환에 의한 Kernel Relaxation의 성능과 RMSE
Performance and Root Mean Squared Error of Kernel Relaxation by the Dynamic Change of the Moment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper