선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 회귀용 SVM의 효율적인 학습을 위해 해의 변화에 과거의 속성을 반영하는 모멘텀을 추가한 조합형 알고리즘을 제안하였다. 이렇게 하면 기울기상승법에서 발생하는 최적해로의 수렴에 따른 발진을 억제하여 그 수렴속도를 좀 더 개선시키는 모멘텀의 장점과 kemel-adatron 알고리즘의 구현 용이성을 그대로 살릴 수 있다.
제안 방법
- 따라서 수렴에 따론 발진을 막아 줄 수만 있다면 좀 더 빠르 게 최적해로 수렴시킬 수 있을 것이다. 이롤 위해 본 연구에서는 如*와 Sa;를 계산할 때 이전 변화의 속성을 반영하는 모멘텀을 추가하였다. 이는 현재의 계산방향이 이전의 계산방향을 따르도록 하는 것이다.
대상 데이터
- 1차원 비선형 함수r(x)=sinc(x)을 대상으로*의 값을 -10에서 +10까지의 구간에서 0을 포함한 0.4의 둥간격으로 51개 데이터를 추출하여 살험하였다.
- 좀 더 복잡한 문제에 제안된 알고리즘을 이용한 회귀용 SVM의 성능을 평가하기 위해서 2차원 비선형 함수 #를 대상으로 X와 y 각각의 구간 -9에서 9사이의 구간에서 0을 포함한 0.2의 등간격으로 91개 데이터를 추출하여 사용하였다.
데이터처리
- 본 연구에서는 기울기상승법에서 해의 변화에 과거의 속성을 반영하는 모멘텀(momentum)를 이용하는 수정된 ker- nel-adatron 알고리즘을 제안하고 이를 SVM의 학습기법으로 이용하였다. radial basis function(RBF)의 kernel을 이용한 제안된 학습기법와 SVM울 비선형 함수회귀에 적용하여 시뮬레이션하고 그 타당성을 확인하였으며, QP 알고리즘과 기존의 kemel-adatron 알고리즘을 이용한 결과와도 비교 고찰하였다.
- 을 이용하여 시뮬레이션하였다. 시뮬레이션 결과는 표준 QP 알 고리즘 및 기존의 kemel-adatron 알고리즘의 결과와 비교 분석하였다.
- 제안된 알고리즘의 회귀용 SVM의 타당성과 성능을 평가하기 위해서 1차원 및 2차원 비선형 회귀함수를 대상으로 RBF kernel 함수 #을 이용하여 시뮬레이션하였다. 시뮬레이션 결과는 표준 QP 알 고리즘 및 기존의 kemel-adatron 알고리즘의 결과와 비교 분석하였다.
이론/모형
- 본 연구에서는 기울기상승법에서 해의 변화에 과거의 속성을 반영하는 모멘텀(momentum)를 이용하는 수정된 ker- nel-adatron 알고리즘을 제안하고 이를 SVM의 학습기법으로 이용하였다. radial basis function(RBF)의 kernel을 이용한 제안된 학습기법와 SVM울 비선형 함수회귀에 적용하여 시뮬레이션하고 그 타당성을 확인하였으며, QP 알고리즘과 기존의 kemel-adatron 알고리즘을 이용한 결과와도 비교 고찰하였다.
- kemel-adatron 알고리즘은 kernel에 의한 비선형 특징공간 에서의 동작과 adatron의 용이한 구현성을 조합한 하이브 리드 학습기법이다. 여기서는 특징공간에서의 여유를 최대화하기 위하여 기울기상승(gradient ascent) 법을 이용하고 등식의 조건을 만족시키는 라크랑지안 계수(Lagrangian multiplier)을 얻기 위해서 할선법(secant method)을 이용하였다. 그러나 기울기상숭법은 해의 변화를 라:!랑지안 함수의 미분에 따라 변화시킴으로서 최적해로 수렴될 때 발진 이 발생할 수도 있다.
성능/효과
- 여기서도 1차 원 함수의 실험과 동일한 결과를 나타냄을 확인할 수 있다. (그림 7)의 사각부분을 확대한 (그림 8)을 보면 더 정확하게 알 수가 있는데, 특히 함수의 X와 y의 구간이 -2에서 2사이 에서의 근사화 결과를 보면 kern이-adatron 알고리즘과 제안된 알고리즘은 원함수와 거의 유사한 근사화 성능을 보이는 반면, QP 알고리즘의 경우는 추출된 데이터에 거의 선형적으로 군사화되어 확연한 근사화 성능차를 볼 수 있다.
- 제안된 알고리즘은 kemal-adatron에 비해 약 L3배, QP에 비해 약 191배정도 학습속도가 개선되었음을 알 수 있다. ASE로 표현되는 제안된 알고리즘의 회귀성능은 kemel-adatron과는 유사하나 QP와 비교하면 훨씬 개선되었음을 알 수 있다.
- adatrone 이론적으로 촤적 해로의 수렴이 알고리즘의 반복에 지수 함수적으로 빠르게 일어난다고 알려져 있다. 결국 이 기법은 SVM의 특징공간 에 adatron을 도입하는 것으로 용이한 구현성뿐만 아니라 kernel에 의한 비선형 뜩징공간에서의 단순한 동작 특성도 동시에 얻을 수 있어, 기존 QP 알고리즘이 가지는 계산과 구현상의 제약들을 효과적으로 해결할 수 있다.
- 를 나타낸 것이다. 그림으로부터 QP 알고리즘은 b값에 무관하게 일정한 ASE 값을 가지나 kernel adatron알고리즘과 제안된 알고리즘은 상대적으로 QP 알고리즘보다 kernel 폭 b에 더욱 의존됨을 알 수 있다. 그림에서 제안된 알고리즘과 kemel- adatron 알고리즘의 경우, a의 값은 0.
- 의 변화에 따른 ASE를 나타낸 것이다. 그림으로부터 QP 알고리즘이 오히려 b값에 매우 민감함을 알 수 있고 상대적으로 kemel-ada- tron 알고리즘과 제안된 알고리즘은 매우 작은 ASE 값을 가 기머 屮하 兀 의 가ofl 두 거의 어하으 반기 알2 인저춤L나느 거 을 알 수 있다. 앞의 1차원 실험과 비교하여 보면 차원이 높아질수록 QP 알고리즘은 <7에 많이 의존을 하고, 반면 kemel- adatron과 제안된 알고리즘은 b에 덜 의존함을 알 수 있다.
- 하지만 QP 알고리즘의 경우는 상대적으로 근사화 정도가 떨어짐을 알 수가 있다. 그림의 사각부분을 확대한 (그림 3)을 보면 더욱 정확하게 알 수가 있는데, 특히 함수의 변화가 심한 양쪽 끝부 분을 살펴보면 kemel-adatron 알고리즘과 제안된 알고리즘은 비교적 원함수와 유사하게 근사화되는 것에 비해, QP 알고리즘의 경우는 추출된 데이터에 선형적으로 근사화되는 것을 볼 수 있다. 즉, 추출데이터의 수가 많은 가간에서 는 QP 알고리즘보다 kemerl-adatron 알고리즘과 제안된 알고리즘이 더 우수한 성능이 있음을 알 수 있다
- 9배 정도와 QP 알고리즘에 비해 약 82 배정도 학습속도가 개선됨을 알 수 있다. 또한 kemel- adatron 알고리즘과 제안된 알고리즘만을 비교하면 ASE로 표현되는 회귀성능은 유사하나 학습속도에서는 제안된 알고리즘이 더 우수한 성능이 있다.
- 01일 때 TE와 ASE에서 가장 우수한 성능을 보임을 알 수 있다. 또한 다른 모멘텀 값에서도 학습시간과 오차측면에서 제안된 알고리즘은 kemel-adatron알고 리즘보다 우수한 성능이 있음을 알 수 있다. 이는 <표 의 결과와 비교할 때, 제안된 알고리育의 경우 모멘텀의 값이 0.
- 이상의 실험 결과들로부터 제안된 방법은 QP 알고리즘 이 가지는 학습속도와 구현의 어려움 및 기존의 kemel- adatron 알고리즘에서 일어나는 발진현상을 동시에 해결할 수 있음을 확인할 수 있다. 특히, 1 차원과 2차원 비선형 회귀분석을 각각 비교할 때 제안된 알고리즘은 차원이 높 고 규모가 큰 문제일수록 더욱 더 우수한 성능개선효과가 있음을 알 수 있다.
- 한편, [표 2]도 (그림 7)의 실험조건하에서 SVM의 학습 시간과 절대합오차를 측정한 결과이다. 제안된 알고리즘은 kemal-adatron에 비해 약 L3배, QP에 비해 약 191배정도 학습속도가 개선되었음을 알 수 있다. ASE로 표현되는 제안된 알고리즘의 회귀성능은 kemel-adatron과는 유사하나 QP와 비교하면 훨씬 개선되었음을 알 수 있다.
- 제안된 학습알고리즘의 SVM을 1차원과 2차원 비선형 회귀함수에 각각 적용하여 시뮬레이션한 결과, QP 알고리즘과 kemel-adatron 알고리즘보다 학습시간에 있어서 우수한 결과를 보였고 회귀성능에서는 kernel-adatron과 유사한 성능을 보였다. 특히 문제의 규모가 커질수록 학습속도의 성능 개선정도는 증가됨을 확인하였다.
- 그림의 사각부분을 확대한 (그림 3)을 보면 더욱 정확하게 알 수가 있는데, 특히 함수의 변화가 심한 양쪽 끝부 분을 살펴보면 kemel-adatron 알고리즘과 제안된 알고리즘은 비교적 원함수와 유사하게 근사화되는 것에 비해, QP 알고리즘의 경우는 추출된 데이터에 선형적으로 근사화되는 것을 볼 수 있다. 즉, 추출데이터의 수가 많은 가간에서 는 QP 알고리즘보다 kemerl-adatron 알고리즘과 제안된 알고리즘이 더 우수한 성능이 있음을 알 수 있다
- 제안된 학습알고리즘의 SVM을 1차원과 2차원 비선형 회귀함수에 각각 적용하여 시뮬레이션한 결과, QP 알고리즘과 kemel-adatron 알고리즘보다 학습시간에 있어서 우수한 결과를 보였고 회귀성능에서는 kernel-adatron과 유사한 성능을 보였다. 특히 문제의 규모가 커질수록 학습속도의 성능 개선정도는 증가됨을 확인하였다.
- 이상의 실험 결과들로부터 제안된 방법은 QP 알고리즘 이 가지는 학습속도와 구현의 어려움 및 기존의 kemel- adatron 알고리즘에서 일어나는 발진현상을 동시에 해결할 수 있음을 확인할 수 있다. 특히, 1 차원과 2차원 비선형 회귀분석을 각각 비교할 때 제안된 알고리즘은 차원이 높 고 규모가 큰 문제일수록 더욱 더 우수한 성능개선효과가 있음을 알 수 있다.
- 한편, [표 1]은 (그림 2)왹 실험조건하에서 3가지 알고리즘에 대한 학습시간 Te과 절대합오차 ASE를 측정한 결 과이다. 표에서 보면 제안돤 알고리즘은 kemel-adatron 알고리즘에 비해 약 2.9배 정도와 QP 알고리즘에 비해 약 82 배정도 학습속도가 개선됨을 알 수 있다. 또한 kemel- adatron 알고리즘과 제안된 알고리즘만을 비교하면 ASE로 표현되는 회귀성능은 유사하나 학습속도에서는 제안된 알고리즘이 더 우수한 성능이 있다.
- 그림에서 보면 m이 001일때 학습시간과 절대합오차에서 가장 우수한 성능을 보인다. 하지만 다론 모멘텀 값에서도 학습시간과 오차는 제안된 알고리즘이 kemel-adatron 알고리즘보다 우수한 성능이 있음을 알 수 있다. 이는 동일 문제에 대해서 kemel-adaron 알고리즘의 경우[표 1]에서 보면 학 습시간이 0.
후속연구
- 하지만 식 (16)에서는 a와 /의 변화량 泌와 如;의 계산에 기울기상숭법을 그대로 이용하고 있어 최적해로 수렴될 때 학습률 〃에 따라서는 발진이 일어날 수도 있다. 따라서 수렴에 따론 발진을 막아 줄 수만 있다면 좀 더 빠르 게 최적해로 수렴시킬 수 있을 것이다. 이롤 위해 본 연구에서는 如*와 Sa;를 계산할 때 이전 변화의 속성을 반영하는 모멘텀을 추가하였다.
- 그러나 기울기상숭법은 해의 변화를 라:!랑지안 함수의 미분에 따라 변화시킴으로서 최적해로 수렴될 때 발진 이 발생할 수도 있다. 따라서 우수한 구현성은 立대로 살리면서도 최적해로의 수렴에서 발생하는 발진을 막아 좀 더 빠른 속도로 SVM을 학습시킬 수 있는 효과적인 기법의 연구가 요구된다.
- 이상에서 살펴 본 회귀함수는 선형의 경우에만 국한하역 설명한 것으로 모든 문제에 적용될 수는 없다 그러므로 비선형 회귀함수도 가능하게 하기 위해서는 좀 더 일반적인 문제에도 적용될 수 있는 SVM이 고려되어야 한다. 이를 위한 방법으로 SVM에서 입력벡터;t를 고차원의 특징공간 z로의 사상을 이용한다.
- 향후 제안된 알고리즘을 좀 더 큰 규모의 문제에 적용하여 성능을 확인하여야 하며, 좀 더 다양한 분야에의 응용에 대한 연구도 뒤따라야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.