선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문에서는 여러 개의 출력 노드를 가질 수 있는 학습 알고리즘으로 확대한다. 그리고 은닉층의 가중치 변경시, 학습 상수를 상관 계수를 이용하여 학습 속도를 향상시키고자 한다. 학습 상수는 기존 은닉층의 가중치와 새로 계산된 가중치 사이의 상관 관계를 사용하여, 가중치의 변화를 가변적으로 적용한다.
- 따라서, 논문은 은닉층의 가중치 변경에 대한 학습 상수를 추가적으로 제안한다. 이런 학습 상수는 식(2.
- 본 논문은 Ergezinger[6,12]가 제안한 계층별 학습법에서 출력층의 학습 방법을 개선하고, 은닉층에 학습 상수를 도입하여 학습 속도와 계산 시간을 단축하고자 한다.
제안 방법
- 이런 Ergezinger의 방법은 출력층을 LSM으로 학습하기 때문에 출력층의 가중치에 조기 포화 현상이 일어날 수 있다. 그리고 조기 포화된 출력층의 가중치는 은닉층의 가중치 변경 시, 영향을 주어 학습 속도를 지연시킨다.
- 우선, iris 문제는 꽃받침과 꽃잎의 모양에 따른 4개의 관측값을 입력하여 3종류의 iris로 분류하는 문제이다. 따라서 MLP는 입력 노드 4개, 출력 노드 3개, 그리고 은닉 노드는 5, 7, 9개로 변경하면서 학습하였다. 학습에 사용된 iris 관측값은 각 iris 종류별로 50개씩 총 150개를 사용하였고, 학습의 종료 조건으로는 최대 epoch가 300에 이르던지, MSE가 0.
- MLP의 계층별 학습에 사용되는 Ergezinger 학습은 출력 노드가 1 개인 경우로 제한되어 있고 학습 상수를 사용하지 않으므로 학습 시간이 오래 걸리고 학습 오차의 진동이 발생할 수 있다. 따라서, 논문에서는 출력층이 벡터 형태로 학습할 수 있도록 Ergezinger의 학습 방법을 확대하였고, 은닉층 가중치 사이의 상관 계수를 학습 상수로 사용함으로써 학습시간과 수렴 속도를 개선할 수 있는 알고리즘을 제안하였다.
- 1)과 같이 여덟 개의 입력값을 세 개의 출력값으로 출력하는 함수 근사화 문제로써 입력값과 출력값의 범위는 0~1의 값을 가지며 총 50개의 샘플을 학습 패턴으로 사용하였다. 또한 은닉 노드의 수를 5, 10, 15개로 변경하면서 학습하였다. 학습 조건은 iris 문제와 동일하게 적용하였고, 좀 더 최소화된 오차에 대한 두 방법의 비교를 위하여 목표 MSE를 0.
- 1이하가 될 때가지 학습하였다. 제안한 방법과 Ergezinger 방법의 동등한 비교를 위하여 초기 가중치를 동일하게 설정하였다.
- 하지만 본 논문에서는 출력층이 벡터로 된 경우에 적용할 수 있는 학습 알고리즘을 위하여 Ergezinger의 방법을 식(2.4)와 같이 확대 수정한다.
- 그리고 은닉층의 가중치 변경시, 학습 상수를 상관 계수를 이용하여 학습 속도를 향상시키고자 한다. 학습 상수는 기존 은닉층의 가중치와 새로 계산된 가중치 사이의 상관 관계를 사용하여, 가중치의 변화를 가변적으로 적용한다.
- 또한 은닉 노드의 수를 5, 10, 15개로 변경하면서 학습하였다. 학습 조건은 iris 문제와 동일하게 적용하였고, 좀 더 최소화된 오차에 대한 두 방법의 비교를 위하여 목표 MSE를 0.001로 사용하였다.
대상 데이터
- 논문에서 사용한 MLP의 구조는 그림 1과 같이 은닉층이 하나인 MLP이며, 은닉층은 0~1의 시그모이드 함수를 사용하고 출력층은 선형 함수를 사용한다.
- 두 번째 실험으로, 비선형 근사화 문제는 식(3.1)과 같이 여덟 개의 입력값을 세 개의 출력값으로 출력하는 함수 근사화 문제로써 입력값과 출력값의 범위는 0~1의 값을 가지며 총 50개의 샘플을 학습 패턴으로 사용하였다. 또한 은닉 노드의 수를 5, 10, 15개로 변경하면서 학습하였다.
- 제안된 방법과 Ergezinger의 방법에 대한 비교를 위하여 iris 문제[14]와 비선형 근사화 문제[15]를 대상으로 실험하였다.
- 제안한 학습 알고리즘과 Ergezinger의 학습 방법을 비교 실험하기 위하여 iris 문제[14]와 비선형 근사화 문제[15]를 대상으로 실험하였다. 또한 각 알고리즘은 모두 Matlab으로 구현하였으며, 학습을 평가하는 오차 함수는 식(2.
- 따라서 MLP는 입력 노드 4개, 출력 노드 3개, 그리고 은닉 노드는 5, 7, 9개로 변경하면서 학습하였다. 학습에 사용된 iris 관측값은 각 iris 종류별로 50개씩 총 150개를 사용하였고, 학습의 종료 조건으로는 최대 epoch가 300에 이르던지, MSE가 0.1이하가 될 때가지 학습하였다. 제안한 방법과 Ergezinger 방법의 동등한 비교를 위하여 초기 가중치를 동일하게 설정하였다.
이론/모형
- Ergezinger의 계층별 학습은 출력층을 최소자승법(Least Square Method)[6]으로 학습한다.
- 제안한 학습 알고리즘과 Ergezinger의 학습 방법을 비교 실험하기 위하여 iris 문제[14]와 비선형 근사화 문제[15]를 대상으로 실험하였다. 또한 각 알고리즘은 모두 Matlab으로 구현하였으며, 학습을 평가하는 오차 함수는 식(2.1)과 같은 MSE(Mean Squared Error) 함수를 사용하였다.
성능/효과
- Iris 문제와 비선형 근사화 문제를 대상으로 하는 실험에서,제안된 방법은 기존 Ergezinger의 학습법보다 학습 시간과 수렴 속도에서 우수한 결과를 얻었다. 또한, CPU time을 고려한 학습 결과에서도 제안한 방법은 기존 방법보다 약 35%의 CPU time을 절약할 수 있었다.
- 제안된 방법은 기존 방법보다 iris 문제에서는 33%, 비선형 근사화 문제에서는 35%의 CPU time을 절약할 수 있었다. 따라서, 논문은 제안된 방법이 기존 Ergezinger의 방법보다 CPU time은 적게 걸리면서 학습 시간과 수렴 속도면에서 더 좋은 결과를 얻을 수 있음을 실험을 통해 확인하였다.
- Iris 문제와 비선형 근사화 문제를 대상으로 하는 실험에서,제안된 방법은 기존 Ergezinger의 학습법보다 학습 시간과 수렴 속도에서 우수한 결과를 얻었다. 또한, CPU time을 고려한 학습 결과에서도 제안한 방법은 기존 방법보다 약 35%의 CPU time을 절약할 수 있었다.
- 제안된 방법과 Ergezinger의 방법에 대한 비교를 위하여 iris 문제[14]와 비선형 근사화 문제[15]를 대상으로 실험하였다. 실험 결과, 제안된 방법은 상관 계수에 대한 계산이 필요하지만 학습 시간과 수렴 속도 면에서 기존 방법보다 우수한 결과를 얻었다. 논문의 순서는 다음과 같이, 2장에서 Ergezinger의 계층별 학습법과 제안된 학습법을 설명한다.
- 그림에서 알 수 있듯이, Ergezinger의 방법은 학습 시간이 제안된 방법보다 많이 소요되며, 학습 하는 동안 많은 오차의 진동이 발생되고 있다. 이에 반하여, 제안된 방법은 Ergezinger의 방법보다 오차의 진동이 적고 수렴 속도도 빨랐다. 그림 3은 2.
- ③ cf ≈ 0: 만약 상관 계수의 값이 0에 가까우면 가중치 방향들 사이에 관계가 일정하지 않으므로 가중치의 조정을 확대하거나 축소하지 않고 현 상태를 유지한다. 이와 같은 학습 상수 조정 방법은 Ergezinger의 방법에서 사용되지 않았으므로 논문에서 제안한 방법은 Ergezinger의 학습 시간과 수렴 속도를 개선할 수 있다.
- 표 1에서 알 수 있듯이, 제안된 방법이 전체적으로 기존 방법보다 CPU time이 적게 소모되었다. 제안된 방법은 기존 방법보다 iris 문제에서는 33%, 비선형 근사화 문제에서는 35%의 CPU time을 절약할 수 있었다. 따라서, 논문은 제안된 방법이 기존 Ergezinger의 방법보다 CPU time은 적게 걸리면서 학습 시간과 수렴 속도면에서 더 좋은 결과를 얻을 수 있음을 실험을 통해 확인하였다.
- 제안한 학습 상수는 은닉층의 새로이 계산된 가중치와 기존 가중치 사이의 상관 계수에 따라 조정되는데, 상관 계수가 1에 근사하면 가중치의 조정을 확대하고, -1에 근사하면 축소하며, 0에 근사한 값을 보이면 현재의 가중치를 유지한다.
- 그림 4의 결과에서도 그림 3의 결과와 마찬가지로 학습 속도와 오차의 진동 횟수면에서 제안된 방법이 Ergezinger의 방법보다 우수한 결과를 얻었다. 특히, 은닉 노드가 5개인 경우는 기존 방법보다 대략 5배 정도의 학습 속도의 개선이 있었다.
- 표 1은 제안된 방법과 기존 방법의 CPU time을 초 단위로 측정한 것이다. 표 1에서 알 수 있듯이, 제안된 방법이 전체적으로 기존 방법보다 CPU time이 적게 소모되었다. 제안된 방법은 기존 방법보다 iris 문제에서는 33%, 비선형 근사화 문제에서는 35%의 CPU time을 절약할 수 있었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.