공간탐색 진화알고리즘을 이용한 Interval Type-2 pRBF 뉴럴 네트워크의 구조적 해석 Architectural Analysis of Type-2 Interval pRBF Neural Networks Using Space Search Evolutionary Algorithm원문보기
본 논문에서는 RBF뉴럴 네트워크에서 은닉층활성함수에 Interval type-2 퍼지개념을 적용한 새로운 RBF 뉴럴 네트워크를 설계하였다. 퍼지 시스템 분야에서 불확실한 정보에 대한 Type-1퍼지집합의 성능을 보안하고자 Type-2 퍼지집합이 제안되었으며, 멤버쉽함수 안에 다시 멤버쉽함수를 생성함으로써 불확실한 정보를 좀 더 효과적으로 다루고자 하였다. 따라서 본 논문에서는 RBF 뉴럴 네트워크의 은닉층 활성함수에 type-2 퍼지집합의 개념을 적용하여 불확실한 정보에 대한 모델 성능을 개선하고자 하였다. 나아가 연결가중치를 상수항이 아닌 1차식으로 구성된 다항식을 사용하여 최종출력을 입력-출력의 관계식으로 표현하였다. 연결가중치는 기존의 경사하강법(Gradient Descent Method; GDM) 대신 conjugate gradient method(CGM)을 사용하여 파라미터를 동조하고, 은닉층의 활성함수는 공간탐색 진화 알고리즘(Space Search Evolutionary Algorithm; SSEA)을 이용하여 가우시안 함수의 중심점 및 분포상수를 동조하여 모델의 성능을 개선시킨다. 제안된 모델의 성능을 평가하기 위해 가스로 시계열 데이터를 사용하였으며, 결과를 기존 모델과 비교하였다.
본 논문에서는 RBF 뉴럴 네트워크에서 은닉층 활성함수에 Interval type-2 퍼지개념을 적용한 새로운 RBF 뉴럴 네트워크를 설계하였다. 퍼지 시스템 분야에서 불확실한 정보에 대한 Type-1 퍼지집합의 성능을 보안하고자 Type-2 퍼지집합이 제안되었으며, 멤버쉽함수 안에 다시 멤버쉽함수를 생성함으로써 불확실한 정보를 좀 더 효과적으로 다루고자 하였다. 따라서 본 논문에서는 RBF 뉴럴 네트워크의 은닉층 활성함수에 type-2 퍼지집합의 개념을 적용하여 불확실한 정보에 대한 모델 성능을 개선하고자 하였다. 나아가 연결가중치를 상수항이 아닌 1차식으로 구성된 다항식을 사용하여 최종출력을 입력-출력의 관계식으로 표현하였다. 연결가중치는 기존의 경사하강법(Gradient Descent Method; GDM) 대신 conjugate gradient method(CGM)을 사용하여 파라미터를 동조하고, 은닉층의 활성함수는 공간탐색 진화 알고리즘(Space Search Evolutionary Algorithm; SSEA)을 이용하여 가우시안 함수의 중심점 및 분포상수를 동조하여 모델의 성능을 개선시킨다. 제안된 모델의 성능을 평가하기 위해 가스로 시계열 데이터를 사용하였으며, 결과를 기존 모델과 비교하였다.
In this paper, we proposed Interval Type-2 polynomial Radial Basis Function Neural Networks. In the receptive filed of hidden layer, Interval Type-2 fuzzy set is used. The characteristic of Interval Type-2 fuzzy set has Footprint Of Uncertainly(FOU), which denotes a certain level of robustness in th...
In this paper, we proposed Interval Type-2 polynomial Radial Basis Function Neural Networks. In the receptive filed of hidden layer, Interval Type-2 fuzzy set is used. The characteristic of Interval Type-2 fuzzy set has Footprint Of Uncertainly(FOU), which denotes a certain level of robustness in the presence of un-known information when compared with the type-1 fuzzy set. In order to improve the performance of proposed model, we used the linear polynomial function as connection weight of network. The parameters such as center values of receptive field, constant deviation, and connection weight between hidden layer and output layer are optimized by Conjugate Gradient Method(CGM) and Space Search Evolutionary Algorithm(SSEA). The proposed model is applied to gas furnace dataset and its result are compared with those reported in the previous studies.
In this paper, we proposed Interval Type-2 polynomial Radial Basis Function Neural Networks. In the receptive filed of hidden layer, Interval Type-2 fuzzy set is used. The characteristic of Interval Type-2 fuzzy set has Footprint Of Uncertainly(FOU), which denotes a certain level of robustness in the presence of un-known information when compared with the type-1 fuzzy set. In order to improve the performance of proposed model, we used the linear polynomial function as connection weight of network. The parameters such as center values of receptive field, constant deviation, and connection weight between hidden layer and output layer are optimized by Conjugate Gradient Method(CGM) and Space Search Evolutionary Algorithm(SSEA). The proposed model is applied to gas furnace dataset and its result are compared with those reported in the previous studies.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 RBF 신경회로망 은닉층 활성함수에 type-2 퍼지 개념을 적용한 Interval Type-2 pRBF 신경회로망을 제안하였다. type-2 퍼지 개념을 적용하여 주어진 정보를 좀 더 효율적으로 처리하며, 중심점 및 분포상수와, 연결가중치 계수 및 구간 계수를 공액경사법(CGM)으로 학습시킴으로써 기존의 경사하강법보다 빠른 학습속도 및 성능을 개선시켰다.
이러한 연구 중에서, 선형 또는 비선형 미분 방정식에 기반을 둔 정량적인 수학적 모델과 인공지능의 영역에서 나타나는 정성적 특징을 가진 지능형 모델은 시스템 모델링을 위한 대표적인 기술이다. 시스템 모델링과 이를 위한 동정의 근본적인 목적은 물리적 현상의 특징을 적절하게 반영할 수 있는 모델을 개발하는 것이다. 기존 모델링의 대부분은 미분 또는 차분 방정식의 언어에서 표현되어진 선형 또는 비선형 함수의 형태로 수학적 모델을 이끌어 냈다.
제안 방법
본 논문에서는 RBF 신경회로망 은닉층 활성함수에 type-2 퍼지 개념을 적용한 Interval Type-2 pRBF 신경회로망을 제안하였다. type-2 퍼지 개념을 적용하여 주어진 정보를 좀 더 효율적으로 처리하며, 중심점 및 분포상수와, 연결가중치 계수 및 구간 계수를 공액경사법(CGM)으로 학습시킴으로써 기존의 경사하강법보다 빠른 학습속도 및 성능을 개선시켰다. 또한 공간탐색 진화 알고리즘(SSEA)를 적용하여 모델에 필요한 초기 파라미터를 (불확실한 영역 (FOU), 활성함수의 학습률(η그리고 m1j, m2j , σ1j, σ2j, cj, sj와 같은 파라미터를 경사하강법과 유사한 Conjugate Gradient Method(CGM)을 사용하여 학습을 통해 모델의 성능을 개선시켰다.
표 3. 기존모델과의 성능지수 비교.
제안된 모델에서 FOU와 학습률의 초기 설정에 따라 모델의 학습속도 및 성능이 좌우된다. 따라서 논문에서는 이초기 파라미터를 SSEA를 이용하여 최적화 시켰다. 그림 4 는 제안된 모델의 염색체 구조를 나타낸다.
또한 공간탐색 진화 알고리즘(SSEA)를 적용하여 모델에 필요한 초기 파라미터를 (불확실한 영역 (FOU), 활성함수의 학습률(η1), 연결가중치의 학습률(η2)) 최적화시켜 최적의 성능을 갖도록 모델을 설계하였다.
Type-2 퍼지 논리 집합은 Mendel에 의해 General type 과 Interval type으로 세분화 되었다. 본 연구에서는 은닉층 활성함수에 type-2 interval 멤버쉽 함수를 사용하여 은닉층을 구성한다. 또한 연결가중치 및 은닉층 활성함수의 중심점과 분포상수를 Conjugate Gradient Method(CGM)을 적용하여 성능을 최적화한다.
중심점 및 분포상수는 파라 미터의 탐색 공간이 제한적이기 때문에 연결가중치 계수 및구간계수의 학습률과 별도 설정하였다. 학습률은 heuristic rules을 사용하여 학습 횟수마다 변화 시켰다. 따라서 성능 지수가 5번 연속으로 감소하면, 학습률을 10%를 증가시키며, 성능지수가 증가하면 학습률을 10% 감소시키는 방법을 사용하여 학습률을 조절하였다.
대상 데이터
제안된 모델의 성능 평가를 위해서 가스로 시계열 데이터를 사용하였다. 1입력-1출력의 296개 데이터를 6입력으로 나누고 학습데이터 145개와 테스트 데이터 145개로 나누어 사용하였다. 표 1은 SSEA의 파라미터 설정 값을 나타 낸다.
제안된 모델의 성능 평가를 위해서 가스로 시계열 데이터를 사용하였다. 1입력-1출력의 296개 데이터를 6입력으로 나누고 학습데이터 145개와 테스트 데이터 145개로 나누어 사용하였다.
이론/모형
β(t)는 3가지 공식을 사용하여 구할 수 있으며, 논문에서는 Fletcher-Reeves 공식을 사용하였다.
Interval Type-2 pRBF 뉴럴 네트워크의 구조는 기존의 RBF 신경 회로망[7]과 동일하며, 차이점은 은닉층의 활성 함수에 type-2 퍼지 집합을 적용하였으며, 은닉층과 출력층 사이에 Karnik and Mendel(KM) 알고리즘을 적용하여 type-2를 type-1으로 줄여주는 type reduction 역할을 수행한다. 제안된 모델의 구조는 그림1과 같다.
하지만 경사하강법은 수렴속도가 느리며, 지역해에 빠질 가능성이 높다. 경사하강법(Gradient Descent Method; CDM)의 문제점을 개선시키고자 공액경사법(Conjugate Gradient Method; CGM)[8]을 사용하여 파라미터를 학습시킨다. 경사하강법은 현재의 기울기(경사벡터)로 탐색방향을 결정하지만, 공액경사법은 과거의 탐색방향(방향벡터)과 현재의 기울기(경사벡터)를 동시에 고려하여 탐색방향(방향벡터)을 결정하게 된다.
연결가중치 계수는 랜덤하게 임의의 구간 안에서 생성하거나, 일반적인 RBF 신경회로망에서 가져오게 된다. 논문에서는 일반적인 RBF 신경회로망의 연결가중치 계수를 사용하였다.
본 연구에서는 은닉층 활성함수에 type-2 interval 멤버쉽 함수를 사용하여 은닉층을 구성한다. 또한 연결가중치 및 은닉층 활성함수의 중심점과 분포상수를 Conjugate Gradient Method(CGM)을 적용하여 성능을 최적화한다.
이는 입력변수의 분포범위를 고려하여 입력변수의 범위에 맞게 학습률을 개별 적으로 설정하였다. 목적함수로는 Means Square Error(MSE)를 사용하여 목적함수가 최소가 될 때의 파라미터를 모델에 적용하였으며, MSE는 식(19)과 같다.
은닉층의 활성함수에 필요한 학습률과 FOU(Footprint Of Uncertain)같은 초기 파라미터를 찾기 위해 공간탐색 진화 알고리즘(Space Search Evolutionary Algorithm)을 이용한다.
활성함수의 출력(적합도)와 연결가중치를 가지고 식(1)의 최종 출력을 구하게 된다. 이때 type reduction이 요구되며, 논문에서는 Karnik and Mendel이 제안한 KM 알고리즘을 사용하여 모델의 최종 출력을 구한다. KM 알고리즘[6] 과정은 아래와 같다.
파라미터를 학습시키기 위해서 실제출력과 모델출력사이의 오차를 이용한 Back-Propagation을 사용한다. 그리고 학습 가능한 파라미터에 대한 오차의 기울기를 계산하기 위해 경사하강법이 대표적으로 사용된다.
활성함수는 가우시안 함수를 사용하였으며, 그림 2과 같이 나타낼 수 있다. hi (i = 1, .
활성함수의 출력을 구한 다음, Karnik and Mandel[1]이 제안한 KM 알고리즘과 퍼지추론 방법을 이용하여 최종출력을 구할 수 있다. 식(1)은 모델의 최종 출력식이며, yr,yl의 평균값으로 구해진다.
성능/효과
BP학습은 학습데이터 (Training dataset)만 가지고 수행하였다. 노드 수가 4개일 때는 공액경사법의 학습속도 및 성능이 우수함을 알 수 있으며, 노드 수가 6개일 때는 성능은 비슷하지만 학습속도는 공액경사법이 빠름을 확인할 수 있다. 표 3은 기존모델의 성능지수를 정리한 표이다.
SSEA는 각 세대에서 하나의 염색체만을 생성하고 평가 하기 때문에 기존의 진화 알고리즘 보다 빠른 연산속도를 갖는 장점이 있다. 논문에서 제안된 모델의 경우 모델 자체 적으로 BP를 이용한 학습시간이 소요되기 때문에 SSEA를 사용함으로써 기존의 진화 알고리즘을 사용할 때보다 연산 시간의 이득을 얻을 수 있다.
학습률은 heuristic rules을 사용하여 학습 횟수마다 변화 시켰다. 따라서 성능 지수가 5번 연속으로 감소하면, 학습률을 10%를 증가시키며, 성능지수가 증가하면 학습률을 10% 감소시키는 방법을 사용하여 학습률을 조절하였다.
표에서 보듯이 공액경사법(CGM)을 적용한 모델의 성능이 경사하강법(GDM)을 사용한 모델보다 우수함을 알 수있다. 또한 SSEA로 초기 파라미터를 최적화 시킨 모델이 최적화를 적용하지 않은 모델 Case I보다 성능이 우수함을 확인할 수 있다. 그림 6은 공액경사법과 경사하강법의 학습 속도를 비교하여 나타낸 그림이다.
제안된 모델에서 FOU와 학습률의 초기 설정에 따라 모델의 학습속도 및 성능이 좌우된다. 따라서 논문에서는 이초기 파라미터를 SSEA를 이용하여 최적화 시켰다.
표에서 보듯이 공액경사법(CGM)을 적용한 모델의 성능이 경사하강법(GDM)을 사용한 모델보다 우수함을 알 수있다. 또한 SSEA로 초기 파라미터를 최적화 시킨 모델이 최적화를 적용하지 않은 모델 Case I보다 성능이 우수함을 확인할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
시스템 모델링과 이를 위한 동정의 근본적인 목적은 무엇인가?
이러한 연구 중에서, 선형 또는 비선형 미분 방정식에 기반을 둔 정량적인 수학적 모델과 인공지능의 영역에서 나타나는 정성적 특징을 가진 지능형 모델은 시스템 모델링을 위한 대표적인 기술이다. 시스템 모델링과 이를 위한 동정의 근본적인 목적은 물리적 현상의 특징을 적절하게 반영할 수 있는 모델을 개발하는 것이다. 기존 모델링의 대부분은 미분 또는 차분 방정식의 언어에서 표현되어진 선형 또는 비선형 함수의 형태로 수학적 모델을 이끌어 냈다.
공간탐색 진화 알고리즘을 사용하는 목적은?
은닉층의 활성함수에 필요한 학습률과 FOU(Footprint Of Uncertain)같은 초기 파라미터를 찾기 위해 공간탐색 진화 알고리즘(Space Search Evolutionary Algorithm)을 이용한다.
미분 또는 차분 방정식의 언어에서 표현되어진 선형 또는 비선형 함수의 형태로 수학적 모델을 이끌어 낸 기존 모델링의 단점은 무엇인가?
기존 모델링의 대부분은 미분 또는 차분 방정식의 언어에서 표현되어진 선형 또는 비선형 함수의 형태로 수학적 모델을 이끌어 냈다. 그러나 정교한 수학적 모델이 거의 완벽하게 시스템을 표현할 수 있다하더라도 그것은 시스템 동작과 변수 사이의 종속관계에 대한 원하는 정보를 제공하지 못한다. 또한 모델링을 하고자 하는 시스 템이 복잡하고, 대규모 구조인 경우는 함수식으로 모델의 표현이 한정되지 않기 때문에 적용하기가 어렵다. 이러한 문제와 어려움을 해결하기 위해 퍼지 모델[3], 신경회로망 [4]과 같은 지능형 모델에 관한 연구가 진행되었으며, 최근 에는 이러한 모델들의 최적화를 통해 모델이 가지고 있는 독특한 특성을 살리면서 지능 모델의 효율과 성능 향상을 최대한 이끌어 내는 연구가 활발히 진행되어지고 있다[5].
참고문헌 (13)
L. Zhao, Y. Yang, and Y. Zeng, “Eliciting Compact T-S Fuzzy Models Using Subtractive Clustering and Coevolutionary Particle Swarm Optimization,” Neurocomputing, Vol. 72, No. 10-12, pp. 2569-2575, 2009.
B. Niu, Y. Zhu, X. He, and H. Shen, “A Multi-Swarm Optimizer Based Fuzzy Modeling Approach for Dynamic Systems Processing,” Neurocomputing, Vol. 71, No. 7-9, pp. 1436-1448, 2008.
Z-B. Xu, H. Q, J. Peng, and B. Zhang, “A Comparative Study of Two Modeling Approaches in Neural Network,” Neural Networks, Vol. 17, No. 1, pp. 73-85, 2004.
L. Sanchez, I. Couso, and J. Casillas, “Genetic Learning of Fuzzy Rules Based on Low Quality Data,” Fuzzy Sets and Systems, Vol. 160, No. 17, pp. 2524-2552, 2009.
Y. Y. Fu, C. J. Wu, J. T. Jeng, and C. N. Ko, “Identification of MIMO systems using radial basis function networks with hybrid learning algorithm,” Applied Mathematics and Computation, Vol. 213, pp. 184-196, 2009.
A. Y. Al Bayati, N. A. Sulaiman, and G. W. Sadiq “A Modified Conjugate Gradient Formula for Back Propagation Neural Network Algorithm,” Journal of Computer Science, Vol. 5, No. 11, pp. 849-856, 2009.
W. huang, L. Ding, S. K. Oh, C. W. Jeong, and S. C. Joo, “Identification of Fuzzy Inference System Based on Information Granulation,” KSII Trans. on Internet and Information systems, Vol. 4, No. 4, pp. 575-593, 2010.
S. K. Oh, and W. Pedrycz, “Identification of fuzzy systems by means of and auto-tuning algorithm and its application to nonlinear systems,” Fuzzy Set and Systems, Vol. 115, No. 2, pp. 205-230, 2000.
B. J. Park, W. Pedrycz and S. K. Oh, “Identification of fuzzy models with the aid of evolutionary data granulation,” In : IEE Proc. Control Theory and Applications, Vol. 148, No.5, pp. 406-418, 2001.
J. N. Choi, S. K. Oh, and W. Pedrycz, “Identification of fuzzy models using a successive tuning method with a variant identification ratio,” Fuzzy Set and Systems, Vol. 159. No. 21, pp. 2873-2889, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.