퍼지 추론 메커니즘에 기반 한 다항식 네트워크 패턴 분류기의 설계와 이의 최적화 The Design of Polynomial Network Pattern Classifier based on Fuzzy Inference Mechanism and Its Optimization원문보기
본 연구에서는 퍼지 추론 메커니즘에 기반 한 다항식 네트워크 패턴 분류기(Polynomial Network Pattern Classifier; PNC)를 설계하고 Particle Swarm Optimization알고리즘을 이용하여 PNC 파라미터, 즉, 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(fuzzification Coefficient)를 최적화한다. 제안된 PNC 구조는 FCM 클러스터링에 기반한 분할 함수를 활성 함수로 사용하며, 다항식 함수로 구성된 연결가중치를 사용함으로서 기존 신경회로망 분류기의 선형적인 특성을 개선한다. PNC 구조는 언어적 해석관점에서 "If-then"의 퍼지 규칙으로 표현되며 퍼지 추론 메커니즘에 의해 구동된다. 즉 조건부, 결론부, 추론부 세 가지의 기능적 모듈로 나뉘어 네트워크 구조가 형성된다. 조건부는 FCM 클러스터링을 사용하여 입력 공간을 분할하고, 결론부는 분할된 로컬 영역을 다항식 함수로 표현한다. 마지막으로, 네트워크의 최종출력은 추론부의 퍼지추론에 의한다. 제안된 PNC는 다항식 기반 구조의 퍼지 추론 특성으로 인해 출력 공간상에 비선형 판별 함수(nonlinear discernment function)가 생성되어 분류기로서의 성능을 높인다.
본 연구에서는 퍼지 추론 메커니즘에 기반 한 다항식 네트워크 패턴 분류기(Polynomial Network Pattern Classifier; PNC)를 설계하고 Particle Swarm Optimization 알고리즘을 이용하여 PNC 파라미터, 즉, 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(fuzzification Coefficient)를 최적화한다. 제안된 PNC 구조는 FCM 클러스터링에 기반한 분할 함수를 활성 함수로 사용하며, 다항식 함수로 구성된 연결가중치를 사용함으로서 기존 신경회로망 분류기의 선형적인 특성을 개선한다. PNC 구조는 언어적 해석관점에서 "If-then"의 퍼지 규칙으로 표현되며 퍼지 추론 메커니즘에 의해 구동된다. 즉 조건부, 결론부, 추론부 세 가지의 기능적 모듈로 나뉘어 네트워크 구조가 형성된다. 조건부는 FCM 클러스터링을 사용하여 입력 공간을 분할하고, 결론부는 분할된 로컬 영역을 다항식 함수로 표현한다. 마지막으로, 네트워크의 최종출력은 추론부의 퍼지추론에 의한다. 제안된 PNC는 다항식 기반 구조의 퍼지 추론 특성으로 인해 출력 공간상에 비선형 판별 함수(nonlinear discernment function)가 생성되어 분류기로서의 성능을 높인다.
In this study, Polynomial Network Pattern Classifier(PNC) based on Fuzzy Inference Mechanism is designed and its parameters such as learning rate, momentum coefficient and fuzzification coefficient are optimized by means of Particle Swarm Optimization. The proposed PNC employes a partition function ...
In this study, Polynomial Network Pattern Classifier(PNC) based on Fuzzy Inference Mechanism is designed and its parameters such as learning rate, momentum coefficient and fuzzification coefficient are optimized by means of Particle Swarm Optimization. The proposed PNC employes a partition function created by Fuzzy C-means(FCM) clustering as an activation function in hidden layer and polynomials weights between hidden layer and output layer. Using polynomials weights can help to improve the characteristic of the linear classification of basic neural networks classifier. In the viewpoint of linguistic analysis, the proposed classifier is expressed as a collection of "If-then" fuzzy rules. Namely, architecture of networks is constructed by three functional modules that are condition part, conclusion part and inference part. The condition part relates to the partition function of input space using FCM clustering. In the conclusion part, a polynomial function caries out the presentation of a partitioned local space. Lastly, the output of networks is gotten by fuzzy inference in the inference part. The proposed PNC generates a nonlinear discernment function in the output space and has the better performance of pattern classification as a classifier, because of the characteristic of polynomial based fuzzy inference of PNC.
In this study, Polynomial Network Pattern Classifier(PNC) based on Fuzzy Inference Mechanism is designed and its parameters such as learning rate, momentum coefficient and fuzzification coefficient are optimized by means of Particle Swarm Optimization. The proposed PNC employes a partition function created by Fuzzy C-means(FCM) clustering as an activation function in hidden layer and polynomials weights between hidden layer and output layer. Using polynomials weights can help to improve the characteristic of the linear classification of basic neural networks classifier. In the viewpoint of linguistic analysis, the proposed classifier is expressed as a collection of "If-then" fuzzy rules. Namely, architecture of networks is constructed by three functional modules that are condition part, conclusion part and inference part. The condition part relates to the partition function of input space using FCM clustering. In the conclusion part, a polynomial function caries out the presentation of a partitioned local space. Lastly, the output of networks is gotten by fuzzy inference in the inference part. The proposed PNC generates a nonlinear discernment function in the output space and has the better performance of pattern classification as a classifier, because of the characteristic of polynomial based fuzzy inference of PNC.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 제안된 다항식 네트워크 패턴 분류기 (Polynomial Network Pattern Classifier; PNC) 의 성능평가를 위해 모의 데이터 집합과 기계 학습 데이터 집합에 적용하여 분류기로서의 성능을 평가 및 분석한다. 모의데이터 집합에 대해 2-클래스 분류문제와 3-클래스 분류문제를 다루며, 기계 학습 데이터 집합은 UCI Machine Learning Repository(www.
본 논문에서는 퍼지 추론 메커니즘에 기반 한 다항식 네트워크 패턴 분류기(Polynomial Network Pattern Classifier; PNC)를 설계한다. 제안된 PNC 구조는 신경회로망 분류기의 성능 향상을 위해 퍼지 추론 메커니즘을 네트워크 구조에 적용하였으며, 은닉층과 출력층 사이의 상수항 연결가중치를 다항식으로 표현함으로써 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타내고자 한다.
제안 방법
각 particle의 적합도는 이전 pbest의 적합도와 비교되며 pbest 를 재설정한다. pbest의 particle 중 최적 해를 가지는 particle의 적합도와 이전 gbest의 적합도를 비교하여 최적 위치정보를 가진 particle을 gbest로 재설정한다.
제안된 PNC는 네트워크 구조적인 면에서 볼 때, 기존의 상수항 연결가중치를 입력 공간 변수들의 다항식으로 확장하여 기존의 신경회로망 기반 분류기들의 선형적 특성을 비선형 특성으로 개선하였다. 또한 FCM 클러스터링을 통해 입력 공간의 데이터 분포에 적합한 소속함수를 은닉층의 활성 함수로 사용함으로서 학습이 빠르고 패턴 분류 성능이 보다 좋은 분류기를 설계하였다. 제안된 PNC는 다항식 기반 구조의 퍼지 추론 특성으로 신경 회로망에 기반 한 기존 분류기들의 선형성을 개선하여 우수한 패턴 분류 성능을 가진다.
Iris 데이터 집합의 분류 실험을 위해 PNC의 규칙 수를 2개에서 10개 까지 실험하였으며 각 규칙 수마다 7-Fold Cross-Validation 시뮬레이션 방법을 통하여 평균과 표준편차를 구하였다. 또한 PNC의 최 적화를 위해 PSO를 사용하여 학습률, 모멘텀 계수, 퍼지화 계수를 동정하였고 이때 사용된 PSO 파라미터는 앞에서 언급된 표 1과 같다. 규칙 2, 9개일 때의 패턴 분류 결과는 표 3과 같다.
제안된 PNC 구조는 신경회로망 분류기의 성능 향상을 위해 퍼지 추론 메커니즘을 네트워크 구조에 적용하였으며, 은닉층과 출력층 사이의 상수항 연결가중치를 다항식으로 표현함으로써 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타내고자 한다. 또한 제안된 PNC 구조는 FCM 클러스터링에 기반 한 분할 함수를 활성 함수로 사용한다. 이는 시그모이드 함수, 방사형 기저 함수를 사용한 활성 함수보다 입력 공간의 데이터 분포 특성을 잘 반영함으로써 빠른 학습 수렴과 성능 개선의 특징을 가진다.
본 논문에서 제안한 PNC 구조는 FCM 클러스터링 분할함수와 다항식의 적용으로부터 식 (1)의 퍼지 규칙 표현과 같이 언어적 관점에서 해석될 수 있다.
본 논문에서 제안한 PNC는 기존의 식 (6)의 형태를 갖는 상수항의 연결가중치를 식 (7)~(8)형태의 1차식과 2차식으로 확장함으로서 은닉층 뉴런의 출력간의 비선형 결합으로 인해 분류기로서의 성능을 향상시킨다.
본 논문에서 제안한 다항식 네트워크 패턴 분류기(Polynomial Network Pattern Classifier; PNC)는 활성 함수로 FCM 클러스터링에 의한 분할 함수를 사용하며, 비선형 특성의 판정 경계를 위해, 상수항 연결가중치가 아닌 다항식 연결가중치 w=f( . )를 이용한다. 뿐만 아니라 제안된 PNC 구조는 기능적 모듈로 동작되며, 이는 퍼지 추론 메커니즘의 특징을 나타낸다.
이러한 퍼지화 계수의 특징은 PNC의 소속 함수의 형태를 결정하는 중요한 요소이다. 본 논문에서는 PSO알고리즘으로 입력 데이터 집합과 규칙 수에 따른 최적화된 퍼지화 계수를 동조한다.
본 논문에서는 퍼지 추론에 기반 한 다항식 네트워크 패턴 분류기 (Polynomial Network Pattern Classifier; PNC) 를 설계하고 PSO 알고리즘을 이용하여 학습률, 모멘텀 계수 퍼지 화 계수를 동조하였다. 제안된 PNC 구조는 언어적 관점으로 부터 FCM 클러스터링을 통한 퍼지 공간 분할은 퍼지 규칙의 조건부로, 각 로컬 영역의 표현인 다항식 함수는 결론부로, 퍼지 추론에 의한 최종 출력은 추론부로 기능적 모듈 동작을 수행한다.
설계한다. 제안된 PNC 구조는 신경회로망 분류기의 성능 향상을 위해 퍼지 추론 메커니즘을 네트워크 구조에 적용하였으며, 은닉층과 출력층 사이의 상수항 연결가중치를 다항식으로 표현함으로써 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타내고자 한다. 또한 제안된 PNC 구조는 FCM 클러스터링에 기반 한 분할 함수를 활성 함수로 사용한다.
계수를 동조하였다. 제안된 PNC 구조는 언어적 관점으로 부터 FCM 클러스터링을 통한 퍼지 공간 분할은 퍼지 규칙의 조건부로, 각 로컬 영역의 표현인 다항식 함수는 결론부로, 퍼지 추론에 의한 최종 출력은 추론부로 기능적 모듈 동작을 수행한다. 제안된 PNC의 패턴 분류 성능 분석을 위해, 모의 데이터 집합과 기계학습 데이터 집합들에 적용하여 다양한 패턴 분류 모델들과 비교함으로서 제안된 PNC의 우수한 성능을 증명하였다.
, s)번째 출력에 대한 i 번째 퍼지 규칙의 다항식이다. 제안된 PNC 구조는 퍼지 규칙에 기반 한 네트워크 구조를 가지며, 조건부, 결론부, 추론부의 세 가지 기능적 모듈로 분리되어 동작한다. 그림 1은 기능적 모듈로서의 PNC 구조를 보여준다.
데이터처리
Iris 데이터 집합은 각 클래스마다 50개의 패턴으로 구성되어 총 150개의 패턴으로 구성된다. Iris 데이터 집합의 분류 실험을 위해 PNC의 규칙 수를 2개에서 10개 까지 실험하였으며 각 규칙 수마다 7-Fold Cross-Validation 시뮬레이션 방법을 통하여 평균과 표준편차를 구하였다. 또한 PNC의 최 적화를 위해 PSO를 사용하여 학습률, 모멘텀 계수, 퍼지화 계수를 동정하였고 이때 사용된 PSO 파라미터는 앞에서 언급된 표 1과 같다.
html) 로부터 획득한 Iris Dataset을 이용하여 기존 연구에서 제안된 분류기 기법들과 비교 평가 한다. 기계 학습 데이터 집합에 대한 실험은 각 데이터 집합을 7:3의 비율로 랜덤하게 학습 데이터와 테스트 데이터로 나누어 7번 반복 실험하며, 성능평가는 7-Fold Cross-Validation에 의한 분류 정확성의 평균과 표준편차에 의한다. 제안된 PNC 구조의 최적화를 위해 사용된 PSO 알고리즘의 파라미터들은 표 1과 같다.
모의 데이터 집합에 대한 실험은 규칙 수(은닉층 뉴런 수) 를 2-5개에 대하여 실험하였고 학습 횟수는 300번, 학습률 0.01, 모멘텀 계수 0.01, 퍼지화 계수 2.0을 사용하여 실험 하였다. 표 2는 모의 데이터 집합에 대한 실험결과로 패턴 인식률을 보여준다.
분류기로서의 성능을 평가 및 분석한다. 모의데이터 집합에 대해 2-클래스 분류문제와 3-클래스 분류문제를 다루며, 기계 학습 데이터 집합은 UCI Machine Learning Repository(www.ics.uci.edu/~mleam/MLRepository.html) 로부터 획득한 Iris Dataset을 이용하여 기존 연구에서 제안된 분류기 기법들과 비교 평가 한다. 기계 학습 데이터 집합에 대한 실험은 각 데이터 집합을 7:3의 비율로 랜덤하게 학습 데이터와 테스트 데이터로 나누어 7번 반복 실험하며, 성능평가는 7-Fold Cross-Validation에 의한 분류 정확성의 평균과 표준편차에 의한다.
표 4는 제안된 PNC와 다양한 패턴인식 모델들과의 패턴 인식률의 평균 성능 비교표이다 제안된 PNC를 기존에 연구 발표된 7가지 모델들과 비교하였다.
이론/모형
제안된 PNC 구조의 파라미터, 즉, 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수의 최적화를 위해 생체 군집이론에 바탕을 둔 Particle Swarm Optimization(PSO) 을 이용한다.
성능/효과
그림 4(a)의 판정경계를 생성하고 그 결과로서 패턴 인식률이 87%로 300개중 39개의 패턴을 오 분류 하였다. 이에 반해 같은 규칙수를 갖고 있는 Q-PNC는 소속 함수의 비선형 결합으로 판별 함수가 생성되어 그림 4(b)와 같이 데이터 분포 특성에 적합한 판정 경계를 생성함으로서 99.
본 논문에서 제안된 PNC 구조의 파라미터인 학습률과 모멘텀 계수, 퍼지화 계수의 선택 문제는 경사 하강법과 FCM 클러스터링을 사용하는 PNC의 성능에 크게 영향을 미치는 중요한 문제이다. 이는 입력 데이터의 특성과 분류기 모델의 특성을 고려해야 하는 어려운 문제로서 기존 연구에서 명확한 해결책이 제시되지 못하고 있다.
이는 입력 데이터의 특성과 분류기 모델의 특성을 고려해야 하는 어려운 문제로서 기존 연구에서 명확한 해결책이 제시되지 못하고 있다. 이러한 이유로 본 논문에서는 PSO 알고리즘을 사용하여 학습률과 모멘텀 계수, 퍼지 화 계수를 최적 동조하고 PNC의 분류기로서의 성능을 향상 시킨다.
제안된 PNC의 패턴 분류 성능 분석을 위해, 모의 데이터 집합과 기계학습 데이터 집합들에 적용하여 다양한 패턴 분류 모델들과 비교함으로서 제안된 PNC의 우수한 성능을 증명하였다. 제안된 PNC는 네트워크 구조적인 면에서 볼 때, 기존의 상수항 연결가중치를 입력 공간 변수들의 다항식으로 확장하여 기존의 신경회로망 기반 분류기들의 선형적 특성을 비선형 특성으로 개선하였다. 또한 FCM 클러스터링을 통해 입력 공간의 데이터 분포에 적합한 소속함수를 은닉층의 활성 함수로 사용함으로서 학습이 빠르고 패턴 분류 성능이 보다 좋은 분류기를 설계하였다.
또한 FCM 클러스터링을 통해 입력 공간의 데이터 분포에 적합한 소속함수를 은닉층의 활성 함수로 사용함으로서 학습이 빠르고 패턴 분류 성능이 보다 좋은 분류기를 설계하였다. 제안된 PNC는 다항식 기반 구조의 퍼지 추론 특성으로 신경 회로망에 기반 한 기존 분류기들의 선형성을 개선하여 우수한 패턴 분류 성능을 가진다. 제안된 PNC는 여러 패턴 인식 시스템에서의 다양한 응용이 기대된다.
제안된 PNC 구조는 언어적 관점으로 부터 FCM 클러스터링을 통한 퍼지 공간 분할은 퍼지 규칙의 조건부로, 각 로컬 영역의 표현인 다항식 함수는 결론부로, 퍼지 추론에 의한 최종 출력은 추론부로 기능적 모듈 동작을 수행한다. 제안된 PNC의 패턴 분류 성능 분석을 위해, 모의 데이터 집합과 기계학습 데이터 집합들에 적용하여 다양한 패턴 분류 모델들과 비교함으로서 제안된 PNC의 우수한 성능을 증명하였다. 제안된 PNC는 네트워크 구조적인 면에서 볼 때, 기존의 상수항 연결가중치를 입력 공간 변수들의 다항식으로 확장하여 기존의 신경회로망 기반 분류기들의 선형적 특성을 비선형 특성으로 개선하였다.
Q-PNC가 조금 더 좋은 성능을 보였다. 표 2의 굵은 글씨체의 결과는 데이터 Type A, B에 대하여 가장 우수한 성능을 보인 패턴 인식률이며 Q-PNC가 가장 좋은 성능을 보임을 알 수 있다.
표 2의 대부분의 경우에 RBFNNs 보다는 L-PNC 와 Q-PNC의 패턴 분류결과가 더 좋게 나타났으며, L-PNC 보다는 Q-PNC가 조금 더 좋은 성능을 보였다. 표 2의 굵은 글씨체의 결과는 데이터 Type A, B에 대하여 가장 우수한 성능을 보인 패턴 인식률이며 Q-PNC가 가장 좋은 성능을 보임을 알 수 있다.
후속연구
제안된 PNC는 다항식 기반 구조의 퍼지 추론 특성으로 신경 회로망에 기반 한 기존 분류기들의 선형성을 개선하여 우수한 패턴 분류 성능을 가진다. 제안된 PNC는 여러 패턴 인식 시스템에서의 다양한 응용이 기대된다.
참고문헌 (12)
W. Pedrycz, 'Conditional fuzzy clustering in the design of radial basis function neural networks,' IEEE Trans. Neural Networks, vol. 9, pp. 601-612, July 1998
A. Aiyer, K. Pyun, Y.Z. Huang, D.B. O'Brien,R.M. Gray, 'Lloyd clustering of Gauss mixture models for image compression and classification,' Signal Processing: Image Communication, vol. 20, pp. 459-485, 2005
C. Z. Janikow and M. Faifer, 'Fuzzy partitioning with FID3.l,' in Proc. IEEE 18th Int. Conf. North American Fuzzy Information Processing Soc., pp. 467-471, 1999
F. Klawonn, D. Nauck, and R. Kruse, 'Generating rules from data by fuzzy and neuro-fuzzy methods,' in Proc. Fuzzy-Neuro-Systeme, pp. 223-230, 1995
F. J. de Souza, M. M. B. R. Vellasco, and M. A. C. Pacheco, 'Load forecasting with the hierarchical neuro-fuzzy binary space partitioning model,' Int. J. Comput. Svst. Signals, vol. 3, no. 2, pp. 1 - 15, 2002
F. J. de Souza, M. M. B. R. Vellasco, and M. A. C. Pacheco, 'Hierarchical neuro-fuzzy quadtree models,' Fuzzy Sets Syst., vol. 130, No.2, pp.189 - 205, 2002
L.B. Goncalves, M.M.B.R. Vellasco, M.A.C. Pacheco and F.J. de Souza, 'Inverted hierarchical neuro-fuzzy BSP system: A novel neuro-fuzzy model for pattern classification and rule extraction in databases,' IEEE Transactions on Systems, Man & Cybernetics, Part C, Vol. 26, No.2, 2005
※ AI-Helper는 부적절한 답변을 할 수 있습니다.