[논문]입자군집 최적화를 이용한 SVM 기반 다항식 뉴럴 네트워크 분류기 설계

노석범; 오성권

doi:10.5370/kiee.2018.67.8.1071

입자군집 최적화를 이용한 SVM 기반 다항식 뉴럴 네트워크 분류기 설계
Design of SVM-Based Polynomial Neural Networks Classifier Using Particle Swarm Optimization 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.67 no.8, 2018년, pp.1071 - 1079

노석범 (Dept. of Electrical and Electronic Engineering, University of Suwon) , 오성권 (Dept. of Electrical and Electronic Engineering, University of Suwon)

Abstract ▼ AI-Helper

In this study, the design methodology as well as network architecture of Support Vector Machine based Polynomial Neural Network, which is a kind of the dynamically generated neural networks, is introduced. The Support Vector Machine based polynomial neural networks is given as a novel network architecture redesigned with the aid of polynomial neural networks and Support Vector Machine. The generic polynomial neural networks, whose nodes are made of polynomials, are dynamically generated in each layer-wise. The individual nodes of the support vector machine based polynomial neural networks is constructed as a support vector machine, and the nodes as well as layers of the support vector machine based polynomial neural networks are dynamically generated as like the generation process of the generic polynomial neural networks. Support vector machine is well known as a sort of robust pattern classifiers. In addition, in order to enhance the structural flexibility as well as the classification performance of the proposed classifier, multi-objective particle swarm optimization is used. In other words, the optimization algorithm leads to sequentially successive generation of each layer of support vector based polynomial neural networks. The bench mark data sets are used to demonstrate the pattern classification performance of the proposed classifiers through the comparison of the generalization ability of the proposed classifier with some already studied classifiers.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 고차원 데이터의 패턴 분류 성능을 개선하기 위하여 동적 생성이 가능한 다항식 뉴럴 네트워크의 설계 방법을 기반으로 패턴 분류기를 설계하고자 한다. 일반적으로 신경회로망 기반 패턴 분류기는 입력 데이터의 전체 변수를 입력으로 사용하고 네트워크의 전체구조가 파라미터 학습을 진행하기 전에 미리 결정되어 진다.
본 연구에서는 다항식 뉴럴 네트워크의 기본 구조로 SVM을 적용한 SVM 기반 다항식 뉴럴 네트워크 패턴 분류기 설계 방법을 제안한다. 일반적인 SVM 기반 다항식 뉴럴 네트워크는 다항식 뉴럴 네트워크의 동적 생성 방법을 통해 네트워크의 구조를 레이어 별로 결정한다.
이와 같이 우수한 패턴 분류 성능을 보이는 SVM을 다항식 신경회로망의 기본 노드로 사용함으로써, 동적 생성 네트워크가 가지는 문제점인 과적합 문제를 해결하고자 한다.

제안 방법

이와 같은 과정을 거쳐 얻은 Pareto optimal set의 원소를 네트워크의 레이어를 구성하기 위한 노드로 사용하게 된다. MOPSO 를 이용하여 제안된 SVM 기반 다항식 뉴럴 네트워크의 구조를 최적화하는 과정에서 Pareto Set을 정의하고 Repository에 저장 한다. Repository에 저장된 Pareto set은 최적화를 위한 반복과정에서 갱신된다.
다항식 뉴럴 네트워크의 과적합 문제를 해결하여 네트워크의 일반화 성능을 개선하기 위하여, SVM을 다항식 뉴럴 네트워크의 기본 구조로 사용한다. SVM을 다항식 뉴럴 네트워크의 기본 구조로 사용함으로써 다항식 뉴럴 네트워크의 일반화 성능 향상을 추구한다.
일반적인 SVM 기반 다항식 뉴럴 네트워크는 다항식 뉴럴 네트워크의 동적 생성 방법을 통해 네트워크의 구조를 레이어 별로 결정한다. 또한 최적화 알고리즘인 MOPSO를 적용할 경우, 제안된 패턴 분류기의 네트워크를 최적화 알고리즘을 이용하여 결정한다. 제안된 설계 방법을 통하여 얻어진 SVM 기반 다항식 뉴럴 네트워크 패턴 분류기의 패턴 분류 성능을 평가 하기 위하여 다수의 기계 학습 데이터를 사용하였다.
본 논문에서는 동적 생성되는 특성을 가진 다항식 뉴럴 네트 워크를 확장하여 네트워크의 기본 구조인 뉴런에 Support Vector Machine을 적용하여 SVM 기반 다항식 뉴럴 네트워크를 제안하고 이를 패턴 분류기로 적용하였다. SVM은 노이즈에 강인한 패턴 분류기로 알려져 있으며, 대표적인 2진 분류 문제에 대한 패턴 분류기로 인식되어진다.
과적한 문제를 해결하기 위하여 매우 다양한 방법들의 제안되어져 왔고 지금도 연구 되어지고 있다. 본 논문에서는 동적생성 다항식 뉴럴 네트워크의 층수를 증가 시킬 때 나타나는 과적합 문제를 감소시키기 위하여 강인한 패턴 분류기로 알려진 Support Vector Machine (SVM)을 신경회로망의 기본 구조인 다항식 뉴런으로 사용한다. SVM은 1990년대 초반에 Vapnik에 의해 제안된 방법으로 패턴 분류 및 모델링 분야에 적용되어 우수한 성과를 거두고 있다[2].
본 논문에서는 제안된 SVM 기반 다항식 뉴럴네트워크의 구조를 최적화하기 위하여 네트워크의 각 층의 노드 선택을 위하여 다중 목적 군집 최적화 알고리즘을 적용한다. 다중 목적 입자 군집 최적화 알고리즘의 목적함수는 네트워크의 기본 노드인 SVM 의 기본 목적함수인 J_SVM= 1/2∥W∥²와 패턴 분류기의 학습 데이터에 대한 오분류율로 정의하여 사용한다.
본 연구에서 사용된 2가지의 목적함수는 J_SVM과 오분류율이며 이 두 가지 목적함수를 이용하여 정의한 Pareto Set은 그림 7과 같다.
제안된 설계 방법을 통하여 얻어진 SVM 기반 다항식 뉴럴 네트워크 패턴 분류기의 패턴 분류 성능을 평가 하기 위하여 다수의 기계 학습 데이터를 사용하였다. 본 연구에서 수행된 실험은 통계적 유의성을 얻기 위하여 5 fold cross validation 방법에 따라 학습 데이터와 테스트 데이터로 나누어 수행되어진다.
이를 확장하여 다중 목적함수를 가진 다중 목적 입자 군집 최적화 기법을 사용하면, 두 가지의 선택기준을 하나로 통합하지 않고 두 가지를 동시에 고려하여 Pareto set을 형성하여 SVM 기반 다항식 뉴럴 네트워크의 각 층의 구조를 최적화 한다.
SVM은 노이즈에 강인한 패턴 분류기로 알려져 있으며, 대표적인 2진 분류 문제에 대한 패턴 분류기로 인식되어진다. 이와 같은 SVM의 장점을 이용하여 네트워크를 구축하기 위하여 동적 생성 네트워크인 다항식 뉴럴 네트워크의 기본 노드로 SVM을 채택하여 패턴 분류기를 설계한다. 동적 생성 네트워크는 매 층마다 네트워크의 구조를 생성하는 과정을 거쳐 최종 네트워크의 구조를 결정한다.

대상 데이터

표 3은 SVM 기반 다항식 뉴럴 네트워크의 패턴 분류 성능을 평가하기 위하여 사용된 기계학습 데이터의 특성을 보인다. 본 논문에서 제안된 패턴 분류기의 성능을 평가하기 위하여 사용된 기계학습 데이터는 모두 2진 분류 데이터들이다.
제안된 다항식 뉴럴 네트워크의 패턴 분류 성능을 평가하기 위하여 다양한 기계 학습 데이터들 중에서 binary class 분류 데이터들을 적용하여 평가한다.
또한 최적화 알고리즘인 MOPSO를 적용할 경우, 제안된 패턴 분류기의 네트워크를 최적화 알고리즘을 이용하여 결정한다. 제안된 설계 방법을 통하여 얻어진 SVM 기반 다항식 뉴럴 네트워크 패턴 분류기의 패턴 분류 성능을 평가 하기 위하여 다수의 기계 학습 데이터를 사용하였다. 본 연구에서 수행된 실험은 통계적 유의성을 얻기 위하여 5 fold cross validation 방법에 따라 학습 데이터와 테스트 데이터로 나누어 수행되어진다.

데이터처리

제안된 설계 방법에 의하여 설계되고 최적화된 SVM 기반 다항식 뉴럴 네트워크의 성능을 확인하기 위하여 다양한 기계학습 데이터에 이를 적용하여, 패턴 분류 성능을 얻었고, 이를 이미 연구되어진 다른 패턴 분류기와 비교 평가하였다. 패턴 분류 성능의 비교 평가를 통해 실험결과에 보인바와 같이 기존 기계학습 알고리즘에 비해 우수한 결과를 얻을 수 있었다.

이론/모형

SVM기반 다항식 뉴럴 네트워크의 구조를 최적화하기 위하여 MOPSO 사용한다. 이를 위하여 사용된 다중 목적 입자 군집 최적화 알고리즘의 초기 설계 파라미터와 최적화 할 해공간의 탐색 범위를 표 5에 나타낸다.
각 노드의 평가를 위해 패턴 분류 성능이 아닌 클래스 분리 기준인 LDA의 목적 함수 (3)를 사용하여 뉴런의 성능을 평가한다. 평가된 모든 노드들의 평가 값을 이용하여 임의로 결정된 개수 만큼 선택하여 다음 층의 입력 변수로 사용한다.
하나 이상의 개체를 포함하고 있는 hypercube에 미리 정하여진 값 (x>1)을 해당 hypercube에 속한 개체들의 수로 나누어서 얻어진 값을 적합도로 할당한다(본 논문에서 x=10을 사용 함). 이와 같이 각 hypercube에 할당된 적합도를 이용하여 roulette-wheel 선택 방법으로 hypercube를 선택한다. 선택된 hypercube에 속한 개체들 중에서 랜덤하게 하나의 개체를 선택하여 REP[h]라 한다.
제안된 SVM 기반 다항식 뉴럴 네트워크의 각 층의 구조를 최적화하기 위하여 앞에서 설명한 다중 목적 입자 군집 최적화 알고리즘을 이용한다. MOPSO를 이용하여 SVM기반 다항식 뉴럴 네트워크의 각 레이어 구조를 최적화하기 위한 Particle의 구조는 그림 4와 같다.
제안된 SVM 기반 다항식 뉴럴 네트워크의 최적화를 위하여 다중 목적 입자 군집 최적화(Multi-Objective Particle Swarm Optimization: MOPSO) 알고리즘을 사용하였다 [5]. 일반적으로 하나의 목적함수를 가지는 입자 군집 최적화 알고리즘과 달리 다수의 목적함수를 기반으로 패턴 분류기를 최적화시키기 위하여 다중 목적 입자 군집 최적화 알고리즘을 이용한다.

성능/효과

제안된 패턴 분류기의 성능과 기존 연구된 패턴 분류기의 성능을 비교할 경우 기존 패턴 분류기에 비해 우수한 성능을 보임을 알 수 있다.
제안된 설계 방법에 의하여 설계되고 최적화된 SVM 기반 다항식 뉴럴 네트워크의 성능을 확인하기 위하여 다양한 기계학습 데이터에 이를 적용하여, 패턴 분류 성능을 얻었고, 이를 이미 연구되어진 다른 패턴 분류기와 비교 평가하였다. 패턴 분류 성능의 비교 평가를 통해 실험결과에 보인바와 같이 기존 기계학습 알고리즘에 비해 우수한 결과를 얻을 수 있었다.
학습 데이터의 패턴 분류 결과는 층을 증가시킬수록 개선이 되지만, 테스트 데이터의 경우 층의 개수가 증가 할수록 패턴 분류기의 복잡도가 증가되고, 패턴 분류기의 증가된 복잡도가 과적합 현상을 발생시켜 테스트 데이터에 대한 일반화 성능이 나빠짐을 알 수 있다. MOPSO에 의해 최적화된 SVM 기반 다항식 뉴럴 트워크의 패턴 분류 성능과 Generic SVM 기반 다항식 뉴럴 네트워크의 성능을 다른 패턴 분류기와 비교한 결과를 표 6에 나열하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	다항식 뉴럴 네트워크란?	다항식 뉴럴 네트워크는 1968년 A. G. Ivakhnenko에 의해 제안된 Group Method of Data Handling (GMDH) 모델을 확장한 형태이며, 동적으로 생성되는 특징을 가진 네트워크이다[2]. 일반적으로 전체 입력 변수를 사용하는 신경회로망과는 달리, 다항식 뉴럴 네트워크의 노드는 전체 입력 변수들 중에서 설계자가 미리 정한 개수의 입력변수만을 사용한다.
	패턴 분류 기법은 어떻게 나누어지는가?	패턴 분류 기법은 매우 다양한 관점에서 접근이 가능하고, 다양한 관점에서 기술이 개발되어지고 있다. 패턴 분류 기법은 크게 분류하면, 통계적 접근 방법과 뉴럴 네트워크를 이용한 방법으로 나눠질 수 있다 [1].
	학습데이터가 과적합(overfitting) 되는 특성을 해결하기 위한 방법은	과적한 문제를 해결하기 위하여 매우 다양한 방법들의 제안되어져 왔고 지금도 연구 되어지고 있다. 본 논문에서는 동적생성 다항식 뉴럴 네트워크의 층수를 증가 시킬 때 나타나는 과적합 문제를 감소시키기 위하여 강인한 패턴 분류기로 알려진 Support Vector Machine (SVM)을 신경회로망의 기본 구조인 다항식 뉴런으로 사용한다. SVM은 1990년대 초반에 Vapnik에 의해 제안된 방법으로 패턴 분류 및모델링 분야에 적용되어 우수한 성과를 거두고 있다[2].

참고문헌 (15)

G. B. Hwang, Q. U. Zhu, C. K. Siew, "Extreme Learning Machine: Thoery and Applicaitons", Neurocomputing, vol. 70, pp. 489-501, 2006

상세보기
S.-K. Oh and Pedryza, W, "The Design of Self- Organizing Polynomial Neural Networks", Information Science, vol. 141, pp. 237-258, 2002

상세보기
S.-K. Oh and W. Pedrycz, "Identification of Fuzzy Systems by means of an Auto-Tuning Algorithm and Its Application to Nonlinear Systems", Fuzzy sets and Systems, vol. 115, no. 2, pp. 205-230, 2000.

상세보기
S.-K. Oh, W. Pedrycz, and D.-W. Kim, "Hybrid Fuzzy Polynomial Neural Networks", Int. J. of Uncertainty, Fuzziness and Knowledge-Based Systems, vol. 10, no. 3, pp. 257-280, June, 2002.

상세보기
S.-K. Oh and W. Pedrycz, "The design of self-organizing Polynomial Neural Networks", Information Science, vol. 141, pp. 237-258, 2002.

상세보기
S.-K. Oh, W. Pedrycz and B.-J. Park, "Polynomial Neural Networks Architecture: Analysis and Design", Computers and Electrical Engineering, vol. 29, Issue 6, pp. 703-725, 2003.

상세보기
C. Cortes and V. N. Vapnik, "Support-vector networks", Mach. Learn., vol. 20, no. 3, pp. 273-297, 1995

상세보기
T. B. Trafalis and H. Ince, "Support vector machine for regression and applications to financial forecasting", in Proc. IEEE-INNSENNS Int. Joint Conf. Neural Netw., vol. 6, pp. 348-353, 2000
W. S. Noble, "Support vector machine application in computational biology", in Kernel Methods in Computational Biology, B Schokopf, K. Tsuda, and J.-P. Vert, Eds. Cambridge, MA, USA: MIT Press, 2004
K.-S. Goh, E.-Y. Chang, and B.-T. Li, "Using one-class and two-class SVMs for multiclass image annotation", IEEE Trans. Knowl. Data Eng., vol. 17, no. 10, pp. 1333-1346, 2005

상세보기
D. Isa, L.-H. Lee, V. P. Kallimani, and R. RajKumar, "Text document preprocessing with the Bayes formula for classification using the support vector machine", IEEE Trans.Knowl. Data Eng., vol. 20, no. 9, pp. 1264-1272, 2008

상세보기
M. B. Karstan, "Kernel methods in bioinformatics", in Handbook of Statistical Bioinformatics, Part 3, New York, NY, USA: Springer, pp. 317-334, 2011
R. E. Perez and K. Behdinan, "Particle swarm approach for structural design optimization", Computer & Structures, vol. 85, Issues 19-20, pp. 1579-1588, 2007

상세보기
C. A. Coello Coello, and M. S. Lechuga, "MOPSO: A Proposal for Multiple Objective Particle Swarm Optimization," Proceedings of the 2002 IEEE Congress on Evolutionary Computation, pp. 12-17.
E. Frank, M. A. Hall, and I. H. Witten, The WEKA Workbench. Online Appendix for "Data Mining: Practical Machine Learning Tools and Techniques", Morgan Kaufmann, Fourth Edition, 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증