[논문]PSO 알고리즘을 이용한 퍼지 Extreme Learning Machine 최적화

노석범; 왕계홍; 김용수; 안태천

doi:10.5391/jkiis.2016.26.1.087

PSO 알고리즘을 이용한 퍼지 Extreme Learning Machine 최적화
Optimization of Fuzzy Learning Machine by Using Particle Swarm Optimization 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.26 no.1, 2016년, pp.87 - 92

노석범 (원광대학교 전자융합공학과) , 왕계홍 (원광대학교 전자융합공학과) , 김용수 (대전대학교 컴퓨터공학과) , 안태천 (원광대학교 전자융합공학과)

초록
AI-Helper

본 논문에서는 일반적인 신경회로망의 단점인 느린 학습속도를 획기적으로 개선한 네트워크인 Extreme Learning Machine과 전문가들의 언어적 정보들을 기술 할 수 있는 퍼지 이론을 접목한 퍼지 Extreme Learning Machine을 최적화하기 위하여 Particle Swarm Optimization 알고리즘을 이용하였다. 퍼지 Extreme Learning Machine의 활성화 함수를 일반적인 시그모이드 함수를 사용하지 않고, 퍼지 C-Means 클러스터링 알고리즘의 활성화 레벨 함수를 이용하였다. Particle Swarm Optimization 알고리즘과 같은 최적화 알고리즘을 통하여 퍼지 Extreme Learning Machine의 활성화 함수의 파라미터들을 최적화 한다. Particle Swarm Optimization과 같은 최적화 알고리즘을 통한 제안된 모델의 최적화 하고 최적화된 모델의 분류성능을 평가하기 위하여 다양한 머신 러닝 데이터 집합을 사용하여 평가한다.

Abstract ▼ AI-Helper

In this paper, optimization technique such as particle swarm optimization was used to optimize the parameters of fuzzy Extreme Learning Machine. While the learning speed of conventional neural networks is very slow, that of Extreme Learning Machine is very fast. Fuzzy Extreme Learning Machine is composed of the Extreme Learning Machine with very fast learning speed and fuzzy logic which can represent the linguistic information of the field experts. The general sigmoid function is used for the activation function of Extreme Learning Machine. However, the activation function of Fuzzy Extreme Learning Machine is the membership function which is defined in the procedure of fuzzy C-Means clustering algorithm. We optimize the parameters of the membership functions by using optimization technique such as Particle Swarm Optimization. In order to validate the classification capability of the proposed classifier, we make several experiments with the various machine learning datas.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 제안된 퍼지 ELM의 일반적인 네트워크 구조와 학습방법에 대해 설명하고, 퍼지 ELM의 변경된 부분을 기술한다. 패턴 분류기로 이용되는 퍼지 ELM의 은닉층 파라미터를 최적화하기 위하여 사용되는 PSO 알고리즘에 대하여 설명한다.

가설 설정

종료 조건이 만족될 때까지 탐색을 계속 수행하며, 최종적으로 최적의 위치정보를 가지는 gBest를 해당 문제의 해로설정한다.

제안 방법

PSO 알고리즘을 이용하여 퍼지 ELM 패턴 분류기를 최적화하기 위하여 우수한 일반화 성능을 가지는 퍼지 클러스터의 중심 값을 결정한다.
각 particle의 적합도 값과 이전 세대의 pBest 적합도 값을 비교하여 재설정하고, 최적해의 pBest와 gBest값을 비교하여 재설정 한다.
마지막으로, 제안된 패턴 분류기의 패턴 분류 성능을 평가하기 위하여 다양한 기계학습 데이터를 이용하여 실험하고 패턴 분류 결과를 비교 한다.
본 논문에서는 단일 은닉층 피드포워드 신경회로망의 학습속도를 개선시킬 수 있는 ELM에 퍼지 활성화 함수를 결합한 퍼지 ELM을 패턴 분류기로 이용하였다.
본 논문에서는 단일 은닉층을 가진 피드포워드 신경회로망 구조를 기반으로 네트워크의 학습 속도를 개선하고 모델의 일반화 성능을 개선한 Extreme Learning Machine을 기반으로 노이즈에 강인한 특성을 가지는 퍼지 집합 이론을 결합한 퍼지 ELM을 제안하고, 최적화 알고리즘의 일종인 PSO 알고리즘을 이용하여 제안된 퍼지 ELM 의 활성화 함수의 위치를 최적화하는 패턴 분류기를 제안하였다.
데이터의 분포를 분석하기 위하여 반복적 최적화 과정을 거치는 일반적인 퍼지 클러스터링 과정을 거쳐 클러스터의 중심값을 결정하는 방법과 달리 퍼지 ELM의 활성화 함수인 클러스터의 중심값은 랜덤하게 생성하여 설정하게 된다. 본 연구에서는 균일 분포 함수를 사용하였다.
본 연구에서는 일반적인 신경회로망 구조와 빠른 학습 능력을 가진 ELM과 노이즈에 강인한 특성을 가진 퍼지 모델을 결합한 퍼지 Extreme Learning Machine을 패턴 분류기로 사용한다.
제안된 패턴 분류기의 성능 평가를 위하여 10fold 교차 확인 방법을 통해 검증하였다. 이는 전체 데이터 집합을 10개의 그룹으로 나누고 각 그룹을 테스트 데이터 집합으로 설정하고 나머지 9개의 그룹들을 학습데이터 집합과 확인 데이터 집합으로 나누어 학습과 최적화 과정을 진행한다.
제안된 패턴 분류기의 패턴 분류 성능을 검증하기 위하여 여러 개의 기계학습 데이터 집합들을 사용하여 패턴 분류를 수행하였다. 패턴 분류 성능을 검증하기 위하여 사용된 데이터는 기계학습 분야의 대표적인 성능기준평가 데이터인 UCI machine learning repository에서 얻은 다양한 데이터 집합들이다.
패턴 분류 성능 비교를 위하여 패턴 분류기의 오분류율을 평가 지수로 선택하였다

대상 데이터

제안된 패턴 분류기의 패턴 분류 성능을 검증하기 위하여 여러 개의 기계학습 데이터 집합들을 사용하여 패턴 분류를 수행하였다. 패턴 분류 성능을 검증하기 위하여 사용된 데이터는 기계학습 분야의 대표적인 성능기준평가 데이터인 UCI machine learning repository에서 얻은 다양한 데이터 집합들이다.

데이터처리

제안된 PSO 알고리즘을 이용하여 최적화된 퍼지 ELM 과신경회로망의 활성화 함수 파라미터를 랜덤하게 설정한 퍼지 ELM의 패턴 분류 성능을 비교 하였다.
제안된 패턴 분류기의 성능 평가를 위하여 10fold 교차 확인 방법을 통해 검증하였다. 이는 전체 데이터 집합을 10개의 그룹으로 나누고 각 그룹을 테스트 데이터 집합으로 설정하고 나머지 9개의 그룹들을 학습데이터 집합과 확인 데이터 집합으로 나누어 학습과 최적화 과정을 진행한다.

이론/모형

은닉층의 활성화 함수 파라미터 v_k는 특정확률 분포 함수를 이용하여 랜덤하게 생성하여 설정한다. 그러나 본 연구에서는 활성함수의 파라미터를 랜덤하게 생성하지 않고 PSO 알고리즘을 이용하여 최적화 한다.
그러나 퍼지 ELM에서 사용되는 활성화 함수는 퍼지 C-Means 클러스터링 알고리즘 [5]에서 사용되는 멤버십 함수로 (8)과 같이 정의 하여 사용한다
그리고 은닉층과 출력충 사이의 파라미터 β는 최소제곱법 (least square)을 사용하여 결정한다.
특히 퍼지 모델은 노이즈에 매우 강인한 특성을 보인다고 알려져 있다. 본 연구에서는 앞서 기술한 특성을 가진 퍼지 논리의 장점과 신경회로망의 장점을 결합하기 위하여 퍼지 ELM을 이용하였다.
전형적인 ELM의 연결하중 랜덤 설정 초기화 방법을 사용하지 않고, 퍼지 ELM에서는 신경회로망의 활성화 함수인 퍼지 클러스터의 각 중심 값을 최적화하기 위하여 PSO 알고리즘을 사용하였다.

성능/효과

제안된 최적화된 퍼지 ELM 패턴 분류기의 성능을 평가하기 위하여 기계학습 데이터 집합들을 사용하였고, 실험결과를 통해서 균등 확률 분포를 이용하여 은닉층의 파라미터를 결정하는 패턴 분류기에 비해 PSO 알고리즘을 이용하여 은닉층의 파라미터를 최적화된 패턴 분류기가 더욱 우수한 패턴 분류 성능을 보임을 알 수 있었다.
퍼지 ELM은 노이즈에 강인한 특성을 가진 퍼지 논리를 ELM과 결합하여 노이즈에 강인하고 빠른 학습 속도를 가지며, 패턴 분류기의 일반화 성능도 우수한 신경회로망을 구현하였다.
표 3에 보인 결과에 따르면, 랜덤하게 활성화 함수의 위치를 결정하는 전형적인 ELM의 방법을 따른 퍼지 ELM 패턴 분류기의 패턴 분류 성능에 비해 최적화 알고리즘인 PSO 알고리즘을 이용하여 최적화 된 퍼지 ELM 패턴 분류기의 분류성능의 우수함을 알 수 있었다.

후속연구

향후 연구에서는 네트워크의 복잡도를 증가시켜 패턴 분류기의 성능을 개선하고자 하는 연구가 필요할 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	PSO란 무엇인가?	PSO는 물고기 혹은 새떼와 같은 무리를 이루는 동물들의 행동 양식을 모사하여 최적화 문제를 해결하기 위한 방법으로 복잡하고 불확실한 영역에서 최적해 탐색이 가능하다.
	매우 큰 입력 공간을 가지는 데이터로 인하여 발생되는 문제를 해결하기 위하여 신경회로망은 어떻게 변형되었는가?	소프트 컴퓨팅의 일종인 신경회로망은 매우 큰 입력 공간을 가지는 데이터로 인하여 발생되는 문제를 해결하기 위하여 진화된 형태의 신경회로망인 깊은 구조를 가진 신경회로망 (Deep Neural Networks; DNNs)로 변형되어 이용되어지고 있다 [2].
	모바일 기기를 통하여 생산되는 데이터는 데이터의 차원 크기가 큰 경우 어떤 결과를 보이는가?	이러한 종류의 데이터들은 데이터의 차원이 매우 큰 경우가 대부분이다. 데이터의 차원이 매우 클 경우, 이러한 데이터 분류하기 위한 분류기를 학습시키기 위한 학습시간과 계산 복잡도가 매우 커지며, 분류기의 데이터 패턴 분류 성능도 좋지 않은 결과를 보인다 [1].

참고문헌 (10)

Y. J. Lin, J. J. Li, P. R. Lin, G. P. Lin, and J. K. Chen, "Feature Selection via Neighborhood Multi-Granulation Fusion," Knowledge Based Systems, Vol. 67, pp. 162-168, 2014.

상세보기
G. E. Hinton, S. Osindero, and Y. The, "A fast learning algorithm for deep belief nets," Neural Computation, Vol. 18, pp. 1527-1554, 2006.

상세보기
G. B. Hwang, Q. U. Zhu, and C. K. Siew, "Extreme learning machine: Theory and application," Neurocompputing, Vol. 70, pp. 489-501, 2006.

상세보기
J. Kennedy and R. Everhart, "Particle Swarm Optimization," Proc. of IEEE International Conference on Neural Networks, Vol. 4, pp. 1942-1948, 1995.
W. Pedrycz, "Conditional fuzzy C-Means," Pattern Recognition Letters, Vol. 17, No. 6, pp. 625-632, 1996.

상세보기
Tae-Chon Ahn, Sok-Beom Roh, Kuk-Yeon Hwang, Jihong Wang and Yong Soo Kim, "Design of Fuzzy Pattern Classifier based on Extreme Learning Machine,"Journal of Korean Institute of Intelligent Systems, Vol. 25, No. 5, pp. 509-514, 2015.

원문보기 상세보기
Gil-Sung Kim, Byoung-Jun Park and Sung-Kwun Oh, "The Design of Polynomial Network Pattern Classifier based on Fuzzy Inference Mechanism and Its Optimization," Journal of Korean Institute of Intelligent Systems, Vol. 17, No. 7, pp. 970-976, 2007.

원문보기 상세보기
J.H. Cho, D.J. Lee and M. G. Chun, "Parameter Optimization of Extreme Learning Machine Using Bacterial Foraging Algorithm," Journal of Korean Institute of Intelligent Systems, Vol. 17, No. 6, pp. 807-812, 2007.

원문보기 상세보기
Sung-Suk Kim, Sung-Soo Kim and Jeong-Woong Ryu, "Improved Fuzzy Clusteirng," Journal of Korean Institute of Intelligent Systems, Vol. 15, No. 1, pp. 6-11, 2005.

원문보기 상세보기
R. E. Perez and K. Behdinan, Particle swarm approach for structural design optimization," Computers & Structures, vol. 85, Issues 19-20, pp. 1579-1588, 2007.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증