[논문]연속시간 모델 순환결합형 신경회로망에서의 리미트사이클의 안정성 해석

박철영

doi:10.5391/jkiis.2006.16.2.179

연속시간 모델 순환결합형 신경회로망에서의 리미트사이클의 안정성 해석
Stability Analysis of Limit Cycles on Continuous-time Cyclic Connection Neural Networks 원문보기

퍼지 및 지능시스템학회 논문지 = Journal of fuzzy logic and intelligent systems, v.16 no.2, 2006년, pp.179 - 184

초록
AI-Helper

신경회로망을 동적 정보처리에 응용하기 위해서는 비대칭 결합 신경회로망에서 생성하는 동적 상태천이에 관한 직관적 이해가 필요하다. 자기결합을 갖고 결합하중치가 비대칭인 순환결합형 신경회로망은 복수 개의 리미트사이클을 기억할 수 있다는 것이 알려져 있다. 현재까지 이산시간 모델의 네트워크에 대한 상태천이 해석은 상세하게 이루어져 왔다. 그러나 연속시간모델에 대한 해석은 네트워크 규모의 증가에 따른 급격한 계산량의 증가 때문에 그다지 활발하게 연구가 이루어지지 않고 있다. 본 논문에서는 각 뉴런이 최근접 뉴런에만 이진화된 결합하중 +1 및 -1로 연결된 연속시간모델 순환결합형 신경회로망의 동적인 상태천이 특성을 해석하여 이산시간 모델에서 기억 가능한 리미트사이클과의 차이점을 분석하였다. 또한 뉴런의 활성화 함수가 완전선형인 경우와 구분선형 근사인 네트워크에 대한 리미트사이클의 안정성을 해석하였다.

Abstract ▼ AI-Helper

An intuitive understanding of the dynamic pattern generation in asymmetric networks may be considered an essential component in developing models for the dynamic information processing. It has been reported that the neural network with cyclic connections generates multiple limit cycles. The dynamics of discrete time network with cyclic connections has been investigated intensively. However, the dynamics of a cyclic connection neural network in continuous-time has not been well-known due to the considerable complexity involved in its calculation. In this paper, the dynamic behavior of a continuous-time cyclic connection neural network, in which each neuron is connected only to its nearest neurons with binary synaptic weights of ${\pm}1$, has been investigated. Furthermore, the dynamics and stability of the network have been analyzed using a piece-wise linear approximation.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

선형계의 해석에서 알 수 있는 다른 사실은 知>1일 때 진동해(리미트 사이클)가 나타나는 것이다. 따라서 비선형 효과를 고려했을 때의 진동해에 대해서 고찰한다.
본 논문에서는 선형근 사 해석 방법을 이용하여 최근접 뉴런 사이에만 결합이 존재하는 특정 순환결합형 신경회로망의 동적인 상태천이 특성을 상세히 분석하였다. 먼저, 뉴런의 운동 벡터에 근거하여 상태천이를 분석하는 기존의 해석방법 (CRANN)으로는 알 수 없었던 리미트 사이클의 융합을 확인하였다.
것을 보았다. 본 장에서는 그러한 원인을 분석하고 CRANN을 이용한 해석의 문제점을 명확하게 하기 위하여 네트워크에 대한 안정성을 해석한다.
우선 뉴런의 활성화 함수가 완전히 선형인 경우에 대하여 고찰한다. 3-뉴런의 순환결합형 네트워크에 있어서 활성화 함수를 다음 식과 같은 선형으로 가정한다.

가설 설정

3-뉴런의 순환결합형 네트워크에 있어서 활성화 함수를 다음 식과 같은 선형으로 가정한다.
이 결과는 CRANN을 이용한 해석 결과와 완전히 일치한다. 이상의 결과는 첫 번째 뉴런이 선형영역에 있고 나머지 두 개의 뉴런이 포화영역에 있다고 임의로 가정한 것의 결과이다. 다음으로 고려해야 하는 것은 두 개의 뉴런이 선형영역에 있는 경우이다.

제안 방법

거동을 고려한다. 그리고 이러한 시스템에서 생성되는 리미트사이클을 정성적으로 해석한다. 우선 거론하는 것은 3-뉴런의 네트워크이다.
따라서 연속시간 모델에서 생성되는 리미트 사이클의 수는 이 산시간 모델의 네트워크에 비해서 감소하는 이유를 명확하게 설명할 수 있다. 또한, 연속시간-연속 함수 네트워크에서 뉴런의 활성화 함수를 구분선형으로 근사시켜 비선형성에 의한 네트워크의 안정성을 해석하고, 기존의 네트워크 해석 알고리즘인 CRANN의 문제점을 규명하였다. 마지막으로, 해석 결과에 근거하여 연속 시간 모델의 순환결합형 네트워크에서 발생하는 리미트 사이클의 기본적인 특징을 정리하였다.
상태천이 특성을 상세히 분석하였다. 먼저, 뉴런의 운동 벡터에 근거하여 상태천이를 분석하는 기존의 해석방법 (CRANN)으로는 알 수 없었던 리미트 사이클의 융합을 확인하였다. 이는 연속 시간 모델의 네트워크에서는 어떤 리미트 사이클의 궤도가 중간 상태를 통과할 때, 다른 리미트 사이클의 어트랙터에 끌려들어가는 일이 발생하여 결과적으로 리미트 사이클들은 하나로 융합되는 것을 나타낸다.
본 논문에서는 선형 근사 해석 방법을 이용하여 결합 하중이 1과 -1로 이진화된 연속시간 모델 순환결합형 신경회로망의 동적 상태천이와 안정성에 대한 해석을 수행한다. 먼저 2 장에서는 순환결합형 신경회로망에 대하여 소개하고, 시뮬레이션을 통하여 이산시간과 연속시간의 네트워크에서 기억 가능한 리미트사이클의 수를 비교 분석한다.
본 논문에서는 자기결합 이외의 하중치는 ±1을 갖는 비대칭 네트워크를 이용한다. 순환결합형 네트워크는 그림 1과같이 인접 뉴런의 결합과 자기결합으로 구성되며 시냅스 결합 하중 w 는 식 (1) 과 같이 표현된다.
시뮬레이션은 뉴런의 수를 변화시키면서 수행하였고 대표적으로 뉴런의 수가 5개인 경우의 이산시간과 연속시간 모델에서 기억 가능한 리미트 사이클의 패턴을 조사하여 각각 표 1과 2에 나타내었다. 각 표에서 나타낸 수치는 5개 뉴런의 상태 (皿, μ2, …, μ5)를 이진수에 대응 시켜(즉 +1은 1, — 1은 0) 십진수로 변환한 것이다.
전 절과 비슷하게 하여 4-뉴런 네트워크의 상태천이를 구분 선형 근사에 의해 고찰한다. 뉴런 1이 선형영역, 뉴런 2, 3, 4가 포화영역에 있는 경우에 시스템의 미분방정식은 다음과 같다.

성능/효과

비슷한 해석을 통하여 어느 시각에는 항상 하나의 뉴런만이 그 상태를 천이시키는 것을 알 수 있고 결과적으로는 하나의 뉴런만이 선형영역에 있는 경우에 귀착되는 것을 알 수 있다. 마지막으로 3개의 뉴런이 선형영역에 있는 경우에는 전 절의 결과로부터 일정 시간이 경과한 후에는 어떤 뉴런이 포화영역에 들어가는 것이 확실하고 그다음은 역시 뉴런 하나가 천이하는 것으로 생각하는 것이 가능하다.
또한, 연속시간-연속 함수 네트워크에서 뉴런의 활성화 함수를 구분선형으로 근사시켜 비선형성에 의한 네트워크의 안정성을 해석하고, 기존의 네트워크 해석 알고리즘인 CRANN의 문제점을 규명하였다. 마지막으로, 해석 결과에 근거하여 연속 시간 모델의 순환결합형 네트워크에서 발생하는 리미트 사이클의 기본적인 특징을 정리하였다.
시뮬레이션 결과로부터 이산시간모델과 연속시간 모델의 네트워크에서 기억 가능한 리미트 사이클의 수와 형태가 다르다는 것을 알 수 있다. 식 (2) 의 결합 하중치를 이용하여 뉴런 수에 대한 이산시간과 연속시간 네트워크에 기억 가능한 리미트 사이클의 수를 시뮬레이션한 결과는 표 3과 같다.
이들 결과로부터 뉴런의 수에 관계없이 적어도 표에서 1 번의 성질을 갖는 리미트 사이클이 1개 있는 것을 알 수 있다. 또한, 표의 2번째 성질로부터 뉴런 수에 대해서 리미트 사이클의 수를 구하는 것은 가능하지 않으나 인수(factor)의 뉴런이 갖는 리미트 사이클의 수를 알면 구할 수 있다.
이상의 결과로부터 4-뉴런의 네트워크에서는 하나의 리미트 사이클과 4개의 안정한 고정 점이 존재하는 것을 알았다. 또한 리미트사이클에 있어서는 두 개의 뉴런이 동시에 상태를 변화하며 하나의 뉴런이 상태를 변화하는 것은 어트랙터 (attractor)에 끌려 들어가는 경우이다.
해석 결과에서 5-뉴런 네트워크의 경우 10주기의 리미트 사이클이 2개, 평형점이 2개 존재하는 것을 알 수 있다. CRANN의 해석 결과에서는 리미트 사이클이 3개 존재하고 있으나 실제의 연속시간 동작에서는 리미트사이클의 융합이 일어나는 것을 알 수 있다.

후속연구

기억정보간의 천이를 가능하게 하는 것은 정보처리의 관점에서 흥미 있는 문제이다. 따라서 본 논문의 이론적인 해석 결과를 근거로 순환결합형 네트워크를 응용한 동적정보처리 시스템의 구성을 검토하는 것이 향후의 연구방향으로 생각된다.

참고문헌 (14)

D. J. Amit, H. Gutfreund and H. Sompolinsky, 'Storing infinite number of patterns in spin-glass model of neural networks,' Phys, Rev.. Lett. 55, pp. 1530-1533, 1985

상세보기
J. H. Li, A. N. Michel and W. Porod, 'Qualitative analysis and synthesis of a class of neural network,' IEEE Trans. CAS, vol. 35, no. 8, pp. 976-986, 1988

상세보기
Y. Mori, P. Davis and S. Nara, 'Pattern retrieval in an asymmetric neural network with embedded limit cycles', Journal of Phys., vol. A22, pp. L525-532, 1989

상세보기
K. Nowara and T. Saito, 'Guaranteed storing of limit cycles into a discrete-time asynchronous neural network,' IEICE Trans. on Fundamentals, vol. E75-A, pp. 1579-1582, 1992
Y. Hayashi, 'Oscillatory neural network and learning of continuously transformed patterns,' Neural Networks, vol. 7, pp. 219-231, 1994

상세보기
G. Setti, P. Thiran and C. Serpico, 'An approach to information propagation in 1- D Cellular Neural networks-part Global propagation II,' IEEE Trans. on CAS I : Fundamental theory and applications, Vol 45, No .8, pp. 790-811, 1998

상세보기
H. Sompolinsky and I. Kanter, 'Temporal association in asymmetric neural networks,' Phys. Rev. Lett., vol. 57, pp. 2861-2864, 1986

상세보기
K. Aihara, M. Takanabe, and M. Toyoda, 'Chaotic neural networks,' Phys. Lett. A, vol. 44, pp. 333-340, 1990

상세보기
J. F. Kolen and S. C. Kremer, 'A field guide to dynamical recurrent networks,' IEEE Press, New York, 2001
Y. Hayakawa, A. Marumoto, and Y Sawada, 'Effect of the noise in the performance of a neural network model for optimization problems,' Phys. Rev. E, vol. 51, pp. 2693-2696, 1995

상세보기
K. Nakajima and Y. Hayakawa, 'Correct Reaction Neural Network,' Neural Networks, vol. 6, pp. 217-222, 1993

상세보기
C. Y. Park, Y. Hayakawa, K. Nakajima and Y. Sawada, 'Limit cycles of one-dimensional neural networks with the cyclic connection matrix,' IEICE Trans. on Fundamentals, vol. E79-A, no. 6, pp, 752-757, 1996
C. Y. Park, and K. Nakajima, 'Asymptotic Analysis of Cyclic Transitions in the Discrete-Time Neural Networks with Antisymmetric and Circular Interconnection Weights,' IEICE Trans. on Fundamentals, Vol. E87-A, No.6, pp. 1487-1490, 2004
H. Ninomiya, A. Kamo, T. Yoneyama, and H. Asai, 'A Fast Algorithm for Spatiotemporal Pattern Analysis of Neural Networks with Multivalued Logic,' IEICE Trans. on Fundamentals, vol. E81A, no. 9, pp. 1847-1852, 1998

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증