[논문]가변 망각인자를 사용한 커널 RLS 알고리즘

임준석; 편용국

doi:10.7840/kics.2015.40.9.1793

가변 망각인자를 사용한 커널 RLS 알고리즘
Kernel RLS Algorithm Using Variable Forgetting Factor 원문보기

한국통신학회논문지 = The Journal of Korean Institute of Communications and Information Sciences, v.40 no.9, 2015년, pp.1793 - 1801

임준석 (Sejong University, Dept. of Electrical Engineering) , 편용국 (GangWon Provincial College, Dept. of Information and Communication)

초록
AI-Helper

최근 KRLS-T라고 하는 커널 기반의 RLS 알고리즘이 제안되었다. 이 알고리즘은 비정재 환경에서 베이지안 이론에 기반한 망각 기저를 사용하고 있다. 이런 망각 기저의 핵심은 고정 망각인자를 사용하는 것이다. 그러나 실제 환경에서는 시스템의 비정재 정도까지도 시변인 경우가 많다. 이 경우 고정 망각인자로는 시스템의 바른 추정이 불가하다. 본 논문에서는 가변 망각인자를 사용한 KRLS-T를 제안한다. 그리고 모의 실험에서 가변 망각인자를 가진 KRLS-T가 시변 시스템의 추정에 더 효과적임을 보인다.

Abstract ▼ AI-Helper

In a recent work, kernel recursive least-squares tracker (KRLS-T) algorithm has been proposed. It is capable of tracking in non-stationary environments using a forgetting mechanism built on a Bayesian framework. The forgetting mechanism in KRLS-T is implemented by a fixed forgetting factor. In practice, however, we frequently meet that the fixed forgetting factor cannot handle time-varying system effectively. In this paper we propose a new KRLS-T with a variable forgetting factor. Experimental results show that proposed algorithm can handle time-varying system more effectively than the KRLS-T.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 가우시안 과정 기반의 추정법 중 하나인 KRLS-T 알고리즘의 시변 추정 성능 향상을 위한 방법 3가지를 제안하였다. 또 시변 채널 환경에서 모의 실험을 통하여 제안된 방법이 기존의 방법의 성능을 향상 시킴을 보였다.
즉, KRLS는 커널을 사용하여 입력 벡터를 다른 공간으로 매핑하는 비선형성을 포함하고 있어서 행렬 미분을 포함하는 알고리즘을 시도할 경우 기존 선형 RLS에서 보다 복잡도가 매우 커질 것이 예상된다. 본 논문에서는 행렬 미분을 사용하지 않아 계산량에 부담을 최소화 한 가변 망각 인자 방법을 채용한 KRLS-T를 제안한다. 그리고 이 가변 망각인자를 사용한 새로운 KRLS-T가시변 환경에서 잘 동작한다는 것을 보이기 위하여 전체 추정 기간 중에 시스템이 변경되는 경우를 상정하여 모의 실험을 한다.

가설 설정

그림 2. KRLS의 수렴성 비교 (a) 가우시안 부가 잡음 상황에서 KRLS Tracker의 추정 성능 (b) 임펄스 잡음 상황에서KRLS Tracker의 추정 성능.
기존 KRLS는 시불변 시스템을 위한 on-line 방법이었다. 즉 latent 함수가 시불변이라는 가정을 한 것이다. 그러나 많은 신호처리 분야의 신호가시변인 성질을 갖는 경우가 많다.

제안 방법

KRLS-T에서 임펄스 부가 효과를 보기 위해서 그림 2에서 임펄스 부가 전과 후를 비교하여 보았다. 그림 2 (a)는 임펄스 부가 전의 MSE 성능 곡선이다.
본 논문에서는 행렬 미분을 사용하지 않아 계산량에 부담을 최소화 한 가변 망각 인자 방법을 채용한 KRLS-T를 제안한다. 그리고 이 가변 망각인자를 사용한 새로운 KRLS-T가시변 환경에서 잘 동작한다는 것을 보이기 위하여 전체 추정 기간 중에 시스템이 변경되는 경우를 상정하여 모의 실험을 한다. 뿐만 아니라 임펄스 잡음 상황이 주는 추정 시스템의 갑작스런 외란에 의한 시변 상황에도 제안한 알고리즘이 적용 가능함도 보인다
그러나 이들 방법은 망각인자에 대해서 행렬을 미분하는 것이 포함되어 있어서 KRLS-T에 직접 적용하기는 어렵다. 본 논문에서는 행렬 미분을 사용하지 않는 방법들 중에서 KRLS-T에 적용 가능한 방법들을 골라 적용한다.
본 장에서는 제안된 가변 망각인자를 사용한 새로운 KRLS-T를 두 가지 대표적인 환경에서 실험하고 가변 망각인자의 유용성을 보인다. 두 가지 중 하나는시변 비선형 채널 환경에서의 신호 추정 실험이고 또 하나는 첫 번째 실험에서 사용한 시변 비선형 채널 환경과 임펄스성 잡음이 함께 존재하는 신호 환경에서 신호를 추정하는 실험이다.
비교실험을 위해서 시변 비선형 채널을 만들어 추정 실험을 하였다. 시변 비선형 채널은 선형 채널 뒤에 비메모리 비선형 함수가 있는 것으로 모델 하였다.
비교실험을 위해서 시변 비선형 채널을 만들어 추정 실험을 하였다. 시변 비선형 채널은 선형 채널 뒤에 비메모리 비선형 함수가 있는 것으로 모델 하였다. 그리고 시변성을 주기 위해서 선형 채널 부분을 500번째 샘플에서 B1채널에서 B2채널로 전환하였다.
표2는 KRLS-T의 망각인자와 방법1의 ρ1, 방법3의 ρ3들을 각각 정하기 위해서 전체 2000 샘플 중에서 채널이 갑자기 변하기 전인 1~500 샘들 구간 중 300번째 샘플과 499샘플에서의 MSE (Mean Square Error)를 취하고 또 채널이 변한 후 1000번째 샘플과 마지막 샘플에서의 MSE를 성능 지표로 삼았다.

대상 데이터

본 실험에서는 가변 망각인자가 예외적으로 큰 오차가 일어났을 때 효과적으로 작동하여 빠르게 신호 추정기를 정상화 시킴을 보인다. 이를 위해서 실험 1에서 사용한 시변 비선형 채널을 그대로 사용하고 여기에 임펄스성 잡음 환경을 위하여 300번째 샘플과 1300번째 샘플에 임펄스 잡음을 부가하였다.

이론/모형

이 알고리즘은 새로운 형식의 망각인자를 KRLS에 적용하였다. KRLS-T라고 불리는 이 방법은 가우시안 과정 시계열 분석(Gaussian Process Regression, GP Regression)에 뿌리를 둔 접근법을 사용한다. 당초 가우시안 과정 시계열 분석에 뿌리를 둔 방법들은 배치 처리(batch process)에 사용할 수 있도록 개발되었다.
Ⅲ. 시변 신호 추정을 위한 성능 향상 방법들KRLS-T 알고리즘은 고정된 망각인자를 사용한다.
에 확률론적 접근법을 사용해서 KRLS를 시변 신호에 대응하게 한 알고리즘이 발표되었다. 이 알고리즘은 새로운 형식의 망각인자를 KRLS에 적용하였다. KRLS-T라고 불리는 이 방법은 가우시안 과정 시계열 분석(Gaussian Process Regression, GP Regression)에 뿌리를 둔 접근법을 사용한다.

성능/효과

본 논문에서는 가우시안 과정 기반의 추정법 중 하나인 KRLS-T 알고리즘의 시변 추정 성능 향상을 위한 방법 3가지를 제안하였다. 또 시변 채널 환경에서 모의 실험을 통하여 제안된 방법이 기존의 방법의 성능을 향상 시킴을 보였다. 또 임펄스가 추정 성능에 미치는 악영향을 효과적으로 줄일 수 있음도 보이기 위하여 시변 채널 상에 임펄스가 존재할 경우에도 실험을 하였고 그 경우에도 제안한 방법이 KRLS Tracker 알고리즘을 임펄스 잡음 환경에 강인하게 함을 확인하였다.
또 시변 채널 환경에서 모의 실험을 통하여 제안된 방법이 기존의 방법의 성능을 향상 시킴을 보였다. 또 임펄스가 추정 성능에 미치는 악영향을 효과적으로 줄일 수 있음도 보이기 위하여 시변 채널 상에 임펄스가 존재할 경우에도 실험을 하였고 그 경우에도 제안한 방법이 KRLS Tracker 알고리즘을 임펄스 잡음 환경에 강인하게 함을 확인하였다.
따라서 임펄스성 잡음의 영향을 감소시킬 필요 있다. 본 실험에서는 가변 망각인자가 예외적으로 큰 오차가 일어났을 때 효과적으로 작동하여 빠르게 신호 추정기를 정상화 시킴을 보인다. 이를 위해서 실험 1에서 사용한 시변 비선형 채널을 그대로 사용하고 여기에 임펄스성 잡음 환경을 위하여 300번째 샘플과 1300번째 샘플에 임펄스 잡음을 부가하였다.
특히 방법2와 방법3이 임펄스 환경에서 강인함을 알 수 있다. 실험 1과 실험2를 종합하면 제안한 방법 중 3번 방법이 시변 환경과 임펄스 환경 모두에서 상대적으로 더 우수한 추정 성능을 발휘함을 알 수 있다.
표2를 보면 KRLS-T의 망각인자는 망각인자가 클수록 1~500 샘플 구간에서의 성능이 좋으나 변화가 발생한 이후 구간을 보면 망각인자가 큰 것이 더 좋지는 않은 것을 알 수 있다. 이는 유효 구간 길이가 너무 길어져서 생기는 문제라고 생각할 수 있다.

후속연구

그리고 이 가변 망각인자를 사용한 새로운 KRLS-T가시변 환경에서 잘 동작한다는 것을 보이기 위하여 전체 추정 기간 중에 시스템이 변경되는 경우를 상정하여 모의 실험을 한다. 뿐만 아니라 임펄스 잡음 상황이 주는 추정 시스템의 갑작스런 외란에 의한 시변 상황에도 제안한 알고리즘이 적용 가능함도 보인다

질의응답

핵심어	질문	논문에서 추출한 답변
	망각 기저의 핵심은 무엇인가?	이 알고리즘은 비정재 환경에서 베이지안 이론에 기반한 망각 기저를 사용하고 있다. 이런 망각 기저의 핵심은 고정 망각인자를 사용하는 것이다. 그러나 실제 환경에서는 시스템의 비정재 정도까지도 시변인 경우가 많다.
	고정 망각인자는 무엇이 불가능한가?	그러나 실제 환경에서는 시스템의 비정재 정도까지도 시변인 경우가 많다. 이 경우 고정 망각인자로는 시스템의 바른 추정이 불가하다. 본 논문에서는 가변 망각인자를 사용한 KRLS-T를 제안한다.
	KRLS-T는 무엇을 사용하는가?	최근 KRLS-T라고 하는 커널 기반의 RLS 알고리즘이 제안되었다. 이 알고리즘은 비정재 환경에서 베이지안 이론에 기반한 망각 기저를 사용하고 있다. 이런 망각 기저의 핵심은 고정 망각인자를 사용하는 것이다.

참고문헌 (23)

S. Haykin, Adaptive Filter Theory, 4th Ed., Prentice Hall, 2001.
A. H. Sayed, Fundamentals of Adaptive Filtering, Wiley-IEEE Press, 2003.
M. Choi and S. Lee, "Comparison study of channel estimation algorithm for 4S maritime communications," J. KICS, vol. 38C, no. 3, pp. 288-295, Mar. 2013.

원문보기 상세보기
J. S. Lim and Y. G. Pyeon, "Time delay estimation using LASSO (Least Absolute Selection and Shrinkage Operator)," J. KICS, vol. 39B, no. 10, pp. 715-721, Dec. 2014.

원문보기 상세보기
C. Hwang and K. Kim, "Doppler frequency estimation for time-varying underwater acoustic communication channel," J. KICS, vol. 40, no. 01, pp. 187-192, Jan. 2015.

원문보기 상세보기
Y. Engel, S. Mannor, and R. Meir, "The kernel recursive least squares algorithm," IEEE Trans. Signal Process., vol. 52, no. 8, pp. 2275-2285, Aug. 2004.

상세보기
W. Liu, J. C. Principe, and S. Haykin, Kernel Adaptive Filtering: A Comprehensive Introduction, Wiley, 2010.
V. N. Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag Inc., 1995.
B. Scholkopf and A. J. Smola, Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, The MIT Press, 2001.
S. V. Vaerenbergh, J. Via, and I. Santamaria, "A sliding-window kernel RLS algorithm and its application to nonlinear channel identification," in Proc. IEEE ICASSP, pp. 789-792, Toulouse, France, May 2006.
M. Lazaro-Gredilla, S. V. Vaerenbergh, and I. Santamaria, "A Bayesian approach to tracking with kernel recursive least-squares," in Proc. IEEE Int. Wksp. MLSP, pp. 1-6, Beijing, China, Sept. 2011.
S. V. Vaerenbergh, M. Lazaro-Gredilla, and I. Santamaria, "Kernel recursive least-squares tracker for time varying regression," IEEE Trans. Neural Netw. Learning Syst., vol. 23, no. 8, pp. 1313-1326, Aug. 2012.

상세보기
L. Csato and M. Opper, "Sparse online Gaussian processes," Neural Computation, vol. 14, no. 3, pp. 641-668, 2002.

상세보기
W. Liu, I. Park, and J. C. Principe, "An information theoretic approach of designing sparse kernel adaptive filters," IEEE Trans. Neural Netw., vol. 20, no. 12, pp. 1950-1961, Dec. 2009.

상세보기
S. Song, J. S. Lim, S. Baek, and K. M. Sung, "Gauss Newton variable forgetting factor recursive least squares for time varying parameter tracking," Electron. Lett., vol. 36, no. 11, pp. 988-990, Nov. 2000.

상세보기
S. Song, J. S. Lim, S. J. Baek, and K. M. Sung, "Variable forgetting factor linear least square algorithm for frequency selective fading channel estimation," IEEE Trans. Veh. Technol., vol. 51, no. 3, pp. 613-616, May 2002.

상세보기
J. S. Lim, S. Lee, and H. Pang, "Low complexity adaptive forgetting factor for online sequential extreme learning machine (OS-ELM) for application to nonstationary system estimations," Neural Comput. Appl., vol. 22, no. 3, pp. 569-576, May 2013.

상세보기
S. Lee, J. S. Lim, and K. M. Sung, "Low-complexity VFF-RLS algorithm using normalization technique," J. Acoust. Soc. Kr., vol. 29, no. 1, pp. 18-23, Jan. 2010.
C. E. Rasmussen and C. K. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006.
L. Csato and M. Opper, Sparse representation for gaussian process models, in Neural Inf. Process. Syst. 13, pp. 444-450, Cambridge, MA: MIT Press, 2001.
S. V. Vaerenbergh, M. Lazaro-Gredilla, and I. Santamaria, "Kernel recursive least-squares tracker for time-varying regression," IEEE Trans. Neural Netw. Learn. Syst., vol. 23, no. 8, pp. 1313-1326, Aug. 2012.

상세보기
D. J. Park, B. E. Jun, and J. H. Kim, "Fast tracking RLS algorithm using novel variable forgetting factor with unity zone," Electron. Lett., vol. 27, no. 23, pp. 2150-2151, Nov. 1991.

상세보기
A. K. Kohli and A. Rai, "Numeric variable forgetting factor RLS algorithm for second-order volterra filtering," Circuits Syst. Signal Process, vol. 32, no. 1, pp. 223-232, Feb. 2013.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증