최근에 강화학습 기법은 기계학습 분야에서 많은 관심을 끌어왔다. 강화학습 관련 연구에서 가장 유력하게 사용되어 온 방법들로는 가치함수를 활용하는 기법, 제어규칙(policy) 탐색 기법 및 액터-크리틱 기법 등이 있는데, 본 논문에서는 이들 중 연속 상태 및 연속 입력을 갖는 문제를 위하여 액터-크리틱 기법의 틀에서 제안된 알고리즘들과 관련된 내용을 다룬다. 특히 본 논문은 퍼지 이론에 기반을 둔 액터-크리틱 계열 강화학습 기법인 ACFRL 알고리즘과, RLS 필터와 NAC(natural actor-critic) 기법에 기반을 둔 RLS-NAC 기법을 접목하는 방안을 집중적으로 고찰한다. 고찰된 방법론은 기는 로봇의 제어문제에 적용되고, 학습 성능의 비교로부터 얻어진 몇 가지 결과가 보고된다.
최근에 강화학습 기법은 기계학습 분야에서 많은 관심을 끌어왔다. 강화학습 관련 연구에서 가장 유력하게 사용되어 온 방법들로는 가치함수를 활용하는 기법, 제어규칙(policy) 탐색 기법 및 액터-크리틱 기법 등이 있는데, 본 논문에서는 이들 중 연속 상태 및 연속 입력을 갖는 문제를 위하여 액터-크리틱 기법의 틀에서 제안된 알고리즘들과 관련된 내용을 다룬다. 특히 본 논문은 퍼지 이론에 기반을 둔 액터-크리틱 계열 강화학습 기법인 ACFRL 알고리즘과, RLS 필터와 NAC(natural actor-critic) 기법에 기반을 둔 RLS-NAC 기법을 접목하는 방안을 집중적으로 고찰한다. 고찰된 방법론은 기는 로봇의 제어문제에 적용되고, 학습 성능의 비교로부터 얻어진 몇 가지 결과가 보고된다.
Recently, reinforcement learning methods have drawn much interests in the area of machine learning. Dominant approaches in researches for the reinforcement learning include the value-function approach, the policy search approach, and the actor-critic approach, among which pertinent to this paper are...
Recently, reinforcement learning methods have drawn much interests in the area of machine learning. Dominant approaches in researches for the reinforcement learning include the value-function approach, the policy search approach, and the actor-critic approach, among which pertinent to this paper are algorithms studied for problems with continuous states and continuous actions along the line of the actor-critic strategy. In particular, this paper focuses on presenting a method combining the so-called ACFRL(actor-critic fuzzy reinforcement learning), which is an actor-critic type reinforcement learning based on fuzzy theory, together with the RLS-NAC which is based on the RLS filters and natural actor-critic methods. The presented method is applied to a control problem for crawling robots, and some results are reported from comparison of learning performance.
Recently, reinforcement learning methods have drawn much interests in the area of machine learning. Dominant approaches in researches for the reinforcement learning include the value-function approach, the policy search approach, and the actor-critic approach, among which pertinent to this paper are algorithms studied for problems with continuous states and continuous actions along the line of the actor-critic strategy. In particular, this paper focuses on presenting a method combining the so-called ACFRL(actor-critic fuzzy reinforcement learning), which is an actor-critic type reinforcement learning based on fuzzy theory, together with the RLS-NAC which is based on the RLS filters and natural actor-critic methods. The presented method is applied to a control problem for crawling robots, and some results are reported from comparison of learning performance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 연속적인 고차원 공간에 강화학습을 적용하는 것을 목표로 하여 액터-크리틱 방법(actor-critic method), 퍼지 이론, RLS(recursive least-squares) 필터 등을 종합적으로 사용하는 방법론을 고려한다. 강화학습 관련 연구에서 가장 유력하게 사용되어 온 방법들로는 가치함수(value function)를 활용하는 기법, 정책(제어규칙, policy) 탐색 기법 및 액터-크리틱 기법 등이 있는데, 본 논문에서는 이들 중 연속 상태 및 연속 입력을 갖는 문제를 위하여 액터-크리틱 기법의 틀에서 제안된 알고리즘들과 관련된 내용을 다룬다. 특히 본 논문은 퍼지 이론에 기반을 둔 액터-크리틱 계열 강화학습 기법인 ACFRL(actor-critic fuzzy reinforcement learning) 알고리즘[6]과, RLS 필터[7]와 액터-크리틱 기법[8-10]에 기반을 둔 RLS-NAC(recursive least-squares natural actor-critic) 기법[11]을 접목하는 방안을 집중적으로 고찰한다.
본 논문에서는 연속적이며 고차원의 상태 공간을 효과적으로 다룰 수 있는 액터-크리틱 기반 퍼지 강화학습 알고리즘을 구하기 위하여, RLS-NAC 알고리즘[11]을 ACFRL 기법[6]에 접목하는 문제를 고려한 후, 기는 로봇 문제[12]에 적용해보았다.
이에 대한 예로 타일 코딩(tile-coding)이나 신경망(neural network) 등의 방법과 이를 서로 융합하는 다양한 방법 등을 들 수 있다[5]. 본 논문에서는 연속적인 고차원 공간에 강화학습을 적용하는 것을 목표로 하여 액터-크리틱 방법(actor-critic method), 퍼지 이론, RLS(recursive least-squares) 필터 등을 종합적으로 사용하는 방법론을 고려한다. 강화학습 관련 연구에서 가장 유력하게 사용되어 온 방법들로는 가치함수(value function)를 활용하는 기법, 정책(제어규칙, policy) 탐색 기법 및 액터-크리틱 기법 등이 있는데, 본 논문에서는 이들 중 연속 상태 및 연속 입력을 갖는 문제를 위하여 액터-크리틱 기법의 틀에서 제안된 알고리즘들과 관련된 내용을 다룬다.
앞에서 설명하였듯이, 강화학습은 상태나 액션 공간이 크거나 연속적인 시스템을 다룰 때 그 공간을 적절하게 표현할 수 있는 방법을 찾아야 한다. 이에 따라 본 논문에서는 강화학습과 퍼지 이론을 혼합한 방법에 대해 고려해 본다.
이와 같은 퍼지 이론에 기초를 두어 본 절에서는 ACFRL[6]과 RLS-NAC[11]의 결합에 대해 고려한다.
가설 설정
에이전트는 로봇 및 환경에 대한 구체적인 정보 없이 로봇의 직접적인 경험을 통해(즉, 확률적인 정책에 따라 관찰된 보상 값의 좋고 나쁨을 이용해) 동작한다. 기는 로봇이 움직일 때, 링크 끝부분과 지면 사이의 미끄러짐은 없고, 몸체와 지면 사이의 마찰력은 없다고 가정한다.
제안 방법
강화학습과 퍼지 제어 방법을 이용한 본 논문의 알고리즘은 고차원의 상태를 가지거나 공간의 근사화가 어려운 시스템에 적용할 수 있다. 이 알고리즘을 기는 로봇에 적용하는 문제에서, 액터 부분의 소속 함수는 식 (19)의 삼각형 모양의 함수를 사용하였다.
강화학습 관련 연구에서 가장 유력하게 사용되어 온 방법들로는 가치함수(value function)를 활용하는 기법, 정책(제어규칙, policy) 탐색 기법 및 액터-크리틱 기법 등이 있는데, 본 논문에서는 이들 중 연속 상태 및 연속 입력을 갖는 문제를 위하여 액터-크리틱 기법의 틀에서 제안된 알고리즘들과 관련된 내용을 다룬다. 특히 본 논문은 퍼지 이론에 기반을 둔 액터-크리틱 계열 강화학습 기법인 ACFRL(actor-critic fuzzy reinforcement learning) 알고리즘[6]과, RLS 필터[7]와 액터-크리틱 기법[8-10]에 기반을 둔 RLS-NAC(recursive least-squares natural actor-critic) 기법[11]을 접목하는 방안을 집중적으로 고찰한다. 고찰된 방법론은 기는 로봇의 제어문제에 적용되고, 학습 성능의 비교로부터 얻어진 몇 가지 결과가 보고된다.
이론/모형
ACFRL 알고리즘과의 성능 비교를 위해 그림 7과 같은 상태 공간 일반화(generalization) 방법을 고려하였다.
그러나 본 논문에서는 입력 벡터 s∈RK를 출력 a∈R로 맵핑하는 MISO(multiple input single output) 퍼지 시스템을 이용한다.
본 논문에서 고려된 알고리즘을 참고 문헌 [12]에서 소개된 Kimura의 기는 로봇에 적용한다. 기는 로봇은 그림 5과 같이 중력의 영향 아래에서 움직이는 두 개의 링크를 가진 평면형 매니퓰레이터(two-linked planar manipulator)이며, 이에 대한 구체적인 설명은 다음과 같다[12,17].
성능/효과
그림 8은 3가지의 경우에 대해 총 10번의 시도 후 시간 스텝 당 평균 속도를 관찰하였다. 단지 [-1, 1 ]사이의 범위로 선형 근사화한 것과 [-1, 0 ], [0, 1 ]로 구간을 나누어 구간 선형 근사화한 것과 비교할 때, 본 논문의 액터-크리틱 퍼지 강화학습을 적용한 것이 더 우수한 학습 성능을 보이는 것을 확인할 수 있었다.
후속연구
향후 연구 과제로는, 본 논문에서 고려한 알고리즘을 다양한 예에 적용해보는 문제와 보다 효과적인 전처리 과정의 도입 등을 들 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
강화학습이란?
강화학습(reinforcement learning)은 시간이 진행됨에 따라 최적의 의사결정을 내려야 하는 순차적 의사결정 문제(sequential decision making problems)를 해결하는 방안의 하나로써, 그림 1에서와 같이 에이전트(제어기, agent)와 환경(environment)의 상호작용에 따라 관찰되는 상태(state), 입력(action) 및 보상 값(reward)을 효과적으로 활용하여 최적의 정책을 찾아가는 방향으로 학습을 진행하는 방법론이다[5]. 다음 절에서는 본 논문의 주요 소재가 되는 RLS-NAC 알고리즘[11]에 관한 주요 사항을, 액터-크리틱 관련 기초 이론[5,8]을 바탕으로 하여 기술한다.
강화학습의 장점은?
강화학습은 시행착오를 통해 문제의 해결책을 찾아가기 때문에 수식적인 모델링으로 해(solution)를 얻기 힘든 복잡한 비선형 시스템(nonlinear system)을 제어 하는데 장점이 있다. 그리고 제어 분야[1-2] 뿐만 아니라 게임[3], 금융[4] 등 여러 분야에 성공적으로 적용되었으며, 점차적으로 범용성을 넓혀가고 있다.
강화학습은 어느 분야에서 적용되고 있는가?
강화학습은 시행착오를 통해 문제의 해결책을 찾아가기 때문에 수식적인 모델링으로 해(solution)를 얻기 힘든 복잡한 비선형 시스템(nonlinear system)을 제어 하는데 장점이 있다. 그리고 제어 분야[1-2] 뿐만 아니라 게임[3], 금융[4] 등 여러 분야에 성공적으로 적용되었으며, 점차적으로 범용성을 넓혀가고 있다.
참고문헌 (17)
Q. Yang, J. B. Vance, and S. Jagannathan, 'Control of nonaffine nonlinear discrete-time systems using reinforcement-learning-based linearly parameterized neural networks,' IEEE Transactions on Systems, Man, and Cybernetics Part B: Cybernetics, vol. 38, no. 4, pp. 994-1001, 2008
J. Valasek, J. Doebbler, M. D. Tandale, and A. J. Meade, 'Improved adaptive-reinforcement learning control for morphing unmanned air vehicles,' IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 38, no. 4, pp. 1014-1020, 2008
K.-H. Park, Y.-J. Kim, and J.-H. Kim, 'Modular Q-learning based multi-agent cooperation for robot soccer,' Robotics and Autonomous Systems, vol. 35, no. 2, pp. 109-122, 2001
J. Moody and M. Saffell, 'Learning to trade via direct reinforcement,' IEEE Transactions on Neural Networks, vol. 12, no. 4, pp. 875-889, 2001
R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998
H. R. Berenji and D. Vengerov, 'A convergent actor-critic-based RFL algorithm with application to power management of wireless transmitters', IEEE Transactions on Fuzzy Systems, vol. 11, no. 4, August, 2003
X. Xu, H. He, and D. Hu, 'Efficient reinforcement learning using recursive least-squares methods', Journal of Artificial Intelligent Research, vol. 16, pp. 259-292, 2002
R. S. Sutton, D. McAllester, S. Singh, and Y. Mansour, 'Policy gradient methods for reinforcement learning with function approximation', Advances in Neural Information Processing Systems, vol. 12, pp. 1057-1063, 2000
V. Konda and J. N. Tsitsiklis, 'Actor-Critic Algorithms', SIAM Journal on Control and Optimization, vol. 42. no. 4, pp. 1143-1166, 2003
J. Peters, S. Vijayakumar, and S. Schaal, 'Reinforcement learning for humanoid robotics', In Proceedings of the Third IEEE-RAS International Conference on Humanoid Robots, 2003
J. Park, J. Kim, and D. Kang. 'An RLS-based natural actor-critic algorithm for locomotion of a two-linked robot arm', Lecture Notes in Artificial Intelligence, vol. 3801, pp. 65-72, December, 2005
H. Kimura, K. Mivazaki, and S. Kobayashi, 'Reinforcement learning in POMDPs with function approximation', In Proceedings of the 14th International Conference on Machine Learning(ICML 1997), pp. 152-160, 1997
김종호, 강화학습 알고리즘을 이용한 시스템 제어에 대한 연구, 고려대학교 제어계측공학과 석사학위논문, 2005
L. X. Wang, Adaptive Fuzzy Systems and Control: Design and Stability Analysis, Prentice-Hall, 1994
박종진, 최규석, 퍼지 제어 시스템, 교우사, 2001
T. Takagi and M. Sugeno, 'Fuzzy identification of systems and its applications to modeling and control,' IEEE Transactions on Systems, Man, and Cybernetics, vol. 15, pp. 116-132, 1985
박주영, 정규백, 문영준, '강화학습에 의해 학습된 기는 로봇의 성능 비교', 한국 퍼지 및 지능시스템학회 논문집, 17권, 1호, pp. 33-36, 2007
※ AI-Helper는 부적절한 답변을 할 수 있습니다.