데이터 기반 확률론적 최적제어와 근사적 추론 기반 강화 학습 방법론에 관한 고찰 Investigations on data-driven stochastic optimal control and approximate-inference-based reinforcement learning methods원문보기
최근들어, 확률론적 최적제어(stochastic optimal control) 및 강화학습(reinforcement learning) 분야에서는 데이터를 활용하여 준최적 제어 전략을 찾는 문제를 위한 많은 연구 노력이 있어 왔다. 가치함수(value function) 기반 동적 계획법(dynamic programming)으로 최적제어기를 구하는 고전적인 이론은 확률론적 최적 제어 문제를 풀기위해 확고한 이론적 근거 아래 확립된바 있다. 하지만, 이러한 고전적 이론은 매우 간단한 경우에만 성공적으로 적용될 수 있다. 그러므로, 엄밀한 수학적 분석 대신에 상태 전이 및 보상 신호 값 등의 관련 데이터를 활용하여 준최적해를 구하고자 하는 데이터 기반 현대적 접근 방법들은 실용적인 응용분야에서 특히 매력적이다. 본 논문에서는 확률론적 최적제어 전략과 근사적 추론 및 기계학습 기반 데이터 처리 방법을 접목하는 방법론들을 고려한다. 그리고 이러한 고려를 통하여 얻어진 방법론들을 금융공학을 포함한 다양한 응용 분야에 적용하고 그들의 성능을 관찰해보도록 한다.
최근들어, 확률론적 최적제어(stochastic optimal control) 및 강화학습(reinforcement learning) 분야에서는 데이터를 활용하여 준최적 제어 전략을 찾는 문제를 위한 많은 연구 노력이 있어 왔다. 가치함수(value function) 기반 동적 계획법(dynamic programming)으로 최적제어기를 구하는 고전적인 이론은 확률론적 최적 제어 문제를 풀기위해 확고한 이론적 근거 아래 확립된바 있다. 하지만, 이러한 고전적 이론은 매우 간단한 경우에만 성공적으로 적용될 수 있다. 그러므로, 엄밀한 수학적 분석 대신에 상태 전이 및 보상 신호 값 등의 관련 데이터를 활용하여 준최적해를 구하고자 하는 데이터 기반 현대적 접근 방법들은 실용적인 응용분야에서 특히 매력적이다. 본 논문에서는 확률론적 최적제어 전략과 근사적 추론 및 기계학습 기반 데이터 처리 방법을 접목하는 방법론들을 고려한다. 그리고 이러한 고려를 통하여 얻어진 방법론들을 금융공학을 포함한 다양한 응용 분야에 적용하고 그들의 성능을 관찰해보도록 한다.
Recently in the fields o f stochastic optimal control ( SOC) and reinforcemnet l earning (RL), there have been a great deal of research efforts for the problem of finding data-based sub-optimal control policies. The conventional theory for finding optimal controllers via the value-function-based dyn...
Recently in the fields o f stochastic optimal control ( SOC) and reinforcemnet l earning (RL), there have been a great deal of research efforts for the problem of finding data-based sub-optimal control policies. The conventional theory for finding optimal controllers via the value-function-based dynamic programming was established for solving the stochastic optimal control problems with solid theoretical background. However, they can be successfully applied only to extremely simple cases. Hence, the data-based modern approach, which tries to find sub-optimal solutions utilizing relevant data such as the state-transition and reward signals instead of rigorous mathematical analyses, is particularly attractive to practical applications. In this paper, we consider a couple of methods combining the modern SOC strategies and approximate inference together with machine-learning-based data treatment methods. Also, we apply the resultant methods to a variety of application domains including financial engineering, and observe their performance.
Recently in the fields o f stochastic optimal control ( SOC) and reinforcemnet l earning (RL), there have been a great deal of research efforts for the problem of finding data-based sub-optimal control policies. The conventional theory for finding optimal controllers via the value-function-based dynamic programming was established for solving the stochastic optimal control problems with solid theoretical background. However, they can be successfully applied only to extremely simple cases. Hence, the data-based modern approach, which tries to find sub-optimal solutions utilizing relevant data such as the state-transition and reward signals instead of rigorous mathematical analyses, is particularly attractive to practical applications. In this paper, we consider a couple of methods combining the modern SOC strategies and approximate inference together with machine-learning-based data treatment methods. Also, we apply the resultant methods to a variety of application domains including financial engineering, and observe their performance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
2장에서는 확률론적 최적 제어와 근사적 추론 그리고 데이터 기반 데이터 처리 방안 등을 접목하는 접근 방식들을 고려한다. 그리고 이들을 간단한 일차원 확률론적 최적 제어 문제와 주요 금융 공학 문제에 응용하는 사례를 다룬다. 마지막으로 3장에서는 결론과 향후 과제를 제시한다.
이러한 접근 방법의 장점으로는 비용 함수 혹은 탐색 알고리즘의 선택 등의 단계에서는 융통성과 접근성을 보다 폭넓게 확보할 수 있는 편리함을 들 수 있다. 본 논문에서 고려하는 HMMUG 및 NES기반 방법론의 응용 가능성을 관찰하기 위해서 [21-Aug-1990, 09-Mar-2009]기간 동안에 NASDAQ 지수를 대상으로 추세 추종형 전략을 얻는 문제를 고려하여 보았다. 참고문헌 [10]과 같이 해당 기간 동안의 거래비용 비율은 K=0.
이러한 근사 추론기법을 통한 최적 제어 전략은 연속 및 이산 제어 입력 문제에 모두 적용될 수 있으며, 여러 가지 측면에서 유용한 성질을 갖는다. 본 논문에서는 불확실성과 비선형성이 존재하는 확률론적 최적제어 문제를 대상으로 확률론적 최적제어 기법, 근사 추론 및 기계학습 기반 데이터 처리 방안을 융합하여 데이터 기반의 준최적해를 구하는 기법을 고려한다.
본 논문에서는 불확실성과 비선형성이 존재하는 확률론적 최적제어 문제를 대상으로 확률론적 최적제어 기법, 근사 추론 및 기계학습 기반 데이터 처리 방안을 융합하여,데이터 기반의 준최적해를 구하는 기법을 고려하고, 이러한 기법의 응용 가능성을 간단한 일차원 제어문제와 금융공학 분야의 동적 옵션헤징 문제와 추세추종 트레이딩 전략 문제에 적용하여 고무적인 결과를 얻었다. 관련하여 향후에 수행할 연구로는, 보다 실용적인 제어시스템과 동적 포트폴리오 최적화 등의 관련 분야에 적용하는 것이 가능하도록 방법론을 추가적으로 개선하는 문제를 들 수 있다.
이러한 방법론은 추세추종형 트레이딩 문제에 대한 수학적인 해를 제시한 주목할 만한 결과이며, 추후에 다양한 개선이 뒷받침될 것으로 기대된다. 본 논문에서는 위와 같이 고려되는 수학적 모델의 기본적인 틀에 추가적으로 은닉 마르코프 모델과 진화전략 등의 방법론을 접목하여 관련된 확률론적 최적제어 문제를 푸는 방안을 고려해보았다. 이러한 고려 과정에서 관찰된 예비 결과 등은 본 논문의 저자들에 의해 발표된 학술대회 논문[28]에서 간략하게 소개된 바 있다.
또한, 아메리칸 옵션에 대한 동적헷징의 경우에도 [24]의 연구에서와 같이 quasi-explicit hedging 전략을 활용할 수 있다. 본 논문에서는 유럽형 콜옵션을 대상으로 하여, 데이터기반 확률론적 최적제어 전략과 근사적 추론기반 강화학습 방법론이 가미된 본논문의 제어 방법이 어떠한 성능을 갖는지를 관찰한다.
이러한 기저 집합의 선택은 로그 파티션 함수 #를 위한 적분이 닫힌 형태로 표현될 수 있는 장점을 가지며[4], 가상 시나리오 Dv에 대한 데이터 처리를 수행함으로써 새로운 정책을 구하는 전략을 구축할 수 있다. 본 논문에서는, 이러한 전략을 주요 핵심 부분으로 사용하는 데이터 기반 확률론적 최적제어 방법론의 응용 가능성을 확인하기 위하여 두 개의 응용 문제를 고려한다. 첫 번째 응용 예제는 참고문헌 [27]의 6장에서 다룬 일차원 확률제어문제인데, 이 예제에서 고려하는 주요 시스템 파라메터는 다음과 같다[27]:
제안 방법
본 논문의 첫 번째 이슈에서는 데이터 기반 확률론적 최적 제어 전략과 근사적 추론 기반 강화학습 접근 방법을 융합한 방법론을 고려한다. 그리고 이러한 방법론에 대한 성능 관찰을 위하여 간단한 일차원 제어 문제와 금융공학 관련 문제를 고려한다. 최근들어, 각종 제어 이론 및 기계학습 기반 인공지능 방법론은 주요 금융공학 문제[10-14]의 중요한 핵심 도구로 자리를 잡아 가고 있다.
이러한 차이는 파라메터 탐색과정에서 어떠한 알고리즘을 사용하였는 지와 어떠한 초기값들을 사용하였는지 등에 의해 야기될 수 있다. 그리고, 그림 5에서 보여주는 바와 같이 본 예제에 대해 EM 알고리즘을 기초로 하는 HMMUG 모델링 과정을 적용하는 경우에 15회 반복 이전에 수렴하는 양상을 관찰하였다. 모델링 과정에서 구해진 μ1, μ2, σ1, σ2, λ1, λ2 를 활용하여 적절한 에피소드들(episodes)을 구성하고 이를 바탕으로 자연적 기울기 방향으로 정책의 파라메터를 업데이트하는 지수함수형 NES 학습 [26]을 수행하면 그림 6과 같은 학습 커브(learning curve)가 얻어졌다.
참고문헌 [8]의 ITSOC 기법 등의 방법론은 최적제어기를 찾는 과정에서 고차원의 쌍대 최적화 문제(dual optimization problem)을 풀어야 하는데 [8,9], 참고문헌 [8]에서 언급한 바와 같이 이 과정은 여러 가지 범용적 방법들이 쉽게 해결할 수 없는 어려움을 수반하게 된다. 본 논문에서는 이러한 쌍대 문제의 풀이를 대신하여 가상 데이터를 생성하여 활용하는 데이터 기반 전략과 최근에 보고된 바 있는 근사적 추론 기반 최적제어 및 강화학습 방법론 [4,5]가 사용하는 전략을 도입한다. 즉, 새로운 최적 정책을 찾기 위한 과정으로, 학습한 정책 πt(u|x)=N(u|st+Stx, Σt) 과 시변 선형 시스템 모델 pt(x'|x,u)=N(x'|at+Atx=Btu,Ct) 을 이용해 M개의 가상 데이터(virtual data)를 생성하며, 새로운 정책을 구하기 위한 확률 제어기 형태로는 다음의 볼츠만 분포를 (Boltzmann like distribution) 이용한다[4].
본 논문에서는 참고문헌 [8]의 ITSOC(information theoretic stochastic optimal control)에서와 같이 동적 시스템을 시변 선형 시스템(time-varying linear system) pt(x'|x,u)=N(x'|at+Atx=Btu,Ct)으로 근사하며, 제어 정책 πt(u|x)는 각 시간 t에 πt(u|x)=N(u|st+Stx, Σt)와 같은 선형적인 표현을 이용하는 방안[8]을 고려한다.
그러므로, 엄밀한 수학적 분석 대신에 상태 전이 및 보상 데이터를 활용하여 준최적해를 구하고자하는 데이터 기반 현대적 접근 방법은 실용적인 응용분야에서 특히 매력적이다. 본 논문의 첫 번째 이슈에서는 데이터 기반 확률론적 최적 제어 전략과 근사적 추론 기반 강화학습 접근 방법을 융합한 방법론을 고려한다. 그리고 이러한 방법론에 대한 성능 관찰을 위하여 간단한 일차원 제어 문제와 금융공학 관련 문제를 고려한다.
확률론적 최적제어와 근사적 추론 기반 강화학습이 접목된 융합적 기법을 위한 두 번째 응용문제는 옵션 헤징 예제 (e.g., [13,14])로서 S0=10, E=10, μ=0.0916, σ=0.3066, γ =0.05, T=11[day], δt=1[day], N=500, M=1000을 사용하여 유럽형 콜옵션에 대한 동적 옵션 헤징 문제를 다루었다.
이론/모형
공학적 기법에 의존하는 금융공학 도구 중 본 논문에서 주목하는 응용 분야 중 하나는 추세 추종형 접근 방식(trend-following approach)[10-12]의 트레이딩 전략이다. 본 논문에서는 [10]의 확률론적 최적제어 기반 추세 추종형 트레이딩 기법에 HMMUG(hidden Markov model with univariate Gaussian outcomes) 모델링[25], 확률론적 최적제어적 관점[10] 및 지수함수형 NES (exponential natural evolution strategy) 기법[26]을 함께 접목하는 방안을 고려한다. 그리고, 미국 NASDAQ 시장의 데이터를 대상으로 고려된 방법론의 적용 가능성을 시험해 본다.
최근들어, 각종 제어 이론 및 기계학습 기반 인공지능 방법론은 주요 금융공학 문제[10-14]의 중요한 핵심 도구로 자리를 잡아 가고 있다. 본 논문의 첫 번째 이슈에서 고려하는 금융공학 관련 문제는 동적 옵션 헤징[13,14] 문제이다. 옵션의 헷징은 특히 금융기관에 중요한 의미를 갖는데 주로 금융기관들이 취하게 되는 옵션의 숏포지션은 이론적으로 무한손실을 가져올 수 있기 때문이다.
성능/효과
05, T=11[day], δt=1[day], N=500, M=1000을 사용하여 유럽형 콜옵션에 대한 동적 옵션 헤징 문제를 다루었다. 본 논문의 방법론을 각 단계별 절차에 적절한 튜닝과정을 거쳐 적용할 경우 그림 3과 같이 정해진 투자수익 다이어그램(payoff diagram)과 유사한 만기 시 포트폴리오 가치, 즉, 부의 분포를 얻을 수 있었다. 그리고, 시뮬레이션 중 고려된 특정 자산 경로에 대하여 위의 방법론이 적용될 때 제어입력(control), 현금보유량 및 포트폴리오의 가치가 시간이 경과함에 따라 어떻게 변하는 지가 그림 4에 보여졌다.
본 문제에 대해 "Buy and hold" 전략을 사용하는 경우의 투자수익이 투자액의 4.24배이고, 무위험이자율에 의한 투자수익이 투자액의 2.7배임을 고려할 때, 그림 9가 보여주는 투자수익은 확률론적 최적제어 이론을 사용하는 [10]의 성능에 어느 정도 필적하는 결과로써 상당히 고무적인 결과로 볼 수 있다.
7배임을 고려할 때, 그림 9가 보여주는 투자수익은 확률론적 최적제어 이론을 사용하는 [10]의 성능에 어느 정도 필적하는 결과로써 상당히 고무적인 결과로 볼 수 있다. 아울러 이러한 결과가 수학적 이론을 통한 해석적 방법 대신에 모델링과 최적화 과정에서 기계학습 기반의 근사해를 통하여 얻어진 결과임을 감안하면 본 논문에서 소개한 융합적 방법론의 접근성과 범용성 측면에서 향후에 주목을 받을 수 있는 매우 의미 있는 결과라고 할 수 있다.
후속연구
본 논문에서는 불확실성과 비선형성이 존재하는 확률론적 최적제어 문제를 대상으로 확률론적 최적제어 기법, 근사 추론 및 기계학습 기반 데이터 처리 방안을 융합하여,데이터 기반의 준최적해를 구하는 기법을 고려하고, 이러한 기법의 응용 가능성을 간단한 일차원 제어문제와 금융공학 분야의 동적 옵션헤징 문제와 추세추종 트레이딩 전략 문제에 적용하여 고무적인 결과를 얻었다. 관련하여 향후에 수행할 연구로는, 보다 실용적인 제어시스템과 동적 포트폴리오 최적화 등의 관련 분야에 적용하는 것이 가능하도록 방법론을 추가적으로 개선하는 문제를 들 수 있다.
본 논문에서는 [10]의 확률론적 최적제어 기반 추세 추종형 트레이딩 기법에 HMMUG(hidden Markov model with univariate Gaussian outcomes) 모델링[25], 확률론적 최적제어적 관점[10] 및 지수함수형 NES (exponential natural evolution strategy) 기법[26]을 함께 접목하는 방안을 고려한다. 그리고, 미국 NASDAQ 시장의 데이터를 대상으로 고려된 방법론의 적용 가능성을 시험해 본다.
이러한 방법론은 추세추종형 트레이딩 문제에 대한 수학적인 해를 제시한 주목할 만한 결과이며, 추후에 다양한 개선이 뒷받침될 것으로 기대된다. 본 논문에서는 위와 같이 고려되는 수학적 모델의 기본적인 틀에 추가적으로 은닉 마르코프 모델과 진화전략 등의 방법론을 접목하여 관련된 확률론적 최적제어 문제를 푸는 방안을 고려해보았다.
질의응답
핵심어
질문
논문에서 추출한 답변
옵션 헷징은 어떻게 구분되는가?
따라서 옵션을 매도하는 금융기관들은 자신들이 발행한 옵션의 투자수익(payoff)을 완벽하게 또는 최소한의 오차범위 내에서 복제할 수 있는 복제포트폴리오(replicating portfolio)를 구성하여 이 포트폴리오의 롱포지션을 취함으로써 옵션 숏포지션을 헷징하게 된다. 옵션 헷징은 일반적으로 정적헷징(static hedging)과 동적헷징(dynamic hedging)으로 구분되며 정적헷징은 헷징 대상이 되는 옵션과 기초자산이 동일하거나 유사한 옵션 포트폴리오를 구성하고 이 옵션 포트폴리오를 변동없이 유지하는 전략이다. 정적헷징에 대한 연구는 [15,16]등의 초기 연구이래 다양한 형태의 헷징 전략들이 제기되었는데 특히 장애물옵션(barrier option)과 같은 이색옵션(exotic options)의 경우에 다양하게 적용된 연구결과들이 있다[17,18].
정적헷징은 어떠한 전략인가?
따라서 옵션을 매도하는 금융기관들은 자신들이 발행한 옵션의 투자수익(payoff)을 완벽하게 또는 최소한의 오차범위 내에서 복제할 수 있는 복제포트폴리오(replicating portfolio)를 구성하여 이 포트폴리오의 롱포지션을 취함으로써 옵션 숏포지션을 헷징하게 된다. 옵션 헷징은 일반적으로 정적헷징(static hedging)과 동적헷징(dynamic hedging)으로 구분되며 정적헷징은 헷징 대상이 되는 옵션과 기초자산이 동일하거나 유사한 옵션 포트폴리오를 구성하고 이 옵션 포트폴리오를 변동없이 유지하는 전략이다. 정적헷징에 대한 연구는 [15,16]등의 초기 연구이래 다양한 형태의 헷징 전략들이 제기되었는데 특히 장애물옵션(barrier option)과 같은 이색옵션(exotic options)의 경우에 다양하게 적용된 연구결과들이 있다[17,18].
가치함수(value function)를 이용한 동적 계획법은 실제 공학적 문제에 적용하여 최적 제어 전략을 구하고자 하는 경우 어떠한 문제점을 직면하는가?
확률론적 최적 제어 문제의 해법 중 하나로는 가치함수(value function)를 이용한 동적 계획법(dynamic programming)[1]을 들 수 있다. 이러한 동적 계획법을 실제 공학적 문제에 적용하여 최적 제어 전략을 구하고자 하는 경우, 가치함수를 위하여 어떠한 종류의 함수족(function family)을 사용할 것인가, 가치함수의 계산은 어떠한 과정을 통하여 수행할 것인가 등의 어려운 문제점들을 만나게 된다.
참고문헌 (28)
D.P. Bertsekas, Dynamic Programming and Optimal Control, vol. II, 4th edition, Athena Scientific, 2012.
R.S. Sutton and A.G. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998.
D.P. Bertsekas and J. Tsitsiklis, Neuro-Dynamic Programming, Athena Scientific, 1996.
K. Rawlik, M. Toussaint and S. Vijayakumar, "On stochastic optimal control and reinforcement learning by approximate inference", Proceedings of International Conference on Robotics Science and Systems, pp. 3052-3056, 2012.
M.G. Azar, V. Gmez and H.J. Kappen, "Dynamic policy programming with function approximation," Proceedings of 14th International Conference on Artificial Intelligence and Statistics (AISTATS), 2011.
C.M. Bishop, Pattern Recognition and Learning, Springer, 2006.
K.P. Murphy, Machine Learning: A Probabilistic Perspective, MIT press. 2012.
R. Lioutikov, A. Paraschos, J. Peters and G. Neumann, "Sample-based information-theoretic stochastic optimal control", Proceedings of the International Conference on Robotics and Automation, pp. 3896-3902, 2014.
J. Peters, K. Mulling and Y. Altun, "Relative entropy policy search", Proceedings of the 24th National Conference on Artificial Intelligence (AAAI), pp. 1607-1612, 2010.
M. Dai, Q. Zhang and Q.J. Zhu, "Trend following trading under a regime switching model," SIAM Journal on Financial Mathematics, vol. 1, pp. 780-810, 2010.
J. Yu and Q. Zhang, "Optimal trend-following trading rules under a three-state regime switching model," Mathematical Control and Related Fields, vol. 2, no. 1, pp. 81-100, 2012.
S. Chung, P. Shih and W. Tsai, "Static hedging and pricing american knock-out options," Journal of Derivatives, vol. 37, pp. 23-48, 2013.
M. Nalholm and R. Poulsen, "Static hedging of barrier options under general asset dynamics: Unification and application," Journal of Derivatives , vol. 13, pp. 46-60, 2006.
P. Carr, "Semi-static hedging of barrier options under Poission jumps," International Journal of Theoretical and Applied Finance, vol. 14, pp. 1091- 1111, 2011.
M. Jeannin, M. Pistorius, "Pricing and hedging barrier options in a hyper-exponential additive model," International Journal of Theoretical and Applied Finance, vol. 13, pp. 657-681, 2010.
W. Yip, D. Stephens and S. Olhede, "Hedging strategies and minimal variance portfolios for european and exotic options in a Levy market", Mathematical Finance, vol. 20, pp. 617-646, 2010.
J. Huang, M.G. Subrahmanyam and G. Yu, "Pricing and hedging american options: A recursive integration method," The Review of Financial Studies, vol. 9, pp. 277-300, 1996.
T. Schaul, "Benchmarking exponential natural evolution strategies on the noiseless and noisy blackbox optimization testbeds," Proceedings of GECCO' 12, 2012.
Y. Wang and S. Boyd, "Approximate dynamic programming via iterated Bellman inequalities," International Journal of Robust and Nonlinear Control, vol. 25, pp. 1472-1496, 2015.
J. Park, S. Ji, K. Sung, K. Park, "Trend-following based on hidden Markov model and modern evolution strategy," Proceedings of 2015 Information and Control Symposium, pp. 52-54, 2015.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.