[논문]A3C를 활용한 블록체인 기반 금융 자산 포트폴리오 관리

김주봉; 허주성; 임현교; 권도형; 한연희

doi:10.3745/ktccs.2019.8.1.17

A3C를 활용한 블록체인 기반 금융 자산 포트폴리오 관리
Blockchain Based Financial Portfolio Management Using A3C 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.8 no.1, 2019년, pp.17 - 28

김주봉 (한국기술교육대학교 컴퓨터공학부) , 허주성 (한국기술교육대학교 컴퓨터공학부) , 임현교 (한국기술교육대학교 창의융합공학협동과정 ICT융합) , 권도형 (한국기술교육대학교 창의융합공학협동과정 ICT융합) , 한연희 (한국기술교육대학교 컴퓨터공학부)

초록
AI-Helper

금융투자 관리 전략 중에서 여러 금융 상품을 선택하고 조합하여 분산 투자하는 것을 포트폴리오 관리 이론이라 부른다. 최근, 블록체인 기반 금융 자산, 즉 암호화폐들이 몇몇 유명 거래소에 상장되어 거래가 되고 있으며, 암호화폐 투자자들이 암호화폐에 대한 투자 수익을 안정적으로 올리기 위하여 효율적인 포트폴리오 관리 방안이 요구되고 있다. 한편 딥러닝이 여러 분야에서 괄목할만한 성과를 보이면서 심층 강화학습 알고리즘을 포트폴리오 관리에 적용하는 연구가 시작되었다. 본 논문은 기존에 발표된 심층강화학습 기반 금융 포트폴리오 투자 전략을 바탕으로 대표적인 비동기 심층 강화학습 알고리즘인 Asynchronous Advantage Actor-Critic (A3C)를 적용한 효율적인 금융 포트폴리오 투자 관리 기법을 제안한다. 또한, A3C를 포트폴리오 투자 관리에 접목시키는 과정에서 기존의 Cross-Entropy 함수를 그대로 적용할 수 없기 때문에 포트폴리오 투자 방식에 적합하게 기존의 Cross-Entropy를 변형하여 그 해법을 제시한다. 마지막으로 기존에 발표된 강화학습 기반 암호화폐 포트폴리오 투자 알고리즘과의 비교평가를 수행하여, 본 논문에서 제시하는 Deterministic Policy Gradient based A3C 모델의 성능이 우수하다는 것을 입증하였다.

Abstract ▼ AI-Helper

In the financial investment management strategy, the distributed investment selecting and combining various financial assets is called portfolio management theory. In recent years, the blockchain based financial assets, such as cryptocurrencies, have been traded on several well-known exchanges, and an efficient portfolio management approach is required in order for investors to steadily raise their return on investment in cryptocurrencies. On the other hand, deep learning has shown remarkable results in various fields, and research on application of deep reinforcement learning algorithm to portfolio management has begun. In this paper, we propose an efficient financial portfolio investment management method based on Asynchronous Advantage Actor-Critic (A3C), which is a representative asynchronous reinforcement learning algorithm. In addition, since the conventional cross-entropy function can not be applied to portfolio management, we propose a proper method where the existing cross-entropy is modified to fit the portfolio investment method. Finally, we compare the proposed A3C model with the existing reinforcement learning based cryptography portfolio investment algorithm, and prove that the performance of the proposed A3C model is better than the existing one.

주제어

표/그림 (8)

그림 Fig. 1. A3C Model Architecture
표 Table 1. Example of Abnormal Data in the Collected BTC Data
그림 Fig. 2. Structure of Dataset X_t for Window Size n
그림 Fig. 3. Portfolio Management Process Example
표 Table 2. Data ranges for back-test
그림 Fig. 4. Weight Distribution Ratio of Back-Test #3-2
표 Table 3. The Final PVVR Comparison between Models A3C-DPG, DPG, and Random
표 Table 4. The TE and IR Values of A3C-DPG Model based on DPG Model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그리고 최근 암호화폐 포트폴리오 관리 전략에 활용되는 시도가 학계에서 발표되고 있다. 강화학습 에이전트가 대신 전략을 고안 하도록 하여 투자의 경험이 없거나 투자지식이 적은 사람도 안정적인 자산 관리를 할 수 있도록 만드는 것이 목표이다. 이중 가장 대표적인 연구[11]은 Deterministic Policy Gradient 알고리즘을 사용한 것이다.
하지만, 한정된 시간 내에 투자 수익을 보다 높일 수 있는 강화학습 모델을 구성하기 위해서는 여러 강화학습 에이전트를 비동기적으로 활용하는 A3C 알고리즘 접목이 필요하다. 따라서 본 논문에서는 포트폴리오 투자 이론에 최신 강화학습 알고리즘인 A3C를 접목한 연구 수행 결과를 제시한다. 금융 포트폴리오 투자 이론에 A3C를 접목하려는 이유는 다음과 같다.
본 논문은 전통적인 금융 포트폴리오 관리 문제를 강화학습 프레임워크를 사용하여 해결한 Deterministic Policy Gradient (DPG) 모델을 개선시킨 Deterministic Policy Gradient based A3C (A3C-DPG) 모델을 제시하였다. 빗썸 API를 통해 과거 암호화폐 가격 데이터를 수집했고 학습과 벡테스트를 위한 데이터셋을 만들기 위해 전처리와 가공 과 정을 거쳤다.
최근에 강화학습 에이전트가 암호화폐에 대하여 포트폴리오 를 지능적으로 관리하는 연구가 [11]에서 제시되었으며, 본 논 문이 제안하는 알고리즘의 기초 모델인 DPG 기법을 통하여 암 호화폐를 분산 투자하여 수익을 향상시킬 수 있음을 보였다. 본 논문은 최근 대표적인 강화학습 알고리즘으로 주목받 고 있는 A3C 알고리즘을 [11]에서 제시된 DPG에 접목하여 암호화폐 분산 투자 수익률을 더욱 높이는 방안을 제시한다.
본 절에서는 제안하는 모델 Deterministic Policy Gradient based A3C (A3C-DPG)에 대한 설명과 기존 DPG 기법과의 차이점에 대해 설명한다. 대부분의 강화학습은 뉴럴 네트워크 모델을 거쳐 나온 결 값 중에서 가장 값이 큰 행동을 선택한다.
암호화폐 포트폴리오 관리 문제는 소유한 자산을 투자 가능한 암호화폐에 지속적인 분산투자를 하여 초기 투자 자산에 대비해 더 많은 자산을 얻는 것을 목표로 한다. 이와 관련된 선행 연구로서는 SCRP (Successive Constant Rebalanced Portfolios) [18], ONS (Online Newton Step algorithm) [19] 등이 있다.

가설 설정

본 논문에서 제안하는 포트폴리오 관리 대상 암호 화폐는 사전에#개를 미리 정한다고 가정한다. 본 모델에서 가정하 는 시간은 시점 0부터 시작하며 암호화폐 자산 분배 행동은 단위 시간#를 기준으로 형성되는 매 시점 # (#)마다 강화학습의 스텝 #가 수행된다.

제안 방법

암호화폐 포트폴리오 관리 목적은 보유한 통화를 거래 가능한 다른 암호화폐와 교환하여 최종 포트폴리오 자산 가치 를 증대시키는 것이다. 실험 평가에서는 1) 본 논문이 제시하 는 모델인 A3C-DPG, 2) [11]의 연구에서 제시된 DPG, 그리 고 3) 무작위로 포트폴리오 관리를 하는 Random 모델에 대한 백테스트(Back-Test)를 진행한다.
백테스트가 종료된 후 산출된 최종 PVVR #를 통해 모델의 성능을 측정한다. 게다가, PVVR 이외에 백테스트 종료 시에 계산되는 추적 오차(Tracking Error, TE)와 정보비율(Information Ratio, IR) 지표를 통해서 기존 DPG 방식 대비 A3C-DPG의 성능 향상 정도를 추가적으로 비교분석하였다 [27, 28]. 추적오차는 백 테스트 기간 내 각 스텝 #마다의 포트폴리오 가치 증감 비율인 #과 # 를 비교함으로써 DPG와 A3C-DPG 모델 간의의 성능격차를 측정한다.
#(7) 하지만 DPG에 의한 정책 업데이트는 상태의 단일 시퀀스에 대해 얻은 보상 값만을 정책 업데이트에 이용한다는 점에서 학습의 안정성이 보장되지 않는다. 그래서 본 논문은 성능향상과 안정성에 기여하기 위한 방법으로 A3C를 Deterministic Policy Gradient 방법과 결합하여 암호화폐 포트폴리오 관리 에이전트 모델에 접목시켰다.
한편 모델이 가변적인 시장 상황에 따라 유연하게 대응할 수 있는지를 평가하기 위해서 백테스트의 기간을 ‘일반’, ‘상승장’, ‘하락장’으로 나누어 비교하였다. 그리고 단위 시간 # 를 10분과 30분으로 나누어 자산의 분배 주기에 따른 모델 성능을 비교평가 하였다. 3.
빗썸 API를 통해 과거 암호화폐 가격 데이터를 수집했고 학습과 벡테스트를 위한 데이터셋을 만들기 위해 전처리와 가공 과 정을 거쳤다. 그리고 학습 데이터셋을 미니배치 샘플링하여 강화학습 에이전트의 학습에 활용하였다. 두 모델의 백테스 트를 통해서 비교 평가 실험을 하였고, 시장금융 투자의 관점 에서 추적오차와 정보비율 지표를 인용함으로써 A3C-DPG 모델이 기존 DPG 모델보다 더 적극적인 투자 성향을 보인다는 것을 입증하였다.
8배의 수익률을 얻었다. 또한 에이전트의 포트폴리오 투자 비율을 분석해 제시함 으로써 앞선 백테스트 결과에 대한 근거를 제시하였다. 금융 데이터는 기존 강화학습에서 다루었던 컴퓨터 게임 데이터에 비해 특수하며 각 특성 데이터 값의 해석이 상당히 중요하다.
벡테스트가 종료되면 주어진 백테스트 기간의 마지막 스텝 까지 누적된 포트폴리오 자산 가치 증감 비율(Portfolio Value Variation Ratio, PVVR)을 통해서 각 모델의 수익률을 비교평 가 하였다. 스텝#에서 PVVR #의 수식은 아래와 같으며,마지막 스텝#에서 누적된 PVVR # 은 다음과 같다.
본 논문은 전통적인 금융 포트폴리오 관리 문제를 강화학습 프레임워크를 사용하여 해결한 Deterministic Policy Gradient (DPG) 모델을 개선시킨 Deterministic Policy Gradient based A3C (A3C-DPG) 모델을 제시하였다. 빗썸 API를 통해 과거 암호화폐 가격 데이터를 수집했고 학습과 벡테스트를 위한 데이터셋을 만들기 위해 전처리와 가공 과 정을 거쳤다. 그리고 학습 데이터셋을 미니배치 샘플링하여 강화학습 에이전트의 학습에 활용하였다.
이번 절에서는 에이전트가 백테스트에서 높은 FPV를 얻을 수 있었던 이유를 Fig. 4에서 제시하는 암호화폐 자산 분배율 분석을 통해서 알아본다. Fig.
한편 모델이 가변적인 시장 상황에 따라 유연하게 대응할 수 있는지를 평가하기 위해서 백테스트의 기간을 ‘일반’, ‘상승장’, ‘하락장’으로 나누어 비교하였다.
한편, 암호화폐 포트폴리오 관리에 A3C를 접목시키는 과정에서 기존의 Cross-Entropy 함수를 그대로 적용할 수 없기 때문에 기존의 Cross-Entropy를 변형하여 정책 네트워크 업데이트에 사용하였다. 한편, 기존에 발표된 강화학습 기반 포트폴리오 투자 알고리즘과의 비교평가를 수행하여, 본 논문에서 제시하는 A3C 모델의 성능이 Deterministic Policy Gradient 모델보다 우수하다는 것을 입증하였다.

대상 데이터

백테스트는 실제 암호화폐 시장과 같은 투자 시뮬레이션 환 경에서 에이전트의 포트폴리오 관리 성능을 평가하기 위해 사 용된다. 본 실험에 쓰인 암호화폐의 종류는 총 8종이며 각각의 암호화폐 명칭은 BTC, ETH, XRP, BCH, ETC, DASH, XMR, ZEC이다. 이들은 비교적 일찍 빗썸 거래소에 상장되고 거래량도 많은 암호화폐들이다.
정상 데이터는 강화학습 데이터셋 구성을 위하여 곧바로 활용할 수 있는 데이터이다. 반면 비정상 데이터에는 부적합 데이터, 손실 데이터, 제로 데이터가 존재한다.

이론/모형

즉 학습에 입력되는 데이터 수에 따라서 모델의 성능이 달라질 수 있다. 그래서 본 연구에서는 확률적 경사하강법에 의한 학습 효율을 저해하지 않는 수준에서 전체 학습 데이터 를 작게 나누어 입력 데이터로 활용하는 미니배치 샘플링 (Mini-Batch Sampling) 방식을 사용했다[26]. 샘플링 잡음 (Sampling-Noise)과 샘플링 편향(Sampling-Bias) 문제를 피 하기 위해서, 미니배치 샘플링 방식에 다음 수식과 같은 기하 분포 확률(Geometrically Distributed Probability) #를 이용하여 임의의 스텝 에서의 샘플 데이터의 시작 스텝 #를 정하였다.
이와 관련된 선행 연구로서는 SCRP (Successive Constant Rebalanced Portfolios) [18], ONS (Online Newton Step algorithm) [19] 등이 있다. 이러한 연구들에서는 Price-Relative Vector를 정 의하여 사용한다. #를 암호화폐 #에 대한 스텝#에서의 종 가로 정의하고#를 전체 #개의 암호화폐에 대한 스텝#에 서의 종가 벡터라고 정의할 때, 스텝 #에서의 Price-Relative Vector #는 시간 #에서의 #에 대해 이전 시간의 # 로 나누어 준 것으로 다음 수식과 같다[11].

성능/효과

두 모델의 백테스 트를 통해서 비교 평가 실험을 하였고, 시장금융 투자의 관점 에서 추적오차와 정보비율 지표를 인용함으로써 A3C-DPG 모델이 기존 DPG 모델보다 더 적극적인 투자 성향을 보인다는 것을 입증하였다. 그리고 백테스트 결과, 강화학습 에이전트는 암호화폐 시장 상황에 구애받지 않고 적극적인 투자를 했다. 특히 상승장에서 초기 투자 자본금의 약 17.
그리고 학습 데이터셋을 미니배치 샘플링하여 강화학습 에이전트의 학습에 활용하였다. 두 모델의 백테스 트를 통해서 비교 평가 실험을 하였고, 시장금융 투자의 관점 에서 추적오차와 정보비율 지표를 인용함으로써 A3C-DPG 모델이 기존 DPG 모델보다 더 적극적인 투자 성향을 보인다는 것을 입증하였다. 그리고 백테스트 결과, 강화학습 에이전트는 암호화폐 시장 상황에 구애받지 않고 적극적인 투자를 했다.
즉, A3C-DPG 모델은 짧은 주기의 투자 운용을 수행하여 시장 상황에 더 민첩하게 대응할 수 있음을 암시한다. 또한, 가격 변동이 상승세를 타며 투자하기 좋은 시장상황에서는#가 10분일 때 A3C-DPG 모델의 최종 PVVR은 17.3247로서 최 초 자산 대비 17배 이상의 많은 수익을 거두었음을 알 수 있 다. 또한, 가격 변동이 하락세를 타며 투자하기 좋지 못한 시 장상황에서도 #가 10분일 때 A3C-DPG 모델의 최종 PVVR 은 1.
이중 가장 대표적인 연구[11]은 Deterministic Policy Gradient 알고리즘을 사용한 것이다. 이 논문에서는 Ensemble of Identical Independent Evaluators (EIIE) 뉴럴 네트워크 토폴로지와 Portfolio-Vector Memory (PVM) 등의 기법을 활용하여 투자 시뮬레이션 환경에서 백테스트(BackTest)를 수행하였고 머신러닝을 활용한 포트폴리오 관리에 대한 기존 연구들보다 성과가 뛰어났다.
제시된 Table 3에서 보이듯이, 본 논문에서 제안하는 A3C-DPG 모델이 Random 모델뿐만 아니라 기존 모델인 DPG 보다 전체적으로 더 높은 최종 PVVR을 산출함을 알 수 있다. 또한, 제안하는 A3C-DPG 모델인 경우#가 30분인 경우 보다는 10분인 경우에 최종 PVVR이 높다.
하지만, 강화학습에 의해 학습된 에이전 트는 사람이 정할 수 있는 패턴 이외에 상황 속에 잠재된 또 다른 패턴을 새로 찾아낼 수 있다. 최근에 강화학습 에이전트가 암호화폐에 대하여 포트폴리오 를 지능적으로 관리하는 연구가 [11]에서 제시되었으며, 본 논 문이 제안하는 알고리즘의 기초 모델인 DPG 기법을 통하여 암 호화폐를 분산 투자하여 수익을 향상시킬 수 있음을 보였다. 본 논문은 최근 대표적인 강화학습 알고리즘으로 주목받 고 있는 A3C 알고리즘을 [11]에서 제시된 DPG에 접목하여 암호화폐 분산 투자 수익률을 더욱 높이는 방안을 제시한다.
한편, 암호화폐 포트폴리오 관리에 A3C를 접목시키는 과정에서 기존의 Cross-Entropy 함수를 그대로 적용할 수 없기 때문에 기존의 Cross-Entropy를 변형하여 정책 네트워크 업데이트에 사용하였다. 한편, 기존에 발표된 강화학습 기반 포트폴리오 투자 알고리즘과의 비교평가를 수행하여, 본 논문에서 제시하는 A3C 모델의 성능이 Deterministic Policy Gradient 모델보다 우수하다는 것을 입증하였다.

참고문헌 (28)

Nakamoto, Satoshi, Bitcoin: A Peer-to-Peer Electronic Cash System, Cryptography Mailing list at https://metzdowd.com, 2009.
"GUNBOT - Crypto Trading Bot," GUNBOT, https://www.gunbot.com, 2018.
"start [ProfitTrailer Wiki]", ProfitTrailer, https://wiki.profittrailer.com/doku.php?idstart, 2018.
I. Kaastra and M. Boyd, “Designing a neural network for forecasting financial and economic time series,” Neurocomputing, Vol. 10, No. 3, pp. 215-236, 1996.

상세보기
Candela, "Dataset shift in machine learning," London: MIT Press, 006.3 CAN, 2009.
Y. B, Kim, "Predicting Fluctuations in Cryptocurrency Transactions Based on User Comments and Replies," PLoS ONE, Vol. 11, No. 8, e0161197, 2016.

상세보기
Sean McNally, "Predicting the Price of Bitcoin Using Machine Learning," 26th Euromicro International Conference on Parallel, Distributed and Network-based Processing, pp. 339-343, Mar. 2018.
R. Sutton and A. Barto, "Reinforcement Learning: an Introduction," MIT Press, 1998.
Volodymyr Mnih, "Asynchronous Methods for Deep Reinforcement Learning," Proceedings of the 33rd International Conference on MachineLearning, New York, NY, USA, 2016. JMLR: W&CP volume48.
Arun Nair, "Massively Parallel Methods for Deep Reinforcement Learning," at Deep Learning Workshop, International Conference on Machine Learning, Lille, France, 2015.
Zhengyao Jiang, "A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem," In JMLR, 30 pages, 5 figures, 2017.
Christopher JCH Watkins and Peter Dayan. "Q-Learning," Machine Learning, Vol. 8, No. 3-4, pp. 279-292, 1992.
Kai Arulkumaran, "A Brief Survey of Deep Reinforcement Learning," in IEEE Signal Processing Magazine Special Issue On Deep Learning For Image Understanding, 2017.
Hado van Hasselt, "Deep Reinforcement Learning with Double Q-learning," Proceedings of 30th AAAI Conference on Artificial Intelligence (AAAI-16).
David Silver, Guy Lever, Nicolas Heess, Thomas Degris, Daan Wierstra, and Martin Ried-miller, "Deterministic Policy Gradient Algorithms," ICML(International Conference on Machine Learning) Proceedings of the 31st, pp. 387-395, 2014.
K. Chepuri, T. Homem de Mello, "Solving the vehicle routing problem with stochastic demands using the cross entropy method," Annals of Operations Research, 2004.
G. Alon, D. P. Kroese, T. Raviv, and R. Y. Rubinstein, "Application of the Cross-entropy method to the buffer allocation problem in a simulation-based environment," Annals of Operations Research, 2004.
Gaivoronski, "Stochastic nonstationary optimization for finding universal portfolios," in Annals of Operations Research, Vol. 100, No. 1, pp. 165-188, 2000.
Agarwal, A., "Algorithms for portfolio management basedon the newton method," in ICML, New York, NY, USA (2006)
Bin Li, Peilin Zhao, Steven C. H. Hoi, and Vivekanand Gopalkrishnan. "Passive aggressive mean reversion strategy for portfolio selection," PSMR, Machine Learning, Vol. 87, No. 2, pp. 221-258, 2012.

상세보기
Seyed Taghi Akhavan Niaki and Saeid Hoseinzade. "Forecasting S&P 500 index using artificial neural networks and design of experiments," Journal of Industrial Engineering International, Vol. 9, No. 1, p.1, 2013.

상세보기
Katia Sycara, K. Decker and Dajun Zeng, "Designing a Multi-Agent Portfolio Management System," Proceedings of the AAAI Workshop on Internet Information Systems, 1995.
K. Sycara, A. Pannu, M. Willamson, Dajun Zeng, K. Decker, "Distributed intelligent agents," IEEE Expert, Vol. 11, Issue 6, Dec. 1996.

상세보기
Hiroshi Takahashi, "Analyzing the Effectiveness of Investment Strategies through Agent-based Modelling: Overconfident Investment Decision Making and Passive Investment Strategies," eKNOW, 6th International Conference, 2014.
"API - Bithumb," Bithumb, https://www.bithumb.com/u1/US127, 2018.
Mnih, Volodymyr, “Human-level control through deep reinforcementlearning,” Nature, Vol. 518, No. 7540, pp. 529-533, 2015.

상세보기
Mu Li, "Efficient Mini-batch Training for Stochastic Optimization," In 2014 ACM, 978-1-4503-2956-9, 2014.
Edward Qian, “Active Risk And Information Ratio,” Journal of Investment Management, Vol. 2, No. 3, pp. 1-15, 2004.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증