[논문]강화학습을 이용한 트레이딩 전략

조현민; 신현준

doi:10.5762/kais.2021.22.1.123

강화학습을 이용한 트레이딩 전략
Trading Strategies Using Reinforcement Learning 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.22 no.1, 2021년, pp.123 - 130

초록
AI-Helper

최근 컴퓨터 기술이 발전하면서 기계학습 분야에 관한 관심이 높아지고 있고 다양한 분야에 기계학습 이론을 적용하는 사례가 크게 증가하고 있다. 특히 금융 분야에서는 금융 상품의 미래 가치를 예측하는 것이 난제인데 80년대부터 지금까지 기술적 및 기본적 분석에 의존하고 있다. 기계학습을 이용한 미래 가치 예측 모형들은 다양한 잠재적 시장변수에 대응하기 위한 모형 설계가 무엇보다 중요하다. 따라서 본 논문은 기계학습의 하나인 강화학습 모형을 이용해 KOSPI 시장에 상장되어 있는 개별 종목들의 주가 움직임을 정량적으로 판단하여 이를 주식매매 전략에 적용한다. 강화학습 모형은 2013년 구글 딥마인드에서 제안한 DQN와 A2C 알고리즘을 이용하여 KOSPI에 상장된 14개 업종별 종목들의 과거 약 13년 동안의 시계열 주가에 기반한 데이터세트를 각각 입력 및 테스트 데이터로 사용한다. 데이터세트는 8개의 주가 관련 속성들과 시장을 대표하는 2개의 속성으로 구성하였고 취할 수 있는 행동은 매입, 매도, 유지 중 하나이다. 실험 결과 매매전략의 평균 연 환산수익률 측면에서 DQN과 A2C이 대안 알고리즘들보다 우수하였다.

Abstract ▼ AI-Helper

With the recent developments in computer technology, there has been an increasing interest in the field of machine learning. This also has led to a significant increase in real business cases of machine learning theory in various sectors. In finance, it has been a major challenge to predict the future value of financial products. Since the 1980s, the finance industry has relied on technical and fundamental analysis for this prediction. For future value prediction models using machine learning, model design is of paramount importance to respond to market variables. Therefore, this paper quantitatively predicts the stock price movements of individual stocks listed on the KOSPI market using machine learning techniques; specifically, the reinforcement learning model. The DQN and A2C algorithms proposed by Google Deep Mind in 2013 are used for the reinforcement learning and they are applied to the stock trading strategies. In addition, through experiments, an input value to increase the cumulative profit is selected and its superiority is verified by comparison with comparative algorithms.

주제어

표/그림 (10)

그림 Fig. 2. Architecture of Deep Q-Network[23]
그림 Fig. 1. Principles of reinforcement learning
표 Table 1. Data for Experiments
표 Table 2. Experimental design
표 Table 3. Results with DQN
그림 Fig. 3. Accumulated profit by DQN (e.g. Hyundai Engineering & Construction)
그림 Fig. 4. Accumulated profit by A2C (e.g. KEPCO)
그림 Fig. 5. Trading history by DQN (e.g. Hyundai Engineering & Construction)
그림 Fig. 6. Trading history by A2C (e.g. KEPCO)
표 Table 4. Results with A2C

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 금융 상품의 가치 변화를 예측하기 위해 강화학습의 DQN(deep q-network)과 A2C(advantage actor critic) 모형을 적용한다. 또한, 각 모형에 대한 예측력을 분석하고 실효성을 입증하고자 한다.
본 장에서는 DQN 및 A2C 모형을 이용해 12개 업종에 속한 개별주식들의 약 13.75년 동안의 주가관련 시계열 데이터를 토대로 매매전략을 학습하고, 학습에 이용되지 않은 12개 업종 내 개별주식들에 대한 테스트 결과를 분석하고자 한다. 본 실험에서 공매도(short selling) 는허용하였고, 증권거래세 등의 거래비용은 고려하지 않았다.

제안 방법

또한, 10개의 항목으로 구성된 시계열 데이터 세트는 모두 정규화(normalization)를 통해 전처리하였다. 14개의 종목을 통합(aggregation)하여 하나의 데이터 세트로 학습하였고, 테스트는 13개의 개별 종목들에 대하여 시행하였다.
Table 2는 DQN과 A2C 알고리즘을 이용한 주식 매매전략의 우수성을 평가하기 위한 실험계획으로, 매입후보유(Buy and hold, 이하 BH) 및 매도후유지(Sell and wait, 이하 SW)전략과 비교함으로써 단순 우상향 또는 단순 우하향하는 시황에서도 제시한 강화학습 매매전략들의 초과수익달성 가능 여부를 확인하고자 한다. 누적 수익률을 성능지표로 하였고, 보상함수는 수익률(log return) 로 상태(state)에는 데이터 세트에 포함된 10개의 속성 외에 포지션 유지기간 및 현재 포지션 상태(buy, sell, hold)를 추가하였다.
구글 딥마인드에서 제안한 알고리즘인 DQNe 기존의 강화학습 알고리즘인 Monte Carlo Methods와 Temporal Difference에 심층신경망(DNN: Deep Neural Network, 이하 DNN)을 적용하여 DNN의 장점을 극대화했다. DQNe 지도학습과 달리 출력 층의 정상 출력 값을 알 수 없어서 가중치(weight)를 갱신하기 위한 오차를 계산할 수 없는 반면 추정값인 부트스트랩 (bootstrap value)을 이용해 오차를 추정하여 가중치를 갱신하고 오차를 하위 단으로 전달한다[22].
누적 수익률을 성능지표로 하였고, 보상함수는 수익률(log return) 로 상태(state)에는 데이터 세트에 포함된 10개의 속성 외에 포지션 유지기간 및 현재 포지션 상태(buy, sell, hold)를 추가하였다. 또한 강화학습 알고리즘이 취할 수 있는 행동(action)은 매입(buy), 매도(sell), 유지(hold) 중 하나이다.
(1)에서 gradient ascent을 통해 를 설정 하는데 값이 모수이기 때문에도 알 수 없다. 따라서 본 연구에서는 TD(temporal difference) 기법 을 통해서 실제값을 추정하는데 이를 Critic 네트워크로 학습하는 방식을 취한다.
종료시점(terminal)에서는 보유 포지션을 강제 청산하지만 이때의 수익률은 누적 수익률에 포함하지 않았다. 또한, 10개의 항목으로 구성된 시계열 데이터 세트는 모두 정규화(normalization)를 통해 전처리하였다. 14개의 종목을 통합(aggregation)하여 하나의 데이터 세트로 학습하였고, 테스트는 13개의 개별 종목들에 대하여 시행하였다.
본 논문에서는 강화학습 알고리즘 중 DQN과 A2C 기법을 이용하여 매매전략을 수립하고, 2007년 1월부터 2020년 9월까지 12개 업종에 속하는 14개 종목(학습 및 테스트 총 28 종목)의 주가관련 데이터를 이용하여 학습데이터 세트를 구성하여 학습한 후 테스트를 통해 그 성능을 비교 평가하였다. 실험결과 DQN과 A2C를 이용한 매매전략의 평균 연 환산수익률이 각각 31.
행동을 선택한다. 선택 후 보상을 받으면 보상의 강도에 따라 에이전트가 보유한 정보를 스스로 수정한다. 이런 과정을 새로운 의사결정 문제의 환경 속에서 반복한다.
실험 데이터는 Table 1과 같이 KOSPI시장에 상장된 주식들에 대해 12개의 산업업종(industries)을 대표하는 종목들로 구성하였으며, 각각 학습을 위한 데이터와 테스트를 위한 종목으로 분류하였다. 주가 수집기간은 2007 년 1월 1일 ~ 2020년 9월 30일까지의 종목 당 약 3360 일에 해당한다.
가장 높았다. 주일택과 최승호[12]는 LSTM(long short term memory)을 이용해 국내 개별 종목의 주가 방향성을 예측하는데 입력 셀의 개수별로 시뮬레이션 실험을 통해 예측력을 입증하였다. 또한 A2C(advantage actor-critic) 모형을 포트폴리오 관리 방안에 적용하면 일반적인 ETF(exchange traded fund) 성격의 상품에 비해서 우수한 성과를 보였다[13].

대상 데이터

구성된다. 즉, 데이터 한 세트는 5개의 주가 관련 데이터(Open, High, Low, Close, Volume) 및 3개의 기술적 지표(ATR, Boll, MACD) 그리고 2개의 주가지수 (KOSPI, S&P500)로 구성된다.

이론/모형

DQN 및 A2C 알고리즘은 파이썬(python)과 R 소프트웨어를 통해서 구현하고 A2C 알고리즘의 경우에는 David Silver[24]가 제안한 알고리즘을 기반으로 모형을 구성한다.
2는 DQN의 구조를 표현하고 있는데 입력 자료의 다운사이징(downsizing)을 통해서 4개의 프레임(frame) stack 으로 구성한다[23]. 본 연구에서는 Volodymyr Mnih[22] 가 제안하고 있는 심층신경망에 기반을 둔 DQN 알고리즘을 기반으로 모형을 구성한다.
강화학습은 최적의 의사결정 시 보상(reward)이라는 신호를 주고 이런 과정에서 받은 보상의 총합, 즉 누적 보상(cumulative reward)을최대화하는 것을 의미하는데 이런 강화학습 기법은 계속 진화하고 있다. 본 연구에서는 금융 상품의 가치 변화를 예측하기 위해 강화학습의 DQN(deep q-network)과 A2C(advantage actor critic) 모형을 적용한다. 또한, 각 모형에 대한 예측력을 분석하고 실효성을 입증하고자 한다.

성능/효과

2회 매매하는 결과를 보여주었다. A2C의 연 환산수익률은 평균 12.9%이었고, 평균보유기간이 상대적으로 짧은 71.1일로 1년에 약 3회 매매하는 결과를 나타냈다. BH와 SW 에 대한 상대값은 평균으로 보면 DQN과 A2C이 모두 2~5배 가까이 높은 수익률을 보인다.
DQN의 연 환산수익률은 평균 31.3%이었고, 평균 보유 기간이 상대적으로 긴 262일로 1년에 약 1.2회 매매하는 결과를 보여주었다. A2C의 연 환산수익률은 평균 12.
이용해서 KOSPI 지수를 예측하였다. 그 결과 학습데이터에서는 SVM이 인공신경망에 비해서 더 높은 예측력을 보였고 실험 데이터에서는 인공신경망의 예측력이 더 우수했다.
0%) 대비 우수하다고 판단된다. 또한 BH 및 SW 전략과의 비교에서도 모두 2~5배 가까이 높은 수익률을 나타냈고 이를 통해 DQN 과 A2C를 이용한 매매 의사결정이 매매전략에 더 효과적임을 보였다.
5-6은 약 3360일 동안의 정규화된 주가의 움직임에 따른 매매(매수-보유-매도 또는 매도-유지-매수) 기록, 즉 언제 매수하여 언제 매도하였는지 또는 언제 매도하여 언제 매수(청산)하였는지 자세히 보여주고 있다. 본 실험에서 전체적으로 DQN에 의한 성능이 A2C 보다 우수하였는데, 이는 A2C 기법이 DQN과 같이 replay buffer를 활용하지 않고 탐색 데이터를 즉시 학습에 이용하기 때문에 잘못된 경로로 학습했을 경우 결과값에좋지 않은 영향을 미친 것으로 판단된다.
비교 평가하였다. 실험결과 DQN과 A2C를 이용한 매매전략의 평균 연 환산수익률이 각각 31.3% 및 12.9% 로 동일 기간 국내채권형펀드 연 환산수익률(3.7%) 및 가치주식형펀드 연 환산수익률(6.0%) 대비 우수하다고 판단된다. 또한 BH 및 SW 전략과의 비교에서도 모두 2~5배 가까이 높은 수익률을 나타냈고 이를 통해 DQN 과 A2C를 이용한 매매 의사결정이 매매전략에 더 효과적임을 보였다.
BH와 SW 에 대한 상대값은 평균으로 보면 DQN과 A2C이 모두 2~5배 가까이 높은 수익률을 보인다. 즉, DQN과 A2C 를 이용한 매매 의사결정이 더 효과적임을 알 수 있다.

후속연구

예를 들어, 현재 주가의 방향성 (상승, 하락, 보합)을 나타내는 지표 값 또는 주가 데이터의 집합을 입력데이터에 반영하는 방안 등이 있다. 또한 알고리즘 성능 개선을 위해 DDQN(Double DQN) 및 A3C(Asynchronous A2C) 등의 기법을 적용한 실험과 CNN(Convolutional Neural Networks), LSTM(Long-short Term Memory network) 등과의 결합 알고리즘에 대한 평가도 의미있는 추후 연구로 판단된다.
제안한 DQN 및 A2C 매매전략의 성능을 향상시키기위한 추가 연구로는 주가, 기술적지표 및 시장지수 외에 더욱 다양한 특성을 입력데이터인 상태(state)에 반영하는 것을 고려하고 있다. 예를 들어, 현재 주가의 방향성 (상승, 하락, 보합)을 나타내는 지표 값 또는 주가 데이터의 집합을 입력데이터에 반영하는 방안 등이 있다.

참고문헌 (24)

Banz, R. W., "The Relationship between Return and Market Value of Common Stocks", Journal of Financial Economics, Vol.9, No.1, pp.3-18, 1981. DOI: http://dx.doi.org/10.1016/0304-405X(81)90018-0

상세보기
DeBondt, W. and R. Thaler, "Does the Stock Market Overreact?", Journal of Finance, Vol.40, No.3 pp.793-805, 1985. DOI: https://doi.org/10.1111/j.1540-6261.1985.tb05004.x

상세보기
Han, Y., K. Yang, and G. Zhou, "A New Anomaly: The Cross-Sectional Profitability of Technical Analysis," Journal of Financial and Quantitative Analysis, Vol.48, No.5, pp.1433-1461, 2013. DOI: http://dx.doi.org/10.2139/ssrn.1656460

상세보기
Zhu, Y. and G. Zhou, "Technical Analysis: An Asset Allocation Perspective on the Use of Moving Averages," Journal of Financial Economics, Vol.92, No.3, pp.519-544, 2009. DOI: http://dx.doi.org/10.2139/ssrn.1656460

상세보기
Benjamin Graham, David L. Dodd, Security Analysis, p.258, Natl Book Network, 2003, pp.77-120.
Fama, E. F. and K. R. French, "Common Risk Factors in the Returns on Bonds and Stocks", Journal of Financial Economics, Vol.33, No.1, pp.3-56, 1993. DOI: http://dx.doi.org/10.1016/0304-405X(93)90023-5

상세보기
Jae Pil Ryu, Chang Hoon Hahn, and Hyun Joon Shin, "Portfolio Construction Strategy for IT Companies Using DEA Method", The Journal of Information Technology and Architecture, Vol.14, No.2, pp.139-146, 2017. https://www.earticle.net/Article/A345705
H. G. Shong, Multimodal Reinforcement Learning based Stock Trading System combined with CNN and LSTM, Master's thesis, Kwangwoon University of Science and Technology, Seoul, Korea, pp.8-15, 2018.
Jae Pil Ryu, Hyun Joon Shin, "Portfolio Selection Strategy Using Deep Learning", The Journal of Information Technology and Architecture, Vol.15, No.1, pp.43-50, 2018. https://www.earticle.net/Article/A345667
P. R. Burrell and B. O. Folarin, "The impact of neural networks in finance", Neural Computing & Applications, Vol.6, pp.193-200, 1997. http://link.springer.com/article/10.1007/BF01501506

상세보기
M. S. LEE and H. C. Ahn, "A Time Series Graph based Convolutional Neural Network Model for Effective Input Variable Pattern Learning : Application to the Prediction of Stock Market", Journal of Intelligence and Information Systems, Vol.24, No.1, pp.167-181, 2018. http://dbpia.co.kr/journal/articleDetail?nodeIdNODE07408509

원문보기 상세보기
I. T. Joo and S. H. Choi, "Stock Prediction Model based on Bidirectional LSTM Recurrent Neural Network", Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol.11, No.2, pp.204-208, 2018. http://dbpia.co.kr/Journal/articleDetail?nodeIdNODE07424401

원문보기 상세보기
Garcia-Galicia, Mauricio, Alin A. Carsteanu, and Julio B. Clempner, "Continuous-time reinforcement learning approach for portfolio management with time penalization", Expert Systems with Applications, Vol.129, No.2, pp.27-36, 2019. DOI: http://dx.doi.org/10.1016/j.eswa.2019.03.055

상세보기
Angelos Kanas, "Non-linear forecasts of stock returns", Journal of Forecasting, Vol.22, No.4, pp.299-315, 2003. DOI: http://dx.doi.org/10.1002/for.858

상세보기
Yoon, Y., Swales G., "Predicting stock price performance: a neural network approach", Proceedings of the Twenty-Fourth Annual Hawaii International Conference on System Sciences, IEEE, HI, USA, pp.156-162, August 2002 https://ieeexplore.ieee.org/abstract/document/184055
Wong, L. K., Leung, F. H. F. and Tam P. K. S, "An Improved Lyapunov Function Based Stability Analysis Method for Fuzzy Logic Control Systems", Electronics Letters, Vol.36, pp.1085-1086, 2000. DOI: http://dx.doi.org/10.1109/FUZZY.2000.838698
Jae Yeon Park, Jae Pil Ryu and Hyun Joon Shin, "Predicting KOSPI Stock Index using Machine Learning Algorithms with Technical Indicators", The Journal of Information Technology and Architecture, Vol.13, No.2, pp.331-340, 2016. https://www.earticle.net/Article/A346152
Hamid, Shaikh A. and Iqbal, Zahid, "Using neural networks for forecasting volatility of S&P 500 Index futures prices", Journal of Business Research, Elsevier, Vol.57, No.10, pp.1116-1125, 2004. http://ideas.repec.org/a/eee/jbrese/v57y2004i10p1116-1125.html

상세보기
Hadavandi, E., H. Shavandi, and A. Ghanbari, "Integration of genetic fuzzy systems and artificial neural networks for stock price forecasting", Knowledge-Based Systems, Vol.23, No.8, pp.800-808, 2010. DOI: https://doi.org/10.1016/j.knosys.2010.05.004

상세보기
Ping Feng Pai and Chih Sheng Lin, "A hybrid ARIMA and support vector machines model in stock price forecasting", Omega, Vol.33, No.6, pp.497-505, 2005. DOI: https://doi.org/10.1016/j.knosys.2010.05.004

상세보기
Zhiqiang, Guo, Wang Huaiqing, and Liu Quan, "Financial time series forecasting using LPP and SVM optimized by PSO", Soft Computing, Vol.17, No.5, pp.805-818, 2013. DOI: http://dx.doi.org/10.1007/s00500-012-0953-y

상세보기
Volodymyr Mnih, "Playing Atari with Deep Reinforcement Learning", DeepMind Technologies, United States, pp.2-4, 2013. https://arxiv.org/pdf/1312.5602.pdf
Nando de Freitas, Reinforcement learning : OXFORD University p.28, 2019, pp.20, http://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/lecture12.pdf
David Silver, Lecture7:Policy Gradient, p.41, 2020, pp.10-3, www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증