[논문]해외선물 스캘핑을 위한 강화학습 알고리즘의 성능비교

정득교; 이세훈; 강재모

doi:10.17703/jcct.2022.8.5.697

[국내논문] 해외선물 스캘핑을 위한 강화학습 알고리즘의 성능비교
Performance Comparison of Reinforcement Learning Algorithms for Futures Scalping 원문보기

Journal of the convergence on culture technology : JCCT = 문화기술의 융합, v.8 no.5, 2022년, pp.697 - 703

정득교 (경북대학교 인공지능학과) , 이세훈 (경북대학교 인공지능학과) , 강재모 (경북대학교 인공지능학과)

초록
AI-Helper

최근 Covid-19 및 불안한 국제정세로 인한 경기 침체로 많은 투자자들이 투자의 한 수단으로써 파생상품시장을 선택하고 있다. 하지만 파생상품시장은 주식시장에 비해 큰 위험성을 가지고 있으며, 시장 참여자들의 시장에 대한 연구 역시 부족한 실정이다. 최근 인공지능 분야의 발달로 파생상품시장에서도 기계학습이 많이 활용되고 있다. 본 논문은 해외선물에 분 단위로 거래하는 스캘핑 거래의 분석을 위해 기계학습 기법 중 하나인 강화학습을 적용하였다. 데이터 세트는 증권사에서 거래되는 해외선물 상품들 중 4개 상품을 선정해, 6개월간 1분봉 및 3분봉 데이터의 종가, 이동평균선 및 볼린저 밴드 지표들을 이용한 21개의 속성으로 구성하였다. 실험에는 DNN 인공신경망 모델과 강화학습 알고리즘인 DQN(Deep Q-Network), A2C(Advantage Actor Critic), A3C(Asynchronous A2C)를 사용하고, 학습 데이터 세트와 테스트 데이터 세트를 통해 학습 및 검증 하였다. 에이전트는 스캘핑을 위해 매수, 매도 중 하나의 행동을 선택하며, 행동 결과에 따른 포트폴리오 가치의 비율을 보상으로 한다. 실험 결과 에너지 섹터 상품(Heating Oil 및 Crude Oil)이 지수 섹터 상품(Mini Russell 2000 및 Hang Seng Index)에 비해 상대적으로 높은 누적 수익을 보여 주었다.

Abstract ▼ AI-Helper

Due to the recent economic downturn caused by Covid-19 and the unstable international situation, many investors are choosing the derivatives market as a means of investment. However, the derivatives market has a greater risk than the stock market, and research on the market of market participants is insufficient. Recently, with the development of artificial intelligence, machine learning has been widely used in the derivatives market. In this paper, reinforcement learning, one of the machine learning techniques, is applied to analyze the scalping technique that trades futures in minutes. The data set consists of 21 attributes using the closing price, moving average line, and Bollinger band indicators of 1 minute and 3 minute data for 6 months by selecting 4 products among futures products traded at trading firm. In the experiment, DNN artificial neural network model and three reinforcement learning algorithms, namely, DQN (Deep Q-Network), A2C (Advantage Actor Critic), and A3C (Asynchronous A2C) were used, and they were trained and verified through learning data set and test data set. For scalping, the agent chooses one of the actions of buying and selling, and the ratio of the portfolio value according to the action result is rewarded. Experiment results show that the energy sector products such as Heating Oil and Crude Oil yield relatively high cumulative returns compared to the index sector products such as Mini Russell 2000 and Hang Seng Index.

Keyword

표/그림 (8)

표 표 1. 선물 상품 통계정보 Table 1. Derivatives Statistical Information
표 표 2. 입력 데이터 전처리 Table 2. Input data preprocessing
그림 그림 1. 강화학습 모델 Figure 1. Reinforcement learning Model
그림 그림 2. Heating Oil 테스트 결과 Figure 2. Results of testing for Heating Oil
그림 그림 3. Crude Oil 테스트 결과 Figure 3. Results of testing for Crude Oil
표 표 3. 입력 데이터 전처리 Table 3. Input data preprocessing
그림 그림 4. Mini Russell 2000 테스트 결과 Figure 4. Results of testing for MIni Russell 2000
그림 그림 5. Hang Seng Index 테스트 결과 Figure 5. Results of testing for Hang Seng Index

참고문헌 (19)

"'22 Capital market risk analysis report", the Financial Supervisory Service, pp. 82-87, 2022.
Zhou, Feng, et al. "EMD2FNN: A strategy combining empirical mode decomposition and factorization machine based neural network for stock market trend prediction." Expert Systems with Applications, Vol 115, pp. 136-151, 2019. DOI:https://doi.org/10.1016/j.eswa.2018.07.065

상세보기
Mukherji, Sandip and Dhatt, Manjeet S and Kim, Yong H "A fundamental analysis of Korean stock returns." Financial Analysts Journal, Vol 53, No. 3, pp. 75-80, 1997. DOI:https://doi.org/10.2469/faj.v53.n3.2086

상세보기
Achelis, S. B, "Technical Analysis from A to Z.",McGraw Hill, 2001.
Orlando, J. M. "Algorithmic presentation to european central bank-BNP Paribas.", 2007.
El Akraoui, Bouchra, and Cherki Daoui. "Deep Reinforcement Learning for Bitcoin Trading." International Conference on Business Intelligence. Springer, Cham, pp. 82-93, 2022.DOI: 10.1007/978-3-031-06458-6_7
J.Y. Park, S.S. Hong, MG.. Park, H. Lee, "An Implementation of Stock Investment Service based on Reinforcement Learning", The Journal of the Convergence on Culture Technology (JCCT), Vol. 7. No. 4, pp. 807-814. November 2021, DOI:https://doi.org/10.17703/JCCT.2021.7.4.807

원문보기 상세보기
Azhikodan, Akhil Raj, Anvitha GK Bhat, and Mamatha V. Jadhav. "Stock trading bot using deep reinforcement learning." Innovations in Computer Science and Engineering, pp. 41-49, 2019. DOI: 10.1007/978-981-10-8201-6_5
Moody, John, et al. "Performance functions and reinforcement learning for trading systems and portfolios.", Journal of Forecasting, Vol. 17, No. 5-6, pp. 441-470, 1998. DOI:https://doi.org/10.1002/(SICI)1099-131X(1998090)17:5/6 3.0.CO;2-%23

상세보기
Shui-Ling, Y. U., and Zhe Li. "Stock price prediction based on ARIMA-RNN combined model." 4th International Conference on Social Science (ICSS 2017), pp 1-6, 2017.
Hirsa, Ali, et al. "Deep reinforcement learning on a multi-asset environment for trading." arXiv preprint arXiv:2106.08437, 2021, DOI:https://doi.org/10.48550/arXiv.2106.08437
Zejnullahu, Frensi, Maurice Moser, and Joerg Osterrieder. "Applications of Reinforcement Learning in Finance--Trading with a Double Deep Q-Network." arXiv preprint arXiv:2206.14267, 2022. DOI:https://doi.org/10.48550/arXiv.2206.14267
Bollinger, John. "Using bollinger bands." Stocks & Commodities, Vol. 10, No. 2, pp. 47-51, 1992.
Mnih, Volodymyr, et al. "Playing atari with deep reinforcement learning." arXiv preprint arXiv: 1312.5602, 2013. DOI:https://doi.org/10.48550/arXiv.1312.5602
Konda, Vijay, and John Tsitsiklis. "Actor-critic algorithms." Advances in neural information processing systems, Vol. 12, 1999.
MNIH, Volodymyr, et al. "Asynchronous methods for deep reinforcement learning." In: International conference on machine learning. PMLR, pp. 1928-1937, 2016.
Xiong, Zhuoran, et al. "Practical deep reinforcement learning approach for stock trading". arXiv preprint arXiv:1811.07522, 2018. DOI:https://doi.org/10.48550/arXiv.1811.07522
Liu, Xiao-Yang, et al. "FinRL: A deep reinforcement learning library for automated stock trading in quantitative finance." arXiv preprint arXiv:2011.09607, 2020. DOI:https://doi.org/10.48550/arXiv.2011.09607
Kim, Sung-Hyeock, et al. "Influence on overfitting and reliability due to change in training data". International Journal of Advanced Culture Technology(IJACT), Vol 5. No. 2, pp 82-89, June 2017, DOI: https://doi.org/10.17703/IJACT.2017.5.2.82

원문보기 상세보기

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증