[논문]K-평균 군집화 데이터 증강을 통한 주가 심층 예측

한경훈; 양희규; 추현승

doi:10.7472/jksii.2023.24.2.67

K-평균 군집화 데이터 증강을 통한 주가 심층 예측
Deep Prediction of Stock Prices with K-Means Clustered Data Augmentation 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.24 no.2, 2023년, pp.67 - 74

한경훈 (College of Computing and Informatics, Sungkyunkwan University) , 양희규 (Dept. of Superintelligence Engineering, Sungkyunkwan University) , 추현승 (College of Computing and Informatics, Sungkyunkwan University)

초록
AI-Helper

금융 분야에서 주가예측연구는 거래 안정성 및 이익 실현 등을 목적으로 한다. 기존의 통계적 예측기법은 무작위로 예측한 결과와 정확도 측면에서 비슷하거나 낮은 예측 신뢰도 때문에 실제 거래 결정에 참고 되기 어렵다. 인공지능 모델은 데이터특성과 변동패턴을 학습해 예측하기 때문에 향상된 정확도를 달성한다. 그러나 장기간의 시계열 데이터를 사용해 주가를 예측하는 것은 여전히 어려운 문제이다. 본 논문에서는 K-means 클러스터링 기반의 데이터 증강 및 입력 시퀀스의 Window-size 별 정규화 기법과 시계열 학습에 특화된 LSTM 모델을 활용하여 안정적이고 신뢰성 있는 주가예측 방법을 제안한다. 이를 통해 더욱 정확하고 신뢰성 있는 예측 결과를 얻고, 나아가 시장 안정성에 기여할 뿐 아니라 높은 수익도 추구할 수 있다.

Abstract ▼ AI-Helper

Stock price prediction research in the financial sector aims to ensure trading stability and achieve profit realization. Conventional statistical prediction techniques are not reliable for actual trading decisions due to low prediction accuracy compared to randomly predicted results. Artificial intelligence models improve accuracy by learning data characteristics and fluctuation patterns to make predictions. However, predicting stock prices using long-term time series data remains a challenging problem. This paper proposes a stable and reliable stock price prediction method using K-means clustering-based data augmentation and normalization techniques and LSTM models specialized in time series learning. This enables obtaining more accurate and reliable prediction results and pursuing high profits, as well as contributing to market stability.

주제어

표/그림 (10)

그림 (그림 1) RNN 구조도 (Figure 1) Architecture of RNN
표 (표 1) 일자별 데이터셋 (Table 1) Daily dataset
표 (표 2) 시간별 데이터셋 (Table 2) Hourly dataset
표 (표 3) 주가 변동 패턴에 기반한 클러스터링 결과 (Table 3) The clustering results based on pattern of stock price fluctuations
그림 (그림 2) LSTM Window-size 별 정규화 (Figure 2) Normalization of LSTM based on window-size
그림 (그림 3) LSTM 구조도 (Figure 3) Architecture of LSTM
그림 (그림 4) 제안하는 알고리즘의 구조 (Figure 4) Structure of the proposed algorithm
그림 (그림 5) 개별종목으로 학습 후 일별과 시간별 주가예측 정확도 비교 (Figure 5) Comparison of stock price prediction accuracy between daily and hourly datasets after training on individual stocks
그림 (그림 6) 군집화 된 데이터셋으로 학습 후 일별과 시간별 주가예 측 정확도 비교 (Figure 6) Comparison of stock price prediction accuracy between daily and hourly datasets after training on clustered datasets
표 (표 4) 정확도 결과표 (Table 4) Accuracy results table

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 주가 등락 예측을 위한 패턴 학습에 대해 다루고 있다. 이를 위해 클러스터링을 통한 데이터 증강과 주가 측정 시간 단위를 조정하는 방식을 적용하여 성능을 높일 수 있다고 보고, 모델을 학습시켜 개별 주식의 주가 등락을 예측할 수 있도록 연구하였다.
본 논문에서는 주가 등락 예측을 위한 패턴 학습에 대해 다루고 있다. 이를 위해 클러스터링을 통한 데이터 증강과 주가 측정 시간 단위를 조정하는 방식을 적용하여 성능을 높일 수 있다고 보고, 모델을 학습시켜 개별 주식의 주가 등락을 예측할 수 있도록 연구하였다. 또한, 주가의 시계열적 특성을 반영하기 위해 LSTM을 활용해 모델링을 수행하였고, 최대 68%의 예측 정확도를 보였다.

제안 방법

이러한 문제를 해결하기 위해 제안 예측모델은 시계열 주가 데이터에 LSTM 모델을 적용하고, 클러스터링 기반의 증강된 데이터셋을 학습한다. 모델 학습에 충분한 데이터를 확보하기 위해 유사한 특성을 가진 종목 데이터를 연결하여 데이터를 증강한다. 데이터셋 구성을 위해 제안 모델은 K-Means 알고리즘을 활용해 주가 변동 패턴을 기준으로 종목을 군집화한다.
이 연구에서는 주가 등락을 예측하기 위해 사용되는 주가 정보의 양이 부족하거나, 단일 종목만으로 분석하여 주가 변동의 특징을 제대로 파악하지 못했던 기존 연구들의 한계를 극복할 수 있도록 새로운 방법을 도입하였다. 먼저 K-Means 알고리즘을 사용하여 주가 변동 패턴이 유사한 종목들을 클러스터링 하는 방법을 사용하였다.
이러한 문제를 해결하기 위해 제안 예측모델은 시계열 주가 데이터에 LSTM 모델을 적용하고, 클러스터링 기반의 증강된 데이터셋을 학습한다. 모델 학습에 충분한 데이터를 확보하기 위해 유사한 특성을 가진 종목 데이터를 연결하여 데이터를 증강한다.
따라서, 전체 기간을 대상으로 정규화 된 데이터는 변동 민감도를 감소시키고, 학습 과정에서 모델은 주가 변동의 특징을 파악하지 못한다. 이를 극복하기 위해 제안 모델은 입력 시퀀스의 Window-size 별로 정규화를 수행하여, 학습에 활용되는 기간의 주가 변동 특성을 극대화한다. 이 방식은 LSTM 모델의 시계열 데이터 특성 추출 성능을 향상시키며, 비교 테스트 결과 전체기간에 대한 정규화보다 Window-size 별 정규화 시 0.
이번 연구는 데이터를 클러스터링 할 때 특정 시점부터 현재까지의 기간을 모두 반영하여 주가 변동 패턴이 유사한 주식 종목들을 클러스터링 하는 방식을 사용한다. 그러나, 이를 여러 종목 간의 주가 수익률 그래프에서 종목 간 크로스가 발생하는 지점을 찾아 유사한 종목만을 기간별로 추려내는 방식을 적용하고, 최대 3년만 활용하고 있는 시간별 주가 데이터의 수집 기간을 늘리거나, 주가 수집 시점의 간격을 좁혀서 데이터를 추가 확보하면 개선된 결과를 보여줄 수 있을 것이다.

대상 데이터

데이터셋 구성을 위해 제안 모델은 K-Means 알고리즘을 활용해 주가 변동 패턴을 기준으로 종목을 군집화한다. 실험은 KOSPI200 지수에 포함된 종목들의 시작가, 최고가, 최저가, 종가, 거래량을 학습데이터로 사용한다.
시퀀스의 단일 시간 단계는 주식의 시가, 고가, 저가, 종가, 거래량을 데이터로 포함한다. 예측모델은 30개의 LSTM셀로 구성된 2개 계층과 3개의 Dense Layer를 통해 다음 시간 단계의 주가 등락을 예측한다.

데이터처리

표 4에서는 16개 종목에 대한 일자별, 시간별 데이터를 사용하여 개별 종목으로 학습한 결과와 클러스터링으로 데이터를 증강한 결과를 종합적으로 비교하였다. 그 결과, 대부분의 종목에서 클러스터링으로 증강한 데이터를 사용한 경우 예측 정확도가 향상된 것을 확인할 수 있었다.

이론/모형

모델 학습에 충분한 데이터를 확보하기 위해 유사한 특성을 가진 종목 데이터를 연결하여 데이터를 증강한다. 데이터셋 구성을 위해 제안 모델은 K-Means 알고리즘을 활용해 주가 변동 패턴을 기준으로 종목을 군집화한다. 실험은 KOSPI200 지수에 포함된 종목들의 시작가, 최고가, 최저가, 종가, 거래량을 학습데이터로 사용한다.
이 연구에서는 주가 등락을 예측하기 위해 사용되는 주가 정보의 양이 부족하거나, 단일 종목만으로 분석하여 주가 변동의 특징을 제대로 파악하지 못했던 기존 연구들의 한계를 극복할 수 있도록 새로운 방법을 도입하였다. 먼저 K-Means 알고리즘을 사용하여 주가 변동 패턴이 유사한 종목들을 클러스터링 하는 방법을 사용하였다. 이를 통해 종목들 간의 상관관계를 파악하고, 더 우수한 예측 정확도를 보여줄 수 있게 한다.

성능/효과

K-Means 알고리즘을 이용하여 유사한 주가 변동 패턴을 가진 종목들을 클러스터링하고 해당 그룹의 시간별 주가 정보를 합쳐 하나의 데이터셋으로 학습한 결과 최대 68%의 정확도를 보여주었다. 이러한 결과는 다양한 종목의 데이터를 활용하여 학습할 경우 주가예측의 성능이 향상될 수 있음을 보여준다.
또한, 주가의 시계열적 특성을 반영하기 위해 LSTM을 활용해 모델링을 수행하였고, 최대 68%의 예측 정확도를 보였다. 개별 종목의 주가 정보만으로 학습하는 것보다는 유사한 주가 패턴을 보이는 종목을 모아 군집화하여 학습하는 것이 더 좋은 성능을 보였다. 또한, 일별 주가 데이터를 사용하는 것보다는 시간별 주가 데이터를 사용하는 경우 더욱 높은 예측 정확도를 보여주었다.
표 4에서는 16개 종목에 대한 일자별, 시간별 데이터를 사용하여 개별 종목으로 학습한 결과와 클러스터링으로 데이터를 증강한 결과를 종합적으로 비교하였다. 그 결과, 대부분의 종목에서 클러스터링으로 증강한 데이터를 사용한 경우 예측 정확도가 향상된 것을 확인할 수 있었다. 특히, 시간별 데이터를 활용한 경우 예측 정확도가 전반적으로 높았으며, 이는 주가 예측에서 시간적인 패턴이 중요한 역할을 한다는 것을 보여준다.
데이터 증강 없이 개별 종목으로만 학습한 경우, 시간 별 데이터를 활용한 경우에 상대적으로 더 높은 예측 정확도를 보여주는 것을 확인할 수 있었다.
개별 종목의 주가 정보만으로 학습하는 것보다는 유사한 주가 패턴을 보이는 종목을 모아 군집화하여 학습하는 것이 더 좋은 성능을 보였다. 또한, 일별 주가 데이터를 사용하는 것보다는 시간별 주가 데이터를 사용하는 경우 더욱 높은 예측 정확도를 보여주었다.
이를 위해 클러스터링을 통한 데이터 증강과 주가 측정 시간 단위를 조정하는 방식을 적용하여 성능을 높일 수 있다고 보고, 모델을 학습시켜 개별 주식의 주가 등락을 예측할 수 있도록 연구하였다. 또한, 주가의 시계열적 특성을 반영하기 위해 LSTM을 활용해 모델링을 수행하였고, 최대 68%의 예측 정확도를 보였다. 개별 종목의 주가 정보만으로 학습하는 것보다는 유사한 주가 패턴을 보이는 종목을 모아 군집화하여 학습하는 것이 더 좋은 성능을 보였다.
이를 극복하기 위해 제안 모델은 입력 시퀀스의 Window-size 별로 정규화를 수행하여, 학습에 활용되는 기간의 주가 변동 특성을 극대화한다. 이 방식은 LSTM 모델의 시계열 데이터 특성 추출 성능을 향상시키며, 비교 테스트 결과 전체기간에 대한 정규화보다 Window-size 별 정규화 시 0.1% ~ 0.8% 정도 더 높은 예측 정확도를 보였다.
클러스터링 후 증강된 데이터셋을 이용하여 학습하고 테스트한 결과, 시간별 데이터를 활용한 경우에는 최대 68%까지 예측 정확도가 향상되었다.
그 결과, 대부분의 종목에서 클러스터링으로 증강한 데이터를 사용한 경우 예측 정확도가 향상된 것을 확인할 수 있었다. 특히, 시간별 데이터를 활용한 경우 예측 정확도가 전반적으로 높았으며, 이는 주가 예측에서 시간적인 패턴이 중요한 역할을 한다는 것을 보여준다. 더불어, 유사한 주가 변동 특징을 가진 종목들을 모아 데이터를 증강하고 학습하는 것이 주가 예측을 위한 패턴을 찾는데 유용하게 활용될 수 있음을 보여준다.

후속연구

이번 연구는 데이터를 클러스터링 할 때 특정 시점부터 현재까지의 기간을 모두 반영하여 주가 변동 패턴이 유사한 주식 종목들을 클러스터링 하는 방식을 사용한다. 그러나, 이를 여러 종목 간의 주가 수익률 그래프에서 종목 간 크로스가 발생하는 지점을 찾아 유사한 종목만을 기간별로 추려내는 방식을 적용하고, 최대 3년만 활용하고 있는 시간별 주가 데이터의 수집 기간을 늘리거나, 주가 수집 시점의 간격을 좁혀서 데이터를 추가 확보하면 개선된 결과를 보여줄 수 있을 것이다.
특히, 시간별 데이터를 활용한 경우 예측 정확도가 전반적으로 높았으며, 이는 주가 예측에서 시간적인 패턴이 중요한 역할을 한다는 것을 보여준다. 더불어, 유사한 주가 변동 특징을 가진 종목들을 모아 데이터를 증강하고 학습하는 것이 주가 예측을 위한 패턴을 찾는데 유용하게 활용될 수 있음을 보여준다.

참고문헌 (19)

Akhilesh Kumar, Ajay Kumar, "Macroeconomic Indicators Alone can Predict the Monthly Closing Price of Major U.S. Indices: Insights from Artificial Intelligence, Time-Series Analysis and Hybrid Models", International Journal of Economics and Financial Issues, Volume 7, pp. 603-613, 2017 https://doi.org/10.1016/j.asoc.2018.07.024

상세보기
Shri Bharathi1, Angelina Geetha, "Sentiment Analysis for Effective Stock Market Prediction", 2017. https://www.researchgate.net/publication/317214679_Sentiment_Analysis_for_Effective_Stock_Market_Prediction
Kim, Y., Jung, S., & Lee, S., "A study on predicting stock price fluctuations using sentiment analysis of social media", Entrue Journal of Information Technology, 2014. https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiIdART001936710
Narayana Darapaneni, Anwesh Reddy Paduri, Himank Sharma, Milind Manjrekar, Nutan Hindlekar, Pranali Bhagat, Usha Aiyer, Yogesh Agarwal, "Stock Price Prediction using Sentiment Analysis and Deep Learning for Indian Markets", 2022. https://arxiv.org/abs/2204.05783
Alice Zheng, Jack Jin, "Using AI to Make Predictions on Stock Market", 2017. http://cs229.stanford.edu/proj2017/final-reports/5212256.pdf
Hong, S., "Automated stock trading research using macro indicators and deep learning algorithms", 2020. https://doi.org/10.14400/JDC.2020.18.11.267
Hwang, S., "Predicting stock market trends and optimizing investment portfolios using artificial intelligence", 2018. http://www.riss.kr/search/detail/DetailView.do?p_mat_typebe54d9b8bc7cdb09&control_no0f549fc955501ee7ffe0bdc3ef48d419&outLinkK
Lee, J., Stock price prediction model using deep learning, 2016. http://www.riss.kr/search/detail/DetailView.do?p_mat_typebe54d9b8bc7cdb09&control_no80c3f1a991ea239bffe0bdc3ef48d419&outLinkK
Jung, J., Kim, J., "Performance analysis of stock price prediction models using LSTM according to their learning methods", Journal of Digital Convergence Vol. 18. No. 11, pp. 259-266, 2020. https://koreascience.kr/article/JAKO202034352379471.pdf
David M. Q. Nelson, Adriano C. M. Pereira, Renato A. de Oliveira, "Stock Market's Price Movement Prediction with LSTM Neural Networks", 2017. https://www.researchgate.net/publication/318329563_Stock_market's_price_movement_prediction_with_LSTM_neural_networks
Joseph BONELLO, Xavier BREDART, Vanessa VELLA, "Machine Learning Models for Predicting Financial Distress", 2018. https://www.researchgate.net/profile/Joseph-Bonello-2/publication/329604057_MACHINE_LEARNING_MODELS_FOR_PREDICTING_FINANCIAL_DISTRESS/links/5c162b544585157ac1c5ce1a/MACHINE-LEARNING-MODELS-FOR-PREDICTING-FINANCIALDISTRESS.pdf
Lee, J., Yoo, J., "Predicting housing price indices using artificial neural networks", 2021. https://doi.org/10.5762/KAIS.2021.22.4.228
Jonathan Felix Pfahler, "Exchange Rate Forecasting with Advanced Machine Learning Methods", 2021. https://doi.org/10.3390/jrfm15010002
Kim, Y., Kim, Y., Lee, I., Lee, H., "Improving the accuracy of deep learning-based stock pattern prediction through data augmentation", 2019. https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cnJAKO201919163740696&dbtNART
Hochreiter, S., & Schmidhuber, J., "Long Short-Term Memory", Neural Computation, Volume 9, pp. 1735-1780, 1997. https://www.researchgate.net/publication/13853244_Long_Short-term_Memory

상세보기
FinanceDataReader API Tutorial, https://github.com/financedata-org/FinanceDataReader
Yahoo! Finance's API Tutorial, https://github.com/ranaroussi/yfinance
Razvan Pascanu, Tomas Mikolov, and Yoshua Bengio, On the Difficulty of Training Recurrent Neural Networks, 2013. https://www.researchgate.net/publication/233730646_On_the_difficulty_of_training_Recurrent_Neural_Networks
William Fung and David A. Hsieh, "Hedge Funds: Performance, Risk and Capital Formation", 1997. https://www.researchgate.net/publication/4913580_Hedge_Funds_Performance_Risk_and_Capital_Formation

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증