선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 DARNN 모델의 어텐션 메커니즘에 사용되는 스코어 함수를 다양하게 변경한 후, 주식 지수 예측 실험을 통해 스코어 함수가 모델의 성능에 영향을 얼마나 미치는 지를 확인하였다. 실험에서는 KOSPI 100지수의 예측을 위해 코스피 상위 200종목의 주식 데이터를 사용하였으며, 비교 대상으로 기초적인 LSTM모델과 dot, additive, location, content 등 다른 연구에서 사용되었던 스코어 함수를 사용한 모델을 선택하였다.
- 본 연구에서는 어떠한 스코어 함수를 사용한 어텐션 메커니즘이 주가 예측을 위해 최적의 성능을 낼 수 있는지 알아보기 위한 실험을 진행하였고 결과를 통해 스코어 함수를 비교하였다. 실험에서는 위에서 언급된 DARNN모델에 사용된 스코어 함수를 여러 스코어 함수로 교체해보며 실험을 진행하였다.
제안 방법
- 예측에 사용되는 지수 데이터로는 코스피100 지수를 사용하였으며, 종목들은 코스피 시장의 2019-5-10일에 상위 200종목중 2000일간의 데이터가 존재하는 171개 종목의 데이터를 사용하였다. 만들어진 2000일간의 데이터를 8:2의 비율로 나누어 각각을 훈련용, 평가용으로 사용하였다. 각각의 데이터세트에 대한 정보는 표 2에 나타나 있다.
- DARNN은 인코더와 디코더라고 불리는 어텐션 메커니즘을 응용한 LSTM이 사용되는 모델이다. 본 연구의 실험에서도 같은 모델을 사용하였으며, 스코어 함수만을 변경해보며 실험을 진행하였다. DARNN에 사용되는 어텐션 메커니즘으로 강화된 LSTM의 계산과정은 다음과 같다:
- 본 연구에서는 어떠한 스코어 함수를 사용한 어텐션 메커니즘이 주가 예측을 위해 최적의 성능을 낼 수 있는지 알아보기 위한 실험을 진행하였고 결과를 통해 스코어 함수를 비교하였다. 실험에서는 위에서 언급된 DARNN모델에 사용된 스코어 함수를 여러 스코어 함수로 교체해보며 실험을 진행하였다.
- 최종적으로 모델의 성능은 500epoch동안 평가용 데이터세트에 대해 얻어진 가장 낮은 RMSE를 선택하였다. 실험은 python 환경에서 tensorflow 프레임워크를 사용하여 프로그래밍 되었으며, 엔비디아 GTX1070 그래픽카드를 장착한 데스크탑에서 실험이 진행되었다.
- 실험은 스코어 함수를 변경한 각 모델에 대하여 4번씩 반복되었으며, 각각의 실험은 훈련용 데이터세트를 사용하여 모델을 훈련한 후, 평가용 데이터 세트를 사용하여 모델의 성능을 계산하였다. 모델의 성능은 root mean square error (RMSE)로 나타내었으며, 자세한 식은 식 (10)에 나타나 있다.
- 표2에서 볼 수 있는 것과 같이 훈련용 데이터세트는 1600개의 입력데이터 및 타겟, 평가용 데이터세트는 390개의 입력데이터 및 타겟으로 구성되어 있다. 입력데이터는 10일을 윈도우 사이즈로 설정하였으며, 1일씩 나누어 입력데이터 및 타겟을 만들어 구성하였다.
- 01로 설정하였다. 최종적으로 모델의 성능은 500epoch동안 평가용 데이터세트에 대해 얻어진 가장 낮은 RMSE를 선택하였다. 실험은 python 환경에서 tensorflow 프레임워크를 사용하여 프로그래밍 되었으며, 엔비디아 GTX1070 그래픽카드를 장착한 데스크탑에서 실험이 진행되었다.
대상 데이터
- 추가적으로 어텐션 메커니즘의 성능을 알아보기위해어텐션 메커니즘이 사용되지 않은 LSTM 1층과 fully connected layer 1층으로 구성된 모델도 실험에 사용하였다. LSTM모델의 1층 LSTM의 cell unit은 DARNN모델에 사용된 LSTM의 cell unit과 같이 64개로 설정하였으며, fully connected layer는 LSTM의 마지막 타임스텝의 출력을 입력으로 받아 1개의 출력을 내놓도록 설정되어 있다.
- 모델의 주식 예측 성능을 테스트하기 위해 코스피 주식시장의 데이터를 사용하였다. 전체 데이터의 길이는 2011-3-28일부터 2019-5-10일 까지의 코스피시장이 열렸을 때 가져온 2000일이다.
- 본 연구에서는 DARNN 모델의 어텐션 메커니즘에 사용되는 스코어 함수를 다양하게 변경한 후, 주식 지수 예측 실험을 통해 스코어 함수가 모델의 성능에 영향을 얼마나 미치는 지를 확인하였다. 실험에서는 KOSPI 100지수의 예측을 위해 코스피 상위 200종목의 주식 데이터를 사용하였으며, 비교 대상으로 기초적인 LSTM모델과 dot, additive, location, content 등 다른 연구에서 사용되었던 스코어 함수를 사용한 모델을 선택하였다. 실험결과를 통해 location 스코어 함수를 사용한 모델이 가장 좋은 성능을 보여주었으며, LSTM모델과 기존 DARNN 모델에 비해 각각 약 30%, 약 10%의 성능향상을 보여주는 것을 확인할 수 있었다.
- 전체 데이터의 길이는 2011-3-28일부터 2019-5-10일 까지의 코스피시장이 열렸을 때 가져온 2000일이다. 예측에 사용되는 지수 데이터로는 코스피100 지수를 사용하였으며, 종목들은 코스피 시장의 2019-5-10일에 상위 200종목중 2000일간의 데이터가 존재하는 171개 종목의 데이터를 사용하였다. 만들어진 2000일간의 데이터를 8:2의 비율로 나누어 각각을 훈련용, 평가용으로 사용하였다.
- 모델의 주식 예측 성능을 테스트하기 위해 코스피 주식시장의 데이터를 사용하였다. 전체 데이터의 길이는 2011-3-28일부터 2019-5-10일 까지의 코스피시장이 열렸을 때 가져온 2000일이다. 예측에 사용되는 지수 데이터로는 코스피100 지수를 사용하였으며, 종목들은 코스피 시장의 2019-5-10일에 상위 200종목중 2000일간의 데이터가 존재하는 171개 종목의 데이터를 사용하였다.
- 추가적으로 어텐션 메커니즘의 성능을 알아보기위해어텐션 메커니즘이 사용되지 않은 LSTM 1층과 fully connected layer 1층으로 구성된 모델도 실험에 사용하였다. LSTM모델의 1층 LSTM의 cell unit은 DARNN모델에 사용된 LSTM의 cell unit과 같이 64개로 설정하였으며, fully connected layer는 LSTM의 마지막 타임스텝의 출력을 입력으로 받아 1개의 출력을 내놓도록 설정되어 있다.
- 표2에서 볼 수 있는 것과 같이 훈련용 데이터세트는 1600개의 입력데이터 및 타겟, 평가용 데이터세트는 390개의 입력데이터 및 타겟으로 구성되어 있다. 입력데이터는 10일을 윈도우 사이즈로 설정하였으며, 1일씩 나누어 입력데이터 및 타겟을 만들어 구성하였다.
성능/효과
- 이를 통해 스코어함수 및 어텐션 메커니즘이 모델의 예측 성능에 중요한 역할을 하는 것을 확인하였다. 또한 다른 스코어 함수와는 달리 입력 값 벡터를 사용하지 않고 히든스테이트만 사용하는 비교적 단순한 구조로 된 스코어 함수를 사용함으로써, 웨이트 파라메터의 최적화가 더 잘 이루어질 수 있었던 것을 알 수 있었다.
- 어텐션 메커니즘을 사용한 모든 모델은 LSTM에 비해 크게 향상된 성능을 보여주었는데, 이를 통해 어텐션 메커니즘을 통해 모델이 중요한 종목을 선택할 수 있도록 하여 낮은 상관관계를 가진 인자로부터 성능향상을 방지하여 예측 성능을 향상시키는 것을 확인 할 수 있다. 또한 스코어 함수에 따라 예측 성능이 달라지는 것을 확인하였는데, 가장 좋은 성능을 보여주었던 location 스코어 함수를 사용한 모델은 다른 스코어 함수를 사용한 모델이 4번의 실험에서 약간씩 차이가 있는 성능을 보여준 것과 달리 거의 일관되게 좋은 성능을 보여주었다. 이는 입력 값이 스코어 함수에 사용되지 않고, 이전 타임스텝의 히든스테이트만 사용하는 단순한 구조로 되어있는 location 스코어 함수를 사용함에 따라 훈련과정에서 웨이트 파라메터의 최적화가 다른 스코어 함수에 비해 쉽게 되고 있는 것을 뜻하는 것으로 보인다.
- 실험에서는 KOSPI 100지수의 예측을 위해 코스피 상위 200종목의 주식 데이터를 사용하였으며, 비교 대상으로 기초적인 LSTM모델과 dot, additive, location, content 등 다른 연구에서 사용되었던 스코어 함수를 사용한 모델을 선택하였다. 실험결과를 통해 location 스코어 함수를 사용한 모델이 가장 좋은 성능을 보여주었으며, LSTM모델과 기존 DARNN 모델에 비해 각각 약 30%, 약 10%의 성능향상을 보여주는 것을 확인할 수 있었다. 이를 통해 스코어함수 및 어텐션 메커니즘이 모델의 예측 성능에 중요한 역할을 하는 것을 확인하였다.
- 82% 향상된 성능이다. 어텐션 메커니즘을 사용한 모든 모델은 LSTM에 비해 크게 향상된 성능을 보여주었는데, 이를 통해 어텐션 메커니즘을 통해 모델이 중요한 종목을 선택할 수 있도록 하여 낮은 상관관계를 가진 인자로부터 성능향상을 방지하여 예측 성능을 향상시키는 것을 확인 할 수 있다. 또한 스코어 함수에 따라 예측 성능이 달라지는 것을 확인하였는데, 가장 좋은 성능을 보여주었던 location 스코어 함수를 사용한 모델은 다른 스코어 함수를 사용한 모델이 4번의 실험에서 약간씩 차이가 있는 성능을 보여준 것과 달리 거의 일관되게 좋은 성능을 보여주었다.
- [8]의 연구에서는 기존의 기계번역 연구[9]에서 사용되었던 어텐션 메커니즘을 기반으로 하여 낮은 상관 관계의 인자들로부터 발생하는 성능하락을 막을 수 있는 강화된 LSTM을 제안하였다. 이 연구에서는 어텐션 메커니즘으로 강화된 LSTM을 사용한 dual-stage attention-based recurrent neural network (DARNN)을 제안하였으며, 주가 예측 및 실내 온도 예측에서 좋은 성능을 보여주는 것을 확인하였다.
- 표 3에서 볼 수 있는 스코어함수별 모델의 RMSE값을 확인해보면 location 스코어 함수를 사용한 모델이 가장 좋은 성능을 보여주는 것을 확인할 수 있다. 이는 어텐션 메커니즘이 사용되지 않은 LSTM모델에 대해서는 32.53% 향상된 성능이며, 기존의 DARNN모델에 대해서는 9.82% 향상된 성능이다. 어텐션 메커니즘을 사용한 모든 모델은 LSTM에 비해 크게 향상된 성능을 보여주었는데, 이를 통해 어텐션 메커니즘을 통해 모델이 중요한 종목을 선택할 수 있도록 하여 낮은 상관관계를 가진 인자로부터 성능향상을 방지하여 예측 성능을 향상시키는 것을 확인 할 수 있다.
- 실험결과를 통해 location 스코어 함수를 사용한 모델이 가장 좋은 성능을 보여주었으며, LSTM모델과 기존 DARNN 모델에 비해 각각 약 30%, 약 10%의 성능향상을 보여주는 것을 확인할 수 있었다. 이를 통해 스코어함수 및 어텐션 메커니즘이 모델의 예측 성능에 중요한 역할을 하는 것을 확인하였다. 또한 다른 스코어 함수와는 달리 입력 값 벡터를 사용하지 않고 히든스테이트만 사용하는 비교적 단순한 구조로 된 스코어 함수를 사용함으로써, 웨이트 파라메터의 최적화가 더 잘 이루어질 수 있었던 것을 알 수 있었다.
- 표 3에서 볼 수 있는 스코어함수별 모델의 RMSE값을 확인해보면 location 스코어 함수를 사용한 모델이 가장 좋은 성능을 보여주는 것을 확인할 수 있다. 이는 어텐션 메커니즘이 사용되지 않은 LSTM모델에 대해서는 32.
후속연구
- 향후에는 location 스코어 함수가 단순히 주가 예측뿐만 아니라 미세먼지 예측, 비즈니스에서의 매출액 예측등 다른 시계열 예측 분야에서도 좋은 성능을 보여주는지를 확인해볼 수 있을 것이다. 또한 location 스코어 함수의 성능을 상회할 수 있는 새로운 스코어 함수에 대해서 연구해 볼 수 있을 것이다.
- 향후에는 location 스코어 함수가 단순히 주가 예측뿐만 아니라 미세먼지 예측, 비즈니스에서의 매출액 예측등 다른 시계열 예측 분야에서도 좋은 성능을 보여주는지를 확인해볼 수 있을 것이다. 또한 location 스코어 함수의 성능을 상회할 수 있는 새로운 스코어 함수에 대해서 연구해 볼 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.