시계열 예측은 과거부터 지금까지도 많은 사람들의 관심을 받고 있는 분야이다. 시계열 예측알고리즘은 주식주가, 온도, 에너지, 날씨등과 같이 여러 분야에서 넓게 사용되고 있으며, 고전적인 모델(Autoregressive Moving Average(ARMA))뿐만 아니라 순환신경망(Recurrent Neural Network (RNN))과 Long Short-Term Memory(LSTM)을 이용한 ...
시계열 예측은 과거부터 지금까지도 많은 사람들의 관심을 받고 있는 분야이다. 시계열 예측알고리즘은 주식주가, 온도, 에너지, 날씨등과 같이 여러 분야에서 넓게 사용되고 있으며, 고전적인 모델(Autoregressive Moving Average(ARMA))뿐만 아니라 순환신경망(Recurrent Neural Network (RNN))과 Long Short-Term Memory(LSTM)을 이용한 알고리즘 또한 개발되었다. 여기에 어텐션 메커니즘을 도입하면서 성능이 개선된 모델들이 많이 연구되어졌고, 최근에는 어텐션을 두 번 사용하는 모델들 또한 제안되어지면서 많은 성능개선을 이루었다.
본 논문에서는 DA-RNN과 2D-LSTM과 같이 어텐션을 두 번 도입하여 보다 정보를 선택적으로 사용할 수 있다는 장점과, MI-LSTM에서 상관관계가 작은 정보들도 이용한다는 장점에 주목하였다. 이러한 장점들에서 아이디어를 얻어 2차원 어텐션 기반 다중입력 LSTM(2DA-MILSTM)을 제안한다. 제안하는 모델은 출력 값의 정보와 시간단계의 정보를 H-어텐션과 T-어텐션을 도입하여 정보를 선택하고, 가중치를 구하여 예측하는 방식으로 장기적인 의존성문제를 개선하여 예측의 성능을 높이는 것을 기대한다.
우리는 주식데이터와 온도데이터, 에너지데이터에 대하여 실험을 진행하였다. 비교 모델로 DA-RNN과 MI-LSTM 모델을 사용하였고, 실험결과 우리가 제안하는 모델인 2DA-MILSTM의 예측성능이 더 좋은 것을 확인하였다.
시계열 예측은 과거부터 지금까지도 많은 사람들의 관심을 받고 있는 분야이다. 시계열 예측알고리즘은 주식주가, 온도, 에너지, 날씨등과 같이 여러 분야에서 넓게 사용되고 있으며, 고전적인 모델(Autoregressive Moving Average(ARMA))뿐만 아니라 순환신경망(Recurrent Neural Network (RNN))과 Long Short-Term Memory(LSTM)을 이용한 알고리즘 또한 개발되었다. 여기에 어텐션 메커니즘을 도입하면서 성능이 개선된 모델들이 많이 연구되어졌고, 최근에는 어텐션을 두 번 사용하는 모델들 또한 제안되어지면서 많은 성능개선을 이루었다.
본 논문에서는 DA-RNN과 2D-LSTM과 같이 어텐션을 두 번 도입하여 보다 정보를 선택적으로 사용할 수 있다는 장점과, MI-LSTM에서 상관관계가 작은 정보들도 이용한다는 장점에 주목하였다. 이러한 장점들에서 아이디어를 얻어 2차원 어텐션 기반 다중입력 LSTM(2DA-MILSTM)을 제안한다. 제안하는 모델은 출력 값의 정보와 시간단계의 정보를 H-어텐션과 T-어텐션을 도입하여 정보를 선택하고, 가중치를 구하여 예측하는 방식으로 장기적인 의존성문제를 개선하여 예측의 성능을 높이는 것을 기대한다.
우리는 주식데이터와 온도데이터, 에너지데이터에 대하여 실험을 진행하였다. 비교 모델로 DA-RNN과 MI-LSTM 모델을 사용하였고, 실험결과 우리가 제안하는 모델인 2DA-MILSTM의 예측성능이 더 좋은 것을 확인하였다.
Time series forecasting is an area that has been of great interest to many people from the past to the present. Time series forecasting algorithms are widely used in many fields such as stock price, temperature, energy, weather forecast, etc. and not only classical models (Autoregressive Moving Aver...
Time series forecasting is an area that has been of great interest to many people from the past to the present. Time series forecasting algorithms are widely used in many fields such as stock price, temperature, energy, weather forecast, etc. and not only classical models (Autoregressive Moving Average (ARMA)) but also circular neural networks ( An algorithm using Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) was also developed. While introducing the attention mechanism, a lot of research has been done on models that have improved performance, and recently, models that use attention twice have also been proposed, resulting in many performance improvements.
In this paper, we paid attention to the advantages that DA-RNN and 2D-ALSTM are double-introduced to allow more selective use of information, and that MI-LSTM also uses information with small correlation. Taking ideas from these advantages to provide a 2D attention-based multi-input LSTM (2DA-MILSTM). The proposed model is a method that introduces H-attention and T-attention for output value information and time step information, selects information, calculates weights and predicts, and solves long-term dependency problems. And improve the prediction performance. We conducted experiments on stock data, temperature data, and energy data. Using the DA-RNN and MILSTM models as comparative models, we confirmed that the prediction performance of our model, 2DA-MILSTM, is good as a result of experiments.
Time series forecasting is an area that has been of great interest to many people from the past to the present. Time series forecasting algorithms are widely used in many fields such as stock price, temperature, energy, weather forecast, etc. and not only classical models (Autoregressive Moving Average (ARMA)) but also circular neural networks ( An algorithm using Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) was also developed. While introducing the attention mechanism, a lot of research has been done on models that have improved performance, and recently, models that use attention twice have also been proposed, resulting in many performance improvements.
In this paper, we paid attention to the advantages that DA-RNN and 2D-ALSTM are double-introduced to allow more selective use of information, and that MI-LSTM also uses information with small correlation. Taking ideas from these advantages to provide a 2D attention-based multi-input LSTM (2DA-MILSTM). The proposed model is a method that introduces H-attention and T-attention for output value information and time step information, selects information, calculates weights and predicts, and solves long-term dependency problems. And improve the prediction performance. We conducted experiments on stock data, temperature data, and energy data. Using the DA-RNN and MILSTM models as comparative models, we confirmed that the prediction performance of our model, 2DA-MILSTM, is good as a result of experiments.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.