[논문]LSTM 네트워크를 활용한 농산물 가격 예측 모델

신성호; 이미경; 송사광

doi:10.5392/jkca.2018.18.11.416

LSTM 네트워크를 활용한 농산물 가격 예측 모델
A Prediction Model for Agricultural Products Price with LSTM Network 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.18 no.11, 2018년, pp.416 - 429

신성호 (한국과학기술정보연구원 연구데이터플랫폼센터) , 이미경 (한국과학기술정보연구원 연구데이터플랫폼센터) , 송사광 (한국과학기술정보연구원 연구데이터플랫폼센터)

초록
AI-Helper

태풍, 홍수는 우리에게 빈번하게 닥치는 자연 재해이며, 이와 같은 자연 재해로부터 오는 피해는 사전에 예측되어 대응책이 마련될 필요가 있다. 자연 재해로부터 야기되는 피해에는 건물의 붕괴, 인명 피해, 논/밭의 유실 등 주로 직접적인 피해가 많지만, 소비자 물가 상승과 같은 간접적인 영향에도 관심을 가져야 한다. 태풍, 홍수의 피해로부터 영향을 받는 대표적인 소비재 상품은 농산물이다. 갑작스럽고 강력한 태풍은 많은 비를 동반하면서 농작물에 피해를 주고, 농산물의 가격을 상승시킨다. 본 연구에서는 딥러닝 알고리즘을 활용하여 태풍과 같은 자연 재해가 농산물 가격에 미치는 영향을 예측한다. 우리는 데이터 확보가 가능한 쌀, 양파, 대파, 애호박, 시금치 등을 가격 예측 대상으로 했고, 농산물 가격에 영향을 미치는 변수 데이터들로 학습 모델을 만들고, 그 학습 모델이 농산물 가격을 예측하는 연구를 진행하였다. 연구 결과, 모델에 의한 예측 가격과 실제 가격의 차이를 나타내는 RMSE가 0.069 수준이며, 농산물 가격을 비교적 잘 설명하는 것으로 해석된다. 정확한 농산물 가격 예측은 정부의 농산물 공급 규모 조절 등 자연 재해 대응을 위한 정부의 노력에 활용될 수 있을 것이다.

Abstract ▼ AI-Helper

Typhoons and floods are natural disasters that occur frequently, and the damage resulting from these disasters must be in advance predicted to establish appropriate responses. Direct damages such as building collapse, human casualties, and loss of farms and fields have more attention from people than indirect damages such as increase of consumer prices. But indirect damages also need to be considered for living. The agricultural products are typical consumer items affected by typhoons and floods. Sudden, powerful typhoons are mostly accompanied by heavy rains and damage agricultural products; this increases the retail price of such products. This study analyzes the influence of natural disasters on the price of agricultural products by using a deep learning algorithm. We decided rice, onion, green onion, spinach, and zucchini as target agricultural products, and used data on variables that influence the price of agricultural products to create a model that predicts the price of agricultural products. The result shows that the model's accuracy was about 0.069 measured by RMSE, which means that it could explain the changes in agricultural product prices. The accurate prediction on the price of agricultural products can be utilized by the government to respond natural disasters by controling amount of supplying agricultural products.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 쌀, 시금치, 애호박, 대파, 양파 등 5가지 농산물을 대상으로 주요 대도시에서 거래되는 소매 가격을 예측하고, 태풍과 같은 자연재해 발생 시 농산물 가격 변화를 예측하는 것이다. 이전에 이루어졌던 농산물들에 대한 시계열 분석은 전통적인 방법들이 주로 활용되어져 왔고, 최근의 인공신경망이나 딥러닝을 적용한 연구들은 많이 찾아볼 수 없다.
본 연구에서는 인공신경망의 진보된 모습이자 현재 가장 우수한 성능을 보이는 예측 기술 중 하나인 딥러닝 기술을 이용해서, 자연재해 발생 시 농산물의 가격이 어떻게 변화하는지 예측하는 모델을 만들고, 그 모델의 정확도를 실험을 통해 제시한다. 우리는 데이터 확보가 가능한 쌀, 양파, 대파, 애호박, 시금치 등을 예측 대상으로 했고 관련 데이터를 수집하여 딥러닝 알고리즘을 적용하였다.
본 연구의 목적은 자연 재해로부터 받을 수 있는 여러 영향 중 농산물 가격 변화에 대한 효과적인 대응 방안을 수립하기 위한 딥러닝 기반의 농산물 가격 예측모델을 제안하는 것이다.
우리는 이 연구에서 주로 사용될 RNN의 최신 연구 경향을 더 검토했다. RNN은 출력값의 일부가 입력 값에 다시 포함되는 연속성 개념의 신경 회로망을 의미한다.

제안 방법

입력 데이터의 값이 가격, 비율, 온도, 면적 등 종류가 다양하기 때문에 정확한 학습을 위해 데이터 정규화 작업을 해 주었다. (5)와 같은 일반적인 정규화 식을 통해 모든 학습 데이터에 대해서 0~1 사이의 값으로 변환해서 정규화 된 값으로 학습과 테스트를 진행하였다.
Rather는 주식의 수익률 예측을 위해 Recurrent Neural Network(RNN)을 활용하되 선형 모델(linear model)과 비선형 모델(non-linear model)을 혼합한 하이브리드 모델을 제시하였다[2]. N개의 선형 모델과 M개의 비선형 모델을 각각 생성한 후 각각의 모델에 가중치를 부여하여 하이브리드 모델을 최적화 하였다. Chiroma는 West Texas Intermediate(WTI) 원유 가격 예측 연구를 수행하였고, Genetic Algorithm and Neural Network(GA-NN) 기반으로 하는 접근법을 제안하였다[3].
모든 데이터들이 2000년 1월 1일부터 2016년 12월 31일 사이에 데이터 값이 존재하기 때문에, 이 기간을 기준으로 학습 데이터를 준비하였다. 데이터마다 이 기간 중 비어 있는 값들이 있는지 확인하고, 값들을 채우는 작업을 수행하였다. 예를 들어, 주말과 공휴일에는 데이터 값이 없는 경우가 많아서 이 경우에는 앞날과 뒷날의 데이터 값의 평균으로 채워주었다.
연구에 적용하는 방법 또는 기술이 딥러닝이기 때문에, 딥러닝에 대한 기본적인 문헌 연구와 특정 알고리즘에 대한 분석도 진행하였다. 마지막으로, 딥러닝을 활용한 농산물 가격 예측 모델의 학습을 위해 어떤 데이터가 필요한지를 도출하기 위해 농산물 가격 예측 연구들에서 활용되었거나 제시된 변수들에 대해서 분석하였다.
절대적인 mini-batch 크기는 존재하지 않지만, 보통 총 학습 데이터의 약 1 ～ 2 % 정도를 mini-batch 크기로 설정한다. 본 연구에서는 [표 7]에서 제시된 학습셋 4,945건에 대해서 mini-batch의 크기를 10으로 하고, 한 번의 epoch에서 495회의 학습 과정(iteration)을 거치도록 설계하였다.
또 다른 연구는 중국의 농산물(오이, 시금치) 가격 단기 예측 시스템 구축에 대한 것이다[5]. 시스템에서는 여러 종류의 야채의 가격 변동 요인의 유효 정도를 측정하기 위해 다변수 회귀 모델을 구축하였다. 가격 변동 요인으로 유가, 날씨 변화, 계절적 변동 효과가 고려되었다.
가격 예측 대상은 주로 주식이나 석유 가격 예측에 대한 연구들을 많이 찾아볼 수 있었다. 연구에 적용하는 방법 또는 기술이 딥러닝이기 때문에, 딥러닝에 대한 기본적인 문헌 연구와 특정 알고리즘에 대한 분석도 진행하였다. 마지막으로, 딥러닝을 활용한 농산물 가격 예측 모델의 학습을 위해 어떤 데이터가 필요한지를 도출하기 위해 농산물 가격 예측 연구들에서 활용되었거나 제시된 변수들에 대해서 분석하였다.
본 연구에서는 인공신경망의 진보된 모습이자 현재 가장 우수한 성능을 보이는 예측 기술 중 하나인 딥러닝 기술을 이용해서, 자연재해 발생 시 농산물의 가격이 어떻게 변화하는지 예측하는 모델을 만들고, 그 모델의 정확도를 실험을 통해 제시한다. 우리는 데이터 확보가 가능한 쌀, 양파, 대파, 애호박, 시금치 등을 예측 대상으로 했고 관련 데이터를 수집하여 딥러닝 알고리즘을 적용하였다.
908로 토마토의 가격 변동을 비교적 정확하게 예측하였다. 이 연구에서 사용된 변수들은 토마토 가격 외에 기상, 수요/공급량, 토마토 이외의 제품의 시장 가격 변동 등이다.
마지막으로 출력 값은 업데이트 된 셀 상태 값의 tanh값을 Output gate(4)에 반영하여 결정된다. 이 연구에서는 구글의 텐서플로우 플랫폼에서 제공하는 BasicLSTMCell API를 가져와 LSTM 네트워크를 구현하는 데 사용했다.
남국현은 양파 출하시기의 도매가격을 예측하는 모형을 개발했다[7]. 자기회귀시차 모형을 사용해서 월별 도매가격을 예측하였고, 과거 도매가격, 재배면적, 전년도 도매가격, 농가소득, 농가총수입 등의 데이터를 활용하였다.

대상 데이터

2000년 1월 1일부터 2016년 12월 31일까지의 기간에서 21일간 데이터를 하나의 인스턴스로 했을 때 학습 데이터의 전체 인스턴스 수는 6,182개이다. 학습 및 테스트를 위해 전체 인스턴스의 80%가 학습 모델을 만드는 데 사용되었으며, 나머지 20%로 학습 모델의 정확성을 테스트했다.
Zhang은 Wavelet Neural Network(WNN)을 활용하여 토마토 소매가격을 예측하는 연구를 하였다[4]. 2013년 1월 1일부터 2013년 12월 31일까지 중국의 허베이성의 10개 지역으로부터 토마토 소매 가격 데이터를 수집하였고, 토마토 가격을 예측하는 시계열 모델을 만들어 정확도를 테스트하였다. 결과는 모델 예측 오차율이 0.
기상 데이터는 기상청¹으로부터, 농산물 가격 데이터는 농산물 유통정보서비스(KAMIS)², 유가 데이터는 오피넷(Opinet)³으로부터 각각 수집하였다. 물가 상승률, 전년도 수확량, 재배면적, 전년도 수입량 데이터는 통계청 국가통계포털(KOSIS)⁴에서 데이터를 개방·공유하고 있다.
농산물 가격 예측 모델의 개발을 위해, 기상 데이터, 농산물을 포함한 관련 물품들의 가격 인상률, 유가, 농산물별 전년도 수확량, 농산물별 전년도 재배 면적 등 농산물 가격 변화에 영향을 미치는 변수들에 대한 17년치 데이터를 수집하여 학습에 활용하였다. Learning rate, Mini-batch size, Number of iteration, Drop-out value 등 Hyper-parameters의 값을 설정하고 Adam Optimizer를 사용해서 LSTM 네트워크를 적용한 결과, 모델의 정확도는 백분율 기준으로 약 93%이며, 비교적 농업 가격 예측을 잘 할 수 있는 것으로 판단된다.
계절을 고려한 예측이 이루어져야 하지만, 한 계절은 너무 많은 기간을 가지기 때문에 학습의 단위로 적합하지 않다. 따라서, 계절보다는 짧지만 가격의 변화를 어느 정도 반영할 수 있는 한 달이란 기간을 기준으로 학습 데이터를 준비하였다. 즉, 과거 3주 21일간의 데이터로 학습 모델을 만들어서 이후 1주 7일간의 농산물 가격을 예측하는 태스크로 정의하였다.
때문에, 효과적인 학습을 위해서는 공통으로 존재하는 기간의 데이터만 활용하는 것이 좋다. 모든 데이터들이 2000년 1월 1일부터 2016년 12월 31일 사이에 데이터 값이 존재하기 때문에, 이 기간을 기준으로 학습 데이터를 준비하였다. 데이터마다 이 기간 중 비어 있는 값들이 있는지 확인하고, 값들을 채우는 작업을 수행하였다.
본 연구에서는 108개의 입력 데이터에 대해 21일치 데이터를 사용하여 108 × 21 매트릭스를 학습 데이터 포맷으로 사용했다.
이를 위해 중기선형예측모형을 사용하여 시계열 자료 모형을 설정하였다. 연구를 위해 활용된 변수는 시장 반입 물량, 전국 생산량, 시장 시세, 일일 가격 표준편차 등이다.
위와 같은 학습 데이터와 실험 환경으로 농산물 가격 예측 모델의 정확도 실험 결과는 [표 9]와 같다. 예측 대상은 대구, 광주, 서울, 대전, 부산 등 5개 도시별로 5개 농산물들의 7일간의 가격이다.
배경태는 은닉층(Hidden Layer)이 1개인 기본적인 인공신경망 기법을 이용하여 오이의 가격을 예측하는 연구를 수행하였다[8]. 예측에 활용된 변수는 과거 오이 가격, 30cm정시지중온도, 0.5m정시기온, 정시조도 등 16개 기상관측 데이터이다.

이론/모형

즉, 학습 데이터에 대해서는 에러가 작지만, 일반적인 데이터에 대해서는 에러가 커지는 문제이다. Over-fitting 문제를 해결하기 위해 여러 방법들이 제시되고 있는데, 본 연구에서는 비교적 좋은 해결 방법으로 알려진 drop-out 기법을 사용했고, 그 값을 0.01로 주었다.
배경태는 은닉층(Hidden Layer)이 1개인 기본적인 인공신경망 기법을 이용하여 오이의 가격을 예측하는 연구를 수행하였다[8]. 예측에 활용된 변수는 과거 오이 가격, 30cm정시지중온도, 0.
본 연구에서는 딥러닝 알고리즘 중 시계열 분석에 적합한 RNN 계열의 LSTM 알고리즘을 사용하였다. LSTM 알고리즘은 RNN의 단점을 보완한 알고리즘이다.
딥러닝 연구의 초기에는 gradient descent optimizer를 주로 사용하였는데, 이후 더 좋은 성능을 보이는 adam optimizer가 제시되고 그후로도 더 개선된 optimizer들이 많이 연구가 되었다. 본 연구에서는 일반적으로 많이 사용되는 adam optimizer를 사용하였다.
두 값의 오차를 측정할 수 있는 가장 보편적인 평가 도구는 Mean Squared Error(MSE)와 MSE의 제곱근인 Root mean squared error(RMSE)를 사용하여 왔다. 예측이라는 것은 음의 결과도 나올 수 있으므로, MSE보다는 RMSE가 더 적합하여 본 연구에서는 오차 측정 도구로 RMSE를 사용하였다(6).
임지연은 오이와 호박에 대해서 중기 가격 예측 연구를 수행하였다[6]. 이를 위해 중기선형예측모형을 사용하여 시계열 자료 모형을 설정하였다. 연구를 위해 활용된 변수는 시장 반입 물량, 전국 생산량, 시장 시세, 일일 가격 표준편차 등이다.

성능/효과

2.2장에서 기술한 것과 같이, 자연 재난에 따른 농산물 가격 예측을 위해 활용된 변수들은 기상(또는 날씨), 과거 가격 변화, 생산량/재배면적, 공급량, 유가, 농가소득 등이었다. 기상 정보는 자연 재해의 발생 여부를 알아내기 위한 정보이며, 과거 가격 변화는 미래 예측을 위해 필수적으로 필요한 변수이다.
농산물 가격 예측 모델의 개발을 위해, 기상 데이터, 농산물을 포함한 관련 물품들의 가격 인상률, 유가, 농산물별 전년도 수확량, 농산물별 전년도 재배 면적 등 농산물 가격 변화에 영향을 미치는 변수들에 대한 17년치 데이터를 수집하여 학습에 활용하였다. Learning rate, Mini-batch size, Number of iteration, Drop-out value 등 Hyper-parameters의 값을 설정하고 Adam Optimizer를 사용해서 LSTM 네트워크를 적용한 결과, 모델의 정확도는 백분율 기준으로 약 93%이며, 비교적 농업 가격 예측을 잘 할 수 있는 것으로 판단된다. 이 결과는 이전의 시계열 데이터 예측 모델이나 회귀분석 모델들이 보여주는 90% 수준의 예측력보다 높은 수준이다.
2013년 1월 1일부터 2013년 12월 31일까지 중국의 허베이성의 10개 지역으로부터 토마토 소매 가격 데이터를 수집하였고, 토마토 가격을 예측하는 시계열 모델을 만들어 정확도를 테스트하였다. 결과는 모델 예측 오차율이 0.01 미만이며 예측 값과 실제 값의 상관관계(R2)가 0.908로 토마토의 가격 변동을 비교적 정확하게 예측하였다. 이 연구에서 사용된 변수들은 토마토 가격 외에 기상, 수요/공급량, 토마토 이외의 제품의 시장 가격 변동 등이다.
농산물 가격 예측과 관련된 선행 연구를 통해 기상, 수요/공급량, 시장 가격 변동, 유가, 계절적 변동 효과, 전국 생산량, 일일 가격 표준편차, 재배면적, 농가소득, 농가총수입 등의 변수들이 사용된 것을 알 수 있었다. 기상 또는 날씨 정보가 공통적으로 중요한 변수로 사용되었고, 그 외에 가격, 생산량/재배면적, 농가소득 등이 변수로 제시된 것을 볼 수 있다[표 1].
이를 위해, epoch 수와 loss function의 결과 사이의 상관 관계 그래프를 그려서 epoch의 최적값을 결정할 수 있다. 본 연구에서는 실험을 통해 epoch 수가 400~500회 사이에서 가장 좋은 loss function의 결과를 보였고, 500회 이상에서는 loss 값의 변화가 거의 없음을 확인했다.
Chiroma는 West Texas Intermediate(WTI) 원유 가격 예측 연구를 수행하였고, Genetic Algorithm and Neural Network(GA-NN) 기반으로 하는 접근법을 제안하였다[3]. 실험 결과, 제안된 GA-NN 접근법이 예측 정확도와 계산 효율면에서 기존 알고리즘보다 우수함을 제시했다. 연구들에서 볼 수 있듯이, 최근의 가격 예측 연구들에서는 신경 회로망(Neural Network)을 활용하거나 딥러닝 알고리즘들이 가격 예측에 조금씩 활용되고 있고, 성능 측면에서 시계열 예측 기법과 같은 기존 연구 모델들을 뛰어넘고 있음을 알 수 있다.
농산물별로는 대파에 대한 정확도가 가장 좋고, 애호박은 가장 낮은 예측 정확도를 보이고 있다. 예측 정확도를 기준으로 농산물을 분류해 보면, 대파, 양파, 쌀이 비교적 높은 정확도를 보이고 있고, 그 다음은 시금치, 마지막으로 애호박으로 분류할 수 있다. 시금치나 애호박이 대파, 양파, 쌀에 비해 정확도가 낮은 원인을 대중성에서 찾아볼 수 있을 것으로 추측한다.
2000년 1월 1일부터 2016년 12월 31일까지의 기간에서 21일간 데이터를 하나의 인스턴스로 했을 때 학습 데이터의 전체 인스턴스 수는 6,182개이다. 학습 및 테스트를 위해 전체 인스턴스의 80%가 학습 모델을 만드는 데 사용되었으며, 나머지 20%로 학습 모델의 정확성을 테스트했다. [표 7]은 학습 및 테스트 데이터의 건수를 나타낸다.

후속연구

본 연구에서 제안하는 농산물 가격에 대한 딥러닝 기반 예측 모델은 농산물 가격 동향 지수의 형태로 제공되어 농산물 수급을 위한 정부 정책 수립에 사용될 수 있고, 일반 소비자들에게도 유용한 정보로 활용될 수 있을 것으로 기대된다.
예측 정확도를 기준으로 농산물을 분류해 보면, 대파, 양파, 쌀이 비교적 높은 정확도를 보이고 있고, 그 다음은 시금치, 마지막으로 애호박으로 분류할 수 있다. 시금치나 애호박이 대파, 양파, 쌀에 비해 정확도가 낮은 원인을 대중성에서 찾아볼 수 있을 것으로 추측한다. 일반적으로 대파, 양파, 쌀은 애호박과 시금치에 비해 요리의 재료로서 활용성이 적다고 볼 수 있다.
하지만, 구체적으로 어느 정도 오를지, 또는 오를지 안 오를지에 대한 정확한 분석 없이 과거의 경험에 기반해서 의사결정이 이루어지고 있다. 정확한 농산물 가격 예측 모델의 확보는 자연 재해 시 농산물 가격의 예측, 정부 차원의 농산물 공급 규모, 수입량 등 자연 재해 대비를 위한 정부의 노력에 유용하게 활용될 수 있을 것이다.
향후에는 실제 자연재해가 발생한 기간이나 그 이후의 시점에 초점을 맞추어 이 기간 동안의 예측 정확도가 어느 정도인지 분석하는 연구가 진행될 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	태풍 또는 홍수와 같은 자연 재해로부터 야기되는 피해는?	작은 날씨 변화와는 다르게 갑작스럽고 극심한 날씨 변화는 자연 재해의 형태로 우리에게 큰 피해를 주기도 한다. 태풍 또는 홍수와 같은 자연 재해로부터 야기되는 직접적인 피해로는 건물의 붕괴, 인명 피해, 논/밭의 유실 등 여러 가지가 있다. 소비자 물가의 변화는 직접적이지는 않지만, 우리의 삶에 적지 않은 영향을 미친다.
	자연 재해, 질병 확산같은 인간의 안전을 위협하는 사회 현안 문제들의 특징은?	자연 재해, 질병 확산 등과 같이 인간의 안전을 위협하는 사회 현안 문제들에 대한 연구는 지속적인 주목을 받으며 꾸준히 진행되고 있다. 이런 이슈들은 발생 확률이 높지 않지만, 한 번의 발생으로 많은 생명과 재산피해를 유발시킨다. 때문에 기상은 우리 생활에 밀접한 영향을 주는 요소 중 하나이다.
	소비자 물가와 자연 재해 간의 상관관계의 예시는?	자연 재해로 인해 농산물이나 과일 가격이 많이 올랐다는 불만의 말들을 자주 들을 수 있다. 특히, 우리나라는 7월에서 10월까지 태풍 피해가 자주 발생하는데, 이 기간 중에 추석이라는 명절이 있다. 추석이라는 명절이 다가오면 대부분의 가정에서 명절 음식에 들어가는 재료들을 구매하기 때문에 소비자 물가가 많이 올라간다. 이 기간 태풍까지 오게 되면 소비자 물가는 상상할 수 없을 정도로 뛰어 오를 수 있다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증