[논문]LSTM 및 Conv1D-LSTM을 사용한 공급 사슬의 티어 예측

박경종

doi:10.11627/jkise.2020.43.2.120

LSTM 및 Conv1D-LSTM을 사용한 공급 사슬의 티어 예측
Prediction of Tier in Supply Chain Using LSTM and Conv1D-LSTM 원문보기

Journal of Korean Society of Industrial and Systems Engineering = 한국산업경영시스템학회지, v.43 no.2, 2020년, pp.120 - 125

Abstract ▼ AI-Helper

Supply chain managers seek to achieve global optimization by solving problems in the supply chain's business process. However, companies in the supply chain hide the adverse information and inform only the beneficial information, so the information is distorted and cannot be the information that describes the entire supply chain. In this case, supply chain managers can directly collect and analyze supply chain activity data to find and manage the companies described by the data. Therefore, this study proposes a method to collect the order-inventory information from each company in the supply chain and detect the companies whose data characteristics are explained through deep learning. The supply chain consists of Manufacturer, Distributor, Wholesaler, Retailer, and training and testing data uses 600 weeks of time series inventory information. The purpose of the experiment is to improve the detection accuracy by adjusting the parameter values of the deep learning network, and the parameters for comparison are set by learning rate (lr = 0.001, 0.01, 0.1) and batch size (bs = 1, 5). Experimental results show that the detection accuracy is improved by adjusting the values of the parameters, but the values of the parameters depend on data and model characteristics.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러므로 본 연구는 공급 사슬의 관리자가 공급 사슬에 참여하는 개별 기업들이 정확한 정보를 주지 않아도 공급 사슬에서 발생하는 데이터를 관찰하여 그 데이터의 특성이 설명하는 개별 기업들을 찾아내어 관리하는 방안을 제시하고자 한다.
딥러닝 기법 중에서 시계열 데이터 분석에는 Recurrent Neural Network(RNN)의 Long Short-Term Memory(LSTMRNN) 기법이 적극적으로 사용되고 있다[1, 5, 10]. 본 연구는 공급 사슬에 포함된 개별 기업에서 발생하는 시간에 따른 주문-재고 데이터를 수집하여 딥러닝을 통해 데이터의 특성이 설명하는 기업을 찾아내는 방안을 제안한다. 적용되는 딥러닝 기법은 기본형인 순차 네트워크로 구성 되는 Seq-DNN 모델과 시계열 데이터 분석에 우수한 성능을 보여주는 LSTM-RNN 모델이다.
본 연구는 공급 사슬의 각 티어에서 발생하는 데이터 이지만 어떤 티어에서 발생하는지를 공개하지 않은 재고량 데이터를 딥러닝 기법을 통해 데이터가 발생한 티어를 찾아내고 관리하는 방안을 제시하였다.

가설 설정

Retailer에게 주문하는 고객의 수요는 확률적(stochastic) 수요를 가정하며 AR(1) 모델을 사용한다(식 (1)).
검증 데이터는 딥러닝을 통해 학습 데이터가 정확하게 학습되었는지를 평가하면서 기존에 학습되지 않은 새로운 데이터에 대한 정확도를 동시에 평가되도록 구성한다. 검증 데이터의 크기는 학습에 사용된 학습 데이터 전체와 학습 데이터 수집에 사용했던 동일한 조건에서 새롭게 얻어진 데이터로 구성하는 것을 가정한다. 그러므로 검증 데이터의 크기는 학습 데이터의 2배인 24,000개이다.
오차 (loss) 함수는 다중 분류 문제에 적용되는 범주형 교차 엔트로피(categorical cross entropy)를 사용하며, 최적화를 위한 경사하강법(gradient method)은 adam을 사용한다. 종료 조건(stopping condition)은 검증 데이터의 손실값(loss value)이 20세대(patience = 20) 동안 연속적으로 개선되지 않으면 멈추도록 설정하고 epoch는 400으로 가정한다. 고정되는 파라미터 값은 일반적으로 추천되는 beta1 = 0.

제안 방법

Seq-DNN 모델의 활성화 함수는 relu → softmax로 구성하였고, LSTM-RNN 모델의 활성화 함수는 relu → LSTM (tanh) → softmax로 구성하였고, Conv1D-LSTM의 활성화 함수는 relu → Dropout(0.5) → Conv1D(padding, relu) → MaxPooling1D → LSTM(tanh) → softmax로 구성하였다.
검증 데이터는 딥러닝을 통해 학습 데이터가 정확하게 학습되었는지를 평가하면서 기존에 학습되지 않은 새로운 데이터에 대한 정확도를 동시에 평가되도록 구성한다. 검증 데이터의 크기는 학습에 사용된 학습 데이터 전체와 학습 데이터 수집에 사용했던 동일한 조건에서 새롭게 얻어진 데이터로 구성하는 것을 가정한다.
그리고 기본형 딥러닝 모델 Seq-DNN도 같이 적용하여 어떤 딥러닝 모델이 공급 사슬의 티어 판별에 가장 효과적인지를 분석하였다.
또한, 2차원 데이터의 이미지 분석에 효과적이라고 알려진 Convolution Neural Network(CNN)가 시계열 데이터의 특성을 추출하는 장점이 있으므로 LSTM과 결합한 Conv1D-LSTM 모델도 포함한다[3, 6]. 딥러닝 모델의 파라미터에 의한 성능 차이를 비교하기 위해 학습률(learning rate)과 배치 크기(batch size)의 변화를 분석한다.
CNN은 특징을 추출하기 위한 층(feature learning layers)의 집합과 이것을 분류하기 위한 층(classification layers)의집합으로 구성된다[7]. 특징을 추출하기 위한 층은 Convolution Layer, ReLu Layer, Pooling Layer를 반복하면서 네트워크 구조를 쌓아간다. Convolutional Layer는 2D 필터를 통해 영상의 특징을 추출하고, ReLu Layer는 비용 함수에 의해 뉴런의 출력값을 결정하며, Pooling Layer는 인접한 공간의 값들에 대해 하나의 대표값을 사용하여 표본의 수를 줄여 준다.

대상 데이터

앞에서 설명한 것처럼 실험에 사용되는 딥러닝 모델은 Seq-DNN, LSTM-RNN, Conv1D-LSTM이며, 다음의 [Table 1]은 3개의 딥러닝 모델에 대한 네트워크 구성 및 파라미터값에 따른 실험 결과를 보여준다.

이론/모형

공급 사슬의 각 티어에서 발생하는 데이터는 기본적으로 시계열 데이터의 특성을 가지기 때문에 시계열 데이터 분석에 가장 효과적이라고 알려진 딥러닝 모델 LSTMRNN을 적용하였다. 2차원 데이터의 이미지 분석에 효과적이라고 알려진 CNN이 시계열 데이터의 특성을 추출하는데 장점이 있어서 LSTM과 결합한 Conv1D-LSTM 모델도 적용하였다. 그리고 기본형 딥러닝 모델 Seq-DNN도 같이 적용하여 어떤 딥러닝 모델이 공급 사슬의 티어 판별에 가장 효과적인지를 분석하였다.
본 연구의 실험 모델에서 얻어진 각 티어의 재고량데이터와 Strozzi et al.[12] 모델에서 얻어진 각 티어의 재고량 데이터에 대한 동일성이 검증되어 딥러닝 실험에 사용한다. [Figure 2]의 공급 사슬 모델의 재고량 계산을 위해 사용된 수식에 대한 추가적인 설명은 Strozzi et al.
[Figure 2]의 공급 사슬에서 각 티어 간의 주문량은 Strozzi et al.[12] 모델에서 제시한 수식을 이용하여 계산한다. 본 연구의 실험 모델에서 얻어진 각 티어의 재고량데이터와 Strozzi et al.
공급 사슬의 각 티어에서 발생하는 데이터는 기본적으로 시계열 데이터의 특성을 가지기 때문에 시계열 데이터 분석에 가장 효과적이라고 알려진 딥러닝 모델 LSTMRNN을 적용하였다. 2차원 데이터의 이미지 분석에 효과적이라고 알려진 CNN이 시계열 데이터의 특성을 추출하는데 장점이 있어서 LSTM과 결합한 Conv1D-LSTM 모델도 적용하였다.
CNN은 이미지와 같은 2차원 배열의 데이터를 일반적 으로 사용하기 때문에 2D(Conv2D) CNN 모델을 적용한다. 그러나 본 연구는 1차원 시계열 데이터를 사용하기 때문에 컨볼루션 층이 1차원인 1D(Conv1D) CNN 모델을 적용한다.
학습 및 검증을 위해 사용되는 딥러닝 모델에서 은닉층의 활성화 함수는 lelu를 사용하고, 주어진 실험이 Factory, Distributor, Wholesaler, Retailer를 판별하는 문제이기 때문에 출력층의 활성화 함수는 다중 분류(multi classification) 문제에 적용되는 softmax를 사용한다. 오차 (loss) 함수는 다중 분류 문제에 적용되는 범주형 교차 엔트로피(categorical cross entropy)를 사용하며, 최적화를 위한 경사하강법(gradient method)은 adam을 사용한다. 종료 조건(stopping condition)은 검증 데이터의 손실값(loss value)이 20세대(patience = 20) 동안 연속적으로 개선되지 않으면 멈추도록 설정하고 epoch는 400으로 가정한다.
학습 및 검증을 위해 사용되는 딥러닝 모델에서 은닉층의 활성화 함수는 lelu를 사용하고, 주어진 실험이 Factory, Distributor, Wholesaler, Retailer를 판별하는 문제이기 때문에 출력층의 활성화 함수는 다중 분류(multi classification) 문제에 적용되는 softmax를 사용한다. 오차 (loss) 함수는 다중 분류 문제에 적용되는 범주형 교차 엔트로피(categorical cross entropy)를 사용하며, 최적화를 위한 경사하강법(gradient method)은 adam을 사용한다.

성능/효과

각 모델에 대해 실험을 하기 전에는 LSTM-RNN 또는 Conv1D-LSTM이 가장 우수한 결과를 줄 것으로 예측하였으나 기본형 딥러닝 모델인 Seq-DNN이 동일한 조건에서 가장 우수한 결과를 보여주었다. 이러한 결과는 적용하는 딥러닝 모델뿐만 아니라 데이터의 특성 및 구조 또는 다른 요인이 결과에 영향을 줄 수 있음을 설명하고 있다.
분석을 통한 결과는 기본형 딥러닝 모델인 Seq-DNN이시계열 데이터의 분석에 효과적이라고 알려진 LSTMRNN 및 Conv1D-LSTM보다 정확도는 더 우수하고 종료 시점이 더 빠르다는 것을 알 수 있었다. 또한, Seq-DNN이배치 크기 및 학습률과 관계없이 다른 모델들보다 더 우수하다는 것을 보여주었다.
[Table 1]의 정확도 비교 분석에서는 기본형 딥러닝 모델인 Seq-DNN이 가장 우수하고, 다음은 Conv1D-LSTM 이고, LSTM-RNN이 가장 낮다. 배치 크기 비교 분석에서는 Seq-DNN 및 LSTM-RNN은 배치 크기가 5일 때가 1일때보다 우수하고 Conv1D-LSTM은 배치 크기가 1일 때가 5일 때보다 우수하다. 학습률 비교 분석에서는 학습률이 0.
분석을 통한 결과는 기본형 딥러닝 모델인 Seq-DNN이시계열 데이터의 분석에 효과적이라고 알려진 LSTMRNN 및 Conv1D-LSTM보다 정확도는 더 우수하고 종료 시점이 더 빠르다는 것을 알 수 있었다.
01일 때 정확도가 100%로 가장 우수하다. 종료 시점 비교 분석에서는 기본형 딥러닝 모델인 Seq-RNN이 LSTM-RNN 및 Conv1DLSTM 모델보다 전반적으로 이른 시간에 종료됨을 알 수있다.
배치 크기 비교 분석에서는 Seq-DNN 및 LSTM-RNN은 배치 크기가 5일 때가 1일때보다 우수하고 Conv1D-LSTM은 배치 크기가 1일 때가 5일 때보다 우수하다. 학습률 비교 분석에서는 학습률이 0.001일 때가 Seq-DNN, LSTM-RNN, Conv1D-LSTM의 경우에 전반적으로 우수한 결과를 보여주며, Seq-DNN 모델 에서는 배치 크기에 상관없이 학습률이 0.01일 때 정확도가 100%로 가장 우수하다. 종료 시점 비교 분석에서는 기본형 딥러닝 모델인 Seq-RNN이 LSTM-RNN 및 Conv1DLSTM 모델보다 전반적으로 이른 시간에 종료됨을 알 수있다.

후속연구

그러므로 추후 연구과제는 데이터의 특성 및 구조가 모델에 어떤 영향을 주는지를 분석하는 것이 필요하지만 그 전 단계의 연구로서 LSTM보다 더 우수한 성능을 보여주는 양방향(bidirectional) LSTM 모델을 적용하여 단방향 LSTM 모델, 기본형 RNN 모델(SimpleRNN) 및 기본형 딥러닝 모델의 성능과 비교하는 것이 필요하다고 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	데이터의 특성 및 구조 또는 다른 요인이 결과에 영향을 미친다고 판단한 이유는 무엇인가?	각 모델에 대해 실험을 하기 전에는 LSTM-RNN 또는 Conv1D-LSTM이 가장 우수한 결과를 줄 것으로 예측하였으나 기본형 딥러닝 모델인 Seq-DNN이 동일한 조건에서 가장 우수한 결과를 보여주었다. 이러한 결과는 적용하는 딥러닝 모델뿐만 아니라 데이터의 특성 및 구조 또는 다른 요인이 결과에 영향을 줄 수 있음을 설명하고 있다.
	RNN이란 무엇인가?	RNN은 신경망의 꽃이라 불리고 시퀀스(sequence) 데이터를 다루는 신경망이다. 예를 들면, 언어(말)는 단순히 한 개의 단어를 통해서는 이해될 수 없고 전체 문장 으로 구성되는 시퀀스 데이터에 의해서 이해될 수 있다.
	CNN은 무엇을 참조하여 만들어지는가?	CNN은 동물의 시각피질(visual cortex) 구조에서 영감을 얻어 만들어진 딥러닝 신경망 모델로 동물의 계층적 특징추출과 시각인식 체계를 참조하여 만들어졌다[11]. CNN은컴퓨터 비전, 음성인식, 영상인식 등의 분야에서 많이 사용되며, 종류는 AlexNet, GoogleNet, VGGNet, ResNet 등이 있다.

참고문헌 (13)

Althelaya, K.A., Alfy, E.M., and Mohammed, S., Evaluation of bidirectional LSTM for short-and long-term stock market prediction, Proceedings of the 2018 9th International Conference on Information and Communication Systems(ICICS), Irbid, Jordan, 2018, pp. 151-156.
Brownlee, J., Gentle Introduction to the Adam Optimization Algorithm for Deep Learning, https://machinelearningmastery.com/adam-optimization-algorithm-fordeep-learning/.
Chen, Y.H., Krishna, T., Emer, J.S., and Sze, V., Eyeriss : An energy-efficient reconfigurable accelerator for deep convolutional neural networks, IEEE Journal of Solid-State Circuits, 2017, Vol. 52, No. 1, pp. 127-138.

상세보기
Cho, K.H., Merrienboer, B.V., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y., Learning phrase representations using RNN encoder-decoder for statistical machine translation, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, Doha, Qatar, 2014, pp. 1-15.
FukuoKa, R., Suzuki, H., Kitajima, T., Kuwahara, A., and Yasuno, T., Wind speed prediction model using LSTM and 1D-CNN, J-STAGE, 2018, Vol. 22, No. 4, pp. 207-210.
Jung, H.C., Sun, Y.G., Lee, D.G., Kim, S.H., Hwang, Y.M., Sim, I., Oh, S.K., Song, S.H., and Kim, J.Y., Prediction for energy demand using 1D-CNN and bidirectional LSTM in internet of energy, Journal of Institute of Korean Electrical and Electronics Engineers, 2019, Vol. 23, No. 1, pp. 134-142.
MathWorks Korea, https://m.blog.naver.com/matlablove/220928458225.
Park, K.J., Effect of customer demand on total inventory cost and order fill rate in a supply chain, Journal of Society of Korea Industrial and Systems Engineering, 2009, Vol. 32, No. 3, pp. 93-98.
Park, K.J., Effect of information quality level and customer demand on performance measures in a supply chain, Journal of Society of Korea Industrial and Systems Engineering, 2012, Vol. 35, No. 2, pp. 136- 144.
Park, K.J., Performance evaluation of LSTM network through supply chain tier prediction, Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, 2019, Vol. 9, No. 8, pp. 799-808.

상세보기
Sallehuddin, R., Shamsuddin, S.M., Hashim, S.Z.M., and Abraham, A., Forecasting time series data using hubrid greay relational artificial neural network and auto regressive integrated moving average model, Neural Network World, 2007, Vol. 17, No. 6, pp. 573-605.
Strozzi, F., Bosch, J., and Zaldivar, J.M., Beer game order policy optimization under changing customer demand, Decision Support Systems, 2007, Vol. 42, pp. 2153-2163.

상세보기
Zhang, C. and Zhang, C., Design and simulation of demand information sharing in a supply chain, Simulation Modelling Practice and Theory, 2007, Vol. 15, No. 1, pp. 32-46.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증