[논문]납기 위반 및 셋업 최소화를 위한 강화학습 기반의 설비 일정계획 모델

유우식; 서주혁; 김다희; 김관호

doi:10.7838/jsebs.2019.24.3.019

납기 위반 및 셋업 최소화를 위한 강화학습 기반의 설비 일정계획 모델
Machine Scheduling Models Based on Reinforcement Learning for Minimizing Due Date Violation and Setup Change 원문보기

한국전자거래학회지 = The Journal of Society for e-Business Studies, v.24 no.3, 2019년, pp.19 - 33

유우식 (Department of Industrial and Management Engineering, Incheon National University) , 서주혁 (Department of Industrial and Management Engineering, Incheon National University) , 김다희 (Department of Industrial and Management Engineering, Incheon National University) , 김관호 (Department of Industrial and Management Engineering, Incheon National University)

초록
AI-Helper

최근 제조업체들은 제품의 생산방식이 고도화 되고, 복잡해지면서 생산 장비를 효율적으로 사용하는데 어려움을 겪고 있다. 제조공정의 효율성을 방해하는 대표적인 요인들로는 작업물 종류 변경(job change)으로 인한 작업 준비 비용(Setup Cost) 등이 있다. 특히 반도체/LCD 공정과 같이 고가의 생산 장비를 사용하는 공정의 경우 장비의 효율적인 사용이 매우 중요한데, 상호 충돌하는 의사결정인 납기 준수를 최대화 하는 것과 작업물 종류 변경으로 인한 작업 준비 비용을 최소화 하는 것 사이에서 균형을 유지하는 것은 매우 어려운 일이다. 본 연구에서는 납기와 작업 준비 비용이 있는 병렬기계에서 강화학습을 활용하여 납기 및 셋업 비용의 최소화 목표를 달성하는 일정계획 모델을 개발하였다. 제안하는 모델은 DQN(Deep Q-Network) 일정계획 모델로 강화학습기반의 모델이다. 제안모델의 효율성을 측정하기 위해 DQN 모델과 기존에 개발하였던 심층 신경망 기반의 일정계획 생성기법과 휴리스틱 원칙의 결과를 비교하였다. 비교 결과 DQN 일정계획 생성기법이 심층신경망 방식과 휴리스틱 원칙에 비하여 납기 및 셋업 비용이 적은 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

Recently, manufacturers have been struggling to efficiently use production equipment as their production methods become more sophisticated and complex. Typical factors hindering the efficiency of the manufacturing process include setup cost due to job change. Especially, in the process of using expensive production equipment such as semiconductor / LCD process, efficient use of equipment is very important. Balancing the tradeoff between meeting the deadline and minimizing setup cost incurred by changes of work type is crucial planning task. In this study, we developed a scheduling model to achieve the goal of minimizing the duedate and setup costs by using reinforcement learning in parallel machines with duedate and work preparation costs. The proposed model is a Deep Q-Network (DQN) scheduling model and is a reinforcement learning-based model. To validate the effectiveness of our proposed model, we compared it against the heuristic model and DNN(deep neural network) based model. It was confirmed that our proposed DQN method causes less due date violation and setup costs than the benchmark methods.

주제어

표/그림 (17)

그림 Example of Machine Scheduling Considering Job Change Only
그림 Example of Machine Scheduling Considering Setup Cost Only
그림 Framework of Proposed Model
그림 Structure of DQN Model
표 Experiment Environment
그림 Cost graphs of (M=16, P=5, N=50, K=15)
그림 Cost Graph of (M=16, P=5, N=50, K=14)
표 Number of Job Changes and Due Date Violations in (M=16, P=5, N=50, K=15)
표 Number of Job Change and Due Date Violation in (M=16, P=5, N=50, K=14)
그림 Cost Graph of(M=16, P=5, N=50, K=13)
그림 Cost Graph of (M=20, P=7, N=100, K=24)
표 Number of Job Change and Due Date Violation in (M=16, P=5, N=50, K=13)
표 Number of Job Change and Due Date Violation in (M=20, P=7, N=100, K=24)
그림 Cost Graph of (M=20, P=7, N=100, K=22)
그림 Cost Graph of (M=20, P=7, N=100, K=20)
표 Number of Job Change and Due Date Violation in (M=20, P=7, N=100, K=22)
표 Number of Job Change and Due Date Violation in (M=20, P=7, N=100, K=20)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 강화학습(Reinforcement Learning)을 이용하여 병렬기계에서 제품과 주문량, 납기가 있는 주문의 리스트가 들어왔을 때, 납기 준수를 최대화 하고, 작업물 종류 변경을 최소화 하는 일정계획 문제를 해결하고자 하였다.
본 논문에서는 생산 장비와 주문이 작은 상황과 생산 장비와 주문이 큰 상황에서 제품의 주문량이 같은 빈도로 발생할 때, 생산 장비가 한가한(Idle)일정 사례, 생산 장비가 적정한 (Moderate)일정 사례, 생산 장비가 바쁜(Busy) 일정 사례에 대해서 비교하였다.
또한, 현재의 상황을 잘 고려하여 적정한 행동을 취할 수 있는 값 이여야 한다. 본 연구에서는 장비의 현재 상태와 주문 정보, 과거의 납기 준수와 작업물 종류 변경 여부에 대해서 판단하여 상태를 생성한다. i번째 주문에 대한 상태는 다음과 같이 정의된다.

가설 설정

각각의 주문은 여러 장비에서 동시에 작업 할 수 없고, 한 장비에서만 작업이 가능하다. 또한 장비 제약이 없이 모든 기계에서 모든 작업이 가능하며, 이때 장비 별 생산성도 동일한 것으로 가정하였다.
주문 유형에 대한 분포는 알려지지 않았으며, 각각의 작업은 순서에 독립적이라고 가정하였다. 각각의 주문은 여러 장비에서 동시에 작업 할 수 없고, 한 장비에서만 작업이 가능하다.

제안 방법

강화학습을 이용하여 각각의 주문에 대한 상태를 생성하고, 그에 따른 보상으로는 작업물 종류변경의 횟수와 납기일을 어긴 주문의 횟수에 각각 가중치를 주었다. 행동으로는 Setup과 No Setup 두 가지 방식으로 하여 강화학습 모델을 만들었다.
강화학습을 이용하여 제품의 종류, 주문량, 납기가 있는 주문의 리스트에서 납기와 셋업 비용을 최소화하는 일정계획을 생성해주는 모델을 개발하였다.
Q-Network는 1개의 입력 층, 4개의 은닉 층, 1개의 출력 층으로 구성되어 있다. 모든 레이어는 완전 연결 층(Fully connected layer)으로 구성되어 있으며, 활성 함수(Activation function)는 Relu(Rectified linear unit)를 사용하였다. 이 때 손실 함수(Loss function)으로는 평균 제곱 오차를 사용하였고, 학습 알고리즘(Optimizer)은 RMSProp optimizer를 사용하였다.
본 연구를 통해 강화학습을 이용하여 제품종류, 주문량, 납기가 정해진 주문 리스트에 대해서 납기와 셋업 비용을 최소화하는 일정계획 모델을 개발하고 기존에 개발한 심층 신경망 기반의 일정계획 생성기법과 휴리스틱 원칙 방식의 일정계획 방식과 비교하였다.
행동으로는 Setup과 No Setup 두 가지 방식으로 하여 강화학습 모델을 만들었다. 본문에서는 제2장에서 제안기법을 설명하고 제3장에서 성능평가로 개발한 모델과 기존에 개발했던 심층 신경망(DNN)기반의 일정계획 모델, 휴리스틱 원칙(Heuristic Rule)의 결과와 비교하였다.
생산 장비가 바쁜 일정 사례는 최대 납기일을 13로 하여 주문 리스트를 만들었다. [Table 4]는 주문 리스트 10개에 대해서 작업물 종류변경 횟수와 납기를 준수하지 못한 주문의 횟수를 나타낸 것이며, [Figure 7]은 각각의 평균을 그래프로 나타낸 것이다.
생산 장비가 바쁜 일정 사례는 최대 납기일을 20로 하여 주문 리스트를 만들었다. [Table 7]은 리스트 10개에 대해서 작업물 종류 변경 횟수와 납기를 준수하지 못한 주문의 횟수를 나타낸 것이며, [Figure 10]는 각각의 평균을 그래프로 나타낸 것이다.
생산 장비가 적정한 일정 사례는 최대 납기일을 14로 하여 주문 리스트를 만들었다. [Table 3]은 주문 리스트 10개에 대해서 작업물 종류 변경 횟수와 납기를 준수하지 못한 주문의 횟수를 나타낸 것이며, [Figure 6]은 각각의 평균을 그래프로 나타낸 것이다.
생산 장비가 적정한 일정 사례는 최대 납기일을 22로 하여 주문 리스트를 만들었다. [Table 6]은 주문 리스트 10개에 대해서 작업물 종류 변경 횟수와 납기를 준수하지 못한 주문의 횟수를 나타낸 것이며, [Figure 9]는 각각의 평균을 그래프로 나타낸 것이다.
생산 장비가 한가한 일정 사례는 최대 납기일을 15로 하여 주문 리스트를 만들었다. [Table 2]는 주문 리스트 10개에 대해서 작업물 종류 변경 횟수와 납기를 준수하지 못한 주문의 횟수를 나타낸 것이며, [Figure 5]는 각각의 평균을 그래프로 나타낸 것이다.
생산 장비가 한가한 일정 사례는 최대 납기일을 24로 하여 주문 리스트를 만들었다. [Table 5]는 주문 리스트 10개에 대해서 작업물 종류 변경 횟수와 납기를 준수하지 못한 주문의 횟수를 나타낸 것이며, [Figure 8]은 각각의 평균을 그래프로 나타낸 것이다.
설비수와 주문량이 적은 사례는 생산 장비(M)가 16개, 제품종류(P)가 5개, 주문의 수(N)가 50개라고 하였다. 이 때, 생산 장비가 한가한(Idle) 사례, 생산 장비가 적정한(Morderatel) 사례, 생산 장비가 바쁜(Busy) 사례에 대하여 10개씩 주문 리스트를 만들어 비교하였다.
설비수와 주문량이 적은 사례는 생산 장비(M)가 16개, 제품종류(P)가 5개, 주문의 수(N)가 50개라고 하였다. 이 때, 생산 장비가 한가한(Idle) 사례, 생산 장비가 적정한(Morderatel) 사례, 생산 장비가 바쁜(Busy) 사례에 대하여 10개씩 주문 리스트를 만들어 비교하였다.
강화학습을 이용하여 각각의 주문에 대한 상태를 생성하고, 그에 따른 보상으로는 작업물 종류변경의 횟수와 납기일을 어긴 주문의 횟수에 각각 가중치를 주었다. 행동으로는 Setup과 No Setup 두 가지 방식으로 하여 강화학습 모델을 만들었다. 본문에서는 제2장에서 제안기법을 설명하고 제3장에서 성능평가로 개발한 모델과 기존에 개발했던 심층 신경망(DNN)기반의 일정계획 모델, 휴리스틱 원칙(Heuristic Rule)의 결과와 비교하였다.

대상 데이터

본 연구의 문제 상황은 단일공정에서, M개의 생산 장비가 있는 병렬기계에서 P개의 제품 종류가 있고, 제품 종류, 주문량, 납기일이 존재하는 N개의 주문이 있다. 이러한 상황에서, 주문 N_i(i = 1, … , N) 생산 장비 M_j(j= 1, …, M)에 할당할 때 납기를 준수하고 작업물 종류 변경을 최소화 하는 의사결정을 하는 것이다.

데이터처리

본 논문에서 제안한 강화학습 기반의 일정계획 생성 기법을 평가하기 위하여, 기존의 휴리스틱 원칙 기반의 일정계획 생성 기법의 결과를 비교하였다. 실험의 상황은 [Table 1]과 같다.
모든 레이어는 완전 연결 층(Fully connected layer)으로 구성되어 있으며, 활성 함수(Activation function)는 Relu(Rectified linear unit)를 사용하였다. 이 때 손실 함수(Loss function)으로는 평균 제곱 오차를 사용하였고, 학습 알고리즘(Optimizer)은 RMSProp optimizer를 사용하였다. 입력 값으로는 앞에서 생성한 상태가 들어오게 되고, 출력값으로는 행동에 따른 Q 값이 나오게 된다.

성능/효과

결과를 비교해보면 SLACK 방법이 납기일을 어긴 횟수가 가장 적은 것으로 나타났다. 또한, 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획에 비하여 납기일을 어긴 경우는 많지만 휴리스틱 원칙에 비해 적은 것으로 나타났다.
결과를 비교해보면 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획과 SLACK 방법에 비하여 납기일을 어긴 경우는 많지만, 작업물 변경 횟수는 적은 것으로 나타났다. 하지만 총 비용은 심층 신경망 기반의 일정계획이 조금 더 좋은 것으로 나타났다.
결과를 비교해보면 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획과 휴리스틱 원칙 중 SLACK 방법에 비하여 납기일을 어긴 경우는 많지만, 작업물 변경 횟수는 적은 것으로 나타났으며, 총 비용도 강화학습 기반의 일정계획이 더 적은 것을 확인하였다. 또한 휴리스틱 원칙에 비해서 총 비용이 절반 이하인 것을 확인하였다.
결과를 비교해보면 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획에 비하여 납기일을 어긴 경우는 많지만, 작업물 변경 횟수는 적은 것으로 나타났으며, 총 비용도 강화 학습 기반의 일정계획이 더 적은 것을 확인하였다. 또한 휴리스틱 원칙 중 LPT 방식이나 MOR 방식에 비해서 총 비용이 3배 가까이 차이나는 것을 확인하였다.
하지만 작업물 종류 변경 횟수가 다른 방식에 비하여 매우 작은 것을 확인할 수 있다. 따라서 총 비용도 강화학습 기반의 일정계힉 기법이 작은 것을 확인하였다. 심층 신경망 기반의 일정계획 생성기법도 다른 휴리스틱 원칙에 비해서 작업물 종류 변경횟수가 작은 것을 확인하였다.
결과를 비교해보면 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획에 비하여 납기일을 어긴 경우는 많지만, 작업물 변경 횟수는 적은 것으로 나타났으며, 총 비용도 강화 학습 기반의 일정계획이 더 적은 것을 확인하였다. 또한 휴리스틱 원칙 중 LPT 방식이나 MOR 방식에 비해서 총 비용이 3배 가까이 차이나는 것을 확인하였다.
결과를 비교해보면 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획과 휴리스틱 원칙 중 SLACK 방법에 비하여 납기일을 어긴 경우는 많지만, 작업물 변경 횟수는 적은 것으로 나타났으며, 총 비용도 강화학습 기반의 일정계획이 더 적은 것을 확인하였다. 또한 휴리스틱 원칙에 비해서 총 비용이 절반 이하인 것을 확인하였다.
결과를 비교해보면 SLACK 방법이 납기일을 어긴 횟수가 가장 적은 것으로 나타났다. 또한, 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획에 비하여 납기일을 어긴 경우는 많지만 휴리스틱 원칙에 비해 적은 것으로 나타났다. 작업물 변경 횟수는 다른 방식에 비해 적은 것으로 나타났으며, 총 비용도 강화학습 기반의 일정계획이 더 적은 것을 확인하였다.
비교 결과 강화학습 기반의 일정계획 생성기법이 기존의 심층신경망 기반의 일정계획 생성기법과 휴리스틱 원칙 방식에 비하여 납기와 작업물 종류 변경 횟수가 적어 효율성이 높은 것으로 나타났다.
따라서 총 비용도 강화학습 기반의 일정계힉 기법이 작은 것을 확인하였다. 심층 신경망 기반의 일정계획 생성기법도 다른 휴리스틱 원칙에 비해서 작업물 종류 변경횟수가 작은 것을 확인하였다.
또한, 강화학습 기반의 일정계획이 심층 신경망 기반의 일정계획에 비하여 납기일을 어긴 경우는 많지만 휴리스틱 원칙에 비해 적은 것으로 나타났다. 작업물 변경 횟수는 다른 방식에 비해 적은 것으로 나타났으며, 총 비용도 강화학습 기반의 일정계획이 더 적은 것을 확인하였다. 특히, MOR 방법에 비해서는 2배 가까이 차이나는 것으로 확인되었다.
작업물 변경 횟수는 다른 방식에 비해 적은 것으로 나타났으며, 총 비용도 강화학습 기반의 일정계획이 더 적은 것을 확인하였다. 특히, MOR 방법에 비해서는 2배 가까이 차이나는 것으로 확인되었다.
결과를 비교해보면 모두 납기일을 준수하였다. 하지만 작업물 종류 변경 횟수는 강화학습 기반의 일정계획이 다른 휴리스틱 원칙에 비해 훨씬 적은 것을 확인할 수 있으며, 심층 신경망 기반의 일정계획 생성기법 보다도 절반에 가까운 것을 확인할 수 있다.
하지만 총 비용은 심층 신경망 기반의 일정계획이 조금 더 좋은 것으로 나타났다. 휴리스틱 원칙에 비해서는 강화학습 기반의 일정계획 생성기법이 총 비용이 더 적을 확인할 수 있었다.

후속연구

본 연구에서는 주문과 장비간의 제약이 없는 일정계획 문제에 대한 모델을 개발하였지만, 추후 장비 제약이 있는 문제나, 납기를 준수하기 위하여 주문을 분할하여 할당하는 문제등과 같이 복잡한 문제로 확장한다면 제조 현장의 문제에서도 적용할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	제조공정의 효율성을 방해하는 대표적인 요인은?	최근 제조업체들은 제품의 생산방식이 고도화 되고 복잡해지면서 생산능력을 효율적으로 사용하는데 어려움을 겪고 있다[2]. 제조공정의 효율성을 방해하는 대표적인 요인들로는 작업물 종류변경(job change)으로 인한 작업 준비 비용(Setup Cost)이 있다[12]. 특히 반도체/LCD 공정과 같이 고가의 생산 장비를 사용하는 공정의 경우 장비의 효율적인 사용이 매우 중요하다.
	강화학습은 어떤 방법인가?	강화학습은 현재의 상태(State)에 따라 에이전트(Agent)가 미래의 기대되는 보상(Reward)을 최대화하기 위한 액션(Action)을 결정하는 인공지능의 한 방법이다. 이는 스케줄링 시 매 의사결정에 대한 가치는 명확하지 않지만, 최종적으로 주어진 보상 기준에 따라 더 좋은 스케줄 결과를 생성해야 하는 본 연구의 목표에 부합하는 방법론으로 판단된다.
	Q-Network의 신경망 구조는 어떻게 되나요?	학습에서 사용되는 Q-Network의 신경망 구조는 [Figure 4]과 같다. Q-Network는 1개의 입력 층, 4개의 은닉 층, 1개의 출력 층으로 구성되어 있다. 모든 레이어는 완전 연결 층(Fully connected layer)으로 구성되어 있으며, 활성 함수(Activation function)는 Relu(Rectified linear unit)를 사용하였다. 이 때 손실 함수(Loss function)으로는 평균 제곱 오차를 사용하였고, 학습 알고리즘(Optimizer)은 RMSProp optimizer를 사용하였다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증