초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 생산 시스템을 개선하기 위한 두 가지 방법을 제안한다. 두 방법 모두 강화 학습 알고리즘을 기반으로 한다. 생산 시스템의 다양한 문제 중에서 본 연구는 생산 계획과 공정 모니터링과 관련된 두 가지 문제에 대해 새로운 해결책을 제시한다.
첫째, 스마트폰의 금속 기판을 생산하는 공정에서 운용되는 AGV (Automated Guided Vehicle)의 새로운 디스패칭 (dispatching) 기법을 개발하였다. 본 연구에서 다루는 공정은 다수의 ...

본 논문에서는 생산 시스템을 개선하기 위한 두 가지 방법을 제안한다. 두 방법 모두 강화 학습 알고리즘을 기반으로 한다. 생산 시스템의 다양한 문제 중에서 본 연구는 생산 계획과 공정 모니터링과 관련된 두 가지 문제에 대해 새로운 해결책을 제시한다.
첫째, 스마트폰의 금속 기판을 생산하는 공정에서 운용되는 AGV (Automated Guided Vehicle)의 새로운 디스패칭 (dispatching) 기법을 개발하였다. 본 연구에서 다루는 공정은 다수의 CNC (Computerized Numerical Control) 장비들과 하나의 AGV로 구성된다. AGV는 병렬적으로 놓인 두 줄의 CNC 기계들 사이에서 각각의 CNC 기계에 원자재를 공급하거나 재공품을 운반하는 작업을 수행한다. AGV의 운반 효율을 최대화하기 위해서 수리적으로 최적의 동선을 도출하는 것은 계산 비용상 불가능하므로, 일반적으로 현장에서는 간단한 휴리스틱 기반의 디스패칭 알고리즘을 활용하고 있는 추세이다. 하지만 보편적으로 활용되고 있는 디스패칭 기법이 해당 공정에 최적화되었다고 볼 수 없으며 기존에 개발된 디스패칭 알고리즘들 중에서 합당한 알고리즘을 선택하기 위해서 숙련된 엔지니어의 지식이 필요한 문제가 있다. 본 연구에서는 심층 강화학습 방법론을 활용하여 공정 환경에 적합한 디스패칭 규칙을 직접 학습하는 방식으로 기존의 한계를 극복했으며, 결과적으로 생산성을 제고하는 대안을 제시하였다. DQN (Deep Q-network) 기반의 디스패칭 알고리즘을 개발하기 위해서 실제 생산 라인을 격자 형태의 시뮬레이션 환경으로 모사했다. 강화학습의 미래 보상을 효과적으로 추정하기 위해서 CNN (Convolutional Neural Network) 모델을 사용해서 시뮬레이션 환경을 입력 데이터로 받고 가치 함수를 출력하도록 설계했으며, 에이전트는 AGV의 이동정책을 학습하였다. DQN의 다양한 하이퍼 파라미터를 조정하여 모델을 학습하는 합리적인 방식을 제시했고, 결과적으로 성공적인 디스패칭 전략을 수립하였다. 강화학습 알고리즘이 자동으로 효과적인 전략을 학습하는 방법을 채택하기 때문에 숙련된 전문가의 지식을 배제한 상태에서 우수한 전략을 학습할 수 있는 장점도 지닌다. 제안하는 기법은 실제 기존 공정에서 활용되는 휴리스틱 기반의 방법과 비교했을 때, 생산성 측면에서 더 뛰어난 성능을 보임을 실험을 통해서 확인하였다.
둘째, 강화학습 기반의 RTC (Real-Time Contrasts) 관리도를 개발하였다. 공정 모니터링은 생산성과 제품 수율에 직접적인 영향을 미치기 때문에 점점 그 중요성이 주목받고 있다. RTC 관리도는 모니터링 문제를 실시간 분류 문제로 치환하는 유망한 방법이며 다양한 선행 연구를 통해 그 성능이 검증되었다. 그럼에도 RTC 관리도의 파라미터는 경험적으로 설정되기 때문에 상황에 맞게 적응적(adaptive)으로 설정하는 것이 불가능하다. 본 연구에서는 이러한 제약을 극복하고 RTC 관리도의 성능을 극대화하기 위해서 강화학습 알고리즘을 도입하여 적응적 RTC 관리도를 개발했다. 강화학습 기반의 RTC 관리도는 주어진 데이터 자체를 강화학습의 상태(state)로 입력받고 실시간으로 RTC 관리도의 윈도우 사이즈(window size) 값을 적응적으로 조정한다. 결과적으로 강화학습 기반의 RTC 관리도는 이상 상황을 더 빠르게 감지하고 결함의 원인을 식별하는 RTC의 기능도 그대로 사용할 수 있는 장점이 있다. 향후 window size뿐만 아니라 더 다양한 RTC 관리도의 파라미터를 적응적으로 제어할 수 있다는 측면에서 본 연구의 응용 범위가 확장될 것으로 기대한다.

Abstract ▼ AI-Helper

In this dissertation, two methods for improving the production system are suggested. Both methods are based on the reinforcement learning (RL) algorithm. Among the various issues of the production system, it is focused on production planning and process control.
First of all, a dispatching algo...

In this dissertation, two methods for improving the production system are suggested. Both methods are based on the reinforcement learning (RL) algorithm. Among the various issues of the production system, it is focused on production planning and process control.
First of all, a dispatching algorithm for an automatic guided vehicle (AGV) in a mobile metal board manufacturing facility is proposed. Multiple computerized numerical control (CNC) machines and an AGV are used in the target process. An AGV provides materials between two rows of CNC machines for processing metal boards, or conveys a work in process. Simple dispatching rules have typically been applied in such environments as it is difficult to derive a mathematically optimal working order owing to the high computational cost [1]. However, these rules are generally not optimal, and expert knowledge is required to determine which rule to choose. A deep reinforcement learning algorithm is used to learn an AGV's dispatching algorithm to overcome some of these drawbacks and boost productivity. To develop a deep Q-network (DQN)-based dispatching algorithm, the target production line as a virtual simulated grid-shaped workspace is modeled. To estimate future rewards, a convolutional neural network (CNN) is employed to input raw pixels and output a value function, and an agent is trained to effectively learn the control policies. Different hyper-parameters of the DQN are tuned and a reasonable modeling method is empirically determined to develop an elaborate dispatching strategy. Without requiring human intervention or prior expert knowledge, the proposed method automatically generates an excellent dispatching strategy. Compared with general heuristic dispatching rules, the results show that the proposed methodology performs better.
Secondly, a reinforcement learning-based real-time contrasts (RL-RTC) control chart is proposed. Process monitoring having a direct impact on productivity and yield has become an increasingly important task. An RTC control chart is a promising method for process monitoring because the monitoring problem is converted into a real-time classification problem. However, because the parameters of the RTC control chart are set empirically, not adaptively there are limitations to controlling those parameters. To overcome this problem and improve the performance of the RTC control chart, an RL-RTC control chart is proposed. The proposed method takes the data itself as a state of RL and adaptively decides the parameter of the RTC control chart in real time. In this dissertation, controlling the size of the moving window is defined as an action of RL’s agent. An RL-RTC control chart could thus detect shifts more quickly and maintain the functioning of identifying the cause of the faults. Compared with a conventional RTC control chart, the experimental results illustrate the RL-RTC’s improved performance. Therefore, it is expected to have a wide scope of applications for adaptively controlling the other RTC control chart parameters.

주제어