초록 ▼

□ 연구개요
산업현장에서 고려하는 비즈니스 응용(Business Applications) 문제는 의사결정 과정에서 다수의 제약사항을 포함하고 있다. 표준 강화학습(Reinforcement Learning) 기법은 제약식을 만족하지 못하는 비가능해(Infeasible Solution)를 생성하여 비즈니스 응용 문제를 해결하는데 적절하지 않은 단점이 존재한다. 본 과제에서는 의사결정변수 (즉, action space)에 대한 다수의 제약식이 존재하는 MDP(Constrained Markov Decision Process) 문제를

□ 연구개요
산업현장에서 고려하는 비즈니스 응용(Business Applications) 문제는 의사결정 과정에서 다수의 제약사항을 포함하고 있다. 표준 강화학습(Reinforcement Learning) 기법은 제약식을 만족하지 못하는 비가능해(Infeasible Solution)를 생성하여 비즈니스 응용 문제를 해결하는데 적절하지 않은 단점이 존재한다. 본 과제에서는 의사결정변수 (즉, action space)에 대한 다수의 제약식이 존재하는 MDP(Constrained Markov Decision Process) 문제를 대상으로 강화학습 기법의 적용 방안을 제안한다. 특히, 표준 강화학습 기법을 확장하여 다수 제약식을 만족하는 가능해(Feasible Solution)를 학습하는 기술을 개발하고 다기간, 다제품 재고관리 비즈니스 응용문제에 적용하여 타당성을 검증하였다.

□ 연구 목표대비 연구결과
본 연구의 목적을 달성하기 위하여 21개월의 연구기간 동안 4개의 세부 연구 목표를 정의하였으며, 목표별 결과는 다음과 같다.
[세부목표 1] MDP 기본 문제 정의와 강화학습 적용
- 제약식을 포함하는 재고관리 문제를 대상으로 MDP의 주요 요소를 정의
- Open Data Set인 Foodmart data를 이용한 학습용 데이터 생성
[세부과제 2] 제약식을 고려한 강화학습 알고리즘 개발
- 제약식을 만족하는 가능해 생성을 위한 강화학습 알고리즘을 개발
- 학습과정에서 도출한 비가능해를 가능해로 보정하기 위한 최적화 모형 개발 적용
[세부과제 3] 비즈니스 응용문제 정의
- 최초 목표인 마이크로 그리드의 최적 운영 문제 대신 범용성을 고려하여, 다양한 예산제약 유형을 고려한 재고관리 문제를 대상으로 응용문제 정의
- 문제 복잡도 문제를 극복하기 위한 분산 강화학습 기술의 추가 개발 및 검증
[세부과제 4] 제안 기술의 적용
- 표준 강화학습 기법과 본 과제에서 개발한 강화학습 기술을 적용한 결과를 수치실험을 통하여 비교

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 연구에서 개발된 기술은 향후 재고관리 의사결정을 기반으로 하는 다양한 비즈니스 응용문제 개발에 적극적으로 활용될 수 있도록 국내외 학술대회와 논문으로 본 연구의 결과가 신속히 전파되도록 노력할 계획이다.
강화학습을 활용한 재고관리 기술의 상용화를 위한 후속 연구의 기반으로 사용하도록 한다. 최근 강화학습과 관려한 연구에서는 Q-function과 함께 policy를 학습하는 policy gradient 기반의 방법론이 많이 활용되고 있다. 따라서 재고관리 문제에서 Policy gradient 기반 방법론의 적용 가능성을 연구하고자 한다. 이를 기반으로 실제 기업에서 사용가능한 데이터 기반 재고관리 학습 모형의 기본 모형을 완성할 계획이다.
본 연구주제는 연구재단의 다양한 개인/공동연구 과제로 추진하도록 하며, 후속연구 결과와 연계하여 최종적으로는 특허 출원 등 산업화가 가능한 형태로 연구 산출물을 확보할 수 있을 것이다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 가. 제약식을 포함하는 다기간 다제품 재고관리 문제의 MDP 모형 ... 4
• 나. 제약식을 고려한 강화학습 기술 개발 – 중앙집중식 모형 ... 6
• 다. 제약식을 고려한 강화학습 기술 개발 – 분산학습 및 조정 모형 ... 9
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 11
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 참고문헌 ... 14
• 붙임1. 세부 정량적 연구개발성과 ... 15
• 붙임2. 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 16
• 끝페이지 ... 18