초록 ▼

□ 연구개요
인공지능과 기계학습은 4차 산업 혁명의 핵심 기술이고, 그중 강화학습은 주어진 상황에서 최적의 행동을 학습할 수 있어서, 다양한 결정 문제 및 실시간 제어를 가능하게 하는 아주 중요한 기술이다. 하지만, 현재 연구되고 있는 강화학습 기술은 행동 공간이 거대해질수록 정책 학습에 어려움을 보인다. 따라서 본 연구에서는 정보기하학, 통계학적/수학적 도구를 적용하여 거대 행동 공간에 적용 가능하며 기존보다 현격히 안정되고 높은 성능을 가진 새롭고 혁신적 알고리즘 개발을 목표로 한다.

□ 연구 목표대비 연구결과

□ 연구개요
인공지능과 기계학습은 4차 산업 혁명의 핵심 기술이고, 그중 강화학습은 주어진 상황에서 최적의 행동을 학습할 수 있어서, 다양한 결정 문제 및 실시간 제어를 가능하게 하는 아주 중요한 기술이다. 하지만, 현재 연구되고 있는 강화학습 기술은 행동 공간이 거대해질수록 정책 학습에 어려움을 보인다. 따라서 본 연구에서는 정보기하학, 통계학적/수학적 도구를 적용하여 거대 행동 공간에 적용 가능하며 기존보다 현격히 안정되고 높은 성능을 가진 새롭고 혁신적 알고리즘 개발을 목표로 한다.

□ 연구 목표대비 연구결과
본 연구에서는 총 연구 기간 동안 강화학습의 샘플 효율성 향상, 수렴 안정성 및 속도 향상, 효율적인 탐색, 다중 에이전트 강화학습 등의 핵심 원천기술을 연구하였으며, 개발한 알고리즘의 성능을 이론적인 분석과 컴퓨터 시뮬레이션을 통해 입증하여, ICML, ICLR, AAAI 등 인공지능 분야의 세계적인 Top Conference에 총 6편의 논문게재 및 국내 특허 1건 출원/등록을 달성하였다. 그리고 연구결과의 실효성을 검증을 위해 세계적 대회에 참가하였으며, 그 결과 세계 최초로 열린 인공지능 월드컵 2018에서 우승 및 준우승을 하였고, World Cyber Games(WCG) 2019 New Horizons 부문 AI masters 대회에서 4강에 진출하는 등 연구의 우수성을 입증하였다. 본 연구에서는 연차별 연구목표를 달성할 수 있었으며 다음과 같이 요약된다.
1차년도 (안정적 정책 수렴을 위한 거대 공간 강화학습의 확률적 최적화 모델 제시)
: 연속 행동 공간에서 수렴의 안정성 및 수렴 속도를 높이는 Multi-Batch Experience Replay 기법 개발
2차년도 (거대 행동 공간에서 다양한 환경에서 안정적으로 수렴하는 강화학습 알고리즘 개발)
: 다중 에이전트 심층 강화학습을 위한 효율적인 학습방법 개발 및 새로운 환경에 안정적으로 수렴하는 다양한 모델을 이용한 강화학습 알고리즘 개발
3차년도 (거대 공간에서 고속 정책 수렴을 위한 샘플링 기반 강화학습 방법 제시)
: 차원별 Importance Sampling을 이용하여 샘플-효율성 및 수렴 속도를 높이는 Dimension-Wise Importance Sampling Weight Clipping 기법 개발
4차년도 (거대 공간에서 고속 정책 수렴을 위한 정보기하학 기반 강화학습 방법 제시)
: 거대공간 및 다양한 환경에서 샘플-효율적인 탐색을 위한 sample-aware entropy regularization 기법 개발 및 다중 에이전트 심층 강화학습에서 소통을 통해 에이전트 간 데이터 활용도를 높인 intention sharing 기법 개발

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 연구팀은 거대 행동 공간을 가지는 강화학습 알고리즘을 통계학 및 정보기하학을 기반으로 안정성 및 학습속도를 증가시키는 연구를 하였다. 이를 통해 본 연구팀은 샘플-효율성을 획기적으로 증가시키는 기법인 AMBER/DISC를 개발하였으며, 다음으로 효율적인 학습을 위한 병렬강화학습 기법인 P3S와 에이전트의 exploration을 촉진하기 위해 기존 entropy regularization 기법을 개선한 DAC를 통해 거대 정책 공간을 효율적으로 탐험하고 안정적으로 수렴하는 강화학습 알고리즘을 제안하였다. 더 나아가 다중 에이전트 강화학습에서 통신을 효율적으로 하는 Message-dropout 기법 및 협력적인 학습을 가능케 하는 Intention sharing 기법을 개발하여, 다중 에이전트 시스템에서 샘플효율성과 에이전트 간 협력을 증가시키는 알고리즘을 제안하였다.
본 연구에서 개발한 알고리즘들은 기존 방법 대비 매우 우수한 성능을 보였으며 기계학습 및 인공지능 분야의 최고 권위 학회 (ICML, ICLR, AAAI, IJCAI)에 논문을 게재함으로써 강화학습 분야의 발전에 기여를 하였으며, 본 연구를 통해 개발된 알고리즘을 통해 강화학습 원천기술 확보 및 기술의 산업화에 이바지하고 강화학습 통한 사회적 문제를 해결과 국가 경쟁력을 확보하는데 이바지할 수 있을 것이라 기대된다.
특히 개발된 연속 거대 행동 공간의 고속 정책 수렴 알고리즘은 샘플 효율성을 얻기 힘든 로봇 제어 시스템에 적용될 것으로 기대되고 다양한 구성 요소간의 복잡한 상호 작용이 존재하는 스마트 도시를 다중 에이전트 환경으로 모델링하여 강화학습 알고리즘 적용을 기대할 수 있다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1-1. 연구의 최종목표 및 연구범위 ... 4
• 1-2. 연구의 필요성 ... 5
• 1-3. 연구의 가설 및 가설의 도출근거 ... 6
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 6
• (1) 1차년도(2017. 9 – 2018. 8) ... 6
• (2) 2차년도(2018. 9 – 2019. 8) ... 7
• (3) 4차년도(2020. 9 – 2021. 8) ... 10
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 14
• 1) 정성적 연구개발성과(연구개발결과) ... 14
• 2) 세부 정량적 연구개발성과 ... 15
• 3) 목표 달성 수준 ... 17
• 4) 목표 미달 시 원인 분석 ... 17
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 17
• 5. 연구개발성과의 관리 및 활용 계획 ... 18
• 6. 참고문헌 ... 19
• 붙임1 세부 정량적 연구개발성과 ... 21
• 붙임2 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 24
• 끝페이지 ... 40