초록 ▼

□ 연구개요
2013년 구글 딥마인드가 NIPS에 발표한 논문(DQN)을 통해 최초로 소개된 이후, 심층강화학습 연구는 많은 발전을 하였다. 기존 DQN 논문은 Atari Games 라는 2D 게임 환경에서의 한계를 가지고 있었는데, 이를 극복하기 위해 최신 연구에서는 3차원 게임 및 실시간 전략게임 등 복잡한 비디오 게임 문제들을 풀기 위해 심층강화학습을 개선하려는 시도가 이루어지고 있다. 본 연구에서는 심층강화학습을 복잡한 비디오 게임의 인공지능 플레이어를 학습하는데 적용하기 위해 세 가지 방법을 제안하였다. 첫째 메모리

□ 연구개요
2013년 구글 딥마인드가 NIPS에 발표한 논문(DQN)을 통해 최초로 소개된 이후, 심층강화학습 연구는 많은 발전을 하였다. 기존 DQN 논문은 Atari Games 라는 2D 게임 환경에서의 한계를 가지고 있었는데, 이를 극복하기 위해 최신 연구에서는 3차원 게임 및 실시간 전략게임 등 복잡한 비디오 게임 문제들을 풀기 위해 심층강화학습을 개선하려는 시도가 이루어지고 있다. 본 연구에서는 심층강화학습을 복잡한 비디오 게임의 인공지능 플레이어를 학습하는데 적용하기 위해 세 가지 방법을 제안하였다. 첫째 메모리 기반 학습 및 내적 동기를 이용한 인지모델(Cognitive Model) 결합, 둘째 화면정보를 능동적으로 확대/축소 시키는 심층신경망 구조(Deep Architecture) 개선, 셋째 시각정보뿐만이 아닌 다른 정보를 포함한 멀티모달(Multimodal) 입력 표현기술을 연구한다.

□ 연구 목표대비 연구결과
● 인지 모델 결합 : 특정 게임의 경우 강화학습의 보상 값이 항상 0에 머무르는 문제(sparse reward)가 발생한다. 이 문제를 해결하기 위해 보상 값에 내적 동기를 추가하는 방법을 제안하였다. 내적 동기로는 새로움, 놀라움, 예측 불가능성, 보조 작업등이 있을 수 있다. 본 연구에서는 새로움, 즉 내적 동기를 미래를 예측하는 신경망의 결과와 실제 장면이 크게 다를 경우, 보상 값을 늘리는 방법을 사용하였다. 이를 통해 새로운 상황에 대한 경험을 쌓도록 하였으며, 당장 보상이 들어오지 않는 상황에도 에이전트는 새로운 상황을 많이 탐색할 수 있게 된다.
● 심층신경망 구조개선 : 심층 강화학습, 특히 멀티에이전트 강화학습 환경에서 Credit Assignment는 가장 대표적인 문제이다. 이것은 수많은 행동 시퀀스 중에서 어떤 행동이 직접 보상에 관여했는지 해결해야 한다. 본 연구에서는 이 문제를 단순화하기 위해 개별 에이전트를 세부적으로 제어하는 대신 군집화 방법을 이용하여 에이전트 사이의 상관관계를 고려하면서 집단을 조정하였다. 군집단위의 정책을 학습하여, 많은 수의 에이전트도 효율적으로 학습하는 강화학습 구조를 제안하였다.
● 멀티모달 입력 표현기술 연구 : 본 연구에서는 시각 이미지뿐만이 아닌 음성 데이터를 입력으로 기존의 성능을 뛰어넘는 연구를 진행하였다. 연구의 실험 대상은 라이엇 게임즈의 리그오브레전드 게임 영상으로 진행하였으며, 이 방법을 진행한 모델의 성능은 기존의 영상과 비교하여 72.44% 성능의 향상을 보여주었다.

□ 연구개발결과의 중요성
● 인지 모델 결합 : 현재 강화학습 분야에서는 여러 가지 방법을 이용하여 좀 더 효율적으로 학습하는 연구가 진행 중이다. 강화학습의 경우 사람과 달리 매번 시행착오 기반으로 비효율적으로 학습하기 때문에, 사람의 학습을 모방하는 기술이 필요하다. 본 연구에서는 기존 강화학습 분야의 어려운 문제 중 하나인 Sparse reward 문제를 해결하는 방법을 제안하였다. Sparse Reward를 해결하려는 초기 연구는 강화학습이 실제 현실에 적용되기 위해서 풀어야 할 중요한 연구과제 중 하나이다.
● 심층신경망 구조개선 : 멀티에이전트 강화학습의 경우 단일 에이전트의 경우와 달리 에이전트를 둘러싼 주변 환경이 지속적으로 변화해서, 학습이 안정적이지 않다. 기존의 단일 에이전트를 위한 기법을 그대로 적용했을 때, 좋은 성능을 기대할 수 없어, 새로운 구조의 도입이 필요하다. 본 과제에서는 전략 시뮬레이션 게임을 이용하여, 다수의 에이전트를 위한 심층 강화학습 구조를 제안하였다.
● 멀티모달 입력 표현기술 연구 : 사람은 시각정보에만 의지하여 의사결정을 하는 것이 아닌 음성 데이터, 촉각 데이터 등을 통해 의사결정을 내린다. 이에 따라 최신 연구 중 하나인 human-centered AI에서는 인공지능을 활용하여 사람의 의사결정을 돕는 연구가 진행 중이다. 멀티 모달 입력 표현 기술 연구는 사람의 관점에서 의사결정을 돕기 위해 중요하며, 심층강화 학습과의 결합을 위한 선행연구결과가 도움을 줄 수 있다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1-1. 연구의 필요성 ... 4
• 1-2. 최종목표 ... 5
• 1-3. 연구범위 ... 6
• 2. 연구수행내용 및 연구결과 ... 10
• 2-1. 1차연도 ... 10
• 2-2. 2차연도 ... 12
• 2-3. 3차연도 ... 14
• 3. 연구개발결과의 중요성 ... 17
• 4. 참고문헌 ... 18
• 5. 연구성과 ... 18
• 대표적 연구실적 ... 20
• 끝페이지 ... 26